안녕하세요, 유유테이진 건강지킴이입니다.

해외 의료 AI 논문에서 높은 성능 수치를 보았다면, 다음 질문은 “한국의 환자와 의료환경에서도 비슷한 결과를 기대할 수 있는가”입니다. 이때 해외 허가 여부나 전체 정확도만으로 판단하기보다 누가 학습·검증에 참여했는지, 자료가 어느 지역과 기관에서 왔는지, 어떤 언어·의사소통 환경에서 사용됐는지를 함께 살펴볼 필요가 있습니다. 이는 특정 환자의 결과를 예측하거나 의료진의 판단을 대신하는 기준이 아니라, 논문 근거를 해석하기 위한 점검 방법입니다.

TL;DR

• 대상자 표에서 인종·민족 항목의 비율뿐 아니라, 해당 항목을 아예 보고했는지부터 확인합니다.
• 학습 데이터와 검증 데이터의 인구집단 구성을 나누어 읽고, 다른 기관·지역에서 검증한 외부 검증인지 살핍니다.
• 해외 연구의 높은 성능이 국내 환경에서 그대로 재현된다고 단정할 수 없습니다. 한국 환자 자료 또는 한국 의료환경 검증 자료가 있는지 확인이 필요합니다.
• 언어 편향은 논문의 작성 언어가 아니라 AI의 입력, 안내, 결과 전달 과정에서 어떤 언어와 의사소통 방식을 고려했는지의 문제입니다.

첫 단계: ‘인종 구성’이 보고됐는지 확인하기

논문의 대상자 특성 표를 열어 연령·성별만 보지 말고 인종·민족 항목이 있는지 확인합니다. 미국 전자의무기록(EHR) 기반 머신러닝 연구를 검토한 연구에서는 인종·민족 정보를 보고하지 않은 연구가 64%였고, 외부 인구집단에서 모델을 검증한 연구는 12%였습니다. 이는 인종·민족 항목이 없거나 내부 성능만 제시된 논문이라면, 다른 집단에서의 적용 가능성을 별도로 확인해야 한다는 점을 보여줍니다.

다만 항목이 있다고 해서 데이터가 정확하다고 볼 수는 없습니다. 43개 연구를 포함한 미국 의료 데이터베이스 체계적 문헌고찰에서는 질병 등록자료의 인종·민족 정보가 대체로 완전성과 정확도가 높았지만, EHR에서는 누락 또는 부정확성이 흔하다고 보고했습니다. 일부 집단에서는 오분류와 누락이 상대적으로 많이 보고되기도 했습니다. 따라서 표의 비율은 ‘정확한 인구 분포’라기보다 해당 데이터에 기록된 분포일 수 있다는 점을 염두에 두어야 합니다.

학습군과 검증군은 반드시 나누어 읽기

의료 AI 논문에는 보통 모델을 만드는 학습 데이터와 성능을 평가하는 검증 데이터가 있습니다. 검증 대상자가 다양해 보여도 학습 데이터가 어떤 사람들로 구성됐는지 제시되지 않았다면 편향 가능성을 충분히 판단하기 어렵습니다. 반대로 학습 데이터가 다양하더라도 검증이 한 기관에서만 이뤄졌다면, 다른 환경에서의 성능은 확인되지 않은 상태일 수 있습니다.

안과 의료 AI의 전향적 검증 연구를 검토한 범위문헌고찰에서도 이러한 보고 공백이 확인됩니다. 27개 고유 모델 가운데 학습 데이터의 연령·성별을 보고한 모델은 7개, 인종·민족을 보고한 모델은 2개였습니다. 전향적 임상 검증 연구 37편 중 인종·민족을 보고한 연구도 9편이었습니다.

논문을 읽을 때는 다음 네 항목을 각각 표시해 보세요.

1. 학습 자료의 출처: 어느 국가·지역, 어느 의료기관의 자료인가
2. 학습군의 구성: 연령·성별·인종·민족 등 특성이 보고됐는가
3. 검증군의 구성: 학습군과 별개로 대상자 특성이 제시됐는가
4. 외부 검증 장소: 다른 기관·지역 또는 다른 국가 자료에서 평가했는가

세계보건기구(WHO)는 한 국가의 지역 인구집단으로 학습한 AI를 특성이 다른 국가에서 사용할 때 대표성 있는 데이터를 확보하지 못할 수 있다고 설명합니다. 따라서 국내 활용 가능성을 검토할 때는 ‘해외에서 검증됨’이라는 문구보다 한국 환자 자료 또는 한국 의료환경에서 수행한 외부 검증이 공개됐는지 확인하는 편이 더 구체적입니다.

‘비율이 같아야 공정하다’는 해석은 주의하기

특정 집단의 비율이 전체 인구 비율과 같지 않다는 사실만으로 곧바로 대표성이 부족하다고 결론 내리기는 어렵습니다. WHO는 정확하고 완전하며 다양한 학습 데이터를 강조하며, 과소대표된 집단에서 동등한 품질을 확보하려면 해당 집단을 인구 비율보다 많이 표집해야 할 수도 있다고 제시합니다.

따라서 논문을 검토할 때는 단순 비율 비교보다 해당 집단의 자료가 충분히 포함됐는지, 집단별 성능이 따로 제시됐는지, 누락된 집단은 무엇인지, 자료 품질을 어떻게 확인했는지를 함께 살펴야 합니다. 집단별 성능이 제시되지 않았다면 전체 평균 성능이 모든 집단에서 동일하다는 뜻으로 해석해서는 안 됩니다.

언어 편향은 ‘영문 논문’과 다른 문제입니다

언어 편향을 논문이 영어로 작성됐는지 여부로 판단하기는 어렵습니다. 핵심은 AI가 학습·검증·사용되는 과정에서 어떤 언어와 의사소통 방식을 포괄했는지입니다. WHO는 개발자와 공급자가 사용 장벽을 줄이기 위해 다양한 언어, 능력, 의사소통 방식을 고려해야 한다고 제시합니다.

병원 관계자와 의료진은 공개 자료에서 다음 내용을 확인할 수 있습니다.

• 환자 또는 사용자가 입력하는 정보가 있다면, 어떤 언어 환경에서 평가됐는가
• 안내문과 결과 화면이 사용자의 이해를 고려해 설계됐는가
• 의사소통에 도움이 필요한 사용자를 위한 자료나 지원 방식이 있는가
• 개인정보 처리, 데이터 보안, 결과 검토 절차가 공개됐는가

관련 정보가 없다고 해서 성능 부족을 단정할 수는 없습니다. 다만 국내 사용자 환경과 의료기관의 실제 업무 흐름에서 추가 확인이 필요하다는 신호로 볼 수 있습니다.

자주 묻는 질문

Q. 해외 논문에 인종·민족 비율이 없으면 사용할 수 없다는 뜻인가요?

그 자체로 사용 가능 여부를 결론 내릴 수는 없습니다. 다만 대상자 대표성과 집단별 성능을 평가할 정보가 제한적이라는 뜻입니다. 제조사 자료나 추가 연구에서 학습·검증 자료의 출처, 외부 검증 여부, 국내 환경 관련 근거가 제시되는지 확인할 필요가 있습니다.

Q. 외부 검증이 있으면 국내에서도 성능이 입증된 것인가요?

아닙니다. 외부 검증이 이뤄진 국가, 지역, 기관, 대상자 구성, 사용 환경을 확인해야 합니다. 해외의 다른 기관에서 이뤄진 검증은 일반화 가능성에 관한 유용한 정보이지만, 한국 의료환경에서의 검증과 같은 의미로 단정할 수는 없습니다.

Q. 개인정보와 보안도 확인해야 하나요?

네. 의료 AI 도입 또는 활용을 검토할 때는 데이터가 어떤 방식으로 수집·보관·전송되는지, 접근 권한과 보안 관리 체계가 어떻게 마련돼 있는지 확인하는 것이 중요합니다. 의료기관의 개인정보 보호 및 보안 기준에 맞는지 별도로 검토해야 합니다.

Q. 환자·보호자는 무엇을 의료진에게 물어볼 수 있나요?

“이 결과는 어떤 자료와 환경에서 검증됐나요?”, “한국 환자 또는 국내 의료환경 자료가 있나요?”, “결과를 누가 어떻게 해석하나요?”라고 질문할 수 있습니다. AI 결과만으로 자가 진단하거나 치료를 변경하지 말고, 개인의 증상과 검사 결과는 담당 의사 또는 전문의와 상담해야 합니다.

본문에 언급된 타사 의료 AI 제품·서비스는 정보 제공 목적의 사례이며, 유유테이진의 판매·임대·상담 대상이 아닙니다. 제품·도입 문의는 해당 제조사·공식 판매처 또는 의료기관에 확인해 주세요.