안녕하세요, 유유테이진 건강지킴이입니다.

의료 AI 성능표를 볼 때는 민감도·특이도처럼 ‘결과가 나온 검사’의 정확도에 먼저 눈이 갈 수 있습니다. 그러나 실제 진료와 도입 환경에서는 AI가 결과를 제시하지 못하는 경우도 운영에 영향을 줄 수 있습니다. 입력 영상이나 신호의 품질, 데이터 획득 방식, 통신 상태, 사용 대상의 조건이 제품 문서와 맞지 않을 때 어떤 일이 발생하는지 함께 확인해야 합니다.

여기서 결과 미산출은 하나의 고정된 지표명이 아니라, 제품과 문서에 따라 분석 제외, 판단 보류, 검사 불가, 재측정·재촬영 필요 등으로 제시될 수 있는 상황을 포괄하는 표현입니다. 따라서 수치 하나만 비교하기보다 무엇을 미산출로 정의했는지부터 확인하는 것이 중요합니다.

TL;DR

• 정확도 지표만으로는 실제 사용 중 AI가 결과를 내지 못하는 상황을 모두 파악하기 어렵습니다.
• 사용설명서와 성능 문서에서 허용 가능한 입력, 알려진 한계, 실패 양상, 결과 미산출의 정의를 확인해야 합니다.
• 임상 성능평가 대상과 현장 환자군·장비·프로토콜이 유사한지, 하위군별 설명이 있는지 함께 살펴봐야 합니다.
• 결과가 미산출됐을 때 누가 확인하고 어떤 방식으로 검사를 이어 갈지 사전에 정해 두는 것이 필요합니다.

먼저 구분할 것: ‘틀린 결과’와 ‘결과 없음’

AI가 결과를 냈지만 실제 상태와 맞지 않는 문제와, AI가 결과를 내지 않거나 판단을 보류하는 문제는 구분해 검토할 필요가 있습니다. 전자는 민감도·특이도 등 해당 과제에 맞는 성능지표와 관련될 수 있습니다. 반면 후자는 입력이 분석 가능한 조건을 충족했는지, 제품이 어떤 상황을 분석 대상에서 제외하는지와 연결됩니다.

FDA는 AI 기반 의료기기의 과제 유형이 분류, 수치 추정, 영상 분할, 시간-사건 분석, 이상 소견 검출·위치화 등으로 달라질 수 있으며, 이에 따라 적절한 성능평가 지표도 달라질 수 있다고 설명합니다. 즉, 모든 의료 AI에 동일한 이름의 ‘실패율’을 기대하기보다 해당 제품의 사용 목적과 출력 방식을 기준으로 문서를 읽어야 합니다.

성능표와 사용설명서에서 찾을 항목

FDA의 머신러닝 기반 의료기기 투명성 원칙은 사용자에게 허용 가능한 입력(acceptable inputs), 알려진 한계(known limitations), 실패 양상(failure modes)을 알리는 것을 좋은 관행으로 제시합니다. 성능표를 검토할 때는 다음 질문을 적용해 볼 수 있습니다.

1. 어떤 입력이 분석 가능한가

입력 영상·신호·측정값이 어떤 품질, 형식, 획득 조건을 충족해야 하는지 확인합니다. 제품 문서가 허용 가능한 입력을 어떻게 정하는지, 개발·검증 데이터와 다른 입력 상황을 설명하는지가 핵심입니다. 단지 ‘AI가 작동한다’는 설명만으로는 현장 입력이 분석 범위 안에 있는지 판단하기 어렵습니다.

2. 미산출을 무엇으로 집계했는가

‘분석 제외율’, ‘판단 보류율’, ‘재촬영 필요 비율’ 등의 표현이 있다면 분모와 분자를 확인해야 합니다. 처음 검사한 전체 사례를 기준으로 한 것인지, 품질 기준을 통과한 사례만 대상으로 한 것인지에 따라 해석이 달라질 수 있습니다. 문서에 정의가 없다면 다른 제품의 수치와 직접 비교하기 어려울 수 있습니다.

3. 이유와 대상군별 설명이 있는가

FDA·Health Canada·MHRA의 투명성 원칙은 알려진 편향 또는 실패 양상, 데이터 특성화의 공백, 성능평가의 한계를 전달할 수 있다고 제시합니다. 따라서 결과 미산출률이 제시돼도 그 수치만 보지 말고, 어떤 입력 또는 어떤 조건에서 발생했는지, 특정 하위군 관련 정보가 설명되는지를 함께 확인해야 합니다. 원인이 충분히 공개되지 않았다면 도입 전 제조사 또는 공식 문서에 확인할 항목이 됩니다.

시험 환경의 수치가 현장에서도 같은 뜻일까

IMDRF의 좋은 기계학습 실무 원칙은 임상적으로 관련 있는 조건에서 시험할 때 의도된 환자군, 관련 하위군, 임상 환경, 인간-AI 팀의 사용 방식, 측정 입력, 잠재적 교란요인을 고려하도록 제시합니다. 병원 도입 담당자는 성능표의 대상군과 자사 환경이 얼마나 유사한지 확인할 필요가 있습니다.

예를 들어 현장에서 사용하는 데이터 획득 시스템이나 프로토콜이 평가 당시와 다르다면, 결과가 산출되는 비율도 별도로 점검해야 합니다. FDA는 개발 과정에서 접하지 못한 분포 밖 입력이 예상하지 못한 출력을 낼 수 있고, 데이터 획득 시스템·프로토콜·환자군은 시간과 기관에 따라 달라질 수 있다고 설명합니다. 설치 직후의 성능표만 보지 말고 실제 사용 중 입력 변화와 출력 성능을 어떻게 모니터링할지도 확인해야 합니다.

국내 제품은 식품의약품안전처의 디지털의료기기 관련 성능평가 가이드라인과 함께, 해당 제품의 허가사항 및 사용설명서에 제시된 성능평가 조건을 대조해 볼 수 있습니다. 다만 문서의 존재만으로 개별 의료기관 환경에서의 결과가 보장되는 것은 아닙니다.

도입·사용 전 실무 점검표

의료진과 병원 관계자는 제조사 또는 공식 문서에서 다음 사항을 확인해 두는 것이 좋습니다.

• 결과 미산출, 분석 제외, 판단 보류가 각각 어떤 의미로 정의되는가?
• 성능지표는 전체 입력 기준인가, 사전에 제외된 입력을 뺀 기준인가?
• 허용 가능한 입력의 품질·형식·획득 조건은 무엇인가?
• 알려진 실패 양상과 사용상 한계는 문서에 공개돼 있는가?
• 평가 대상 환자군·하위군·임상 환경은 실제 사용 환경과 얼마나 다른가?
• 결과가 나오지 않을 때 재측정, 재촬영, 의료진 검토 등 후속 절차는 누가 담당하는가?
• 현장 데이터나 프로토콜 변화 뒤 출력 성능을 모니터링하는 방법은 무엇인가?
• 환자 데이터의 접근 권한, 저장 방식, 전송·보안 관리 기준은 어떻게 안내돼 있는가?

환자와 보호자도 검사 결과가 나오지 않았다고 해서 곧바로 특정 건강 상태를 뜻한다고 해석해서는 안 됩니다. 이는 입력 조건이나 기기 사용 조건과 관련될 수 있으므로, 검사 담당 의료진에게 결과 미산출의 의미와 다음 확인 절차를 문의하는 편이 안전합니다.

자주 묻는 질문(FAQ)

Q. 결과 미산출률이 낮으면 항상 더 좋은 의료 AI인가요?

그렇게 단정할 수 없습니다. 제품마다 사용 목적, 허용 입력, 결과를 제시하는 방식, 성능평가 지표가 다릅니다. 낮은 수치만 비교하기보다 미산출의 정의, 제외 기준, 알려진 한계, 실제 사용 환경과의 적합성을 함께 살펴야 합니다.

Q. AI가 판단을 보류하면 검사 자체가 실패한 것인가요?

반드시 그렇지는 않습니다. 판단 보류나 검사 불가는 제품 문서가 정한 입력 조건, 데이터 품질, 사용 환경과 관계될 수 있습니다. 해당 사례가 어떤 범주에 해당하는지는 사용설명서와 의료진의 확인이 필요합니다.

Q. 환자가 성능표만 보고 결과를 해석해도 되나요?

권장되지 않습니다. 성능표는 제품의 평가 조건과 한계를 이해하는 자료이며, 개인의 진단이나 처방을 대신하지 않습니다. 결과가 나오지 않았거나 결과 해석에 의문이 있다면 검사 담당 의사 또는 전문의와 상담하세요.

의료 AI는 의료진의 판단을 지원하는 도구로 사용될 수 있지만, 결과 미산출을 포함한 한계가 있습니다. 기관은 허가사항·사용설명서·성능평가 조건을 확인하고, 환자와 보호자는 AI 결과만으로 자가 진단이나 치료 결정을 하지 말고 전문의 또는 담당 의사와 상담해야 합니다.

본문에 언급된 타사 의료 AI 제품·서비스는 정보 제공 목적의 사례이며, 유유테이진의 판매·임대·상담 대상이 아닙니다. 제품·도입 문의는 해당 제조사·공식 판매처 또는 의료기관에 확인해 주세요.