안녕하세요, 유유테이진 건강지킴이입니다.

재택 모니터링이나 임상 의사결정 지원 화면에서 ‘위험 20%’라는 결과를 보면, 나에게 해당 사건이 발생할 가능성이 정확히 20%라고 받아들이기 쉽습니다. 하지만 이 숫자는 확정적인 진단도, 개인의 미래를 단정하는 예언도 아닙니다. 무엇을 얼마나 긴 기간 동안 예측했는지, 어떤 사람들을 대상으로 검증했는지, 예측값과 실제 발생률이 얼마나 일치하는지를 함께 확인해야 합니다.

TL;DR

• 의료 AI의 위험점수 20%는 모델이 정한 예측 결과와 기간을 기준으로 계산한 절대위험 확률입니다.
• 위험이 높은 사람을 상대적으로 잘 가려내는 성능과, 표시된 ‘20%’가 실제 발생률 20%와 맞는지는 다른 문제입니다.
• 이 일치 정도를 보정도(calibration)라고 합니다. 평균값이 맞더라도 특정 위험 구간에서는 과대추정 또는 과소추정될 수 있습니다.
• 재택 모니터링 결과는 증상, 진찰, 검사 및 의료진의 판단을 대신하지 않습니다. 점수 해석과 추적 계획은 담당 의사와 상의해야 합니다.

먼저 확인할 것: 무엇을, 언제까지 예측한 20%인가

위험점수는 숫자만 따로 해석하기 어렵습니다. 예측 대상이 누구인지, 결과(outcome)가 무엇인지, 예측기간이 며칠·몇 주·몇 달인지에 따라 같은 20%라도 의미가 달라집니다. 예를 들어 결과가 ‘특정 기간 내 관찰된 사건’인지 명시되지 않았다면, 위험점수를 실제 위험과 비교하기 어렵습니다.

임상 예측모형의 외부검증 연구에서는 모델이 한 집단의 평균 사망위험을 20%로 예측했고 실제로 21%가 사망했다면, 집단 평균 수준에서 예측과 관찰이 비교적 가깝다고 설명할 수 있습니다. 다만 이는 해당 집단의 평균에 관한 평가입니다. 특정 개인이 반드시 같은 비율의 위험을 가진다는 뜻도, 해당 사건이 반드시 발생한다는 뜻도 아닙니다.

결과 화면이나 연구자료에서 다음 내용을 확인하는 것이 좋습니다.

• 예측 대상: 어떤 특성을 가진 사람의 자료로 평가했는가
• 예측 결과: 정확히 어떤 사건을 뜻하는가
• 예측기간: 언제부터 언제까지의 위험인가
• 활용 범위: 추적관찰 우선순위 설정인지, 다른 평가와 함께 쓰는 보조 정보인지

보정도: ‘20%’가 실제 발생률과 맞는지 보는 기준

보정도는 모델이 예측한 위험과 실제로 관찰된 결과가 얼마나 일치하는지를 뜻합니다. 평균 예측위험과 평균 실제 발생률을 비교하는 방법도 있지만, 이것만으로 충분하지는 않습니다.

예를 들어 전체 이용자 평균에서는 예측과 실제가 비슷해 보여도, 20% 이하 위험 구간에서는 잘 맞고 그보다 높은 구간에서는 위험을 과대추정할 수 있습니다. 따라서 예측값 전 구간에서 일치 정도를 살피는 보정선 또는 보정곡선이 중요합니다. 위험점수가 높아질수록 실제 발생률도 이에 맞게 높아지는지 확인해야 하기 때문입니다.

의료진이나 기관이 위험 예측 AI의 근거를 검토할 때는 “평균적으로 맞았는가”뿐 아니라 “실제 사용할 위험 구간에서도 맞았는가”를 확인할 필요가 있습니다. 환자와 보호자도 점수가 높거나 낮다는 이유만으로 진료를 미루거나 행동을 바꾸기보다, 해당 점수가 어떤 추적관찰 계획에 활용되는지 의료진에게 확인하는 것이 바람직합니다.

판별력과 보정도는 다릅니다

판별력(discrimination)은 실제 위험이 더 높은 사람에게 더 높은 예측확률을 부여하는 능력입니다. 쉽게 말해 위험순위를 얼마나 잘 구분하는지 보는 성능입니다. 반면 보정도는 예측확률 자체가 실제 발생률과 얼마나 맞는지를 평가합니다.

따라서 판별 성능이 높다는 자료만으로 “AI가 표시한 20%는 실제로도 20%”라고 결론 내릴 수는 없습니다. 위험순위 설정에는 도움이 될 수 있지만, 개별 확률의 정확성은 별도로 평가해야 합니다. AUC나 정확도처럼 널리 알려진 수치가 제시되더라도, 보정도 자료가 함께 공개됐는지 확인해야 하는 이유입니다.

실제 사용 환경에서는 왜 다시 점검해야 할까

미국 FDA는 데이터 수집체계, 진료 프로토콜, 환자집단이 시간이나 의료기관에 따라 달라질 수 있으며, 개발 단계에서 접하지 못한 입력 자료가 예상치 못한 출력을 낼 수 있다고 설명합니다. 특히 재택 모니터링은 측정 환경과 이용자 특성이 다양할 수 있으므로, 개발·검증 환경에서 확인된 성능이 실제 사용 환경에서도 그대로 유지된다고 단정하기 어렵습니다.

FDA와 국제 규제기관의 Good Machine Learning Practice 원칙은 실제 사용 환경에서의 성능 모니터링과 함께, 재학습 과정에서 발생할 수 있는 과적합, 의도치 않은 편향, 데이터 드리프트에 따른 성능 저하를 관리할 필요성을 제시합니다. 초기 검증 결과가 있다는 사실만으로 위험점수의 신뢰성이 계속 보장되는 것은 아닙니다.

연구나 성능 문서를 볼 때는 TRIPOD+AI 보고 지침의 취지에 따라 예측 대상, 결과, 예측기간, 성능평가 자료가 공개됐는지 살펴볼 수 있습니다. 식품의약품안전처의 생성형 인공지능 의료기기 허가·심사 가이드라인이 존재하더라도, 그것만으로 특정 위험 예측 기능의 보정도나 임상적 유효성이 확인되는 것은 아닙니다.

결과를 받았을 때의 확인 질문

의료진에게는 다음과 같이 물어볼 수 있습니다.

1. 이 20%는 어떤 사건을 어느 기간 동안 예측한 수치인가요?
2. 이 점수는 진단이나 처방을 결정하는 수치인가요, 아니면 추적관찰의 우선순위를 정하는 보조 정보인가요?
3. 제 특성과 비슷한 사람을 대상으로 성능과 보정도를 평가한 자료가 있나요?
4. 실제 사용 중 예측값과 관찰 결과의 차이를 점검하는 절차가 있나요?
5. 점수와 증상·진찰·검사 결과가 다를 때에는 무엇을 우선해 판단하나요?

자주 묻는 질문(FAQ)

Q. 위험점수 20%면 5명 중 1명에게 반드시 사건이 발생한다는 뜻인가요?

아닙니다. 이는 모델이 정의한 대상·결과·예측기간을 바탕으로 산출한 확률입니다. 집단 수준의 예측과 특정 개인에게 사건이 발생한다는 확정은 구분해야 합니다.

Q. 판별력이 높으면 위험확률도 믿을 수 있나요?

판별력과 보정도는 별개의 평가 항목입니다. 위험순위를 잘 구분하더라도, 각 위험확률이 실제 발생률과 일치하는지는 보정도 자료를 통해 별도로 확인해야 합니다.

Q. 점수가 낮으면 의료진 상담이 필요 없나요?

그렇지 않습니다. 위험점수는 의료적 진단이나 처방을 대신하지 않습니다. 증상이 있거나 건강 상태의 변화가 느껴진다면 점수와 관계없이 전문의 또는 담당 의사와 상담하세요. 반대로 점수가 높더라도 그 숫자만으로 질환이나 사건 발생을 확정할 수는 없습니다.

본문에 언급된 타사 의료 AI 제품·서비스는 정보 제공 목적의 사례이며, 유유테이진의 판매·임대·상담 대상이 아닙니다. 제품·도입 문의는 해당 제조사·공식 판매처 또는 의료기관에 확인해 주세요.