Google은 11월 4일 건강 분야 AI를 평가하는 전체 프레임워크를 공개했다. 핵심 주장은 직접적이다. 건강 관련 답변은 옳게 들려도 안전하지 않을 수 있고 유용하지 않을 수 있으므로, 정확성, 안전성, 유용성은 따로 채점해야 한다. 이 백서는 Google Health의 임상 평가 책임자인 Sarah Montgomery-Taylor가 주도하고 외부 건강 전문가 Elizabeth McGlynn과 Dana Gelb Safran이 함께 작성했다. Google에 따르면 이 프레임워크는 이미 자사 모델 평가에 사용되고 있으며, 공개 목적은 방법론을 투명하게 하고 개발자, 연구자, 임상의가 더 신뢰할 수 있는 건강 AI 도구를 만들도록 돕는 것이다.
세 가지 차원, 세 가지 다른 측정 방식
프레임워크는 먼저 건강 AI 사용 사례를 해체한다. 누구를 위한 것인지, 실패의 결과가 얼마나 심각한지, 누가 검토하는지를 따진다. 평가는 세 영역으로 나뉜다. 정확성은 의학적 합의, 근거 뒷받침, 사실성, 임상 추론, 맥락 적절성을 보며 요약 과제에서는 출처 근거를 추가한다. 안전성은 답변에 따라 행동하거나 행동하지 않았을 때 따를 수 있는 해를 심각도와 발생 가능성을 함께 저울질해 본다. 유용성은 건강 리터러시, 관련성, 포괄성, 답변을 실행에 옮길 수 있는지를 본다. 측정 방식도 서로를 견제하는 세 층으로 이뤄진다. 폐쇄형 문항 벤치마크가 지식을 측정하고, AI 자동 평가자가 서면 기준에 따라 채점하며, 전문가의 인간 검토가 고위험 시나리오를 살펴보고 레드팀 테스트를 수행한다. 세 가지 방법은 기반 모델 학습 시, 제품 구축 시, 출시 후의 세 단계에서 실행된다. 이런 층 구조가 뜻하는 바는 선택형 점수 하나만으로는 알 수 있는 것이 거의 없다는 점이다. 진정으로 고위험인 답변은 사람이 보고 확인해야 합격으로 인정된다.
프레임워크가 답하지 않은 것이야말로 가장 중요한 두 가지다
첫째, 백서가 공개한 것은 방법이 아니라 결과가 아니다. Google 블로그는 어떤 모델의 점수도 제시하지 않았고 합격선도 긋지 않았으므로 독자는 이번 발표만으로 Google 모델이 건강 관련 질문에 실제로 얼마나 잘 대응하는지 알 수 없다. 둘째, 이는 Google이 자사 모델을 평가하는 방법으로, 독립 감사도 인증도 규제 승인도 아니다. 다른 기관이 채택할 경우 시나리오 범위, 데이터 품질, 평가 기준이 결과를 좌우할 것이다. 더 현실적인 지적은 프레임워크 자체에서 나온다. 두 의사가 같은 답변을 평가할 때 판단이 엇갈리는 일은 흔하며, 이는 “전문가 검토”도 오류 없는 잣대가 아니라는 뜻이다. 일반 사용자에게 이 프레임워크의 직접적 의미는 제한적이다. 개별 건강 답변의 질이 당장 바뀌지는 않으며, 그 가치는 공급 측에 있다. OpenAI는 이전에 80명이 넘는 정신건강 전문가와 함께 AI 정신건강 대화를 전문적으로 측정하는 공개 벤치마크 MentalHealthBench를 발표했다. 두 접근법을 합치면 “건강 AI가 좋은가”라는 질문이 막연한 평판에서 분해하고 재확인할 수 있는 검사 항목으로 바뀌고 있다. 다음으로 주목할 점은 제3자나 규제 기관이 비슷한 프레임워크를 채택하고 실측 결과를 공개하는지 여부이며, 그 단계에 이르러서야 일반 사용자가 진정으로 “검증된” 건강 AI를 쓸 수 있게 된다.
