영상의학 학습자료 평가에서 중대한 오류 누락률 1.00%…특정 AI 시스템 결과인 만큼 확대 해석은 주의해야
생성형 인공지능을 활용하면 방대한 의료 교육자료를 빠르게 만들 수 있지만, 자동화된 품질검사만으로 정확성을 확보하기에는 한계가 있다는 연구 결과가 소개됐다. AI가 자료 제작과 1차 검증을 담당하더라도 의료 전문가가 마지막으로 내용을 확인하는 과정이 필요하다는 설명이다.
국내 연구진은 여러 대규모 언어모델을 순차적으로 활용하는 의료 교육자료 제작 시스템을 구축했다. 논문 원문을 기준으로 해당 시스템은 총 7단계로 구성됐으며, 영상의학 전문의 시험 준비를 위한 플래시카드 6,000개와 인포그래픽 833개를 제작한 것으로 전해졌다.
연구진은 이 가운데 11개 영상의학 세부 분야에 해당하는 플래시카드 1,284개를 선별해 사람의 평가와 AI 자동검증 결과를 비교했다. 평가에는 영상의학과 전공의 9명과 전문의 11명 등 의료진 20명이 참여했다.
분석 결과, 자동 품질검사에서 문제가 없다고 분류된 자료에서도 중요한 오류가 일부 남아 있었던 것으로 나타났다. 구체적으로 자동검증을 통과한 텍스트 자료 980개에 대한 1,100건의 평가 가운데, 학습에 영향을 줄 수 있는 중대한 오류를 자동검증이 놓친 비율은 1.00%로 확인됐다. 95% 신뢰구간은 0.50~1.78%였다.
이는 연구진이 사전에 정한 허용 기준인 0.3%보다 높은 수치다. 자료 한 개를 기준으로 분석했을 때의 오류 누락률은 1.12%, 여러 평가자의 다수 의견을 적용했을 때는 0.82%로 집계됐다.
다만 이번 결과를 두고 모든 AI 의료자료의 1%가 잘못됐다고 해석해서는 안 된다. 해당 수치는 특정 생성형 AI 모델과 검증 절차를 적용해 만든 영상의학 시험 준비 자료에서 확인된 결과다. 사용한 모델이나 자료의 종류, 평가 기준, 검수자의 전문성에 따라 오류 비율은 달라질 수 있다는 설명이다.
연구에서는 AI가 제시한 검토 의견을 의료진에게 함께 제공했을 때 오류를 발견하는 횟수가 늘어나는 경향도 관찰됐다. 중대한 오류로 표시된 평가 건수는 AI 의견이 제공되기 전 39건에서 제공된 후 54건으로 증가했다.
연구진은 AI의 검토 의견이 평가자의 비판적인 확인을 돕는 보조 수단으로 활용될 가능성을 제시했다. 그러나 한 집단을 대상으로 전후 결과를 비교한 연구이기 때문에, 오류 발견 증가가 AI의 도움 때문인지 반복 검토나 다른 요인 때문인지는 확정하기 어렵다고 설명했다.
인포그래픽과 표를 대상으로 한 예비평가에서도 중요한 오류가 발견된 것으로 알려졌다. 다만 이미지 평가는 19개 자료만을 대상으로 진행돼, 이미지형 의료자료 전반의 정확성을 판단하기에는 추가 연구가 필요한 상황이다.
이번 연구는 생성형 AI가 의료 교육자료 제작 시간을 줄이고 대량의 학습 콘텐츠를 만드는 데 활용될 가능성을 보여준다. 동시에 AI가 생성하고 AI가 다시 검증한 결과만으로 자료를 바로 배포하는 방식에는 주의가 필요하다는 점도 확인한 것으로 풀이된다.
의료 정보는 작은 오류도 학습자의 판단에 영향을 줄 수 있다. 현재로서는 AI가 초안 작성과 반복적인 점검을 담당하고, 해당 분야 전문가가 출처·수치·의학적 표현을 최종적으로 확인하는 방식이 비교적 안전한 활용 방향으로 제시되고 있다.
이번 연구 결과는 국제학술지 ‘npj Digital Medicine’에 게재됐다.
