루닛, 스웨덴 왕립연구소 비교 평가서 최고 정확도
연구진 “독립적 판독기로서 충분한 진단 수행능력”
연구진 “독립적 판독기로서 충분한 진단 수행능력”

유방엑스선 사진 분석에 사용된 ‘루닛 인사이트 MMG’ 시연 영상 갈무리.

민감도(Sensitivity)와 특이도(Specificity)를 종합한 지수(AUC). 곡선 그래프의 안쪽 면적이 넓을수록 높은 정확도를 가진다고 판단되며, 알고리즘 1(Algorithm 1, 가장 짙은색)이 루닛의 그래프.
상용 알고리즘에 대한 첫 평가…전문의 진단 결합하면 ‘더 정확’ 3개의 인공지능이 이 자료를 각기 판독한 결과 루닛의 알고리즘인 `AI-1'이 정확도(AUC) 지수에서 0.956을 기록해 다른 알고리즘보다 통계적으로 유의미한(p<0.001) 차이를 보이며, 가장 우수한 성적을 냈다고 루닛은 밝혔다. 루닛 알고리즘은 또 유방암을 정확하게 찾아내는 ‘민감도’ 지표에서도 81.9%로, 각각 67%, 67.4%를 기록한 다른 두 알고리즘을 큰 격차로 따돌렸다. 이는 특히 이중판독 환경에서 1차 판독의들이 기록한 77.4%보다 높은 정확도다. 이는 전문의의 2차 판독 결과 80.1%보다도 높은 것이지만, 연구진은 이에 대해선 특별한 언급은 하지 않았다. 2차 판독과의 차이는 유의미한 것이 아닌 것으로 판단한 듯하다. 민감도는 질병이 있는 사람을 질병이 있다고 판단하는 확률을 말한다. 연구진은 논문 요점 해설에서 "3개의 알고리즘 중 1개는 전문의 1차 판독보다 더 정확했다”며 “그러나 유방암 양성 사례를 가장 많이 찾아낸 건 이 최고의 알고리즘과 전문의 1차 판독을 결합할 때였다"고 밝혔다. 루닛 알고리즘과 1차 전문의 판독 결과를 결합했을 때의 정확도는 88.6%였다. 이는 영상의학과 전문의들이 두 차례에 걸쳐 판독한 정확도(86.8%)보다도 높은 비율이다. 연구진은 “이번 임상 연구에서 상용 인공지능 알고리즘 1개는 독자적인 판독기 역할을 하기에 충분한 진단 수행 능력을 보였다”고 평가했다. 이번 연구는 의료기관에서 실제로 이용하고 있는 유방조영술 인공지능 진단 알고리즘에 대한 첫 비교 평가이자, 외부기관에서 독립적으로 평가를 진행했다는 데 의미가 있다고 루닛은 밝혔다. 서범석 루닛 대표는 보도자료를 통해 “연구를 주도한 카롤린스카연구소의 프레드릭 스트랜드 박사와 2017년부터 연구에 대한 구체적 논의를 시작했으며, 루닛 알고리즘을 활용해 연구할 수 있게끔 알고리즘을 제공해 왔다"고 말했다. 루닛 홍보담당자는 "연구 논문에선 3개의 인공지능 알고리즘에 각기 1, 2, 3 번호를 붙이고 개발업체를 표시하지 않았으나, 최고점을 받은 `AI-1'번이 루닛의 알고리즘이란 점을 외부에 공표해도 좋다는 허락을 연구소로부터 받았다"고 밝혔다.

학술지 ‘미국의학협회 종양학’(JAMA Oncology) 온라인 홈페이지에 공개된 논문 화면 갈무리
항상 시민과 함께하겠습니다. 한겨레 구독신청 하기