한겨레

2016년 알파고-이세돌 대국에서 특이한 점은 누구도 알파고의 포석과 행마를 이해할 수 없었다는 점이다. 해설하는 프로기사들도 연신 “도무지 알 수 없는 알파고의 수”라고 반복했으며 알파고를 만든 딥마인드의 개발자도, 대신 돌을 놓은 아자 황도 돌의 의미를 설명할 수 없었다. 이해도, 설명도 할 수 없지만 알파고의 수는 대적 불가능이었다. 작동원리를 알 수 없지만 뛰어난 효율성의 인공지능을 어떻게 받아들일 것인가? 효율 개선이 필요한 많은 분야에 적용해 비약적 성취를 얻을 것인가, 작동 방법을 알아 통제할 수 있기 전까지는 신뢰를 유보할 것인가.

‘설명가능한 인공지능’ 개발이 인공지능 연구의 최전선으로 부상하고 있다. 첨단연구의 산실인 미국 국방부 방위고등연구계획국(DARPA)는 2017년 ‘설명가능한 인공지능’ 개발에 뛰어들었다. 국내 과학기술정보통신부도 지난해 ‘차세대 학습·추론 인공지능’ 개발 과제를 발주해 울산과학기술원의 설명가능 인공지능 연구센터(센터장 최재식)가 연구를 수행하고 있다. 한국정보화진흥원은 2018년 ‘설명가능한 인공지능’을 정보통신분야에서 떠오를 기반기술로 선정했다.

최근 국내에서도 관련 포럼이 잇따라 열렸다. 8월24일 서울대 법과경제연구센터(센터장 고학수), 고등과학원 초학제연구단(단장 홍성욱)은 각각 프레스센터와 고등과학원에서 인공지능의 책임과 윤리를 주제로 내건 국제 포럼을 열어 ‘설명가능한 인공지능’을 다뤘다.

#왜 설명가능 인공지능인가

지금까지 도구는 인간이 설계한 방식대로 작동했기 때문에 기계가 스스로 출력값의 처리 방식에 대해 설명할 필요가 없었다. 인공지능 기계학습이 뇌 구조를 모방한 심화신경망 방식의 딥러닝을 통해 뛰어난 성과를 내고 있지만, 이는 인공지능을 블랙박스로 만들었다. 심화신경망은 서로 복잡하게 연결된 수백개의 계층에서 수백만개의 매개변수들이 상호작용하는 구조로, 사람이 인지하는 게 불가능하다. 인공지능의 결과와 효율성은 탁월해졌지만 알고리즘은 더 불투명해지고 인간 인지 영역을 넘어섰다.

미국 피츠버그대학병원은 10~11%에 이르는 폐렴환자 사망률을 낮추기 위해 신경망 기반 기계학습 연구를 했는데, 천식 증상이 나타나면 폐렴이 호전된다는 결론이 나왔다. 폐렴에서 천식이 나타나면 위중해진 것이기 때문에 집중진료를 한 결과였다. 인과관계를 설명하지 못한 상태에서 결과에 의존할 때의 오류다. 투자, 의학적 판단, 군사적 결정에서 인공지능이 아무리 효율적이라고 해도, 판단의 근거를 설명할 수 없다면 사용되기 어렵다. 미 국방부가 핵심연구과제로 삼은 배경이다. 아이비엠(IBM)의 최고경영자 지니 로메티는 올해초 다보스 세계경제포럼에서 “기업은 인공지능 알고리즘의 결정이 어떻게 도출됐는지 설명해야 할 의무가 있다. 그렇게 할 수 없는 기업이라면 퇴출되어야 한다”고 말했다.

고양이 사진을 식별할 때 결과만 제시하던 것과 달리 ‘설명가능 인공지능’은 털·귀·수염 등 판단의 근거를 제시해 사람이 이해할 수 있는 인터페이스를 만드는 구조다. 하지만 정확성과 설명가능성은 상충적 관계라서, 복잡할수록 정확하지만 이해는 어렵다. 사람이 이해하기 위해서는 사실 그대로 전달하는 대신 인간 언어와 논리로 추상화하고 재구성해야 한다. 24일 서울대 포럼 발표에서 발표한 다르파의 설명가능 인공지능 프로젝트 책임자 데이비드 거닝은 “기계학습이 높은 예측 정확성을 유지하면서 더욱 설명력을 갖도록 해, 이용자가 인공지능을 이해하고 신뢰해 인공지능 기술을 효과적으로 관리하도록 돕는 게 목표”라고 밝혔다. 거닝은 “심화신경망 안의 개념에 라벨을 붙이는 법을 찾는게 열쇠”라고 말한다. 심화신경망 내부에서 자체 대화가 가능하도록 해, 인공지능 내부에서 무슨 일이 일어나고 있는지를 스스로 말하게 만드는 ‘햄릿전략’으로 불린다.

#설명가능한 인공지능이면 OK?

인공지능이 설명가능해지면 그동안 판단과 결정 근거가 부족해 사용될 수 없던 영역에 투입될 수 있다. 흑인을 고릴라로 분류하는 얼굴인식이나 ‘의사는 남자, 간호사는 여자’로 번역하는 인공지능의 차별도 탐지와 교정이 가능해진다. 울산과기원 연구센터도 시각과 의료 영역의 설명가능 인공지능에 맞추고 실용적 결과물 산출을 목표로 하고 있다.

설명가능한 인공지능은 사회문제를 해결하고 인간과 인공지능의 협업을 확대할 획기적 도구로 전망되지만 과도한 기대는 위험하다. 고등과학원 초학제연구단의 전진권 박사는 이날 포럼에서 ‘설명’이 갖는 특성과 한계를 지적했다. 설명은 인간 사고와 소통의 방식으로, 실제를 빈틈없이 커버하는 대신 특징적이거나 기존 신념에 부합하는 모델이 채택된다. 설명가능한 인공지능은 결과를 바꾸지 않고도 사람들의 생각과 신뢰수준을 바꿀 수 있는데 이는 위험스런 점이기도 하다. 또한 설명만으로 충분하지 않아, 사람들은 설명보다 공정성·첫인상 등 다른 가치에 의해 움직인다. 좋은 설명은 사람들이 동의하는 구조라는, 사회적 성격을 갖기 때문에 기계적으로 처리하는 데 한계가 있다. 기계적으로 투명성과 설명이 주어진다고 해서 인공지능의 문제가 해결되는 것은 아니다.

전 박사는 “설명가능 인공지능은 인간이 인공지능을 이해할 수 있게 도와주는 도구이며, 그런 면에서 인공지능의 투명성, 공평성, 책무성에 대한 해법으로 주목받고 있다. 하지만 고유의 한계가 있어 모든 문제를 해결해줄 만병통치약이 아니다. 설명가능 인공지능이 유용하게 사용되려면 학계와 시민사회의 긴밀한 소통이 필요하다”고 말했다.

구본권 <한겨레> 사람과디지털연구소장 starry9@hani.co.kr