한겨레

AI 새 위협요소 ‘적대적 사례’

# 2017년 7월 미국 워싱턴대·미시건대 공동연구진은 ‘정지’ 교통표지판에 스티커를 붙이자, 인공지능 이미지 인식모델이 ‘속도제한 시속 45마일’ 표지판으로 인식했다는 논문을 발표했다. 사람이 ‘팬더’라고 판단하는 영상에 대해 인공지능도 60% 수준 신뢰도로 팬더라고 판단했다. 데이터를 살짝 변형하니 사람들은 여전히 팬더라고 인식했지만 인공지능은 99% 넘는 신뢰도로 ‘긴팔원숭이’라고 잘못 판단했다.

# 2019년 3월 중국 텐센트의 킨시큐리티 연구소가 자율주행차 시스템이 도로를 역주행하게 하는 실험에 성공했다. 킨 연구소는 테슬라 전기차의 자율주행 시스템을 대상으로 도로에 작은 점 3개를 칠하고 주행하도록 했는데, 테슬라는 이 점 때문에 중앙선을 넘어 맞은편 차선을 달려 역주행했다. 인공지능은 도로 교차로 지점에 표시된 점들로 인해 차선을 잘못 인식하고 맞은편 도로로 넘어간 것이다.

인공지능 이미지 식별 기능의 약점을 이용해 의도적으로 잘못된 판독을 하게 만드는 사례가 인공지능의 위험요소로 떠오르고 있다. 인공지능의 취약점을 드러낸다고 해서 ‘적대적 사례(adversarial examples)’라고 불린다. 구글의 인공지능 연구그룹은 2017년 12월 스티커 한 장으로 인공지능의 이미지 식별 기능에 혼란을 초래할 수 있다는 실험 결과를 담은 논문을 공개했다. 심화신경망을 활용한 인공지능의 이미지 식별률이 인간을 능가하는 수준으로 발달하고 있지만, 동시에 사람이 이해 못할 취약점이 드러나고 있다.

인공지능의 이미지 인식 결함을 드러내는 ‘적대적 사례’는 자율주행이나 군사공격, 의료진단과 같은 영역에서 사용될 경우 치명적 결과로 이어져, 인공지능의 신뢰성을 근본적으로 위협하는 요소다. 더욱이 이러한 ‘적대적 사례’ 현상을 일으키는 스티커나 이미지는 사람 눈에 그 특징이 식별되지 않는 추상적 문양이다. 사람이 위험성을 사전에 적발하기 어렵기 때문에 인공지능 환경에서 보안에 던져진 새로운 과제다.

이 때문에 인공지능 이미지 인식이 오인하게 만드는 ‘적대적 사례’의 요인과 절차를 규명하기 위한 노력이 이어져왔는데, 최근 새로운 연구가 공개됐다. 인공지능의 시각적 인식능력은 단순히 사람의 지각방식과 다를 뿐 아니라, 사람이 보지 못하는 것을 볼 줄 아는 특징 때문이라는 연구다.

영국의 과학기술 전문지 <뉴 사이언티스트>에 따르면, 미국 매사추세츠공대 연구진은 일련의 실험을 통해 적대적 사례는 컴퓨터의 시각인지가 인간이 보지 못하는 것을 보는 현상 때문이라는 점을 밝혀냈다. 연구진은 초기에 컴퓨터 이미지 인식의 오류라고 생각하고 알고리즘 개선에 집중했으나, 연구 과정에서 ‘적대적 사례’의 원인이 다른 곳에 있다는 결론에 이르게 됐다. 사람은 동물의 귀 모양이나 코의 길이처럼 특정한 대상의 두드러진 특징을 기반으로 이미지를 인식하는데 인공지능 이미지 인식은 사람이 인식할 수 없는 특징들을 이용해 사물을 인식한다는 점이 이 연구의 발견이다.

연구진은 <뉴 사이언티스트> 기사에서 “우리는 사람이 보지 못하고 기계만 볼 수 있는 특징이 무엇인지 알지 못하고 인간 두뇌는 이해하지도 못한다”고 말하며 이를 인공지능의 ‘취약점’이라고 이름 붙였다.

사람은 인공지능 환경에서도 눈에 보이는 대로 믿는 게 본능인데, 인공지능에 의존하는 영역이 늘어남에 따라 불가피하게 기계만 식별할 수 있는 정보의 종류와 형태가 증가하게 된다. 그 과정에서 현재 인공지능 연구자들에 의해 ‘적대적 사례’가 보고된 상황이다. 하지만 이런 방식의 문제 보고와 해결시도 대신 ‘적대적 사례’를 이용해 악용하려는 시도가 나타날 수 있다. 인공지능과 이미지 인식에 의존하는 사회는 편리하지만, 전에 없는 위험한 사회이기도 하다.

사람이 보지 못하지만 인공지능은 보고 인식 근거로 삼는 그 무엇이 무엇인지를 밝혀내는 연구의 필요성이 주목받는 이유다. 나아가 인간과 기계 인지를 연결시키는 새로운 인간-컴퓨터 상호작용 연구도 필요성이 커지고 있다. 구본권 선임기자 starry9@hani.co.kr