한겨레

지난달 22일, 미국 국방부(펜타곤) 옆 건물이 불타는 ‘가짜 사진’이 유포되면서 뉴욕 증시가 요동치는 대혼란이 발생했다. 인공지능에 의해 조작된 이미지가 진짜처럼 받아들여져 순식간에 소셜미디어를 통해 확산한 결과다. 향후 선거와 정치과정에도 영향을 줄 수 있어 우려가 커지고 있다. 생성형 인공지능을 통해 후보자의 이미지, 동영상, 음성 조작도 손쉽게 만들 수 있게 되면서 여론 조작에 악용될 가능성도 없지 않다. 내년 미국 대선, 그리고 한국 총선을 앞두고 민주주의에 인공지능발 경보음이 울리고 있다.

■ 딥페이크와 허위정보

가장 위협적인 것은 펜타곤 옆 건물이 불타는 조작된 사진처럼 진짜와 식별되지 않는 가짜를 만들어내는 ‘딥페이크’ 기술이다. 딥페이크는 인공지능을 이용해 얼굴 생김새나 음성 등을 실제처럼 조작한 영상 등을 일컫는다. 실제로 가짜 브루스 윌리스가 러시아 광고에 출연하고 테슬라 자동차를 파는 가짜 라이언 레이놀즈 동영상이 트위터에 등장했다. 가짜 배우가 진짜 배우의 자리를 위협하고, 챗지피티로 쓰인 대본이 작가를 대체할 수 있다는 공포가 확산하면서 지난달 2일에는 미국작가조합이 16년만에 파업에 돌입했다.

딥페이크는 할리우드 유명 배우뿐 아니라 유력 정치인도 타깃으로 삼고 있다. 지난 1월에는 조 바이든 미 대통령의 목소리를 도용해 마치 백악관 회견을 통해 트랜스젠더 혐오 발언을 내뱉은 것처럼 꾸며낸 인공지능 영상이 만들어졌다. 3월에는 도널드 트럼프 전 미국 대통령이 수갑을 차고 경찰에 연행되는 조작된 이미지가 유포되었다. 당시 트럼프는 성 추문 사건으로 체포 전망이 제기되던 때라 파장이 컸다.

지난달 16일에는 인공지능으로 빚어질 혼란에 대응하기 위해 사상 처음으로 인공지능 청문회가 미국 의회에서 개최되었다. 청문회가 시작되자 스피커에선 민주당 리처드 블루먼솔 상원의원의 개회사가 흘러나왔는데, 이내 인공지능으로 합성한 가짜 목소리였음이 드러났다. 인공지능 기술과 결합한 허위 정보의 파괴력을 짐작하게 하는 사례다.

전문가가 아니더라도 달리(DALL-E) 등 생성형 인공지능을 이용해 원하는 이미지를 요청하면 쉽게 가짜 이미지를 만들 수 있는 시대다. 심지어 특정인의 목소리도 일레븐랩스(ElevenLabs)와 같은 프로그램을 사용해 뚝딱 만들 수 있다. 동영상의 경우 아직 정밀함이 떨어지지만, 시간문제라는 전망이 높다. 딥페이크를 통해 조작된 이미지나 음성은 선거 기간 동안 상상을 뛰어넘는 영향력을 발휘할 수 있다. 예컨대, 바이든 대통령을 공격하는 노골적인 조작 이미지가 선거 직전에 유포되고 트럼프가 소셜 미디어에 공유하면서 진짜라고 주장하는 상황이 벌어진다면 어떻게 될까? 인공지능의 대부로 불리는 제프리 힌튼 토론토대 교수도 최근 “생성형 인공지능으로 인해 가짜 이미지와 텍스트가 너무 많다”며 “진실과 거짓을 구분하지 못할 수 있다는 점이 두렵다”고 말했다.

■ 여론조작

챗지피티와 같은 대화형 인공지능을 이용한 여론 조작도 민주주의를 위협하는 중대 위험요인으로, 미국 의회의 인공지능 청문회에서도 우려가 제기되었다. 예를 들어, 챗지피티가 투표 절차에 대해 잘못된 정보를 제공하거나 선거 캠프가 인공지능의 예측을 활용해 유권자들이 특정 반응이나 행동을 하도록 유도할 수 있다. 청문회에서 챗지피티의 아버지로 불리는 샘 올트먼 오픈에이아이(OpenAI) 최고경영자는 “가장 우려되는 것 중 하나는 이러한 모델이 설득과 조작을 통해 일대일 대화형 허위 정보를 제공할 수 있는 능력”이라고 경고한 바 있다.

뉴스 신뢰도를 평가하고 허위정보를 모니터링하는 미국 비영리단체 뉴스가드에 의하면 사람 기자 없이 ‘뉴스봇’을 사용해 하루에도 수백건의 기사를 쏟아내는 뉴스 정보 사이트가 지난달 1일에만 49개로 추정되며, 향후 가파르게 증가할 것이다. 인공지능이 만들어내는 ‘새로운 시대의 콘텐츠 농장’은 사람이 작성하는 가짜 뉴스 사이트보다 생산성이나 규모면에서 훨씬 강력하며 여론조작 위험성도 크다.

■ 공론장의 파괴, 대안은?

허위정보가 확산하고 여론 조작이 만연할 때 공론장의 붕괴는 필연적이다. 특정 입장을 반복하도록 훈련된 인공지능 메시지가 소셜미디어 계정을 통해 순식간에 전파될 경우 이견과 토론은 사라지고 생산적 공론 과정은 파괴된다.

더 큰 문제는 딥페이크와 생성형 인공지능이 선거에 관여하지 않아도 혼란을 야기할 수 있다는 점이다. 무엇이든 가짜가 될 수 있다는 생각, 즉 ‘우물이 오염되었다’는 인식이 퍼지면 진짜 뉴스도 외면당하게 된다.

미국 워싱턴대 제빈 웨스트 교수는 생성형 인공지능 기술이 민주주의에 미치는 가장 심각한 문제로 “진짜 같은 콘텐츠를 저렴한 비용으로 대량 생산하고 유포할 수 있게 되었다”고 지적한다. 그는 허위정보를 바로잡는 데 필요한 자원의 양은 허위정보 생산 비용보다 훨씬 많이 소요된다는 ‘브랜달리니의 법칙’을 들면서 우려를 표했다.

어떻게 대응해야 할까? 모든 정치광고에 인공지능 활용 여부를 명시하자는 제안이 주목을 받고 있다. 미국 민주당 소속 이베트 클라크 상원의원이 관련 법안을 제출한 바 있다. 콘텐츠의 사실 여부를 알려주어 허위정보를 판별해낼 수 있는 정교한 팩트체크의 중요성도 커지고 있다.

한귀영 사람과디지털연구소 연구위원 hgy4215@hani.co.kr