한겨레

“이순신 장군의 청룡언월도가 보관된 장소는?”(기자)

“이순신 장군의 청룡언월도는 현재 대한민국 경상남도 창원시의 창원해양공원 내에 있는 이순신 광장에 위치해 있습니다.”(챗지피티)

챗봇이 자신 있게 ‘오답’을 말했다. 청룡언월도는 <삼국지연의>에서 관우가 사용한 무기이다. 창원해양공원에는 ‘이순신 광장’도 존재하지 않는다. 기자가 답변의 허점을 지적하자 챗봇은 “이순신 장군의 청룡언월도는 경상북도 울진군에 위치한 울진 해양테마파크 내에 있다”는 또 다른 오답을 내놨다. 챗지피티의 흔한 ‘환각’ 현상이다.

■ 챗지피티가 불러온 ‘환각’…재앙 될 수도

환각 현상이란 존재하지 않는 환각을 보는 것처럼, 챗봇이 거짓 정보를 마치 사실인 양 답하는 것을 말한다. 챗지피티가 대중에게 공개된 직후, 국내 사용자 사이에서는 환각 현상을 이용한 ‘챗지피티 놀리기 놀이’가 유행했다. “<조선왕조실록>에 기록된 세종대왕 맥북 던짐 사건에 대해 알려줘”라고 물으면 “세종대왕이 훈민정음(한글)의 초고를 작성하던 중, 문서 작성 중단에 대한 담당자에게 분노하여 맥북프로와 함께 그를 방으로 던진 사건”이라고 답변한다. “거북선의 라이트닝 볼트 발사 메커니즘을 설명해줘”라는 질문에는 거북선에 승선한 승려가 판타지 소설에 나오는 마법인 ‘라이트닝 볼트’를 발사하는 방식을 7단계에 걸쳐 그럴싸하게 설명해낸다. 이런 황당한 답변은 인터넷에서 ‘밈’(Meme·온라인 유행 콘텐츠)이 됐고, 유튜버들도 너나없이 챗지피티가 ‘얼마나 진지한 오답’을 내놓는지 보여주는 콘텐츠를 선보였다.

에이아이(AI)의 환각 현상이 웃음거리에서 그친다면 다행이지만, 인간이 에이아이에 의존하는 순간 환각은 재앙이 될 수도 있다. 구글의 에이아이 챗봇 ‘바드’ 출시를 앞둔 지난 2월 구글 블로그에 챗봇 바드와의 문답이 공개됐다. “9살 아이에게 제임스 웹 우주망원경을 통한 새로운 발견을 어떻게 설명할 수 있을까?” 바드는 세가지 답변을 내놨다. 그중 3번 답변(“제임스 웹 우주망원경은 최초로 우리 태양계 밖의 행성 사진을 찍었다”)이 문제가 됐다. 천체물리학자들은 사회관계망서비스(SNS)에 3번 답변이 틀렸다는 취지의 글을 올렸다. <로이터> 통신은 미국 항공우주국(NASA)에 확인한 결과, 2004년 유럽남부천문대의 초대형 망원경이 촬영한 것이 최초라는 팩트체크 보도를 내놨다. 이 사실이 알려지며 구글 모회사인 알파벳의 주가는 하루 만에 7.8% 급락했다.

미국에서는 30년 경력의 베테랑 변호사가 챗지피티가 창작해낸 ‘거짓 판례’를 인용해 법원에 의견서를 제출한 일이 있었다. <뉴욕 타임스>는 미국의 스티븐 슈워츠 변호사가 낸 10쪽 분량의 의견서에 담긴 판례 중 최소 6개가 거짓이었다고 보도했다. 상대 쪽에서 슈워츠 변호사가 제시한 판례를 도저히 찾을 수 없다며 실제 판결이 아닐 수 있다고 지적하면서 사실이 드러났다. 결국 슈워츠 변호사는 챗지피티의 도움을 받았다고 인정했다. 챗지피티가 끝까지 ‘실제 사건이다’ ‘다른 법률 데이터베이스에서도 찾을 수 있다’라고 답변해 이를 믿었다는 것이다. 그는 자신에 대한 처벌 여부를 결정하기 위한 심문에서 “이 새로운 사이트(챗지피티)를 슈퍼 검색 엔진이라고 잘못 생각했다. 계속해서 챗지피티에 속았다. 부끄럽다”고 말했다.

환각 현상은 인공지능이 정보의 사실 여부와 관계없이 확률적으로 가장 적절한 단어를 조합해 답을 내놓도록 고안됐기 때문에 발생한다. 하지만 챗지피티는 이용자의 피드백을 통해 이런 오류를 수정해 나간다. 지금 챗지피티에 ‘조선왕조실록에 기록된 세종대왕 맥북프로 던짐 사건’을 다시 물으면 “세종대왕이 맥북프로를 던진 사건은 역사적으로 사실이 아니다”라고 답변한다. 챗지피티 개발사 오픈에이아이(OpenAI)는 지난달 31일 환각 현상에 대한 개선 방안을 내놨다. 최종 답변이 아닌 답변의 추론 과정 각각에 대해 사용자들이 평가하게 하고, 이를 기반으로 챗지피티를 학습시키겠다는 내용이었다. 챗지피티의 답변에는 ‘정보의 출처’가 없기 때문에 오답인지 알아보기 힘들다. 챗지피티가 탑재된 마이크로소프트의 검색엔진 ‘빙’은 챗봇의 답변 문장마다 출처와 그 링크를 달아 그 한계를 다소나마 보완하고자 한다.

■ AI, ‘가짜뉴스’ 생성에 악용될 수도

생성형 인공지능이 환각 현상 탓에 만들어내는 잘못된 정보보다 더 위험한 것은, 인간이 인공지능을 이용해 의도적으로 만들어내는 허위 정보이다. 강정수 미디어스피어 이사(전 청와대 디지털소통센터장)는 “내년 미국의 대통령 선거나 한국의 총선거에서 인공지능을 활용한 딥페이크(이미지 합성 기술) 가짜뉴스가 심각한 사회 문제가 될 것”이라고 내다봤다.

앞서 도널드 트럼프 전 미국 대통령이 수갑을 차고 경찰에 연행되는 모습이나 볼로디미르 젤렌스키 우크라이나 대통령이 군대에 무기를 내려놓고 항복하라고 발언하는 모습, 조 바이든 미국 대통령이 트랜스젠더 혐오 발언을 하는 모습 등 인공지능이 만들어낸 가짜 이미지와 영상, 목소리가 소셜미디어에 확산되며 혼란을 일으켰다. 지난달에는 인공지능이 만든 미국 국방부 청사 펜타곤 옆 건물의 폭발 이미지가 퍼지며 미국 증시 주가가 하락하기도 했다.

허위정보 추적 단체인 미국 ‘뉴스가드’는 인간이 아닌 인공지능이 뉴스를 만드는 ‘신뢰할 수 없는 가짜뉴스 사이트’가 150개(6월7일 기준)로 집계됐다고 밝혔다. 불과 한달여 만에 무려 3배로 증가한 수치다.

이 사이트들은 일반적인 언론사 누리집과 다를 바 없는데다 에이아이가 작성한 뉴스라는 사실도 명확하게 밝히지 않는다. 독자들은 인간 기자가 취재해 보도하는 뉴스로 착각할 수밖에 없다. 이 중에는 한국어로 만든 사이트도 있다고 한다. 뉴스가드 공동 최고경영자 스티븐 브릴은 “누군가 고의로 가짜뉴스를 대량 생산하기 위해 인공지능을 활용할 수 있다”고 경고했다.

황근 선문대 미디어커뮤니케이션 교수도 “빅데이터를 가진 인공지능은 사람들의 이목을 끌 만한 가짜뉴스를 맞춤형으로 제공하는 데 탁월한 능력이 있다”며 “이는 사회의 판단력을 흐리고 민주주의를 후퇴시키게 될 것”이라고 우려했다.

■ EU, ‘허용할 수 없는 위험’·‘고위험’ AI시스템 분류

챗지피티가 가져올 긍정적 변화만큼 그 부작용이 주목받으면서 인공지능 규제에 대한 논의가 본격화하고 있다. 유럽연합(EU)은 지난달 인공지능 규제 법안을 유럽의회 소관 상임위원회에서 통과시키는 등 인공지능 규제에 가장 적극적으로 나섰다. 유럽연합은 인공지능의 위험을 4단계(①허용할 수 없는 위험 ②고위험 ③저위험 ④최소 위험)로 구분하고 위험 등급에 비례해 관리할 것을 제안했다.

‘허용할 수 없는 위험’으로 분류된 영역은 인공지능 시스템 이용이 완전히 금지된다. 인공지능이 개인의 ‘사회적 점수’를 매겨 분류하거나, 인터넷이나 폐회로텔레비전(CCTV) 영상에서 얼굴 이미지를 수집해 데이터베이스를 구축하는 행위가 그중 하나다. 인간의 건강과 안전, 기본권에 높은 위험을 야기할 가능성이 있는 ‘고위험’ 영역에는 인공지능 시스템 이용이 원칙적으로 금지되지만 적합성 평가 등 몇가지 요건을 충족하면 허용될 수 있다. 대표적으로 교육 분야가 고위험군에 속한다. 유럽연합의 법안은 “교육기관 입학 또는 배정에 중대한 영향을 미치거나 시험에서 사람을 평가하는 행위 등은 고위험 인공지능 시스템으로 분류돼야 한다. 인공지능 시스템이 인간의 학업 과정을 결정하고 이에 따라 인간의 생계유지 능력에 영향을 줄 수 있기 때문”이라고 설명한다. 채용과 노무관리도 고위험 영역이다. 인간의 직업적 성취와 생계, 노동권에 큰 영향을 미칠 수 있고 여성·장애인, 특정 인종에 대한 과거의 차별을 반복할 위험이 있기 때문이다. 유럽연합은 ‘금지되는 인공지능 이용 행위’에 대한 과징금 규정도 마련하고 있다. 그 액수는 최대 4000만유로(556억원) 또는 전세계 연간 매출액의 7%에 이른다.

이번에 통과된 합의안은 지피티와 같은 생성 인공지능 ‘파운데이션(기반) 모델’에 대한 규제를 추가했다. 생성 인공지능이 만든 콘텐츠에 대해서는 인공지능이 만들었다는 사실을 알려야 하고, 인공지능이 학습한 데이터의 저작권을 공개해야 한다는 내용이 담겼다. 이러한 ‘투명성 조항’은 생성 인공지능에서 비롯된 가짜뉴스 문제를 해소하는 데 다소 도움이 될 것으로 보인다. 다만 향후 유럽의회, 집행위원회, 이사회로 구성된 ‘3자 협의’를 통과해야 하므로 법안 시행까지는 최소 수년이 걸릴 전망이다. 챗지피티를 개발한 오픈에이아이의 샘 올트먼 최고경영자는 유럽연합의 인공지능 규제안에 대해 “준수하기 어려울 경우 유럽에서 사업을 철수할 것”이라며 반발하기도 했다. 한상기 테크프론티어 대표는 “인공지능 기술이 뒤처진 유럽은 ‘인공지능 규제’를 선도하면서 주도권을 확보하려는 것으로 보인다”면서도 “인공지능으로 인해 발생하는 문제의 파급력이 매우 클 수 있기 때문에 인공지능 규율(규제)부터 마련하는 게 맞는다”고 말했다.

정혜민 기자 jhm@hani.co.kr