한겨레

요즘 신경과학 분야에서 가장 주목받는 과학자를 꼽으라면, 잭 갤런트 버클리 캘리포니아대 신경과학과 교수도 그중 한 명일 거다. 얼핏 보기에 정의롭지 않은 서부의 보안관처럼 생긴 그는 마르고 명민한 인상을 가졌으며 말투가 공격적이고 능글맞은 구석이 있는 전형적인 미국인이다. 늘 자신만만한 말투로 강연을 하고 자신의 연구가 얼마나 중요한지 이미지와 동영상으로 친절히 설명하는 데 능숙한 과학자로도 유명하다. 그는 2005년부터 꾸준히 기능성자기공명영상장치(fMRI)를 이용해 사람들의 머릿속에서 벌어지는 뇌 활동을 측정해 생각을 엿보는 작업을 꾸준히 해왔다. 이른바 마음을 읽는 기술, 이 얼마나 매력적인가! 그의 연구는 늘 학계뿐 아니라 대중들로부터 관심을 한 몸에 받고 있다.

2011년 9월, 그는 연구 동료들과 함께 생물학 저널 <커런트 바이올로지>(Current Biology)에 아주 흥미로운 논문 한 편을 실었다. 실험참가자들을 기능성자기공명영상장치에 조심스럽게 눕힌 뒤, 그들에게 짧은 영화 동영상들을 보여주고는 그들이 무슨 영화를 봤는지 뇌 활동만으로 재현하는 실험에 성공한 것이다.

꿈과 공상을 찍는 카메라

실험은 매우 간단하다. 먼저 영화 영상을 보여주면서 기능성자기공명영상장치로 실험 참가자의 뇌 활동을 측정한다. 동영상을 보는 동안 실험참가자들의 대뇌 시각피질은 영화의 시각정보를 처리하느라 바쁘게 움직였을 것이다. 그는 사전에 실험참가자들의 뇌가 영상을 보는 동안 어떻게 반응하는지, 영상 데이터와 뇌 활동을 연계시킨 엄청난 아카이브를 확보했다. 그들은 이 데이터를 얻기 위해, 유튜브에서 무작위로 가져온 1800만초에 해당하는 영상을 사용했다고 한다. 그러고 나서 영화를 보여주면서 시각피질 활동을 특정하면, 아카이브의 데이터를 바탕으로 그들이 지금 어떤 영상을 보고 있는지 영상을 재현하는 일이 가능했던 것이다.(참조 gallantlab.org/index.php/press)

실험은 간단했지만, 영상을 재현하기 위한 분석은 매우 복잡하고 지루한 과정을 거쳐야만 했다. 영상의 형태와 동작 정보가 뇌 활동을 어떻게 유발하는지 그 관계를 알려주는 컴퓨터 모델은 이 분석 과정에서 필수적이다. 시각피질의 뇌 활동만 특정하고도 그가 무엇을 보고 있는지 알아맞힐 수 있다니, 실로 놀라운 기술이었다.

아직은 원래 보여준 영상과 재현한 영상 사이에 색깔 차이가 있긴 하다. 그러나 우리 뇌가 어떻게 색깔을 인식하고 처리하는지 칼라코딩 과정을 잘 알고 있기 때문에, 색깔을 비슷하게 맞추는 노력은 10년 안에 끝날 것으로 기대한다.

현재 자극으로 제시한 영상과 재현한 영상 사이에 해상도도 차이가 크게 난다. 하지만 마음을 읽는 기술 분야에서 처음 시도된 실험이라는 점을 고려해준다면, 20~30년 뒤에는 고해상도 영상을 재현하는 것은 충분히 가능하리라. 시간은 과학자들의 편이니까.

잭 갤런트의 마음을 읽는 기술은 우리에게 어떤 미래를 열어줄 것인가? 이 기술이 현실화된다면, 우리는 눈을 감고 공상을 하는 과정을 영상으로 담아낼 수 있을 것이다. 미약하게나마 공상도 시각피질을 자극하기 때문이다.

우리가 자는 동안 꿈을 꾸면 시각피질을 측정해 그것을 동영상으로 남기는 일도 가능해진다. 이때 영상은 공상보다 더 선명할 것이다. 이 시대가 되면 인간은 꿈이라는 창의적이고 전위적인 이야기를 찍는 영화감독, 즉 창작자가 되는 세상이 온다는 얘기다. 만약 당신이 운이 좋으면, 출연료를 지급하지 않고도 유명 배우가 나오는 꿈을 촬영할 수 있을 것이다. 무지막지하게 운이 좋다면, 유명 배우가 등장하는 야한 꿈을 꿀지도 모른다. 이런 영상이 어둠의 시장에서 암거래되는 날이 머지않아 올 것이다.

실제로 한 언론과의 인터뷰에서 잭 갤런트 교수는 자신의 연구에 대해 이런 말을 했다. “이 연구는 마음속의 영상을 재현해내기 위한 중요한 도약이다. 우리는 인간 마음의 영화 속으로 들어가는 창문을 열었다.” 아주 근사한 말이다!

실험참가자에게 동영상 보여준 뒤
대뇌피질 활동 관찰해 영상 재현
아직 원본과 색상 차이 있지만
머지않아 고해상도 시대 열리면
공상을 영상으로 담는 일도 가능

대뇌피질 ‘어휘지도’ 작성 성공
언어 개념 저장장소 밝혀내
말하지 않고도 생각 전할 수도
뇌정보 해독 기술 더 발전하면
혼수상태 환자와 대화 시대 성큼

“인간 마음의 영화로 가는 창문 열어”

듣기만 해도 흥미로운 상상을 마구 불러일으키는 실험에 성공한 잭 갤런트는 좀더 무모한 실험에 도전한다. 그리고 그 결과를 지난 4월말, 저명한 과학저널 <네이처>의 표지를 장식하는 놀라운 논문 한 편으로 세상에 공개했다. 뇌가 언어의 개념을 어디에 저장하고 인출하는지 보여주는 ‘어휘 지도’를 대뇌 피질 위에 상세히 그리는 데 성공한 것이다.

물론 그 이전에도 언어에 대한 뇌의 의미체계가 제시된 적은 있었다. 하지만 해상도가 매우 떨어지는 대략의 영역을 나타내는 데 그쳤었다. 반면, 잭 갤런트와 그의 동료들은 우리가 일상에서 사용하는 수백개의 어휘들이 뇌의 어떤 부위에서 처리되는지, 그 구체적인 지도를 대뇌 피질 위에 정교하게 표시했다는 데 각별한 의미가 있다.

대뇌 피질은 언어 같은 고차원적 사고 활동을 담당하는 매우 중요한 영역이다. 잭 갤런트 연구진은 미국 라디오 방송에서 나오는 말소리를 실험참가자들에게 2시간 넘게 들려주면서 그들의 뇌 활동을 기능성자기공명영상으로 촬영했다. 실험참가자들에게 어니스트 헤밍웨이의 <노인과 바다>를 들려주기도 하고, 허먼 멜빌의 <모비딕>을 읽어주기도 했다.

만약 같은 단어가 반복적으로 나올 때마다 뇌의 특정 영역이 일정한 활동 양상을 보인다면, 우리는 그 영역에 그 단어가 저장돼 있다고 간주할 수 있다. 예를 들어, ‘노인은 오늘따라 기분이 좋지 않았다. 노인은 에스프레소 한 잔을 시켜놓고 신문을 뒤적거리며 재미있는 기사를 찾아보았다’라는 문장을 읽어주는데, 노인이라는 단어가 들릴 때마다 실험참가자의 좌뇌 측두엽 위쪽에서 뇌 활동이 강하게 감지된다면, 그곳에 노인이라는 단어가 저장돼 있다고 볼 수 있다. 이런 방식으로 특정 단어가 대뇌 피질의 어느 부위를 활성화시키는지를 측정한 것이다. 무려 수백개의 단어들에 대해서 말이다. 결국 연구팀은 대뇌 피질 위에 방대한 양의 어휘를 세세하게 표시한 ‘어휘 지도’를 완성하게 됐다.

한 세미나에서 잭 갤런트는 사람마다 언어지도가 다르다고 했었다. 만약 그렇다면, 그가 만든 지도가 맞는지 아닌지, 다른 연구자들이 확인할 길이 없다. 대뇌 피질에 보편적인 어휘 지도가 존재하지 않다는 것은 흥미로운 결과이지만, 다른 연구자들에 의해 재현이 어렵다면 다음 단계로 나가는 데 어려움이 있기에 아쉬움이 남았던 세미나였다.

<네이처>에 실린 논문을 보니, 여러 사람들에게 공통적으로 나타나는 어휘 분포 패턴이 제시돼 있었다. 그걸 만드느라 저널에 논문을 싣는 데 3년의 시간이 더 걸렸는지도 모른다. 이제 다른 연구자들도 그의 실험이 맞는지 재현할 수 있는 길이 열렸다. 한국인의 어휘 지도는 미국의 어휘 지도와 어떻게 다른지 궁금하다. 미국인의 뇌에 ‘old man’이 저장된 대뇌 피질 영역에 한국인에게는 ‘노인’이라는 단어가 저장돼 있는지 알고 싶다는 얘기다.

잭 갤런트는 대뇌 피질 위 100여개의 부위에 어휘의 의미 체계가 넓게 분포돼 있음을 보여주었다. 특히 흥미롭게도, 인간 뇌에서는 추상적인 개념보다는 사회적 관계나 사람에 대한 묘사 어휘가 대부분의 영역을 차지하고 있었다. 인간은 그만큼 구체적이면서 사회적 어휘들을 많이 알고 있고 사용하고 있었다.

같은 단어가 서로 다른 부위에 여러 번 반복적으로 나타나는 경우도 있었다. 예를 들어 ‘꼭대기’(top)는 의상이나 외형과 관련된 어휘를 처리하는 부위에도 저장돼 있고, 숫자나 측정과 관련된 어휘를 처리하는 부위에서도 저장돼 있었다. 뇌는 연관어들을 유사한 영역에 같이 저장해두면서 효과적으로 인출해서 사용하고 있었던 것이다.

대뇌 피질의 어휘 지도를 얻게 되면 이것을 우리는 어디에 활용할 수 있을까? 앞으로 사람들의 대뇌 피질 활동을 정교하게 측정하게 된다면, 내가 말하지 않아도 내 생각을 말풍선에 담아 글로 옮길 수 있을 것이다. 사람들의 생각을 연속된 단어들의 형태로 읽어내는 말풍선 만화 같은 세상이 올지도 모른다는 얘기다.

‘대뇌 프라이버시’가 이슈 될 수도

잭 갤런트 교수는 이번 연구에 대해 임상적인 응용 가능성을 좀더 강조했다. “운동신경 손상 등으로 인해, 의미는 떠오르지만 이를 말로 옮기지 못하는 사람들의 의사소통을 돕는 데 어휘 지도가 큰 도움이 될 것이다. 여러 사람들 사이의 공통적인 의미체계 가운데, 개인별로 나타난 섬세한 차이들에 대해서도 상세히 규명할 수 있도록 향후 연구를 이어나갈 계획이다.”

뇌공학 기술의 발달로 우리는 지금 사람들이 무엇을 보고 무슨 생각을 하는지, 더 나아가 무슨 꿈을 꾸는지도 어렴풋이 짐작하는 것이 가능해졌다. 이러한 기술을 공학자들은 ‘뇌정보 해독’(Brain decoding, 혹은 mind-reading technology)이라 부른다. 그 결과물이 아직은 걸음마 수준이지만, 뇌 활동만으로 마음을 읽을 수 있다는 그 가능성을 증명했다는 것만으로도 각별히 의미가 있다. 아마도 20~30년 뒤에는 놀라운 수준까지 올라갈 것으로 기대된다. 다시, 시간은 과학자들의 편이니까.

잭 갤런트의 말처럼, 이 기술이 제일 먼저 활용될 분야는 임상의학 쪽이다. 뇌졸중 환자나 혼수상태에 빠져 있는 환자, 눈 하나 깜빡일 수 없는 전신마비 환자나 루게릭 등 신경퇴행증에 걸린 사람들이 말로 자신을 표현할 수 없을 때 이 기술은 유용할 것이다. 뇌영상장치로 뇌 활동을 측정해 그들의 마음을 읽고 다른 사람들이 그들을 좀더 잘 이해할 수 있게 해주려는 데 이 기술은 제일 먼저 사용될 것이다.

뇌는 살아있으나 몸은 굳어버린, 그래서 표현을 잃어버린 환자들은 마음을 읽는 기술이 더없이 반가우리라. 하지만 남들이 내 생각을 훔쳐볼까봐 노심초사하는 이들에게는 이 기술은 무시무시한 공포로 다가올 것이다. 마음을 읽는 기술을 통해 남들의 마음을 훔쳐 읽고 그들의 의사결정을 조작하려는 노력은 미래 사회에 ‘대뇌 프라이버시’를 중요한 사회적 이슈로 떠오르게 할 것이다. 앞으로 미래는 내 뇌 안의 정보를 잘 간수해야 하는, 살벌한 시대가 될지도 모른다.

▶ 정재승 카이스트(KAIST·한국과학기술원) 바이오및뇌공학과 교수. 카이스트 물리학과에서 학부를 졸업하고 박사를 받은 뒤 예일대 정신과 연구원, 컬럼비아의대 정신과 조교수 등을 거쳤다. <정재승의 과학콘서트>, <물리학자는 영화에서 과학을 본다>, <크로스>(공저) 등의 책을 냈다. 신경과학적인 관점에서 인간과 사회의 행동을 탐구하는 연구를 해오고 있다. 이 연재물은 영혼을 조종하는 뇌의 탐구를 통해 자연과학과 공학·인문학·사회과학이 어떻게 만날 수 있는가를 모색하려는 시도다. 격주 연재.