온라인 쇼핑업체인 아마존의 오프라인 식품매장 아마존 고. 아마존은 주력 분야는 쇼핑이지만, 빅데이터를 가장 잘 활용하는 기업 가운데 하나로 꼽힌다. AP 연합뉴스
지난 2016년 4월 국제탐사보도언론인협회(ICIJ)가 파나마 로펌인 모색 폰세카의 내부 자료를 공개해 파문이 일었다. 조세회피처에 자금을 빼돌린 내역 관련 비밀 자료였는데 50개국 이상의 현직 정치인 140명이 연루됐다. 그 가운데 12명은 당시 현직 국가원수였다.
‘파나마 페이퍼스’라고 ICIJ가 이름 붙인 이 자료는 지난 2015년 독일 일간지 <쥐트도이체차이퉁>이 익명의 제보자로부터 입수했다. 한데 분량이 1150만 건에 2.6테라바이트였다. 이메일 480만 건, 데이터 파일 300만 건, 피디에프(PDF) 문서 215만 건, 이미지 112만 건, 텍스트 문서 32만 건 등이었다. <쥐트도이체차이퉁>은 자료를 ICIJ에 넘기고 언론인들의 국제 협업으로 분석하기로 했다. 그러나 1150만건이나 되는 데다 등장인물은 모두 가명이었다. 회사 이름 21만개도 페이퍼컴퍼니로 실체를 알 수 없었다. 이런 자료를 수백 명 언론인이 달려든다고 해도 인간의 힘으로 분석하는 건 불가능했다. 그러나 ICIJ는 1년 만에 작업을 끝냈다. 어떻게 가능했을까? 네오포제이(Neo4j)라는 그래프데이터베이스 프로그램을 활용했다.
빅데이터 분석 전문업체인 엠오에스에이의 이동원 대표는 “페이스북에 1촌?2촌 등의 관계가 설정된다. 회사 안에서도 사장?본부장?팀원들의 관계가 있다. 그런 관계 자체를 수학적으로 그래프라고 한다”며 “파나마 페이퍼스를 예로 든다면, 자료에 등장하는 다양한 인물을 점으로 지정하고 깊은 연관도가 있는 다른 점(정보)들을 찾아내 표시해주는 게 그래프데이터베이스 기술”이라고 설명했다.
4차 산업혁명과 알파고 시대를 맞아 학생?학부모 고민 가운데 하나가 어떤 직업을 택할 것인가다. 인공지능과 로봇 기술 발달로 인간 노동의 상당수가 기계로 대체될 것이라는데 어떤 직업이 유망하면서도 안전할까? 앞에서 사례로 든 빅데이터 관련 직업이 유력한 해결책이 될 수 있다.
■ 인간은 불가능했던 ‘파나마 페이퍼스’ 분석
직업 인기는 대개 10년 주기로 바뀌는 경향이 있다. 한국에선 1960년대 은행원, 70년대 종합상사, 80~90년대 대기업이 인기였지만 요즘은 교사와 공무원이 상종가다. 고등학교 때 인기 있던 직업은, 대학 졸업하고 직장 몇 년 다니면 이미 전성기가 지날 수 있다.
한국직업능력개발원 김상호 박사는 “다른 직업과 달리 데이터 관련 직업 인기는 20년은 갈 것으로 예상한다”며 “이유는 데이터 관련 직업이 계속 파생되기 때문이다. 1990년대 3차 산업혁명은 정보혁명인데, 4차 산업혁명은 정보를 사물과 연결시키는 것”이라고 설명했다.
과거의 데이터는 주로 숫자였다. 그러나 앞으로 데이터는 텍스트·이미지·영상 위주다. 예를 들어 맛집 정보만 해도, 페이스북·인스타그램·블로그 등에 엄청나게 많은데 대개 텍스트·이미지·영상 등으로 이루어져 있다. 과거에는 이런 데이터를 처리할 기술이 없어 방치됐다. 그러나 현재는 가능하다.
이동원 대표는 “자율주행자동차를 미래 유망 산업으로 꼽는다. 한데 자율주행자동차가 발달하면 개인의 운전 습관에 맞춘 제품이 나올 것”이라며 “이는 평소 개인의 운전 습관과 관련한 방대한 데이터를 분석해야 가능하다”고 밝혔다.
의학 분야의 경우 지금까지는 의사들이 환자를 볼 때 대학에서 배운 지식과 그간의 진료 경험을 토대로 치료했다. 그러나 수많은 환자로부터 수집한 데이터를 분석하면 훨씬 정확한 진료가 가능하다. 김상호 박사는 “보건·의학 및 생물 분야에서 생물통계전문가라는 직업이 생겼다”며 “이들은 신약개발, 치료법 효과 측정, 병 유발인자 추출, 환자의 생존기간 등 통계적 이론과 기법을 활용해 분석하고 조언한다”고 소개했다. 심지어는 공장에서 제품 생산 시 품질관리를 하는 데도 데이터 기술(머신 로그 분석)이 사용된다.
지난 2월 서울-평창간 고속도로를 자율주행자동차가 달리고 있다. 자율주행자동차 기술이 발달하면 개인 운전 습관에 맞춘 제품이 나올 것으로 예상되며 이는 개인 운전 습관과 관련한 방대한 데이터를 분석해야 가능하다. <한겨레> 자료 사진
■ ‘하버드비즈니스리뷰’ “미래 최고 유망 직업”
한국고용정보원이 운영하는 워크넷(www.work.go.kr)에 따르면 지난해 12월 기준 한국의 직업은 1만6000개다.
한국데이터진흥원 창의인재개발실 손원길 차장은 “미국의 <하버드비즈니스리뷰> 같은 세계적 경영 잡지가 데이터 관련 직업을 미래 최고 직업으로 꼽는다”며 “점점 데이터를 기반으로 의사결정을 하는 회사들이 늘고 있다. 많은 전문가들이 미래의 모든 기업은 데이터분석가를 보유하게 될 것으로 예상한다”고 밝혔다.
미래 데이터 관련 직업의 특징 가운데 하나가 문·이과를 통합한 융합 지식이 필요하다는 거다. 숫자 위주가 아니라 텍스트·이미지·동영상 데이터를 분석하려면, 어떤 데이터가 중요한지, 기술적 처리를 통해 나온 결과물 가운데 어떤 게 의미 있는지 판단하는 데 인문학 지식이 중요하기 때문이다. 데이터 관련 직업은 컴퓨터 공학이나 소프트웨어, 수학 전공자가 유리하지만 인문계이면서도 부전공으로 데이터 관련 과목을 이수하는 것도 효과적이다. 물론 이공계라 할지라도 인문학 소양을 쌓으면 데이터 분석 전문가로 활동하는 데 도움이 된다.
한국데이터진흥원 하진희 선임연구원은 “예를 들어 역사의 법칙은 이제까지 역사학자가 수많은 책을 읽고 자기 머리로 생각해서 내놓았다”며 “그러나 시대를 특징짓는 데이터를 추출한 뒤 세밀하게 분석하면 기존과는 전혀 다른 역사 법칙 발견도 가능할 것”이라고 밝혔다.
현재 구글이나 아마존, 중국의 알리바바나 바이두 같은 세계적 IT기업들은 주력 분야와 상관없이 빅데이터가 핵심 자산이다. 한국은 빅데이터 관련 세계적 기업은 아직 출현하지 않았음에도 현업에서는 이미 인력 부족 현상을 겪고 있다. 국회 입법조사처가 지난 5월 펴낸 <빅데이터 정책 추진 현황과 활용도 제고방안>에 따르면, 2017년 현재 국내 빅데이터 관련 인력 부족률이 38%다. 국내 빅데이터 시장 규모는 2016년 3440억원에서 오는 2020년 9671억원으로 해마다 30%씩 성장하며 관련 전문 인력 수요도 계속 증가할 것으로 예상됐다.
손원길 차장은 “데이터 관련 직업을 크게 나누면 데이터 분석, 데이터 처리기술, 데이터 기획 등으로 나눌 수 있다”며 “데이터 처리기술은 하드웨어나 소프트웨어 제작, 데이터 분석은 의미 있는 정보를 찾아내는 것, 데이터 기획은 추출된 정보를 바탕으로 사업을 기획하거나 다른 분야에 적용하는 것”이라고 설명했다. 김상호 박사는 “데이터 관련 직업은 대부분 꼼꼼한 성격과 분석적 사고능력이 요구된다”며 “다른 직업에 비해 협업보다 상대적으로 혼자서 일을 수행하는 시간이 많은 편”이라고 설명했다.
혹시 데이터 관련 직업도 모두 인공지능으로 대체될 가능성이 있을까?
이동원 대표는 개인적 생각임을 전제로 “사람 두뇌는 의식적 활동보다는 무의식 활동이 훨씬 많다. 날아오는 야구공을 각도와 방향을 계산해 잡지 않는다. 무의식적으로 잡는다”며 “의식 부분은 몰라도 무의식 부분은 기계가 대체하기 힘들다. 사람과 사람의 관계에서 엄청난 데이터가 만들어지는데 무의식 활동의 결과물인 경우가 많다. 데이터 관련 직업 전체를 인공지능이 대체하기는 힘들 것”이라고 내다봤다.
김태경 <함께하는교육> 기자
ktk7000@hanedui.com