한겨레

선거에서 여론조사는 뜨거운 감자다. 여론조사가 없으면 답답하지만, 받아보면 미덥지 못한 경우도 많다.

지난 대선에서도 수많은 조사가 쏟아졌다. 중앙선거여론조사심의위원회(이하 여심위)에 등록된 조사만도 박근혜 탄핵 결정 직후인 3월 11일부터 여론조사 공표금지 직전인 5월 3일까지 201회에 이른다. 하루평균 3.72건의 조사가 이루어진 셈이다. 선거기간이 짧은 만큼 개별 이슈에 따른 지지도 등락폭도 컸고, 쏟아진 여론조사는 오히려 혼란을 부추켰다.

여론조사를 둘러싼 가장 큰 이슈는 유무선비율 문제였다. 무선전화의 비중에 따라 후보별 지지도가 상이하다는 보도가 잇달아 나왔지만 이에 대해 상호 합의된 기준이 없다보니 혼란이 커졌다. 낮은 응답률로 인한 표본의 대표성 문제도 지난 대선 기간 지속적으로 제기된 이슈였다.

반면 정확도가 높아진 출구조사에 대해서는 유례없는 호평이 이어졌다. 사전투표율이 전체 투표자수의 약 1/3수준에 이르면서 사전투표를 반영하지 못하는 출구조사 결과에 대한 불안감이 높았지만 정확도는 더 높아졌다. 대선여론조사에 대한 평가도 냉탕과 온탕을 오간 셈이다.

이러한 질문에 대해 조사업계의 대답, 대안을 엿볼 수 있는 세미나가 6월 14일 열렸다. 리서치의 날을 맞아 한국조사협회가 주최한 세미나에서는 19대 대선 전화조사, 사회 여론조사의 신뢰도와 가치, 여론조사의 과학적 접근 등을 놓고 열띤 논의가 이어졌다.

낮은 응답률, 표본을 대표할 수 있을까?

지난 대선 여론조사 응답률을 보면 전화여론조사가 20%, ARS는 8% 수준이었다(4월 3일 이후 언론에 공표된 85건의 조사 평균). 이러한 낮은 응답률은 여론조사를 신뢰하기 어렵게 만드는 주범이다. 여론조사 전문가들도 낮은 응답률은 여론조사가 기반하는 과학적 원리를 위협한다고 말한다.

응답률 수치는 전화를 걸었을 때 통화가 성사된 경우만을 뽑아내 실제 조사가 완료된 경우로 나눈 비율이다. 다시말해 80~90%는 통화는 이루어졌지만 응답자가 여러 이유로 거절했다는 의미다. 여기에 통화가 아예 성사되지 못한 경우까지 고려하면 응답률은 훨씬 낮아진다. 이러한 낮은 응답률에는 의도적인 응답기피도 있고 애당초 접촉이 어려워 조사에서 체계적으로 배제되는 집단 등 여러 문제가 숨어있다.

매주 발표되는 갤럽 주간리포트를 책임지고 있는 한국 갤럽의 장덕현 부장은 응답 기피와 관련해 “조사를 요청할 때 질문 항목이 어떤 내용과 어떤 구성으로 이루어지는가, 조사에 응하는 사람들이 주제를 얼마나 중요하게 인식하느냐에 따라 조사에 응할지 말지를 결정한다”고 말했다. 조사 주제가 특정 방향으로 두드러질 때, 주제에 관심이 없거나 때로 불편한 사람들이 응답을 기피할 가능성이 높다는 것이다.

지난 대선여론조사에는 자동응답전화방식인 에이아르에스(ARS)방법이 광범위하게 인용되었고 때로는 조사 면접원이 직접 전화로 설문하는 경우 보다 더 정확하다는 평가도 있었다. 실제는 어떨까?

장덕현 부장이 4월 3일 이후 언론 공표된 여론조사 85건을 대상으로 조사원 면접 조사 54건, 에이아르에스(ARS) 조사 27건을 비교 분석한 결과를 보면 두 집단간 후보 지지도 차이는 통계적으로 유의미했다. 아노바(ANOVA)라는 집단간 차이가 통계적으로 유의미한지를 검증하는 기법을 사용해 분석한 결과를 보면 문재인, 홍준표 두 후보는 어떤 방식으로 조사를 하느냐에 따라 차이가 있었고 안철수 후보는 거의 없었다.

어떻게 차이가 났을까?

문재인 후보는 조사원 면접의 경우 평균 지지도가 39%, 에이아르에스(ARS)의 경우는 42%였고, 홍준표 후보는 각각 11%, 14%였다. 두 후보 모두 에이아르에스(ARS) 조사에서 지지도가 더 높았다. 반면 안철수 후보는 조사방식에 관계없이 29%로 동일했고, 후보유보 응답은 조사원 면접에서는 11%였으나 에이아르에스(ARS)에서는 5%로 절반 이하로 감소했다.

지난 대선에서 ‘샤이 보수’ 논란의 중요한 근거 중 하나는 ARS 조사에서는 홍준표 후보 지지도가 높게 나타난다는 점이었다. 박근혜 탄핵을 지지하는 사회적 분위기로 인해 다른 의견을 지닌 보수층이 면접원 조사 방식에서는 응답을 꺼리지만 자동응답방식의 ARS 조사에서는 속내를 드러낸다는 것이다.

하지만 분석 결과는 홍준표 후보는 물론 문재인 후보 지지도도 조사원 면접 보다 ARS에서 높게 나타났다. 이에 대해 장덕현 부장은 “ARS가 샤이 보수, 샤이 진보를 드러나게 하는 방법이라고 보기 어렵다. 다만 ARS 조사에서는 양극단에 있는 응답자들이 더 강력히 자기 주장을 펴는 경향이 있다”고 분석했다. 즉, ARS 조사의 낮은 응답률은 자기 의견이 명확하지 않는 중도, 유보층의 응답자들은 굳이 응답할 필요성을 못 느껴 기피하고 자기 주장이 강한 사람들이 더 적극적으로 응답하게 된 결과라는 것이다. 중도, 중간의 포지션을 취한 안철수 후보가 ARS 조사에서 더 낮게 나타나고, 무응답층이나 유보층도 ARS 조사에서 더 낮게 나타나는 것도 이 때문이다.

이처럼 낮은 응답률은 “다수의 목소리를 담지 못하고 자기 주장을 하고 싶은 사람의 의견을 전달하는 도구로 전락할 수 있다는 점에서 위험하다”고 장덕현 부장은 말한다. 응답률이 낮아진다는 것은 극단적인 표본이 과대 대표될 위험성이 크기에 과학적 여론조사를 위해서는 응답률을 높이기 위해 많은 노력이 필요하다.

정확한 여론포착을 위한 황금 유무선비율은?

지난 대선 여론조사에서 가장 논란이 컸던 부분은 유무선 비율이었다. 언론사마다 유무선 비율이 달라, 무선비율만 놓고 보면 약 50%에서 100%까지로 다양했다. 이와 관련한 쟁점은 대부분이 무선전화를 사용하고 있는 상황을 고려할 때 유선조사비율이 높은 조사는 신뢰하기 어렵다는 것이다.

구체적으로 살펴보면, 젊은층은 유선전화를 거의 사용하지 않기 때문에 유선조사에 응하는 사람들은 주로 노인, 주부 등 보수층이므로 유선비율이 높은 조사일수록 보수후보에게 유리할 것이라는 주장이다. 따라서 전 세대를 다 포괄할 수 있는 무선조사 비율이 높은 조사일수록 정확하다는 것이다. 실제는 어떨까?

지난 2월부터 대선 전까지 여심위에 등록된 면접조사와 ARS 조사를 포함한 자료를 분석한 결과에 의하면(김지현 칸타퍼블릭 부사장, 이양훈 칸타퍼블릭 이사), 면접조사의 무선비율은 106건 중 약 70.3%였고, ARS 조사는 이보다 높은 86.4%였다(131건). 조사 시점과 조사 방법에 따라 차이가 날 수 있으므로 이를 통제하기 위해 여론조사 공표 금지 시점 즈음 마지막 전화면접조사 21건만을 대상으로 분석을 시도했다. 그 결과 유무선 비율에 따라 후보지지도의 차이는 통계적으로 의미가 없었다. 유선비율이 높은 조사와 낮은 조사 2개의 집단으로 나누어 5명의 후보를 대상으로 지지도 차이를 분석한 결과인데, 심상정 후보를 제외한 나머지 4명의 후보는 무선비율이 높은 조사와 낮은 조사에서 지지도상의 차이가 발견되지 않았다.

그럼에도 불구하고 유무선비율 문제는 많은 논란과 의문을 남긴다. 어떤 유무선비율이 황금 비율일까? 먼저 유선전화의 적정비율을 살펴보기 위해 유선전화의 커버리지(적용범위)를 살펴보면 약 50% 미만으로 추정된다. 2016년 기준으로 인터넷전화를 포함한 일반전화는 51.1%, 인터넷 전화를 뺀 일반 전화는 38.7%다. 유선전화만 보유한 집단, 무선전화만 보유한 집단 말고도 유무선전화 둘 다 보유한 집단도 있다. 유무선전화 둘 다 보유한 집단의 비율이 어느 정도이며 이 집단에 대해서는 유무선 비율을 어떻게 적용해야 하는가라는 녹녹치 않은 문제들이 있다. 여기에 응답환경의 문제 등도 고려해야 할 대상이다. 이렇듯 유무선비율을 정하는 것은 간단한 문제가 아니며 조사기관에서도 합의에 이르지 못했다. 따라서 “과학적 접근을 통해 실험조사 등의 다양한 시도를 통해 이론적 근거를 마련해야 한다”는 것이 조사전문가들의 일치된 의견이다.

들쑥날쑥 여론조사와 대비되는 출구조사의 정확성

19대 대선 출구조사 결과에 대해서는 유례없는 호평이 쏟아졌다. 여론조사에 대한 보도가 냉랭한 것과는 대조적이다. 이번에는 사전투표율이 전체 유권자 대비 26%로 매우 높았고, 투표자 대비 구성비로 환산하면 33.9%나 되었다. 사전투표 시 출구조사는 법적으로 불가능하기에 출구조사는 당일 투표자만을 대상으로 한다. 따라서 투표자의 약 1/3이 출구조사 과정에서 체계적으로 배제되는 셈이다. 하지만 많은 우려에도 불구하고 결과는 역대 어느 선거 보다 정확했는데 이것이 어떻게 가능했을까?

비결은 지상파 3사 공동 조사기관이 선관위로부터 받은 지역별, 성별, 연령별 사전투표자 현황 자료에 있었다. 사전 투표자의 지지도와 선거 당일 투표자의 지지도 평균은 차이가 클 수 있다. 하지만 사전투표한 서울 남자 50대와 선거일 투표한 서울 남자 50대의 지지도간에는 차이가 없다는 전제하에 사전투표자료를 분석한 결과 과거보다 정확한 출구조사 결과가 도출되었다.

김춘석 한국리서치 이사는 “출구조사는 당일 투표자를 대상으로 한 예측조사인 반면, 여론조사는 판세조사고 또 선거일부터 6일 동안 공표금지되어 있어 이 기간의 변화된 민심을 반영할 수 없다는 문제가 있다”고 말하며 여론조사에 대한 현재의 비판이 과도하다고 지적했다.

한귀영 한겨레경제사회연구원 여론과데이터센터장 hgy4215@hani.co.kr