민심 왜곡하는 부실 여론조사…언론은 확성기 노릇 [카테고리 설정이 아직되어 있지 않습니다.] 6·3 지방선거 공식 선거운동을 앞두고 검증할 수 없는 엉터리 여론조사, 부실 여론조사, 믿기 어려운 여론조사가 쏟아지고 있다. 조사기관마다 들쭉 날쭉한 여론조사 결과 때문에 독자들은 혼란에 빠진다.
여론조사는 통계학을 기반으로 유권자의 속마음을 읽어내는 과학적인 조사방법이다. 믿으라고 던져놓는 숫자놀음이 아니다. 따라서 최소한이라도 검증 가능해야 한다. 검증할 수 없다면 제대로된 여론조사가 아니다. 숫자를 앞세운 정치 선전일 뿐이다.
여론조사를 검증하려면 지역별·성별·연령별 표본 구성비, 가중값, 원자료 또는 교차표, 질문지, 표본의 이념성향, 투표의향, 표본수와 응답률 등이 필요하다. 이 가운데 핵심 자료가 빠져 있거나, 기존 조사와 전혀 다른 결과가 나왔는데도 그 이유를 확인할 수 없다면 그 조사는 믿기 어렵다.
이 글에서는 이런류의 조사를 ‘부실 조사’, 있는 그대로 말해 ‘엉터리 조사’라고 부르겠다. 여론을 조작, 유권자를 속일 수 있는 위험한 여론조사다.
문제가 있는 여론조사는 몇가지 공통점을 지니고 있다. 표본의 이념 성향을 아예 묻지도 않는다. 응답률이 낮다. 일부 조사는 유선 RDD까지 섞는다. 성별 나이별 가중치 보정 폭도 크다. 그런데도 일부 언론이 이 숫자를 기다렸다는 듯이 받아쓴다. 이상하지 않은가.
독자들은 여론조사 결과가 이상하면 이런 수치들을 확인해 여론조사가 제대로된 여론조사인지 형편없는 여론조사인지 판단할 수 있어야 여론 조작에 당하지 않는다.
이념 성향 묻지 않은 여론조사
표본의 품질을 검증 할 수 없다
우리나라 선거에서 이념성향은 후보 지지와 밀접하게 연결된다. 진보, 보수, 중도 표본이 어떻게 잡혔느냐에 따라 후보 지지율에 큰 영향을 미친다. 그래서 제대로 된 선거 여론조사라면 대체로 응답자의 이념 성향을 묻는다. 보통 질문지 마지막에 배치한다. 앞선 응답에 영향을 주지 않으면서 표본의 성격을 확인하기 위한 최소한의 장치다.
인터넷 매체 팬앤마이크가 여론조사공정에 의뢰한 서울시장 적임자 조사를 살펴보면 이념 성향 조사라는 기본 장치가 빠져 있다. 이런 조사는 제대로 된 조사가 아니다.
여론조사공정은 5월 10일과 11일 이틀 동안 서울시민 만 18세 이상 남녀 801명을 상대로 무선자동응답전화조사(ARS)를 실시했다. 표본오차는 ±3.5%포인트, 응답률은 5.7%였다.
이 조사에서 서울시장 적임자를 묻는 질문에 민주당 정원오 후보는 44.7%, 오세훈 후보는 42.6%로 나왔다. 이상규 후보 0.9%, 김정철 후보 2.8%, 기타 인물 3.6%, 없다 4.1%, 모름 1.4%였다. 숫자만 보면 정원오 후보와 오세훈 후보가 오차범위 안에서 초접전을 벌이는 결과다.
여론조사공정 통계표, 이념성향 조사도 하지 않고 지역별 성별 연령별 가중값 적용이 큰 것을 알 수있다.
하지만 이 결과를 곧이 곧대로 믿을 수는 없다. 설문지에 응답자의 이념성향을 묻는 문항 자체가 없기 때문이다.
서울에서는 대체로 진보와 보수 표본이 비슷하게 잡힌다. 어느 한쪽이 2~3%포인트 정도 많을 수는 있다. 그러나 이 차이가 5~10%포인트까지 벌어지면 전혀 다른 조사 결과가 나온다. 이념성향을 묻지 않으면 표본이 어느 쪽으로 기울었는지 확인할 수 없다.
검증할 수 없는 조사는 과학이 아니라고 했다. 이념 성향도 묻지 않은 조사를 ‘서울시장 초박빙’의 근거로 내세우는 것은 위험하다. 이런 조사는 부실 조사라고 할 수 있다.
경상남도 조사에서도 비판받을 만한 여론조사가 있었다. 진보매체로 이름난 프레시안(경남본부)이 이너텍시스템즈에 의뢰한 경남도지사 가상대결이다.
프레시안 경남취재본부가 이너텍시스템즈에 의뢰해 지난달 30일과 5월 1일 이틀 동안 실시한 조사에서 민주당 김경수 후보는 43.6%, 국민의힘 박완수 후보는 48.7%로 집계됐다. 기타 인물 1.6%, 투표할 인물 없음 2.6%, 잘 모름 3.5%였다. 박완수 후보가 김경수 후보를 앞서는 결과다. 대체로 민주당 김경수 후보가 앞서가는 조사가 많은데 이 조사는 국민의힘 박완수 후보의 지지율이 높게 나와 이상했다.
뉴스1이 의뢰한 한국갤럽 여론조사 성별 가중치 적용이 0이다. 제대로된 여론조사는 가중치 적용을 거의하지 않는다.
이 조사도 표본의 이념성향을 묻지 않았다. 경남은 보수 성향 표본이 진보 성향 표본보다 더 많이 표집되는 지역이다. 보통 5~6%포인트 정도 보수 표본이 많게 표집된다. 그러나 이 조사에서는 표본의 이념성향 구성비를 확인할 방법이 없다. 보수 표본이 평소 보다 더 많이 잡혔는지, 중도층이 어떻게 구성됐는지, 진보 표본이 얼마나 부족했는지 알 수 없다.
그렇다면 이 결과를 어떻게 믿을 수 있나. 조사 결과가 맞는지 틀리는지의 문제가 아니다. 검증할 수 없다는 것이 문제다. 검증할 수 없는 숫자는 민심이 아니다. 숫자로 포장된 주장일 뿐이다.
응답률 낮은 ARS, 유선 RDD까지 섞은 여론조사
응답률이 낮은 ARS 조사, 응답률이 낮은 유선 RDD 조사에 대해 문제점을 제기하는 것에 이의 제기가 있을 수 있지만 두 방식으로 조사를 했을 때 여론조사 품질이 떨어진다는 것은 주지의 사실이다.
여론조사공정의 서울시장 조사 응답률은 5.7%였다. 이 수치 하나만으로 조사가 엉터리라고는 할 수 없다. 그렇다고 좋은 조사라고 말할 수도 없다. ARS 조사는 선거가 임박하면 응답률이 올라가기도 하지만, 평소에는 2~4%대 응답률에 그치는 경우도 흔하다. 응답률이 낮으면 적극적으로 응답하는 특정 성향의 유권자가 과대 표집될 가능성이 커져 모집단 대표성이 떨어진다.
이너텍시스템즈의 경남도지사 조사는 더 심각하다. 조사 방식부터 이상했다. 전체 표본 1000명 가운데 무선 ARS가 80%, 유선 ARS, 즉 RDD 방식이 20%였다. 응답률은 무선 ARS 6.6%, 유선 ARS 2.8%, 전체 평균 5.1%였다.
휴대전화가 보편화된 시대에 굳이 유선 RDD를 20%나 넣은 이유가 무엇일까. 더구나 유선 ARS 응답률이 2.8%라면 그 표본이 전체 유권자를 제대로 대표한다고 보기도 어렵다. 거의 전화를 받지 않는 집전화 응답자를 억지로 끼워 넣어 만든 숫자라면, 그 결과는 당연히 의심해야 한다.
이념성향도 묻지 않고, 응답률도 낮고, 유선 RDD까지 섞었다. 이런 조사를 믿으라는 것은 무리다.
최소 표본으로 만든 ‘초박빙’ 착시
표본수도 따져봐야 한다. 여론조사공정의 서울시장 조사는 801명을 대상으로 했다. 광역단위 선거 여론조사에서 공표 가능한 최소 기준이 800명이다. 표본오차는 ±3.5%포인트다. 양자 대결에서는 두 후보 간 격차가 7%포인트 이내면 오차범위 안이다. 두 후보의 경쟁력이 비슷하다면 오차범위내 지지율이 나오게 되어 있다. 그런데 표본수가 1000개로 증가하면 오차범위 밖으로 나올 가능성도 있다.
표본수가 작을수록 표본오차는 커지고, 오차범위가 커질수록 접전처럼 보이는 결과가 나오기 십상이다. 정원오 후보 44.7%, 오세훈 후보 42.6%라는 숫자는 겉으로는 초접전처럼 보인다. 하지만 이념성향도 알 수 없고, 응답률도 낮고, 표본수도 최소 기준에 가깝다면 그 ‘초박빙’이라는 말부터 의심해야 한다.
선거 여론조사에서 중요한 것은 단순한 숫자가 아니다. 그 숫자가 어떻게 만들어졌는 지를 살펴봐야 한다. 부실한 방식으로 만든 숫자를 가지고 격차가 좁혀졌다”, 초박빙이다”라고 보도하는 것은 유권자를 혼란스럽게 만드는 일이다.
가중치로 땜질한 표본, 대표성 의심해야
두 조사에서 공통적으로 드러난 또 하나의 문제는 가중치 적용이다.
가중치 자체가 문제라는 뜻은 아니다. 여론조사에서 가중치는 표본을 모집단에 맞추기 위한 통계적 보정 장치다. 성별·연령별·지역별 응답자가 실제 인구 구성과 다르게 잡히면 이를 보정해야 한다.
문제는 보정 폭이 크다는 점이다. 애초에 표본을 제대로 확보하지 못한 뒤 가중치로 크게 보정하면, 형식상 기준은 맞출 수 있어도 표본의 대표성은 약해질 수밖에 없다.
여론조사공정의 서울시장 조사는 남성 446명을 조사해 383명으로 줄이고, 여성 355명을 조사해 418명으로 늘렸다. 성별 보정 폭이 63명이나 됐다. 남성 응답자는 줄이고 여성 응답자는 크게 늘린 것이다.
이너텍시스템즈의 경남도지사 조사도 비슷하다. 남성 589명을 조사한 뒤 504명으로 줄였다. 여성은 412명을 조사한 뒤 497명으로 늘렸다. 남성 응답자 1명의 가치는 0.86명으로 낮아지고, 여성 응답자 1명의 가치는 약 1.2명으로 높아진 셈이다.
물론 현행 중앙선거여론조사심의위원회 기준상 성별·연령대별·지역별 가중값 배율은 0.7~1.5 범위 안이면 공표가 가능하다. 그러나 기준 안에 들어간다고 해서 좋은 조사라는 뜻은 아니다. 0.7~1.5라는 허용 범위 자체가 지나치게 넓다. 제대로 된 조사를 하려면 전화를 더 돌려 할당 표본을 최대한 맞춰야 한다. 비용을 줄이려고 충분히 조사하지 않은 뒤 가중치로 땜질하는 방식은 여론조사 품질을 떨어뜨린다.
더구나 두 조사 모두 이념성향을 묻지 않았다. 성별·연령별·지역별로 아무리 보정해도 표본의 정치적 성향이 어떻게 구성됐는지는 알 수 없다. 이념성향이 빠진 상태에서 가중치 보정까지 크게 들어가면 그 결과는 더더욱 믿기 어렵다. 이런 조사를 과학적 여론조사라고 부르기는 어렵다. 부실 조사이고, 엉터리 조사라고 비판받아도 할 말이 없다.
포탈에 검색어를 넣자 베껴쓴 언론사의 기사가 쏟아진다.
부실한 숫자를 받아쓴 언론
더 큰 문제는 이런 조사가 언론을 타고 확산된다는 점이다. 여론조사공정의 서울시장 조사 결과는 보수언론을 중심으로 빠르게 퍼졌다. 펜앤마이크는 5월 12일 오후 5시 정원오 44.7% VS 오세훈 42.6% 초박빙”이라는 취지로 보도했다. 같은 시각 조선비즈도 같은 내용을 보도했다.
이후 천지일보는 정원오 44.7%, 오세훈 42.6%...서울시장 적임자 오차범위 내 초접전”이라고 썼고, 문화일보는 오세훈 VS 정원오 오차범위 내 접전, 좁혀지는 격차”라고 보도했다. 데일리안, 서울신문, 한국경제, 파이낸셜뉴스 등도 비슷한 방식으로 인용했다.
언론이 여론조사를 보도할 수는 있다. 그러나 최소한의 검증은 해야 한다. 이념성향을 물었는지, 응답률은 어느 정도인지, 표본수는 충분한지, 가중치 보정 폭은 크지 않은지, 유선 RDD가 들어갔는지 확인해야 한다.
그런데 모든 언론은 그런 검증 과정 없이 숫자만 받아썼다. 초박빙”, 초접전”, 격차 축소”라는 제목을 붙여 판세가 흔들리는 것처럼 보도했다. 이것은 보도가 아니라 확성기 노릇이다. 부실한 여론조사는 그 자체로도 문제지만, 언론이 이를 무비판적으로 받아쓸 때 더 위험해진다. 부실한 숫자가 언론을 타면 민심처럼 둔갑한다. 여론조작의 출발점이다.
중앙여조심위 기준이 부실조사 양산
여론조사 공표후 자료 등록 앞당겨야
가중값 적용 범위, 응답률기준, 손봐야
중앙선거여론조사심의위원회도 책임에서 자유롭지 않다. 현재 여론조사 결과가 공표된 뒤 세부 통계표는 24시간이 지나야 홈페이지에 올라온다. 이 규정은 검증 보도를 사실상 가로 막는다. 여론조사 기사는 공표 당일에 퍼진다. 그런데 그 숫자가 어떻게 나왔는지 확인할 자료는 하루 뒤에야 공개된다. 이미 여론조사 결과는 한 차례 혼동을 주고 지나간 뒤다.
검증하고 싶은 언론도 자료가 없으면 손을 놓을 수밖에 없다. 반대로 받아쓰기를 하는 언론은 기다릴 필요가 없다. 숫자만 있으면 제목을 뽑고, 초박빙이라고 쓰면 된다. 이 구조가 부실 여론조사를 키우고 있다.
세부 통계표는 공표 후 24시간 뒤가 아니라 3~4시간 안에 공개하도록 해야 한다. 그래야 당일 검증이 가능하다. 검증을 빨리 할 수 있어야 엉터리 여론조사가 줄어들 것으로 보인다..
가중값 허용 범위도 손봐야 한다. 성별·연령대별·지역별 가중값 배율을 0.7~1.5까지 허용하는 것은 지나치게 느슨하다. 최소한 0.85~1.15 수준으로 좁혀야 한다. 전화를 더 돌려 표본을 맞추는 조사기관과 대충 조사한 뒤 가중치로 메우는 기관의 여론조사가 동일한 평가를 받는 구조를 방치해서는 안 된다.
중앙선거여론조사 심의위원회가 선거여론조사 보도에서 작은 오타나 표현을 지적하는 것도 필요하다. 그러나 더 중요한 일은 엉터리 조사가 공표되지 않도록 막는 것이다. 작은 오타를 잡으면서 큰 부실을 놓친다면 본말이 전도된 일이라 할 수 있다.
이념성향 없는 조사,인용 보도 하지 말아야
독자들도 최소한 한 가지는 기억해야 한다. 이념성향 조사가 빠진 선거 여론조사는 일단 의심해야 한다. 후보 지지가 이념성향에 따라 크게 갈리는 선거에서 이념성 향을 묻지 않는다는 것은 핵심 검증 장치를 빼놓은 것이다.
응답률도 봐야 한다. ARS 응답률이 지나치게 낮거나, 유선 RDD 응답률이 2~3%대라면 그 조사는 믿기 어렵다. 가중치 보정 폭이 큰지도 살펴봐야 한다. 남성을 수십 명 줄이고 여성을 수십 명 늘리는 식의 보정이 들어갔다면, 표본이 애초에 제대로 잡혔는지 의심해야 한다.
언론은 더 엄격해야 한다. 받아쓰기를 하더라도 최소한 질문지는 확인해야 한다. 이념성향도 묻지 않은 여론조사를 초박빙” 초접전”이라는 제목으로 퍼뜨리는 것은 무책임하다. 중앙언론사나 경제신문이 이런 조사를 그대로 옮겨 쓰는 것은 부끄러운 일이다.
펜앤마이크가 의뢰한 여론조사공정의 조사는 엉터리 조사라는 비판을 피하기 어렵다. 이너텍시스템즈의 경남도지사 조사도 부실 조사이기는 마찬가지다. 두 조사 모두 핵심 검증 장치가 빠졌고, 응답률과 조사방식, 가중치 적용에서 많은 문제를 가지고 있다.
선거 여론조사는 민심을 읽는 도구여야 한다. 민심을 흔드는 무기가 되어서는 안 된다. 검증할 수 없는 숫자를 여론조사라고 포장하고, 언론이 이를 받아쓰고, 제도가 뒤늦게 따라가는 현재의 구조를 상식선에서 고쳐야 한다.
(기사에서 인용한 여론조사의 상세한 내용은 중앙선거여론조사심의위원회 홈페이지를 참고하기 바란다.) 강동형 에디터 yunbin60@mindlenews.com
Top
