이 대통령 X 인용 KSOI 여론조사, 표본 불균형 [뉴스] 이재명 대통령이 10일 여론조사 결과를 X에 올리며 냉정한 국민의 평가를 겸허히 받아들인다”면서 더 낮고 겸손한 자세로 열심히 하겠다”는 소회를 밝혔다. 그런데 이 대통령이 인용한 여론조사가 제대로 된 조사가 아니라면 누구를 탓해야 할까.
여론조사는 공표 후 24시간 뒤에 중앙선거여론조사심의위원회 홈페이지에 세부 통계표가 등록된다. 여론조사의 진위를 검증하고 싶어도 24시간의 검증 공백시간이 발생한다. 하루가 지나 엉터리 여론조사라는 사실을 밝히는 언론도 드물지만, 이를 알려도 기사를 읽는 독자도 거의 없다. 여론이 왜곡되는 악순환이 되풀이된다. 이재명 대통령이 여론조사 결과를 보고 사과한 것을 계기로, 인용한 여론조사가 제대로 된 여론조사인지를 살펴봤다.
밸기에 등 유럽을 방문 중인 이재명 대통령이 10일 KSOI 여론조사를 X에 링크하며 국민들이 평가를 겸허히 받아들이겠다는 소회를 밝혔다. 사진 출처: YTN 화면 캡처
KSOI 여론조사 세부사항 검증
여론조사기관인 한국사회여론연구소(KSOI)가 8일과 9일 이틀 동안 전국 18세 이상 남녀 1002명을 상대로 실시한 무선자동응답전화조사(ARS, 표본오차 ±3.1%포인트, 응답률 5.8%)에서 이재명 대통령의 국정운영 평가를 묻는 질문에 응답자들은 긍정 평가 50.4%, 부정 평가 45.7%, 잘 모름 3.8%로 답했다.
정당 지지율은 민주당 38.6%, 국민의힘 38.1%로 오차범위 내 접전 양상(접전 양상)을 보였다. 이어 개혁신당 3.9%, 조국혁신당 1.6%, 진보당 1.0% 순이었다. 그 외 정당은 2.6%, 지지 정당 없음 13.1%, 잘 모름은 1.0%였다.
이 수치만 놓고 보면 한국사회여론연구소의 여론조사가 제대로 된 조사인지 확인할 수 없다. 그러나 여론조사에 조금이라도 전문지식이 있다면 이 수치를 보고 표본추출에 문제가 있다는 것을 바로 짐작할 수 있다. 여론조사는 독자들이 생각하는 것만큼 단기간에 변하지 않는다. 전당대회나 후보 경선 등 정치 이벤트가 있을 때 갑자기 왜곡된 조사가 나타나기도 하지만, 장기적으로 보면 여론조사 지형은 천천히 변하기 때문이다.
공표된 여론조사 수치를 보고 중앙선거여론조사심의위원회에 등록된 KSOI 여론조사 설문지를 살펴봤다. 이념 성향 조사 문항이 있는 등 특이한 점은 없었다. 따라서 하루가 지난 11일 중앙선거여론조사심의위원회 홈페이지에 등록된 여론조사 세부 사항을 분석했다.
이 여론조사는 크게 두 가지 측면에서 문제가 있었다. 하나는 표본의 대표성 문제다. 여론조사에서 가장 중요한 것은 표본이다. 표본이 모집단, 곧 전국의 18세 이상 성인 남녀를 대표할 만큼 고르게 표집됐다면 잘된 여론조사다. 그렇지 못하면 여론조사 결과가 왜곡돼 나타난다. 표본이 모집단을 수학적으로 가장 적절하게 대표한다고 해도 표본오차가 ±3.1%포인트나 되는 게 여론조사다. 이를 가늠해 볼 수 있는 유일한 항목이 이념 성향 구성비다.
이념성향 보수표본 과표집
이 조사의 이념성향 구성비, 곧 가중치 적용사례는 보수성향 26.5%(266명), 중도성향 38.4%(385명), 진보성향 19.0%(190명), 모름·밝힐 수 없음(190명) 모름‧밝힐 수 없음은 16.1%(161명)였다. 전국적인 여론조사에서 진보성향 표본과 보수성향 표본의 차이는 대체로 2~3%포인트 정도다. 그런데 이 조사는 보수성향 표본이 7.5%포인트, 인원으로는 76명 많아 보수 과표집이라 할 수 있다. 이재명 대통령 국정운영 평가에서 부정 평가가 더 많이 나올 가능성이 있는 표본 구성비다.
이를 보수성향 표본과 진보성향 표본을 동일하게 하고, 중도성향과 잘 모름 표본 수를 같은 비율로 줄여 대통령 국정운영 평가를 추정하면 국정운영 긍정 평가는 50.4%에서 53.0% 정도로 증가하고, 부정평가는 45.7%에서 43.5%로 낮아지는 등 긍·부정 격차도 4.7%포인트에서 약 9.5%포인트로 벌어진다. 이를 통해 표본이 여론조사에 어느 정도 영향을 미치는지를 예측할 수 있다. 따라서 표본이 고르게 표집됐다면 실제 대통령 국정운영 평가에서 긍정 평가는 증가하고 부정 평가는 낮아져 그 격차는 더 벌어지게 된다.
가중치 적용 폭에 문제
이 여론조사는 이념 성향 표본 구성비 외에도 가중치 적용 폭에 문제가 있다. 남녀 성비의 가중치를 살펴보면 남성은 529명을 표집해 496명으로 33명 줄였다. 여성은 473명을 표집해 506명으로 33명 늘렸다. 중앙선거여론조사심의위원회 가중치 허용 기준을 넘기지는 않았지만, 가중치 적용 폭이 제대로 된 여론조사에 비해 지나치게 크다고 할 수 있다. 한마디로 정교함이 부족한 여론조사라는 이야기다.
연령별 가중치를 보면 특이하게도 민주당과 이재명 대통령에게 부정적인 시각을 지닌 18세 이상 29세 이하 표본이 171명으로 과표집돼 149명으로 줄었다. 역시 30대도 190명에서 150명으로 40명을 줄이는 등 일반적이지 않은 흐름이다. 민주당에 가장 호의적인 40대는 127명을 168명으로 늘리고, 50대는 166명을 193명으로 늘렸다.
연령별로 보면 18세 이상 29세 이하 응답자의 가중치 배율은 0.871, 30대는 0.789이다. 반면 40대는 가중 배율이 1.323, 50대는 1.163이라는 것을 알 수 있다. 허용 기준은 0.7~1.5까지다. 가중치 적용 배율 기준을 0.8~1.2 정도로 좁힐 경우 공표해서는 안 되는 여론조사가 된다. 중앙선거여론조사심의위원회는 가중치 적용 배율 허용 기준치를 좁혀 문제가 있는 여론조사를 공표할 수 없게 해야 한다. 그래야만 여론조사로 여론을 왜곡하는 것을 줄일 수 있다.
이재명 대통령이 X에 인용한 KSOI 국정운영평가. 이 여론조사는 보수성향 표본이 많이 표집되고 가중치 적용폭이 커 좋은 품질의 여론조사는 아닌 것으로 분석됐다., 사진출처: YTN 화면캡처
공표 금지 응답률, 입법추진해야
이 조사의 응답률은 5.8%였다. 여야는 모두 ARS 여론조사의 문제점을 잘 알고 있다. 여야는 응답률이 6% 이하인 ARS 여론조사는 공표를 금지하는 법안을 추진했지만 번번이 실패했다. 중앙선거관리위원회에 대한 국회 국정조사에서 중앙선거여론조사심의위원회에 대해서도 필요한 입법과 조치가 취해지길 기대한다.
우리는 국가 정책도, 주요 선거의 후보도 여론조사로 정하는 여론조사 만능시대에 살고 있다. 국민주권시대에 역행하는 형편없는 여론조사를 이번 기회에 뿌리 뽑아야 한다.
언론의 여론 왜곡 확산
KSOI 여론조사가 공표되자 수많은 언론이 이를 인용해 보도했다. 조선일보, 조선비즈, 문화일보, 한국경제, 매일경제, 중앙일보, 뉴시스 등 이루 헤아리기 힘들 정도다. 제대로 된 여론조사가 아닌데도 이를 대대적으로 보도해 그릇된 여론을 재확산시키는 창구 역할을 톡톡히 했다. 그나마 일부 언론사에서는 이념 성향 표본 구성비를 적어 독자들의 판단에 맡기는 성의를 보였지만, 대부분의 언론은 수치만 나열했다.
10일 공표한 조원씨앤아이가 스트레이트뉴스 의뢰로 18세 이상 2000명을 상대로 6~8일 사흘 동안 실시한 무선자동응답조사(ARS, 표본오차 ±2.2%포인트, 응답률 45.3%)에서 정당 지지율은 민주당 40.4%, 국민의힘 41.6%로 나타났다. 이 조사의 이념 성향 표본 구성비는 보수성향 표본 31.7%, 중도성향 37.7%, 진보성향 23.6%로 집계됐다. 보수성향 표본이 과표집된 여론조사라는 것을 알 수 있다.
갑자기 질 낮은 여론조사가 쏟아지는 이유야 알 수 없지만, 잘못된(잘 못된) 여론조사가 왜곡돼 사용되는 것은 가능하면 줄여야 한다. 특히 민주당 전당대회가 과열 양상을 보이고 있다. 민주당 전당대회에서 오염된 여론조사가 여론을 왜곡하지 않으리란 법이 없다. 그릇된 여론조사가 여론을 왜곡시키지 않기를 바랄 뿐이다.
NBS 여론조사 품질과 비교
11일 공표한 전국지표조사(NBS)가 1001명을 상대로 실시한 무선전화면접조사(CATI, 표본오차 ±3.1%포인트, 응답률 26.0%)에서 이재명 대통령 국정운영 평가는 긍정 평가 57%, 부정 평가 33%로 집계됐다. 정당 지지율은 민주당 41%, 국민의힘 25%, 개혁신당 3%, 조국혁신당 2%, 진보당 2%, 태도 유보 24%였다. 이재명 대통령에 대한 지지율은 지방선거 이후 크게 줄어든 것은 사실이지만 50% 까지 떨어진 것은 아니라는 것을 알 수 있다.
이념성향 표본 구성비, 곧 가중치 적용 사례는 진보성향 29%(291명), 중도성향 30%(300명), 보수성향 26.8%(268명)(26.8%), 모름·무응답 14.2%(142명)로 집계됐다. 진보성향과 보수성향 표본 차이가 3%포인트 이내여서 적절한 조사라 할 수 있다. 응답률은 26.0%나 된다.
아울러 연령별 가중치 적용 사례를 보면 18세 이상 29세 이하는 138명을 149명으로 11명 늘리고, 60대에서는 189명을 179명으로 줄였을 뿐, 나머지 연령대에서는 표본 수를 늘리고 줄인 숫자가 2명에 불과했다. NBS 조사와 앞에 인용한 KSOI 조사 등을 비교하면 어느 조사가 품질이 좋은지 한눈에 알 수 있을 것이다.
공표가능 응답률, 가중치 적용기준 마련
중앙선거여심위 통계표 등록 원점 검토
KSOI 여론조사는 이재명 대통령이 X에 올릴 정도로, 여론조사 세부 사항을 들여다보기 전에는 제대로 된 조사인지, 잘못된 여론조사인지를 판단하기 힘들다. 이를 원천적으로 예방하기 위해서는 정치권이 머리를 맞대야 한다. 공표 가능한 응답률 최저치, 가중치 허용 범위, 여론조사 공표 후 중앙선거여론조사심의위원회에 여론조사 통계표를 등록하는 시간 조정 등을 원점에서 재검토했으면 한다.
여론조사 세부사항은 중앙선거여론조사심의위원회 홈페이지를 참고하면 된다.강동형 에디터 yunbin60@mindlenews.com
Top
