김어준

김어준은 최근 유튜브 방송에서 다음과 같이 발언했다.

• "한 주에 2만 명 해버릴 거"

• "이 정도 샘플 사이즈가 되어야 의미가 있고 상당히 정확"

• "3천 명에 5천만 원 비용 들어"

• "이 프로젝트를 위해 10억 준비"

여론조사에서 충분한 시간과 비용 투자는 측정의 질을 높이는 중요한 요소다. 그러나 단순히 돈을 많이 쓴다고 무조건 측정의 질이 높아지는 것은 아니다. 오히려 비용절감을 위해 쉽게 빠져드는 것이 자동응답조사(ARS)의 유혹이다. 김어준은 표본의 크기는 만 5천 명으로 늘렸지만, 스스로 정확도가 떨어지는 ARS 조사방법을 선택했다는 점에서 모순을 보인다.

(주)여론조사꽃의 모순된 조사방법론

중앙선거여론조사심의위원회에 등록된 (주)여론조사꽃의 최근 조사를 살펴보면

• 14069차: 표본 크기 천 명, 안심번호 이용 전화면접조사

• 14066차: 표본 크기 만 5천 명, 안심번호 이용 ARS 조사

두 조사의 원가 차이를 계산해보면 흥미로운 점이 발견된다.

여론조사 비용의 구성

• 안심번호 구입비용: 2일 사용 경우 개당 34.6원

• 통신비용

• 면접원 비용

• 여론조사 기관 비용

14069차: 표본 크기 천 명, 안심번호 이용 전화면접조사 비용 추산

• 안심번호: 30,000개 × 34.6원 = 1,038,000원

• 통신비용과 면접원 비용이 추가됨

• 면접원 비용이 전체 비용의 상당 부분을 차지함

14066차: 표본 크기 만 5천 명, 안심번호 이용 ARS 조사 비용 추산

• 안심번호: 450,000개 × 34.6원 = 15,570,000원

• 통신비용이 늘었지만 ARS 조사로 면접원 비용이 없음

천 명 조사와 만 5천 명 조사 사이 비용 차이는 실제로 크지 않을 수 있다. 여론조사꽃은 김어준이 설립한 조사기관으로, 10억 원을 자랑할 것이 아니라 김어준 스스로 실제 비용 차이를 공개해야 한다.

설문조사의 기본 원칙으로 돌아가야

여론조사의 기본은 지역, 연령, 성별의 84개 집단의 할당을 정확히 채우는 것이다. 가중치 보정이 필요 없거나 최소화하는 것이 중요하며, 안심번호와 면접조사를 결합하는 것이 바람직하다. 특히 한국만의 강점인 안심번호의 장점을 살리는 것이 필수적이다.

미국 대선 여론조사 실패에서 배울 교훈

여론조사에서 '과대표집-과소반영'보다 '과소표집-과대반영'이 더 심각한 문제를 일으킬 수 있다. 참여회피 현상 또는 무응답 편향을 방지하는 것이 중요한 이유다. 과소표집은 이른바 "샤이층"일 가능성이 높기 때문이다.

2016년과 2020년 미국 대선에서 여론조사는 큰 실패를 경험했다. 2016년에는 대부분의 여론조사가 힐러리 클린턴의 승리를 예측했으나 도널드 트럼프가 승리했고, 2020년에는 조 바이든의 압도적 승리를 예상했으나 실제로는 접전이었다. 이러한 실패의 핵심 원인은 '참여 회피 현상'이었다.

우선, 트럼프 지지자들, 특히 교육 수준이 낮은 백인 유권자들이 여론조사에 참여하지 않는 경향이 있었다. 이들은 주류 언론과 학계에 대한 불신으로 조사 참여 자체를 거부했다. 특정 정치 성향을 가진 사람들이 다른 집단보다 체계적으로 낮은 응답률을 보였다.

퓨 리서치의 연구에 따르면, 여론조사 응답률은 1997년 약 36%에서 2018년 6% 이하로 급격히 하락했다. 일부 유권자들은 자신의 진짜 선호가 사회적으로 비난받을 수 있다고 느껴 실제 의도와 다르게 응답하거나 응답 자체를 회피했다. 2016년 "숨은 트럼프 지지자" 현상이 대표적이다.

한국 여론조사에 주는 시사점

미국 대선 사례는 한국의 여론조사 상황에도 중요한 시사점을 준다. 특히 김어준과 같이 특정 정치 성향으로 알려진 인물이 운영하는 여론조사 기관에서는 윤석열, 국민의힘 지지층과 같은 반대 정파의 응답 회피 가능성이 높을 수 있다. 이는 단순히 표본 크기를 늘리는 것으로 해결되지 않는 문제다. 오히려 응답자들의 대표성과 응답률을 높이는 방법론적 접근이 필요하다. 그 첫걸음은 조사기관의 정치적 중립성 확보이다.

여론조사는 단순히 표본 크기가 아니라 방법론의 과학성과 응답자 대표성에 의해 그 신뢰도가 결정된다. 표본의 크기를 늘리는 데 10억 원을 투자한다고 해도, 참여 회피와 무응답 편향 문제를 해결하지 못한다면 그 결과는 여전히 왜곡될 수밖에 없다.

독립신문, 필명