김어준

표본 크기 증가의 착시 효과

김어준이 최근 자신의 유튜브 방송에서 발언한 내용은 여론조사에 대한 심각한 오해를 보여준다.

• "한 주에 2만 명 해버릴 거"

• "이 정도 샘플 사이즈가 되어야 의미가 있고 상당히 정확"

• "3천 명에 5천만 원 비용 들어"

• "이 프로젝트를 위해 10억 준비"

김어준은 표본의 크기를 천 명에서 3천 명, 또는 만 5천 명으로 늘리면 더 정확할 것이라는 주장을 하고 있지만, 이는 여론조사의 기본 원리에 대한 오해에서 비롯된 것이다.

표본 크기의 실질적 의미

2024년 4월 10일 총선 당시 한국의 등록 유권자 수는 약 44,280,011명이었다. 이런 상황에서 표본 규모를 천 명에서 3천 명으로, 혹은 만 5천 명으로 늘리는 것이 실질적으로 큰 의미가 있을까? 전체 유권자 수를 고려할 때, 김어준이 언급한 표본 증가는 통계학적으로 무의미한 수준이다.

대부분의 여론조사 전문기관들이 1,000명 내외의 표본을 사용하는 이유가 있다.

미국의 경우를 살펴보면, 2024년 미국 대선에서 등록된 유권자 수는 약 186.5백만 명(투표 가능 인구는 약 245백만 명)에 달하지만, 위키피디아에 집계된 선거 전 여론조사 현황을 보면 약 70%의 조사에서 표본 크기가 1,000명에서 1,999명 사이였다. 여론조사 선진국인 미국에서도 왜 표본크기는 대부분 천 명대일까?

통계학적으로 본 표본 크기와 오차범위

여론조사에서 1,000명 정도의 표본 크기를 사용하는 주요 이유는 통계적 신뢰도와 오차범위의 균형 때문이다. 표본 크기가 1,000명일 때 95% 신뢰수준에서 오차범위는 약 ±3%다. 이는 대부분의 여론조사에서 허용 가능한 수준의 정확도를 제공한다.

더 중요한 것은 비용 효율성이다. 표본 크기를 1,000명에서 10,000명으로 늘리면 비용은 예를들어 10배로 증가하지만, 오차범위는 ±3%에서 ±1%로만 감소한다. 이러한 한계 수익 체감의 법칙(law of diminishing returns) 때문에 1,000명 정도가 비용 대비 효과가 가장 좋은 지점으로 여겨진다.

• 1,000명 조사: 오차범위 약 ±3% (비용 기준: 1배)

• 10,000명 조사: 오차범위 약 ±1% (비용 기준: 10배)

표본 오차 계산 공식을 살펴보자.

e: 표본 오차, z: 신뢰 수준에 따른 z-값 (95% 신뢰 수준에서는 1.96), p: 응답 비율(최대 오차를 구할 때는 보통 0.5를 사용), n: 표본의 크기

중요한 점은 표본 크기(n)가 표준오차와 루트 관계에 있다는 것이다. 즉, 표본 크기를 4배로 늘리면 오차는 절반(1/2)으로 줄어들고, 9배로 늘리면 오차는 1/3로 줄어든다.

또한, 표본의 수를 늘린다고 해서 추정값 자체는 달라지지 않는다. 통계학적으로 말하면, 표본 크기는 추정값(estimator)의 편향성(bias)에 영향을 주지 않는다. 즉, 표본 크기가 커진다고 해서 추정 평균이 모평균에 더 가까워지는 것이 보장되지는 않는다.

예를 들어, 대통령 지지율이 실제로 55%라고 가정했을 때

• 1,000명을 조사해도 평균 지지율은 55% 근처가 나올 것이다.

• 10,000명을 조사해도 평균 지지율은 여전히 55% 근처일 것이다.

다시 말해 평균값 자체는 변하지 않는다. 이론적으로는 표본 크기가 1,000명이든 10,000명이든 추정 평균값은 달라지지 않아야 한다. 통계학적으로 보면, 올바르게 설계된 표본이라면 크기와 상관없이 같은 모집단에서 추출했을 때 비슷한 평균값이 나와야 한다.

(주)여론조사꽃 자체의 모순된 방법론

중앙선거여론조사심의위원회에 등록된 가장 최근의 (주)여론조사꽃 조사를 살펴보면

• 14069차: 표본 크기 천 명, 안심번호 이용 전화면접조사

• 14066차: 표본 크기 만 5천 명, 안심번호 이용 ARS 조사

두 조사의 차이는 딱 하나, 오차범위뿐이다. 그렇다면 김어준의 주장대로 천 명 조사는 부정확하고, 만 5천 명 조사가 더 정확한 것인가? 어떤 것이 더 정확한지 누가 판단할 것인가? 김어준 스스로 모순에 봉착한 상황이다.

과학적 여론조사의 본질은 '표본 크기'가 아닌 '표집 방법'

여론조사의 역사를 살펴보면, 1936년 미국 대통령 선거에서 갤럽(Gallup) 여론조사가 당시 가장 권위 있는 여론조사기관이었던 리터러리 다이제스트(Literary Digest)를 이기고 유명해진 사건이 있다.

당시 리터러리 다이제스트는 약 1,000만 명에게 설문지를 발송하는 대규모 조사를 통해 공화당 후보 알프 랜던(Alf Landon)이 프랭클린 D. 루즈벨트(Franklin D. Roosevelt)를 이길 것이라고 예측했다. 반면, 조지 갤럽(George Gallup)은 단 5,000명의 더 과학적으로 선정된 표본을 사용해 루즈벨트의 승리를 정확히 예측했다. 리터러리 다이제스트는 약 1,000만 명에게 설문을 보냈으나, 이 표본은 전화번호부와 자동차 등록부 등을 기반으로 했기 때문에 부유층에 편향되어 있었다.

결과적으로 루즈벨트가 승리를 거두었고, 갤럽의 과학적 표본추출 방법(scientific sampling)이 단순한 대규모 조사보다 더 정확하다는 것이 증명되었다. 이 사건은 현대 여론조사 방법론의 중요성을 확립하고 갤럽을 신뢰할 수 있는 여론조사 기관으로 만든 중요한 역사적 사례다.

독립신문, 필명