윤석열 전 대통령의 국정지지도 추이. 취임 이후 내내 낮은 긍정평가와 높은 부정평가가 이어졌으며, 결국 총선 참패에 이어 비상계엄 선포라는 오판까지 하게 되는 계기가 됐다. 12.3 비상계엄 선포 전에는 긍정평가가 10%대로 내려갔고 부정평가는 70%대가 지속됐다.(참고용 그래프)

선거철마다 쏟아지는 여론조사 결과, 어디까지 신뢰하고 계신가요? 여론조사 전문가들은 설문 질문의 순서만 바꿔도 선거 결과 예측이 달라질 수 있다고 경고합니다. 이전 기사에서 살펴본 질문 순서 효과가 실제 정치적 상황에서는 어떻게 나타나는지 살펴보겠습니다.

대통령 지지도 조사의 숨은 변수

텍사스 대학의 리 시글먼(Lee Sigelman) 교수는 1979년 연구를 통해 대통령 지지도 조사에서 질문 순서가 미치는 영향을 분석했습니다. 그는 746명의 응답자를 대상으로 두 그룹으로 나누어, 한 그룹에게는 대통령 지지도 질문을 설문지 첫 번째에 배치하고, 다른 그룹에게는 33번째 질문으로 배치했습니다. 놀랍게도, 대통령에 대한 평가(지지/비지지)는 질문 순서에 크게 영향받지 않았습니다. 그러나 응답 여부에는 확연한 차이가 있었습니다.

"대통령 지지도를 설문 초반에 물었을 때 19.6%가 '모르겠다'고 응답했지만, 여러 정치 관련 질문 후에 물었을 때는 11.3%만이 '모르겠다'고 답했습니다."

이는 질문 순서만으로 8.3%p나 의견 표명률에 차이가 생긴 것입니다. 시글먼 교수는 이를 "워밍업 효과"라고 설명합니다. 응답자들이 앞선 질문들을 통해 정치적 이슈에 대해 생각할 시간을 가지고, 설문에 대한 친숙도가 높아져 의견을 더 적극적으로 표현하게 된다는 것입니다.

교육 수준에 따른 차이

더 흥미로운 발견은 이러한 효과가 모든 응답자에게 동일하게 나타나지 않는다는 점입니다. 시글먼 교수의 연구에 따르면, 교육 수준이 낮은 응답자들에게서 질문 순서 효과가 훨씬 크게 나타났습니다.

● 저학력 집단: 첫 질문 시 20.5% 무응답 → 나중 질문 시 8.4% 무응답 (12.1%p 차이)

● 고학력 집단: 질문 순서와 관계없이 일관된 응답률 (15.8%와 16.8%)

이는 교육 수준이 낮은 응답자들이 정치적 이슈에 대해 즉각적으로 의견을 형성하고 표현하는 데 더 많은 "워밍업"이 필요하다는 것을 보여줍니다.

복잡한 정치 상황에서 더 커지는 순서 효과

코네티컷 대학의 이르빙 크레스피(Irving Crespi)와 데이비드 모리스(David Morris) 교수는 1982년 코네티컷 주 선거에서 더 놀라운 현상을 발견했습니다. 뉴욕 타임스와 하트포드 쿠란트 신문의 여론조사가 상반된 결과를 보인 원인을 분석한 것입니다. 그들의 연구에 따르면, 주지사 선거와 상원의원 선거에 대한 질문 순서가 결과에 결정적 영향을 미쳤습니다. 특히 정치적으로 복잡한 상황(진보적 공화당 후보와 보수적 민주당 후보가 경쟁하는 경우)에서 질문 순서 효과가 극대화되었습니다.

"주지사 선거에 대한 질문 후에 상원의원 선거를 물었을 때와, 그 반대 순서로 물었을 때 특정 후보의 지지율이 최대 10%p까지 차이가 났습니다."

이러한 현상은 특히 전통적 지지 기반이 아닌 유권자들에게서 두드러졌습니다. 예를 들어, 공화당 성향의 유권자가 민주당 후보를 지지하거나, 그 반대의 경우 질문 순서에 더 민감하게 반응했습니다.

여론조사의 과학적 접근

이러한 연구 결과들은 여론조사가 단순한 질문과 응답의 과정이 아니라, 복잡한 인지적, 심리적 요소가 작용하는 과학적 영역임을 보여줍니다. 전문가들은 신뢰할 수 있는 여론조사를 위해 다음과 같은 방법론을 제안합니다.

● 분할표본설계 활용: 질문 순서를 달리한 두 가지 버전으로 조사를 진행하고 결과를 평균하여 순서 효과를 최소화합니다.

● 교육 수준 고려: 표본 구성에서 교육 수준을 적절히 고려하고, 필요시 교육 수준별 가중치를 적용합니다.

● 정치적 맥락 분석: 특히 복잡한 정치적 상황에서는 질문 순서가 미칠 수 있는 영향을 더 면밀히 검토합니다.

● 방법론적 투명성: 여론조사 결과 발표 시 질문 순서와 설문지 구성 방식을 함께 공개합니다.

유권자와 언론의 역할

이런 연구 결과는 유권자와 언론에게도 중요한 시사점을 줍니다. 여론조사 결과를 접할 때 단순히 숫자만 보는 것이 아니라, 조사 방법론과 맥락을 함께 고려해야 합니다. 언론은 여론조사 결과를 보도할 때 단순히 백분율만 전달하는 것이 아니라, 조사 방법론적 한계와 해석 시 주의점을 함께 전달할 책임이 있습니다. 어떤 순서로 질문이 이루어졌는지, 표본의 특성은 어떠했는지 등의 정보가 함께 제공될 때 여론조사는 더 가치 있는 정보가 됩니다.

더 나은 여론조사를 위한 도전

질문 순서 효과는 여론조사의 도전 중 하나에 불과합니다. 최근에는 응답률 감소, 온라인 조사 방법론, 소셜 미디어의 영향 등 새로운 변수들이 등장하고 있습니다. 그러나 지난 40년 동안의 연구가 보여주듯, 여론조사의 과학적 기반을 강화하고 방법론적 한계를 이해하려는 노력이 계속된다면, 여론조사는 여전히 민주주의 사회에서 중요한 의견 수렴 도구로 기능할 수 있을 것입니다.

독립신문

<참고문헌>

Sigelman, L. (1981). Question-order effects on presidential popularity. Public Opinion Quarterly, 45(2), 199-207.

Crespi, I., & Morris, D. (1984). Question order effect and the measurement of candidate preference in the 1982 Connecticut Elections. Public Opinion Quarterly, 48(3), 578-591.