미국 여론조사 결과 트럼프의 경제정책 지지율은 43%,부정 평가는 55%로 나타나 취임 후 가장 저조한 결과가 나타났다. 관세정책에 대해서는 49%가 반대, 35%만 찬성했다. (참고용)

여론조사에서 동일한 질문이라도 어떤 순서로 묻느냐에 따라 전혀 다른 결과가 나올 수 있다는 사실. 여론조사 전문가들 사이에서는 오래전부터 알려진 이 현상이 최근 다시 주목받고 있습니다.

순서가 바꾸는 응답의 심리

켄터키 대학교의 스튜어트 맥팔랜드(Stuart McFarland) 교수의 연구에 따르면, 사람들은 특정 주제에 관한 구체적인 질문들을 먼저 접한 후에 일반적인 관심도를 물었을 때 훨씬 더 높은 관심을 표현하는 경향이 있습니다.

1980년 켄터키 주에서 실시한 516명 대상 전화 설문조사에서, 연구팀은 참가자들을 두 그룹으로 나누어 한 그룹에게는 정치적 관심도를 먼저 물은 뒤 구체적인 정치 관련 질문들을 했고, 다른 그룹에게는 순서를 바꾸어 구체적인 질문들을 먼저 한 뒤 정치적 관심도를 물었습니다. 결과는 놀라웠습니다.

“구체적인 질문을 먼저 받은 응답자들은 정치에 '매우 관심있다'는 응답이 42%로 나타났지만, 일반적인 관심도를 먼저 물었을 때는 28%에 그쳤습니다."

이는 순서만 바꿨을 뿐인데 14%p나 차이가 난 것으로, 여론조사 결과를 완전히 다르게 해석하게 만들 수 있는 수준입니다.

주제별로 다르게 나타나는 순서 효과

재미있는 것은 이러한 순서 효과가 모든 종류의 질문에서 동일하게 나타나지는 않는다는 점입니다. 맥팔랜드 교수팀의 연구에 따르면 질문의 성격에 따라 순서 효과가 크게 달라집니다.

관심도를 묻는 질문에서 큰 차이

정치나 종교에 대한 '관심도'를 묻는 질문은 순서 효과에 매우 민감했습니다. 구체적인 정치 활동이나 종교 활동에 관한 질문을 먼저 접한 응답자들은 자신의 관심도를 훨씬 더 높게 평가했습니다.

종교 관심도의 경우, 기도 빈도나 교회 출석과 같은 행동적 지표를 묻는 구체적 질문을 먼저 했을 때, 일반적인 종교 관심도와의 상관관계가 더 강하게 나타났습니다. 이는 응답자들이 자신의 실제 행동을 먼저 생각한 후 관심도를 평가했기 때문으로 해석됩니다.

객관적 평가에는 적은 영향

반면, 에너지나 경제 문제의 '심각성'을 평가하는 질문은 순서 효과의 영향을 상대적으로 적게 받았습니다. 맥팔랜드 교수는 이를 "평가가 더 객관적인 판단을 요구하며, 구체적인 기준에 근거하기 때문"이라고 설명합니다.

예를 들어 에너지 문제의 심각성은 실제 데이터나 경험에 기반하여 판단하므로 질문 순서의 순간적인 영향을 덜 받는다는 것입니다.

모든 인구 집단에 영향

또 하나 주목할 만한 발견은 이러한 순서 효과가 교육 수준이나 성별에 관계없이 일관되게 나타났다는 점입니다. 고등학교 졸업 이하와 이상 집단 모두에서, 또한 남성과 여성 모두에서 정치적 관심도는 구체적 질문 후에 증가했습니다.

이는 질문 순서 효과가 특정 집단의 특성이 아닌, 인간의 인지 과정에 내재된 보편적 현상임을 시사합니다.

여론조사 설계의 중요성

이러한 연구 결과는 여론조사 설계의 중요성을 강조합니다. 연구는 다음과 같은 실용적 시사점을 제시합니다.

● 일반적 질문을 앞에 배치하라: 응답자의 실제 생각과 더 가까운 응답을 얻으려면 일반적인 질문을 구체적인 질문 앞에 배치해야 합니다.

● 질문의 성격을 고려하라: 순서 효과에 더 민감할 수 있는 관심도 관련 질문은 특히 신중하게 배치해야 합니다.

● 일관성 있는 설계를 유지하라: 시간에 따른 여론 변화를 정확히 측정하려면, 질문 순서를 포함한 조사 설계의 일관성이 필수적입니다.

여론조사를 읽는 새로운 시각

이 연구는 우리가 매일 접하는 여론조사 결과를 더 비판적으로 읽어야 할 필요성을 제기합니다. 단순히 백분율 수치만 보는 것이 아니라, 어떤 맥락에서 어떤 순서로 질문이 이루어졌는지를 함께 고려해야 더 정확한 해석이 가능합니다.

다음 편에서는 이러한 질문 순서 효과가 실제 선거 여론조사와 정치적 상황에서 어떻게 나타나는지, 그리고 그것이 선거 결과 예측에 어떤 영향을 미칠 수 있는지 살펴보겠습니다.

독립신문

<참고문헌>

McFarland, S. G. (1981). Effects of question order on survey responses. The Public Opinion Quarterly, 45(2), 208-215.