최근 한국갤럽의 대선후보에 대한 가상대결 조사 결과
"A후보 42%, B후보 38%" - 선거철이면 쏟아지는 여론조사 결과들이 얼마나 정확할까요? 여론조사를 설계하는 방식, 특히 질문의 순서가 결과에 큰 영향을 미친다는 사실을 아는 사람은 많지 않습니다. 여러 연구들은 단순히 질문 순서만 바꿔도 응답 결과가 크게 달라질 수 있음을 보여주고 있습니다.
정당 프레임의 영향력: McFarland(1981)의 연구
McFarland(1981)의 연구는 설문조사에서 어떤 질문을 먼저 하느냐가 나중에 하는 질문의 응답에 영향을 미칠 수 있다는 것을 명확히 보여주었습니다. 특히 정치 관련 설문에서, 응답자에게 "어떤 정당을 지지하십니까?"라는 질문을 먼저 하면, 이후에 "이 후보자를 어떻게 평가하십니까?"라는 질문에 대한 응답이 더 정당 성향에 맞게 편향될 수 있습니다. 연구자는 이를 '프라이밍 효과(priming effect)'로 설명합니다. 정당 선호도 질문이 먼저 제시되면, 응답자들의 정치적 정체성이 활성화되어 이후 질문에 대한 응답에 영향을 미치게 됩니다.
선거 예측 조사에서 중요한 질문 순서
그렇다면 선거 예측 조사에서는 어떤 순서로 질문을 배치하는 것이 좋을까요? 연구 결과는 다음과 같은 시사점을 제공합니다.
후보 지지를 먼저, 정당 지지를 다음에
- 정당 지지도를 먼저 물으면 응답자들이 자신의 정당 성향에 맞춰 후보자 지지 의사를 표현할 가능성이 높아짐
- 이는 실제 투표행위보다 정당 충성도에 더 영향받은 응답일 가능성이 있음
- 후보 지지 여부를 먼저 물으면 응답자들이 정당 프레임에 덜 영향받고 후보자 개인에 대한 평가를 더 독립적으로 할 가능성이 높음
- 실제 투표행위를 더 잘 반영할 수 있음
- 무당파 유권자나 정당보다 후보자 개인을 중시하는 유권자가 많은 선거에서는, 후보 지지 여부를 먼저 묻는 것이 실제 투표 행태를 더 정확하게 예측하는 데 도움
후보, 정당 제시 순서는 무작위 배정
- 개인별 무작위화: 각 응답자마다 정치인 목록의 순서를 무작위로 제시
- 순서 효과가 전체 샘플에서 골고루 분산되어 특정 정치인이 유리하거나 불리해지는 체계적 편향을 방지
Huckfeldt와 Sprague(2000)의 정치적 일관성 연구
Huckfeldt와 Sprague(2000)의 연구는 설문조사에서 '어떤 정당을 지지하십니까?'라는 질문과 '어떤 후보를 지지하십니까?'라는 질문의 순서가 응답에 영향을 미친다"는 것을 보여주었습니다. 이 연구에서는 다음과 같은 중요한 발견이 있었습니다.
- 순서 효과의 존재: 정당 일체감 질문과 후보자 선호도 질문의 순서가 유권자의 응답 일관성에 유의미한 영향을 미침
- 인지적 대안의 이용가능성: 정당 일체감 질문이 먼저 제시되면, 그에 관련된 인지적 대안(생각, 정보, 평가 기준 등)이 활성화되어 후속 후보자 평가에 더 많이 사용됨
- 캠페인 진행에 따른 변화: 이러한 순서 효과가 선거 캠페인의 진행 단계에 따라 달라질 수 있음. 선거일이 가까워질수록, 유권자들의 정치적 태도가 더 결정적이고 안정적이 되어 순서 효과가 감소하는 경향이 있음
특히 주목할 점은, 정당 지지 질문을 먼저 하면 사람들은 자신이 지지한다고 말한 정당의 후보자도 지지한다고 답할 가능성이 높아진다는 것입니다. 이는 일종의 일관성 유지 심리 때문입니다. 사람들은 자신의 의견이 서로 모순되지 않기를 원하며, 먼저 한 응답에 맞춰 이후 응답을 조정하는 경향이 있습니다.
정치적 지식과 관심도의 영향: Miller와 Peterson(2004)의 연구
Miller와 Peterson(2004)의 연구는 "정치에 관심이 많고 지식이 풍부한 사람들은 설문조사에서 질문 순서의 영향을 덜 받는다"는 흥미로운 결과를 보여주었습니다. 연구 결과는 다음과 같습니다.
- 태도 강도와 순서 효과: 정치적 태도의 강도, 특히 정치적 지식이나 관심도가 질문 순서 효과에 영향을 미침
- 인지적 저항성: 정치적 지식이나 관심도가 높은 응답자들이 더 발달된 정치적 신념 체계를 가지고 있어, 외부 영향(이 경우, 질문 순서)에 대한 '인지적 저항성'이 더 강함
- 태도의 안정성: 정치적 지식이나 관심도가 높은 응답자들은 더 안정적이고 확고한 정치적 태도를 가지고 있어, 설문조사의 맥락적 요소(질문 순서 등)에 덜 영향을 받음
이는 질문 순서의 영향이 모든 응답자에게 동일하게 나타나지 않으며, 응답자의 특성에 따라 그 영향력이 달라질 수 있음을 시사합니다.
프라이밍과 의사소통 효과: Strack, Martin, Schwarz(1988)의 연구
Strack, Martin, Schwarz(1988)의 연구는 설문조사에서 특정 정치인에 대한 질문을 먼저 하면, 그 정치인이 속한 정당에 대한 평가가 영향을 받는다는 것을 보여주었습니다. 연구의 주요 발견은 다음과 같습니다.
- 프라이밍 효과의 존재: 특정 정치인에 대한 평가 질문을 먼저 할 경우, 해당 정치인의 소속 정당에 대한 평가가 영향을 받음
- 일치성 효과: 응답자들이 자신의 판단에 일관성을 유지하려는 경향을 반영
- 인지적 이용가능성: 특정 정치인에 대해 생각하면 그와 관련된 정보와 감정이 활성화되어, 이후 관련 정당에 대한 판단에 더 쉽게 이용됨
- 맥락 인식의 영향: 프라이밍 효과가 응답자가 두 질문 간의 관련성을 어떻게 인식하느냐에 따라 달라질 수 있음
이 연구는 정치인에 대한 평가가 그 정치인이 속한 정당에 대한 평가에 '전이'될 수 있음을 보여줍니다. 예를 들어, 인기 있는 정치인에 대해 먼저 질문하면 그 정당에 대한 평가도 더 긍정적일 수 있습니다.
인기 정치인의 영향: Moore(2002)의 연구
Moore(2002)의 연구는 여론조사에서 인기 있는 정치인에 대한 질문을 먼저 하면, 그 다음에 질문하는 덜 인기 있는 정치인에 대한 평가가 영향을 받는다는 것을 보여주었습니다. 연구자는 이러한 효과를 두 가지 유형으로 분류했습니다.
● 가산적 효과(additive effects): 첫 번째 정치인에 대한 평가가 후속 정치인 평가를 '높이는' 경향
● 감산적 효과(subtractive effects): 첫 번째 정치인에 대한 평가가 후속 정치인 평가를 '낮추는' 경향
연구의 핵심 발견은 다음과 같습니다.
- 인기 정치인의 영향: 지지율이 높은 인기 정치인에 대한 질문을 먼저 할 경우, 이후 질문되는 덜 인기 있는 정치인의 평가에 영향을 미침
- 대비 효과: 이는 일종의 '대비 효과(contrast effect)'로, 첫 번째 정치인이 일종의 기준점이 되어 후속 평가에 영향을 미침
- 맥락 효과: 정치인들 간의 관계나 유사성도 순서 효과에 영향을 미침
신뢰할 수 있는 정치 여론조사를 위한 제안
다양한 연구 결과를 종합하여, 보다 정확하고 신뢰할 수 있는 정치 여론조사를 위한 제안은 다음과 같습니다.
1. 목적에 맞는 질문 순서 선택
- 실제 투표 행동 예측이 목적이라면 후보자 지지 질문을 먼저 배치
- 정당 충성도와 그 영향 연구가 목적이라면 정당 지지 질문을 먼저 배치
2. 무작위화 기법 활용
- 후보자나 정당 이름 제시 순서를 무작위화하여 순서 효과 분산
- 가능하다면 질문 순서도 응답자 집단에 따라 다르게 하여 순서 효과 검증
3. 투명한 조사 방법론 공개
- 질문 순서를 포함한 상세한 설문 구성 공개
- 순서 효과 가능성에 대한 정보 함께 제공
4. 맥락 효과 고려
- 여러 정치인이나 정당에 대한 질문을 할 때 맥락 효과 고려
- 인기 정치인과 덜 인기 있는 정치인의 배치 순서에 주의
5. 응답자 특성 고려
- 정치적 지식이나 관심도에 따라 응답자를 세분화하여 분석
- 다양한 응답자 특성이 골고루 포함되도록 표본 설계
이상의 연구 결과들은 정치 여론조사의 결과가 단순히 유권자의 의견만을 반영하는 것이 아니라, 설문 구성 방식에 의해서도 크게 영향을 받을 수 있음을 보여줍니다. 특히 질문 순서는 응답에 상당한 영향을 미칠 수 있습니다. 정당 지지도를 먼저 묻느냐, 후보자 지지도를 먼저 묻느냐에 따라 결과가 크게 달라질 수 있으며, 이는 선거 예측의 정확성에도 영향을 미칠 수 있습니다.
여론조사 결과를 제대로 해석하기 위해서는 단순한 수치 이상의 정보가 필요합니다. 어떤 질문이 어떤 순서로 제시되었는지, 응답자들의 정치적 지식과 관심도가 어느 정도인지, 선거 캠페인의 어느 시점에서 조사가 이루어졌는지 등의 맥락 정보를 함께 고려해야 합니다.
결국 여론조사는 완벽한 과학이 아니라 특정 조건과 맥락 하에서 이해해야 하는 도구임을 인식하는 것이 중요합니다.
독립신문
<참고문헌>
- McFarland, S. G. (1981). Effects of Question Order on Survey Responses. Public Opinion Quarterly, 45(2), 208-215.