최근 차기 대선주자 선호도를 묻는 여론조사 결과(참고자료)

당신의 생각도 질문 순서에 따라 바뀔 수 있다

대통령의 국정 운영을 어떻게 평가하십니까?

이 질문에 어떻게 답변할지는 그 직전에 어떤 질문을 받았는지에 따라 크게 달라질 수 있습니다. 만약 최근 경제 상황에 대해 어떻게 생각하십니까? 라는 질문 직후에 대통령 평가를 물으면, 경제 상황에 대한 인식이 대통령 평가에 강하게 영향을 미치게 됩니다. 이처럼 설문조사에서 질문의 순서나 맥락이 응답에 영향을 미치는 현상을 '맥락 효과(Context Effects)'와 '순서 효과(Order Effects)'라고 합니다. 여론조사 전문가들은 이러한 효과가 여론조사 결과의 신뢰성과 타당성을 크게 좌우할 수 있다고 경고합니다.

맥락 효과: 이전 질문이 현재 답변을 바꾼다

맥락 효과는 설문 응답자가 이전 질문들의 영향을 받아 현재 질문에 답변할 때 발생합니다. 예를 들어

● "최근 범죄 사건들에 대해 어떻게 생각하십니까?"라는 질문 후에 "현 정부의 치안 정책에 만족하십니까?"를 물으면, 응답자들은 부정적으로 답변할 가능성이 높아집니다.

● "귀하의 월 소득은 얼마입니까?"라는 질문 후에 "현재의 삶에 만족하십니까?"를 물으면, 소득 관련 생각이 전반적인 삶의 만족도 평가에 영향을 미칠 수 있습니다.

Bishop, Oldendick, Tuchfarber(1982)의 연구에 따르면 따르면, 정치 캠페인에 대한 관심도 질문을 다른 정치 관련 질문 이후에 물었을 때 관심도가 더 높게 나타났습니다. 연구팀은 정치 관련 질문이 응답자들의 정치적 관심을 활성화시켜 이후 질문에 영향을 미쳤다고 해석했습니다.

순서 효과: 첫 번째와 마지막의 힘

순서 효과는 질문이나 선택지의 배열 순서가 응답에 영향을 미치는 현상입니다. 크게 두 가지 경향으로 나타납니다.

● 초두 효과(Primacy Effect): 정당 선호도 조사에서 맨 처음 나온 정당을 선택하는 경향

● 최신 효과(Recency Effect): 긴 보기 목록에서 마지막에 있는 항목을 더 잘 기억하고 선택하는 경향

귀하가 가장 관심 있는 사회 문제는 무엇입니까? 라는 질문에서 '경제', '환경', '교육', '복지' 순으로 보기를 제시하면 '경제'가 선택될 확률이 높아지고, 역순으로 제시하면 '복지'가 선택될 확률이 높아질 수 있습니다.

모든 사람이 동일하게 영향받지 않는다

흥미로운 점은 응답자의 정치적 지식과 교육 수준에 따라 맥락 효과의 영향이 다르게 나타난다는 것입니다. 역시 Bishop, Oldendick, Tuchfarber(1982)의 연구에 따르면

● 정치 정보 수준이 낮은 그룹: 맥락 효과가 가장 크게 나타남

● 중간 수준 그룹: 보통 수준의 맥락 효과

● 높은 수준 그룹: 맥락 효과가 거의 없음

이는 정치적 지식이 풍부한 사람들은 이미 형성된 견해가 있어 질문 순서에 덜 영향을 받는 반면, 정치적 지식이 적은 사람들은 설문 맥락에 더 많이 의존한다는 것을 시사합니다.

외부 요인도 영향을 미친다

맥락 효과와 순서 효과 외에도, 외부 사건과 설문 시점도 응답에 영향을 미칩니다.

● 정치적 위기 상황 (예: 안보 위기, 재난 상황)에서는 정치 관심도가 증가하며, 특히 저학력 그룹에서 이러한 증가가 더 크게 나타남

● 선거 시기에 따라 관심도 차이가 발생하며, 대통령 선거 시기에는 미디어 보도량이 많아 정치 관심도가 높아지는 경향

여론조사 결과를 어떻게 읽어야 할까?

맥락 효과와 순서 효과를 고려할 때, 여론조사 결과를 해석할 때는 다음 사항을 염두에 두어야 합니다.

1. 설문지 구성 확인하기: 가능하다면 원래 설문지의 질문 순서와 구성을 확인하세요.

2. 조사 시점 고려하기: 특별한 외부 사건이나 선거 시기 등이 결과에 영향을 미쳤는지 생각해보세요.

3. 다양한 조사 결과 비교하기: 한 가지 여론조사 결과만 보지 말고, 다양한 기관의 조사 결과를 비교하세요.

4. 핵심 질문 위치 확인하기: 핵심 질문이 설문의 어느 위치에 있었는지 살펴보세요. 초반, 중반, 후반에 위치했는지에 따라 응답이 달라질 수 있습니다.

마지막으로 여론조사 결과는 절대적 진실이 아니라 특정 질문 방식과 맥락 하에서의 의견 추정치입니다. 여론조사 결과를 해석할 때는 이러한 한계를 항상 염두에 두어야 합니다.

독립신문

<참고문헌>

Bishop, G. F., Oldendick, R. W., & Tuchfarber, A. J. (1982). Political Information Processing: Question Order and Context Effects. Political Behavior, 4(2), 177-200.