여론조사기관 리얼미터의 최근 정당별 지지도(참고)

설문조사 결과, 어떻게 받아들여야 할까?

우리는 매일 다양한 설문조사 결과를 접합니다. 하지만 이런 조사 결과가 얼마나 신뢰할 만한지, 그리고 어떻게 해석해야 하는지에 대한 의문은 여전히 남아있습니다. Budd의 연구(1987)는 설문지 디자인이 응답 결과에 미치는 영향을 명확히 보여주며, 우리가 설문조사 결과를 해석할 때 더욱 신중해야 함을 시사합니다.

같은 질문, 다른 배치, 완전히 다른 결과

이 연구의 가장 충격적인 발견은 동일한 질문이라도 배치 방식에 따라 결과가 극적으로 달라질 수 있다는 점입니다. 연구자들은 '합리적 행동이론'에 기반한 설문을 두 가지 형태로 구성했습니다.

- 비무작위 형식: 질문들을 논리적 순서대로 배열

- 무작위 형식: 질문들을 무작위로 섞어서 배열

결과는 놀라웠습니다. 비무작위 형식에서는 이론에서 예측한 대로 개념들 간 강한 상관관계가 나타났지만, 무작위 형식에서는 이러한 관계가 크게 약화되거나 심지어 사라졌습니다.

예를 들어, '운동' 행동에 대한 측정에서

- 비무작위 설문: 태도와 의도 간 상관관계 = 0.649 (p<.001)

- 무작위 설문: 태도와 의도 간 상관관계 = 0.207 (통계적으로 유의하지 않음)

이는 설문지 구성 방식만으로 측정된 상관관계가 3배 이상 차이날 수 있음을 보여줍니다. 다른 일부 요소들에서는 이 차이가 최대 8배에 달했습니다. 왜 이런 현상이 발생할까? 연구자들은 이러한 현상이 다음과 같은 이유로 발생한다고 분석합니다.

- 인지적 일관성 추구: 응답자들은 자신의 답변이 일관되게 보이길 원함

- 자기제시 동기: 논리적으로 모순되지 않는 모습을 보이려는 경향

- 맥락 효과: 이전 질문이 이후 질문의 해석과 응답에 영향을 미침

대부분의 사람들은 자신의 의견이나 태도가 일관되기를 바랍니다. 비무작위 설문에서는 응답자가 이전 답변을 쉽게 참고할 수 있어 인위적으로 일관된 응답을 하게 되는 것입니다.

실무에 적용할 수 있는 교훈

이 연구 결과는 설문조사를 설계하거나 해석할 때 다음과 같은 중요한 시사점을 제공합니다.

- 연구 목적에 맞는 형식 선택: 실제 태도와 행동의 관계를 정확히 측정하고 싶다면 무작위 배치가, 개념 간 관계성을 강조하고 싶다면 비무작위 배치가 적합할 수 있습니다.

- 응답자 부담 vs 측정 정확성: 무작위 설문은 편향을 줄일 수 있지만, 응답자의 피로도를 높이고 응답 시간을 늘릴 수 있습니다.

- 준무작위 접근법 고려: 완전히 무작위로 하기보다 관련 개념들을 적절히 분리하는 준무작위 방식이 효과적일 수 있습니다.

Budd의 연구는 설문조사 결과를 해석할 때 설문지 구성 방식을 반드시 고려해야 함을 강조합니다. 특히 중요한 의사결정이나 정책 수립에 설문조사 결과를 활용할 때는 더욱 신중한 접근이 필요합니다. 특히 비무작위 설문에서 나타난 높은 상관관계는 실제보다 과장되었을 가능성이 있습니다. 아울러 가능하다면 다양한 설문 형식으로 측정하여 결과를 비교해 보는 것이 좋습니다.

독립신문

<참고자료>

Budd, R. J. (1987). Response bias and the theory of reasoned action. Social Cognition, 5(2), 95-107.