"당신이 지지하는 정당은?" 이 질문에 대한 답변이 선택지 순서만 바꿔도 17%까지 달라진다면 믿을 수 있을까? 실제로 학계에서는 이미 40년 전부터 이 현상을 연구해왔다.
순서만 바꿨는데 답변이 달라진다고? 실제 연구 사례
순서 효과란 설문조사에서 응답 항목의 제시 순서가 응답자의 선택에 영향을 미치는 현상을 말한다. 동일한 질문이라도 응답 항목의 순서에 따라 결과가 달라질 수 있다는 뜻이다.
1987년 크로스닉과 알윈(Krosnick & Alwin)이 발표한 연구는 학계에 충격을 주었다. 자녀 특성에 대한 가치관을 묻는 설문에서 응답 항목의 위치 변화만으로도 최대 17%까지 응답 차이가 발생했기 때문이다. 특히 교육수준이 낮은 응답자들에게서 더 큰 순서 효과가 나타났다.
17%까지 차이 나는 이유
순서 효과는 크게 두 가지 유형으로 나타난다.
첫머리 효과(Primacy Effect)는 응답 항목이 앞쪽에 위치할 때 선택될 가능성이 높아지는 현상이다. 시각적으로 제시되는 설문에서 주로 발생한다. 응답자가 초기 항목에 더 많은 인지적 노력을 기울이는 경향 때문이다.
온라인이나 서면 설문처럼 시각적으로 제시되는 설문에서는 첫 번째 항목이 유리하다. 응답자들은 초기 항목에 더 많은 인지적 노력을 기울이며, 초기 항목이 이후 항목을 해석하는 기준점이 되기도 한다. 또한 응답자가 만족할만한 답을 찾으면 더 이상 고민하지 않는 경향도 영향을 미친다.
반대로 최신 효과(Recency Effect)는 응답 항목이 뒤쪽에 위치할 때 선택될 가능성이 높아지는 현상이다. 구두로 제시되는 설문에서 주로 발생한다. 마지막 항목이 단기 기억에 남아있어 선택될 가능성이 증가하기 때문이다.
전화나 면접 설문처럼 구두로 제시되는 설문에서는 마지막 항목이 유리하다. 마지막 항목이 단기 기억에 남아있어 더 쉽게 회상되기 때문이다. 구두 제시의 경우 초기 항목에 대한 깊은 처리가 어렵고, 면접자가 마지막 항목 후에 잠시 멈추는 경향도 있다.
제한된 인지능력의 함정
순서 효과가 발생하는 원인은 크게 인지적 요인과 응답자 특성으로 나눌 수 있다. 인지적 요인으로는 제한된 인지 능력과 주의력, 정보 처리 과정의 한계, 기억력의 영향 등이 있다.
응답자 특성도 중요한 역할을 한다. 교육 수준이 낮을수록 순서 효과의 영향이 커진다. 인지적 능력이 낮을수록 영향이 커지며, 연령이 높을수록 영향이 커질 수 있다.
어떤 조건에서 더 심하게 나타날까?
순서 효과에 영향을 미치는 조건들을 살펴보면, 먼저 설문 형식이 중요하다. 응답 항목의 수, 제시 방식(시각/청각), 설문의 복잡성 등이 영향을 미친다.
질문 특성도 중요한 요인이다. 질문의 난이도, 응답자의 친숙도, 주제의 민감성 등에 따라 순서 효과의 크기가 달라진다.
교육수준이 낮을수록 더 영향을 받는다. 크로스닉과 알윈의 연구에서 교육수준이 낮은 응답자들에게서 더 큰 순서 효과가 나타났다. 이는 단순히 지식의 차이가 아니라, 정보를 체계적으로 처리하는 능력의 차이 때문이다.
순서 효과의 중요성은 연구적 측면과 실무적 측면에서 모두 나타난다. 연구적으로는 데이터의 신뢰성에 영향을 미치고, 연구 결과의 타당성 문제를 야기하며, 비교 연구를 어렵게 만든다.
실무적으로는 정확한 여론조사를 저해하고, 정책 결정의 왜곡 가능성을 높이며, 마케팅 조사에서 오류를 발생시킬 수 있다.
독립신문
<참고문헌>
Krosnick, J. A., & Alwin, D. F. (1987). An evaluation of a cognitive theory of response-order effects in survey measurement. Public Opinion Quarterly, 51(2), 201-219.
McClendon, M. J. (1991). Acquiescence and recency response-order effects in interview surveys. Sociological Methods & Research, 20(1), 60-103.
Powers, E. A., Morrow, P., Goudy, W. J., & Keith, P. M. (1977). Serial Order Preference in Survey Research. The Public Opinion Quarterly, 41(1), 80-85.