최근 미국 CBS와 유거브가 조사 발표한 트럼프에 대한 직무수행 평가는 긍정 42%, 부정 58%로 나타나, 취임 초기 긍정 평가 53%보다 11%p 하락했다.

"순서 효과는 중요하지 않다" vs "순서 효과는 매우 중요하다"

1977년부터 1987년까지 10년간 학계는 정반대 결론을 놓고 논쟁을 벌였다. 같은 현상을 연구했는데 왜 이토록 다른 결과가 나왔을까? 40년 후 내려진 학계의 최종 판결은 무엇일까?

Powers 연구: "순서 효과는 거의 의미 없다"

1977년 파워스 등(Powers et al.)이 발표한 연구는 순서 효과에 대해 회의적인 결론을 내렸다. 이들은 설문 순서가 응답에 "거의 영향을 미치지 않는다"고 주장했다.

통계적으로는 유의미한 차이가 있었지만, 실질적인 의미는 크지 않다고 해석했다. 연구진은 순서 효과에 대한 추가 연구가 불필요하다고까지 주장했다.

Krosnick 연구: "순서 효과는 매우 중요하다"

10년 후인 1987년,크로스닉과 알윈(Krosnick & Alwin)은 완전히 다른 결론에 도달했다. 이들은 순서 효과가 "매우 중요하다"고 결론지었다. 응답 항목의 위치 변화로 최대 17%까지 응답 차이가 발생한다는 충격적인 결과를 발표했다.

특히 교육수준이 낮은 응답자들에게서 더 큰 순서 효과가 나타난다는 점을 강조했다.

왜 정반대 결과가 나왔을까?

연구 방법의 차이

두 연구 간에는 중요한 방법론적 차이가 있었다. 파워스 연구는 다양한 태도 척도를 사용해 일반적인 순서 효과를 연구했다. 노인을 대상으로 한 연구였으며, 폭넓은 주제를 다뤘다. 반면 크로스닉 연구는 자녀 특성에 대한 가치관이라는 구체적인 주제에 집중했다. 일반 성인을 대상으로 했으며, 특정 영역에 초점을 맞췄다.

분석 관점의 차이

파워스 연구진은 통계적 유의성과 실질적 유의성을 구분해 해석했다. 수치상 차이가 있어도 현실적 의미가 작다면 중요하지 않다고 봤다. 크로스닉 연구진은 인지적 관점에서 순서 효과의 메커니즘을 심층적으로 분석했다. 통계적 차이뿐만 아니라 그 이유와 조건을 탐구했다.

연구 맥락의 차이

파워스 연구는 1970년대 연구 환경에서 제한된 분석 도구를 사용했다. 당시에는 복잡한 상호작용 효과를 분석하기 어려웠다. 크로스닉 연구는 1980년대 발달된 통계 기법과 인지심리학 이론을 활용했다. 더 정교한 실험 설계와 분석이 가능했다.

논쟁의 결말: 후속 연구들의 판정

2000년대 이후 연구 동향

2000년대 이후의 후속 연구들은 대체로 크로스닉과 알윈의 입장을 더 지지하는 것으로 나타났다. 학계의 합의는 순서 효과가 실제로 존재하며 중요한 현상이라는 쪽으로 기울었다. 여러 연구에서 웹 설문, 전화 설문, 대면 설문 모두에서 유의미한 순서 효과를 발견했다. 특히 교육 수준이 낮은 응답자들에게서 더 강한 효과가 확인됐다.

크로스닉 입장을 지지하는 이유

후속 연구들이 Krosnick의 입장을 지지하는 데는 몇 가지 이유가 있다.

첫째, 방법론적 발전이다. 더 정교한 통계 기법을 사용하고, 다양한 실험 설계를 통한 검증이 가능해졌다. 대규모 표본을 활용한 연구도 증가했다.

둘째, 이론적 근거가 강화됐다. 인지심리학 이론과의 연계성이 증가했고, 순서 효과의 메커니즘에 대한 이해가 심화됐다. 교육 수준, 연령 등 조절변수들의 역할도 확인됐다.

셋째, 실무적 중요성이 인식됐다. 온라인 설문의 증가로 순서 효과의 중요성이 부각됐고, 정확한 여론조사를 위한 방법론적 관심이 증가했다.

현재 학계의 주류 입장

현재 학계의 주류적 입장은 다음과 같다.

순서 효과는 분명히 존재하는 현상이다. 특정 조건에서 더 강하게 나타나며, 설문 설계 시 반드시 고려해야 할 요소다.

하지만 모든 설문에서 동일하게 나타나는 것은 아니다. 주제의 친숙도와 복잡성에 따라 효과 크기가 달라진다. 완전히 통제할 수는 없지만 최소화할 수는 있다.

파워스 연구의 재평가

Powers 연구가 잘못되었다기보다는, 당시의 제한된 연구 맥락과 방법론적 한계로 인해 순서 효과를 과소평가했을 가능성이 높다.

1970년대 연구 환경에서는 현재와 같은 정밀한 분석이 어려웠다. 또한 노인 집단만을 대상으로 한 연구의 한계도 있었다.

현재 관점에서 보면 Powers 연구는 순서 효과가 상황과 맥락에 따라 다르게 나타날 수 있음을 보여준 의미 있는 연구로 평가된다.

실무적 시사점과 설문 설계 시 고려사항

순서 효과 연구의 발전은 실무에 중요한 시사점을 제공한다.

첫째, 가능한 경우 응답 항목의 순서를 무작위화해야 한다. 둘째, 응답자의 특성을 고려한 설문 설계가 필요하다. 셋째, 결과 해석 시 순서 효과의 가능성을 고려해야 한다.

둘째, 조사 결과를 해석할 때는 다음 사항을 확인해야 한다. 조사기관이 순서 효과를 인지하고 대응책을 마련했는지, 응답자 집단의 특성이 어떤지, 질문의 복잡성과 친숙도는 어떤지 등을 살펴봐야 한다.

셋째, 특히 교육 수준이 낮은 응답자가 많거나, 복잡한 질문이 포함된 조사에서는 순서 효과를 더 주의 깊게 고려해야 한다.

독립신문

<참고문헌>

Powers, E. A., Morrow, P., Goudy, W. J., & Keith, P. M. (1977). Serial Order Preference in Survey Research. The Public Opinion Quarterly, 41(1), 80-85.

Krosnick, J. A., & Alwin, D. F. (1987). An evaluation of a cognitive theory of response-order effects in survey measurement. Public Opinion Quarterly, 51(2), 201-219.

McClendon, M. J. (1991). Acquiescence and recency response-order effects in interview surveys. Sociological Methods & Research, 20(1), 60-103.