최근의 21대 대통령 선거에서의 3자 가상대결 여론조사 결과(참고용)
설문조사 질문 배치는 응답자의 집중도, 인지적 부담, 민감도 등을 고려하여 응답의 정확성을 높이고, 설문 완료율을 높이는 데 중요한 역할을 합니다. 그러나 많은 설문조사 설계자들이 질문 배치의 과학적 원칙에 대해 간과하고 있습니다. 관련 연구들은 질문의 위치가 응답에 미치는 영향이 생각보다 훨씬 크다는 사실을 밝혀냈습니다.
설문 시작 직후: 웜업이 필요하다
Herzog와 Bachman(1981)의 연구에 따르면, 응답자들은 설문 시작 시 약간의 어색함과 불안감을 느끼는 경향이 있습니다. Sharp와 Frankel(1983)은 "사람들이 설문조사를 시작할 때는 약간 어색하고 불편함을 느끼지만, 조금 시간이 지나면 더 편안하게 응답한다"는 것을 발견했습니다.
이런 연구 결과들은 설문 초반에 응답자가 쉽게 답할 수 있는 간단한 질문들을 배치하여 설문에 적응할 시간을 주는 것이 중요하다는 점을 시사합니다. 응답자가 편안함을 느끼기 시작한 이후에 더 복잡하거나 민감한 질문을 배치하는 것이 더 좋은 응답을 얻는 데 도움이 됩니다.
일반적인 중요 질문: 전반부 배치가 효과적
Galesic과 Bosnjak(2009)의 연구에서는 "설문조사가 오래 걸릴 것 같으면 사람들이 참여하지 않으려 하고, 참여하더라도 나중에는 대충 응답하는 경향이 있다"는 것을 보여주었습니다. 이 연구에서는 다음과 같은 중요한 발견이 있었습니다.
- 참여율 감소: 예상 설문 시간이 길다고 안내된 설문조사에서는 참여율이 낮게 나타남
- 응답 시간 감소: 설문 후반부로 갈수록 응답자들이 각 문항에 할애하는 시간이 감소
- 단순 응답 증가: 설문 후반부에서는 짧고 단순한 응답이 증가하는 경향
이러한 결과를 고려할 때, 연구자들은 다음과 같이 제안합니다.
- 응답자의 집중력이 가장 높은 시점인 전반부에 중요 질문을 배치
- 주요 목적과 직접적으로 관련된 질문을 전반부에 배치
- 응답자가 설문을 중도에 포기하더라도 핵심 데이터를 수집할 수 있도록 구성
민감하거나 복잡한 질문: 중반부가 적합
Yan과 Tourangeau(2008)의 연구는 "설문조사에서 질문의 위치, 응답자의 나이와 경험, 질문의 복잡성이 응답 시간에 영향을 미친다"는 것을 밝혔습니다. 이 연구에서는 다음과 같은 결과가 나타났습니다.
- 문항 위치의 영향: 설문 후반부로 갈수록 응답자들이 각 질문에 답하는 속도가 빨라지는 경향
- 응답자 특성의 영향: 나이가 많을수록 응답 시간이 길어지고, 설문조사 경험이 많은 응답자들은 더 빠르게 응답
- 질문 복잡성의 영향: 복잡한 질문은 단순한 질문보다 응답 시간이 더 길었음
이러한 결과에 기반하여, 민감하거나 복잡한 질문은 중반부에 배치하는 것이 좋습니다. 응답자가 설문에 익숙해진 중반부에는 민감하거나 복잡한 질문에 대해 더 솔직하고 신중하게 응답할 가능성이 높기 때문입니다. 설문 초반에는 응답자가 아직 적응 단계이므로, 민감한 질문을 배치하면 응답 거부나 부정확한 응답이 발생할 수 있습니다.
일반적 질문을 구체적 질문보다 먼저 배치
Schuman과 Presser(1981)의 "Questions and Answers in Attitude Surveys" 연구에서는 선행 질문이 후속 질문의 응답에 영향을 미치는 맥락효과(context effect)를 발견했습니다. 이 연구는 일반적 질문을 구체적 질문보다 먼저 배치할 것을 제안합니다. 예를 들어, 전반적인 제품 만족도에 대한 일반적 질문을 먼저 하고, 그 다음에 특정 기능에 대한 만족도와 같은 구체적 질문을 하는 것이 더 정확한 응답을 얻을 수 있습니다. 구체적 질문을 먼저 하면 응답자의 일반적 평가가 이미 언급된 특정 측면에 지나치게 영향을 받을 수 있기 때문입니다.
배경, 인구통계 질문 배치: 후반부가 적절
많은 설문조사에서 나이, 성별, 교육 수준 등의 인구통계학적 질문을 어디에 배치할지 고민합니다. 연구 결과는 이러한 질문들을 설문 후반부에 배치하는 것이 좋다고 제안합니다.
Herzog와 Bachman(1981)의 연구에서는 설문 길이가 길어질수록 응답 품질이 저하되는 경향이 발견되었지만, 인구통계학적 질문은 상대적으로 응답하기 쉽고 민감도가 낮기 때문에 후반부에 배치해도 큰 문제가 없습니다. 오히려 설문 초반에 개인 정보를 요구하면 응답자가 불편함을 느끼고 중도 포기할 가능성이 높아질 수 있습니다.
응답자 부담과 적응 과정을 고려한 설계
Sharp와 Frankel(1983)의 연구는 응답자들이 설문에 참여하기 시작할 때 약간의 불안감이나 어색함을 느끼지만, 시간이 지남에 따라 응답 과정에 적응하고 더 자연스럽게 참여하는 경향이 있음을 보여주었습니다. 이러한 연구 결과는 다음과 같은 설문 설계 전략을 제안합니다.
- 적응 과정 고려: 설문 초반에 간단하고 응답하기 쉬운 질문으로 시작
- 응답자 피로도 관리: 전체 설문 길이를 최적화하고 중요 질문은 앞쪽에 배치
- 점진적 난이도: 간단한 질문에서 복잡한 질문으로 점진적으로 이동
- 응답자 편의성: 유사한 형식의 질문을 그룹화하여 응답자의 인지적 부담 감소
효과적인 설문조사를 위한 실무 팁
다양한 연구 결과를 종합하여, 효과적인 설문조사 설계를 위한 실무 팁은 다음과 같습니다.
● 설문 시작: 간단하고 응답하기 쉬운 질문으로 시작하여 응답자가 설문에 적응할 수 있도록 함
● 핵심 질문 배치: 가장 중요한 질문은 설문 전반부(첫 1/3 지점)에 배치
● 민감한 질문: 개인적이거나 민감한 주제는 설문 중반부에 배치하여 응답자가 어느 정도 편안함을 느낀 상태에서 응답할 수 있도록 함
● 복잡한 질문: 깊은 생각이 필요한 복잡한 질문은 중반부에 배치
● 인구통계학 질문: 개인 정보와 관련된 인구통계학적 질문은 설문 후반부에 배치
● 설문 길이 최적화: 전체 설문 길이를 가능한 한 짧게 유지하여 응답자의 피로도 최소화
● 논리적 흐름: 관련 주제들을 그룹화하여 응답자가 맥락을 이해하기 쉽게 구성
설문 디자인은 과학이다
이러한 원칙을 적용하면 응답의 정확성을 높이고, 설문 완료율을 향상시킬 수 있습니다. 설문조사는 단순한 질문 모음이 아니라, 응답자의 심리와 행동을 고려한 과학적 접근이 필요한 분야입니다. 다수의 연구 결과는 설문조사의 질문 배치가 단순한 디자인 선택이 아니라 과학적 근거에 기반해야 함을 보여줍니다. 응답자의 심리적 상태, 인지적 과정, 설문 진행에 따른 피로도 변화 등을 고려한 체계적인 접근이 필요합니다.
좋은 설문조사는 단지 좋은 질문을 하는 것에 그치지 않고, 그 질문들을 가장 효과적인 순서로 배치하는 것까지 포함합니다.
독립신문
<참고문헌>
- Herzog, A. R., & Bachman, J. G. (1981). Effects of Questionnaire Length on Response Quality. Public Opinion Quarterly, 45(4), 549-559.
- Galesic, M., & Bosnjak, M. (2009). Effects of Questionnaire Length on Participation and Indicators of Response Quality in a Web Survey. Public Opinion Quarterly, 73(2), 349-360.
- Sharp, L. M., & Frankel, J. (1983). Respondent Burden: A Test of Some Common Assumptions. Public Opinion Quarterly, 47(1), 36-53.
- Yan, T., & Tourangeau, R. (2008). Fast Times and Easy Questions: The Effects of Age, Experience and Question Complexity on Web Survey Response Times. Public Opinion Quarterly, 72(1), 5-22.
- Schuman, H., & Presser, S. (1981). Questions and Answers in Attitude Surveys. Academic Press.
- Dillman, D. A., Smyth, J. D., & Christian, L. M. (2014). Internet, Phone, Mail, and Mixed-Mode Surveys: The Tailored Design Method (4th ed.). Wiley.