여론조사 참고용 질문과 그래프
설문조사는 데이터 수집의 핵심 도구이지만, 그 품질을 좌우하는 것은 바로 설계입니다. 미시간 대학의 프랭크 앤드류스(Frank M. Andrews) 교수의 연구에 따르면, 설문조사 결과의 품질 중 약 70%가 설문 설계 단계에서 결정됩니다. 이 글에서는 앤드류스 교수의 연구를 바탕으로 설문 설계의 품질을 높이는 핵심 요소들을 알아보겠습니다.
설문 설계에서 가장 중요한 요소 6가지
1. 응답 범주/척도의 수 (영향력: 최상위)
● 4점 이상의 척도 사용하기: 2점이나 3점 척도보다 4-7점 척도가 더 높은 데이터 품질을 제공합니다.
● 척도 포인트 선택 가이드
- 5점 또는 7점 척도: 일반적인 만족도나 동의 정도를 측정할 때 적합
- 9-19개 항목 척도: 정교한 구분이 필요한 경우 효과적
● 권장 사항: 핵심 질문에는 최소 5점 이상의 척도를 사용하세요.
2. "모름" 또는 "해당 없음" 옵션 포함 (영향력: 높음)
● 명시적인 "모름" 옵션 제공: 이 옵션이 포함된 경우 측정 품질이 높아집니다.
● 효과: 응답자가 질문에 대해 명확한 의견이 없을 때 무작위로 답변하는 것을 방지합니다.
● 권장 사항: 적용 가능한 모든 질문에 "모름" 또는 "해당 없음" 옵션을 포함하세요.
3. 질문 배터리 길이 (영향력: 높음)
● 최적 배터리 길이: 배터리(연속된 질문 그룹)가 길수록 측정 품질이 낮아집니다.
● 권장 사항: 5-9개 질문으로 구성된 배터리가 최적입니다. 10개 이상이 되면 응답자 피로로 품질이 떨어집니다.
● 배터리 설계 전략: 긴 배터리가 필요한 경우, 중간에 다른 형식의 질문이나 휴식을 제공하세요.
4. 비교 방식 vs. 절대적 방식 (영향력: 중간)
● 비교 질문의 우수성: 비교 방식의 질문이 절대적 방식보다 더 높은 측정 품질을 보입니다.
● 예시
- 비교적 질문: "지난해와 비교했을 때, 귀하의 만족도는 어떻게 변했습니까?"
- 절대적 질문: "귀하의 현재 만족도는 어떻습니까?"
● 권장 사항: 가능한 경우, 응답자에게 명확한 참조점을 제공하는 비교 질문을 사용하세요.
5. 질문 및 소개문 길이 (영향력: 중간)
● 최적 길이: 중간 길이의 소개문과 질문이 가장 높은 측정 품질을 보입니다.
● 주의사항: 너무 짧은 질문은 맥락을 제공하지 못하고, 너무 긴 질문은 응답자를 혼란스럽게 할 수 있습니다.
● 권장 사항: 복잡한 개념을 측정할 때는 짧은 소개문을 통해 맥락을 제공한 후, 중간 길이의 명확한 질문을 제시하세요.
6. 설문 항목의 위치 (영향력: 낮음)
● 최적 위치: 설문 중반에 위치한 질문의 측정 품질이 가장 높습니다.
● 이유: 응답자가 설문에 익숙해지고, 인터뷰어와의 라포가 형성된 시점이기 때문입니다.
● 권장 사항: 가장 중요한 질문들은 설문 초반이나 후반보다 중반에 배치하세요.
설문조사 품질을 높이는 5가지 종합 전략
1. 명확하고 간결한 질문 설계
● 한 질문에서는 한 가지만 물어보세요
● 응답자가 이해하기 쉬운 언어를 사용하세요
● 이중 부정문이나 편향된 표현을 피하세요
● 예시
- ❌ "저희 제품이 불만족스럽지 않았습니까?"
- ✅ "저희 제품에 얼마나 만족하셨습니까?"
2. 응답 옵션 최적화
● 응답 범주를 균형 있게 배치하세요 (긍정적/부정적 옵션 균형)
● 범주 간 간격이 동일하게 설계하세요 (예: "매우 만족", "만족", "보통", "불만족", "매우 불만족")
● 응답 옵션에 명확한 레이블을 제공하세요
● 예시
- ❌ 1-5 숫자만 제시
- ✅ 1=전혀 그렇지 않다, 3=보통이다, 5=매우 그렇다
3. 설문 구조 최적화
● 논리적인 주제 흐름을 따라 질문을 구성하세요
● 쉬운 질문에서 복잡한 질문으로 진행하세요
● 민감한 질문은 설문 중반에 배치하세요
● 배터리 길이를 5-9개 질문으로 제한하세요
● 예시: 인구통계학적 정보 → 일반적 경험 → 구체적 의견 → 향후 의향
4. 맥락과 참조점 제공
● 중간 길이의 소개문으로 질문의 맥락을 설명하세요
● 비교 질문을 통해 명확한 참조점을 제공하세요
● 필요한 경우 예시나 정의를 포함하세요
● 예시: "다음 질문에서 '정기적'이란 최소 한 달에 한 번 이상을 의미합니다."
5. 사전 테스트 및 검증
● 파일럿 테스트를 통해 질문의 명확성을 확인하세요
● 전문가 검토를 통해 내용 타당성을 검증하세요
● 인지면접(cognitive interview)을 통해 응답자의 이해도를 확인하세요
● 통계적 방법으로 신뢰성과 타당성을 평가하세요
실제 적용 사례: 설문 설계 전후 비교
개선 전
고객 만족도에 대해 알려주세요. (예/아니오)
개선 후
● 소개문: 중간 길이
- 다음은 저희 서비스 경험에 대한 질문입니다. 여러분의 솔직한 의견은 서비스 개선에 큰 도움이 됩니다.
● 질문: 비교 방식
- 이전에 이용하셨던 경험과 비교했을 때, 이번 서비스에 대한 만족도는 어떠셨습니까?
- 응답: 7점 척도 + "모름" 옵션
설문 설계에 이러한 원칙을 적용하면, 응답자로부터 더 정확하고 신뢰할 수 있는 데이터를 얻을 수 있을 것입니다.
참고문헌: Andrews, F. M. (1984). Construct Validity and Error Components of Survey Measures: A Structural Modeling Approach. Public Opinion Quarterly, 48(2), 409-442.
독립신문, 필명