취임 100일(지난 29일)을 막 넘긴 도널드 트럼프 미국 대통령의 경제 분야 지지율이 집권 1∼2기 통산 최저인 36%로 나타났다고 로이터 통신이 30일(현지시간) 보도했다. 트럼프는 잘못된 여론조사라고 주장하고 있다.
설문조사 디자인의 두 가지 접근법
Budd(1987)의 연구에서 밝혀진 바와 같이, 설문지를 구성하는 방식은 크게 두 가지로 나눌 수 있습니다. 비무작위(순차적) 방식과 무작위 방식입니다. 이 두 접근법은 각각 고유한 장단점을 가지고 있어, 연구나 조사의 목적에 따라 적절한 선택이 필요합니다.
비무작위(순차적) 설문의 특성
비무작위 설문은 질문들을 논리적 순서에 따라 배치하는 방식입니다. 예를 들어, '합리적 행동이론'에 기반한 설문에서는 행동 의도, 태도, 행동 결과에 대한 평가 등을 순차적으로 배치합니다.
장점으로는
- 응답자의 이해도 향상: 질문의 맥락을 이해하기 쉬워 응답자의 부담이 줄어듭니다.
- 효율성: 응답 시간이 적게 소요되고, 응답 누락이 적습니다.
- 높은 신뢰도: 연구에서는 비무작위 설문의 알파계수가 0.782~0.836으로, 무작위 설문(0.473~0.521)보다 훨씬 높게 나타났습니다.
단점으로는
- 인위적 상관관계: 이전 응답의 영향을 받아 실제보다 높은 상관관계가 나타날 수 있습니다.
- 연구에서는 '운동' 행동에 대한 태도와 의도 간 상관관계가 0.649로 매우 높게 측정되었습니다.
- 사회적 바람직성 편향: 응답자들이 일관되고 '바람직한' 답변을 하려는 경향이 강화됩니다.
- 실제 관계 왜곡: 측정된 관계가 현실보다 과장될 수 있습니다.
무작위 설문의 특성
무작위 설문은 동일한 문항들을 무작위 순서로 배치하는 방식입니다. 연속된 두 문항 간 논리적 관계가 없게 되어, 예를 들어 첫 번째 문항은 운동 결과에 대한 평가, 두 번째 문항은 흡연에 대한 태도를 물을 수 있습니다.
장점으로는
- 응답 편향 감소: 이전 응답의 영향이 줄어들어 더 독립적인 응답이 가능합니다.
- 실제 관계 반영: 실제 태도와 행동의 관계를 더 정확히 측정할 수 있습니다. 연구에서 무작위 설문의 경우 '운동' 행동에 대한 태도와 의도 간 상관관계가 0.207로 훨씬 낮게 나타났습니다.
- 맥락 효과 감소: 질문 맥락에 의한 편향이 줄어듭니다.
단점으로는
- 응답자 부담 증가: 문항 간 연결성이 없어 응답자의 피로도가 높아집니다.
- 소요 시간 증가: 응답 시간이 더 오래 걸립니다.
- 낮은 신뢰도: 측정의 일관성이 떨어질 수 있습니다.
- 맥락 이해 어려움: 질문 간 맥락을 이해하기 어려울 수 있습니다.
연구/조사의 목적에 따른 선택
설문지 구성 방식은 연구나 조사의 목적에 따라 달리 선택되어야 합니다. 두 방식 모두 장단점이 있으므로, 상황에 맞는 적절한 선택이 중요합니다.
비무작위 설문이 적합한 경우
- 복잡한 개념이나 행동을 측정할 때: 응답자의 이해를 돕기 위해 맥락을 제공하는 것이 중요한 경우
- 응답률을 높여야 할 때: 응답자의 부담을 줄여 완료율을 높이고자 할 때
- 특정 주제에 대한 심층적 이해가 필요할 때: 관련 개념들을 함께 탐색하는 것이 중요한 경우
무작위 설문이 적합한 경우
- 응답 편향을 최소화해야 할 때: 실제 태도와 행동의 관계를 정확히 측정하고자 할 때
- 사회적 바람직성 편향이 우려될 때: 민감한 주제에 대한 설문에서 특히 중요
- 다양한 주제를 포괄적으로 조사할 때: 서로 다른 영역의 질문들이 섞여 있는 경우
새로운 대안: 준무작위 접근법
필자는 비무작위와 무작위 접근법의 장단점을 모두 고려한 '준무작위' 방식을 제안합니다. 이는 완전히 무작위로 하기보다 관련 개념들을 적절히 분리하는 방식입니다. 예를 들어, 동일한 행동에 대한 질문들을 일정 간격을 두고 배치하거나, 관련 있는 문항들 사이에 관련 없는 문항들을 삽입하는 방식입니다. 이러한 준무작위 접근법은 인위적 상관관계를 줄이면서도 응답자의 부담을 최소화하는 균형점을 찾는 데 도움이 될 수 있습니다.
Budd의 연구는 설문지 구성 방식이 결과에 큰 영향을 미칠 수 있음을 보여줍니다. 중요한 것은 어느 방식이 '옳다'가 아니라, 각 방식의 장단점을 이해하고 연구나 조사의 목적에 맞게 적절한 선택을 하는 것입니다.
독립신문
<참고자료>
Budd, R. J. (1987). Response bias and the theory of reasoned action. Social Cognition, 5(2), 95-107.