"당신은 운동을 자주 하십니까?" 이 질문이 위험한 이유

설문조사를 설계하는 실무자라면 한 번쯤 고민해봤을 질문입니다. "당신은 운동을 자주 하십니까?" 간단하고 명확해 보이는 이 질문이 왜 데이터의 신뢰성을 무너뜨리는 위험한 함정이 될까요?

지난 50년간 축적된 연구 결과들이 하나같이 경고하고 있습니다. 설문조사에서 사용하는 모호한 언어 표현들이 응답자마다 완전히 다르게 해석되어 연구 결과 자체를 왜곡시킨다는 것입니다. 이제 실무자들이 이 문제를 어떻게 해결할 수 있는지 구체적인 방법을 살펴보겠습니다.

1989년 콜트코의 날카로운 지적

1989년 콜트코(Koltko)는 심리치료사들의 윤리적 행동과 신념에 관한 설문조사 연구를 비판하며 중요한 문제를 제기했습니다. 해당 연구에서 사용된 빈도 관련 응답 척도의 모호성이 연구 결과의 신뢰성을 심각하게 저해했다는 것입니다.

콜트코는 영화 'Annie Hall'의 대화 장면을 예시로 들며 이 문제를 설명했습니다. 남녀 주인공이 성관계 빈도에 대해 서로 다르게 답하는 장면에서, 동일한 현실에 대해 완전히 다른 인식을 보여주는 것과 같은 문제가 설문조사에서도 발생한다고 지적했습니다.

연구에서는 두 가지 주요 문제점이 발견되었습니다. 첫째, 설문 문항과 응답 범주에서 절대적 빈도와 상대적 빈도의 구분이 불명확했습니다. 응답자들이 동일한 범주를 서로 다르게 해석할 가능성이 높았던 것입니다. 둘째, 부적절한 비교분석으로 인한 해석의 오류가 발생했습니다. 전체 응답자가 아닌 관련 집단만을 대상으로 분석했어야 했고, 행동 빈도와 윤리성 판단의 응답 범주가 직접 비교 불가능한 상황이었습니다.

실무자를 위한 4가지 핵심 원칙

연구들이 제시하는 해결책을 바탕으로 실무에서 적용할 수 있는 4가지 핵심 원칙을 정리했습니다.

● 원칙 1: 맥락을 명확히 제시하라

가장 중요한 것은 응답자가 질문을 해석할 수 있는 구체적인 맥락을 제공하는 것입니다. "당신은 운동을 자주 하십니까?"라는 모호한 질문 대신 "직장 생활 중 점심시간에 10분 이상 걷기운동을 하는 빈도는 어느 정도입니까?"와 같이 상황과 기준을 명확히 제시해야 합니다. 맥락이 구체적일수록 응답자들의 해석 차이가 줄어듭니다.

● 원칙 2: 참조점을 제공하라

응답자가 자신의 상황을 객관적으로 평가할 수 있도록 비교 기준을 제공해야 합니다. "SNS를 자주 사용하십니까?"보다는 "일반적인 직장인의 하루 평균 SNS 사용시간이 1시간인데, 귀하의 SNS 사용 빈도는 어느 정도입니까?"와 같이 참조점을 명시하는 것이 효과적입니다. 또 다른 방법으로는 "지난 3개월 동안 영화관에서 영화를 몇 번 보셨습니까?"처럼 구체적인 기간과 횟수를 직접 묻는 방식도 있습니다.

● 원칙 3: 응답 범주 수를 적절히 조절하라

너무 많은 응답 범주는 응답자의 판단을 어렵게 하고 인접 범주 간 중복을 증가시킵니다. 9점 척도처럼 "전혀 없음 - 매우 드물게 - 드물게 - 약간 드물게 - 보통 - 약간 자주 - 자주 - 매우 자주 - 항상"과 같은 세분화는 피해야 합니다. 대신 5점 척도인 "전혀 없음 - 가끔 - 보통 - 자주 - 매우 자주"처럼 4~7점 범위에서 명확하게 구분되는 범주를 사용하는 것이 바람직합니다.

● 원칙 4: 극단적 표현을 신중히 사용하라

"항상", "전혀", "절대로" 같은 극단적 표현은 응답을 왜곡시킬 수 있으며 실제 현상을 정확히 반영하기 어렵습니다. 이런 표현들 대신 "대부분의 경우", "거의 없음", "매우 드물게" 같은 현실적인 대안을 사용해야 합니다.

실제 적용 사례: 개선 전후 비교

● 운동 빈도 조사 개선 사례

개선 전 질문: "귀하는 운동을 자주 하십니까?"

개선 후 질문: "귀하의 운동 빈도에 대해 응답해 주십시오 (참고: 일반적인 성인의 주당 운동 횟수는 3회). 응답 범주도 구체적으로 변경했습니다. "거의 하지 않음 (월 1회 미만)", "가끔 (월 1-2회)", "보통 (주 1-2회)", "자주 (주 3-4회)", "매우 자주 (주 5회 이상)"와 같이 각 범주에 구체적인 횟수를 명시했습니다.

● 독서 활동 조사의 다층 검증 방식

주관적 평가와 객관적 지표를 함께 수집하는 방법도 효과적입니다. 먼저 "귀하는 독서를 얼마나 자주 하십니까?"라고 주관적 평가를 받습니다. 그 다음 구체적 행동을 확인하기 위해 "지난 한 달 동안 책을 완독한 권수"와 "하루 평균 독서 시간"을 분 단위로 기입하도록 합니다. 마지막으로 행동 패턴을 파악하기 위해 "주로 언제 독서를 하십니까?"라고 물어 출퇴근 시간, 점심 시간, 취침 전, 주말 등의 선택지를 제공합니다.

● 상황별 적절한 선택 기준

모든 설문에서 동일한 방식을 적용할 필요는 없습니다. 높은 정확성이 요구되는 경우에는 구체적 수치를 사용하고, 일반적 경향성 파악이 목적인 경우에는 양적 표현 사용이 가능합니다. 국제비교연구의 경우에는 표준화된 양적 표현을 사용하는 것이 적절합니다.

● 설문 문항 점검 포인트

설문을 완성한 후에는 다음 사항들을 점검해야 합니다. 시간 범위가 구체적인지, 상황이 명확한지 확인해야 합니다. 일반적인 기준이나 평균치를 제시했는지, 응답자가 자신의 위치를 객관적으로 파악할 수 있는지 살펴봐야 합니다. 4~7점 척도를 사용하고 있는지, 각 범주가 겹치지 않고 명확한지도 중요한 점검 사항입니다. 마지막으로 "항상", "전혀", "절대로" 같은 극단적 표현을 피했는지, 현실적인 응답 범위를 제공하고 있는지 확인해야 합니다.

독립신문

<참고문헌>

Koltko, M. E. (1989). How vagueness can ruin a survey: Comment on Pope, Tabachnick, and Keith-Spiegel. American Psychologist, 44(6), 845-846.

Pope, K. S., Tabachnick, B. G., & Keith-Spiegel, P. (1987). Ethics of practice: The beliefs and behaviors of psychologists as therapists. American Psychologist, 42(11), 993-1006.

Hakel, M. D. (1968). How often is often? American Psychologist, 23(7), 533-534.