26일 국민의힘 대표로 당선된 장동혁 의원. 그는 당원 선거인단 투표에서 52.88%를 득표해 47.12%를 얻은 김 전 장관을 눌렀으나, 국민 여론조사에서는 39.82%를 얻어 60.18%를 득표한 김 전 장관에게 크게 뒤졌다. 당원 비중을 80%로 정했기 때문이었다.
앞선 연구들을 통해 우리는 설문조사 응답자들이 긍정 편향, 부정 편향, 극단응답 등 다양한 응답 성향을 가지고 있다는 사실을 확인했습니다. 그렇다면 이런 편향을 최소화하면서 신뢰할 수 있는 설문조사를 설계하려면 어떻게 해야 할까요? 이번 글에서는 응답 편향을 차단하는 구체적이고 실용적인 전략들을 단계별로 살펴보겠습니다.
문항 구성의 균형화 전략
설문조사에서 가장 중요한 것은 문항을 균형있게 구성하는 것입니다. 기존의 설문조사에서는 한 가지 방향으로만 질문하는 경우가 많았습니다. 예를 들어 "코로나19 백신 접종이 필요하다고 생각하십니까?"와 같은 직접적인 질문은 긍정 편향자들에게 유리하게 작용할 수 있습니다.
개선된 방식에서는 동일한 주제에 대해 다각도로 접근합니다. 긍정 문항으로는 "코로나19 백신은 감염 예방에 도움이 된다"를 제시하고, 부정 문항으로는 "코로나19 백신의 부작용이 우려된다"를 추가합니다. 여기에 중립 문항인 "코로나19 백신 접종은 개인의 선택이다"를 포함하여 응답자의 편향 성향과 관계없이 자신의 실제 의견을 표현할 수 있도록 합니다.
이렇게 구성하면 긍정 편향자가 모든 문항에 동의하거나 부정 편향자가 모든 문항에 반대하는 것을 방지할 수 있습니다. 응답자는 각 문항의 내용을 개별적으로 검토하여 답변해야 하므로 더욱 신중한 응답을 하게 됩니다.
척도 유형의 다양화
동일한 주제라도 다양한 형태의 척도를 활용하면 응답 편향을 줄일 수 있습니다. 전통적인 리커트 척도에서는 "백신 접종이 필요하다"에 대해 매우 반대부터 매우 찬성까지 5단계로 응답하게 합니다. 이런 방식은 극단응답 성향이 강한 응답자들에게 편향된 결과를 가져올 수 있습니다.
이를 보완하기 위해 선택형 질문을 추가할 수 있습니다. "귀하의 백신 접종 의향은?"에 대해 반드시 접종, 상황 보고 결정, 접종하지 않음 중에서 선택하게 하면 극단응답 성향과 관계없이 실제 의도를 파악할 수 있습니다.
순위 선정 방식도 효과적입니다. "백신 접종 결정시 고려사항을 순서대로 나열해 주세요"라고 하여 효과성, 안전성, 비용, 편의성 등을 순위로 매기게 하면 응답자의 우선순위를 명확히 파악할 수 있습니다. 이는 단순한 찬성-반대를 넘어서 더 깊이 있는 태도를 측정하는 데 도움이 됩니다.
교차 검증 문항의 전략적 배치
설문조사의 신뢰도를 높이기 위해서는 교차 검증 문항을 반드시 포함해야 합니다. 주 문항에서 "정부의 방역 정책에 만족한다"고 물었다면, 검증 문항에서는 "정부의 방역 정책 중 개선이 필요한 부분은?"이라고 구체적으로 질문합니다.
만약 응답자가 첫 번째 질문에서 매우 만족한다고 답했는데 두 번째 질문에서 전면 개선이 필요하다고 답한다면 이는 일관성이 없는 응답입니다. 이런 패턴을 통해 응답 성향으로 인한 편향이나 불성실한 응답을 걸러낼 수 있습니다.
교차 검증 문항은 너무 가깝게 배치하면 응답자가 의도를 눈치챌 수 있으므로 적절한 간격을 두고 배치하는 것이 중요합니다. 또한 표현 방식을 다르게 하여 동일한 내용임을 즉시 알아차리지 못하도록 해야 합니다.
응답 성향 파악을 위한 문항 배치
효과적인 설문조사를 위해서는 응답자의 기본적인 응답 성향을 파악하는 것이 중요합니다. 설문 초반부에 일반적인 태도를 묻는 문항들을 배치합니다. "나는 새로운 것을 시도하는 것을 좋아한다"나 "나는 신중하게 결정을 내리는 편이다"와 같은 질문을 통해 응답자가 개방적인지 보수적인지, 충동적인지 신중한지를 파악할 수 있습니다.
본격적인 조사 문항들은 중간 부분에 배치합니다. 이때 응답자의 기본 성향을 고려하여 결과를 해석할 수 있는 기준을 마련해 둡니다. 설문 후반부에는 응답의 신뢰도를 확인하는 문항들을 포함합니다. "이 설문에 성실히 응답했다"나 "질문의 내용을 이해하기 쉬웠다"와 같은 질문을 통해 응답의 품질을 점검할 수 있습니다.
인구통계학적 특성을 고려한 구조화
앞선 연구들에서 확인했듯이 연령, 교육수준, 소득수준 등은 응답 성향에 영향을 미칩니다. 따라서 이런 특성들을 체계적으로 수집하고 분석에 활용해야 합니다. 연령대는 20대, 30대, 40대, 50대 이상으로 구분하고, 교육수준은 고졸 이하, 대졸, 대학원 이상으로 나누며, 소득수준은 300만원 미만, 300-500만원, 500만원 이상으로 분류합니다.
각 문항별로 긍정과 부정 응답의 빈도를 기록하고, 응답 시간도 측정합니다. 비정상적으로 빠른 응답이나 일정한 패턴의 응답은 불성실한 응답일 가능성이 높습니다. 문항간 상관관계도 분석하여 지나치게 높은 상관관계를 보이는 응답자는 별도로 검토해야 합니다.
전략적 문항 배열의 원칙
설문조사의 구조는 응답자의 심리적 부담과 피로도를 고려하여 설계해야 합니다. 1번부터 5번까지는 쉽고 일반적인 문항으로 시작하여 응답자가 편안하게 설문에 임할 수 있도록 합니다. 6번부터 15번까지는 핵심 주제에 관한 문항들을 배치하여 응답자의 집중도가 높을 때 중요한 정보를 수집합니다.
16번부터 20번까지는 심화되거나 민감한 문항들을 포함합니다. 이 시점에서는 응답자가 이미 설문에 충분히 참여했으므로 상대적으로 어려운 질문에도 성실히 답변할 가능성이 높습니다. 21번부터 25번까지는 마무리와 확인 문항들로 구성하여 전체 응답의 일관성을 점검합니다.
응답 피로도를 고려하여 전체 문항 수는 25개 내외로 제한하는 것이 좋습니다. 민감한 주제는 응답자가 너무 지치기 전인 중반부에 배치하고, 관련성이 높은 문항들 사이에는 적절한 간격을 유지하여 연쇄 효과를 방지해야 합니다.
결과 분석을 위한 사전 준비
효과적인 분석을 위해서는 설문 설계 단계에서부터 분석 방법을 염두에 두어야 합니다. 전체 응답의 평균과 표준편차를 계산하고, 인구통계학적 특성별로 차이를 분석할 수 있도록 데이터를 구조화합니다. 긍정 편향과 부정 편향을 보정하기 위한 가중치를 미리 계산해 둡니다.
교차 문항들의 일치도를 측정하여 응답의 신뢰성을 평가하고, 응답 시간대별 패턴을 분석하여 피로도가 응답에 미치는 영향을 파악합니다. 불성실한 응답을 필터링하기 위한 기준을 명확히 설정하고, 이를 자동으로 적용할 수 있는 시스템을 구축합니다.
이러한 종합적인 접근을 통해 응답 편향을 최소화하고, 데이터의 신뢰성을 향상시키며, 더욱 심층적인 분석이 가능하고, 응답자의 부담을 줄이면서도 결과 해석의 정확성을 높일 수 있습니다.
독립신문
<참고문헌>
Couch, A., & Keniston, K. (1960). Yeasayers and naysayers: Agreeing response set as a personality variable. Journal of Abnormal and Social Psychology, 60(2), 151-174.
Couch, A., & Keniston, K. (1961). Agreeing response set and social desirability. Journal of Abnormal and Social Psychology, 62(1), 175-179.
Greenleaf, Eric A. (1992). Measuring Extreme Response Style. Public Opinion Quarterly, 56(3), 328-351.