여론조사 기관 ‘여론조사꽃’의 조사 결과에 의하면, 한수원이 미국 웨스팅하우스와 맺은 50년 계약에 대해 ‘졸속 계약’ 54.7%, ‘불가피한 선택’ 30.8%로 나타나 격차는 23.9%p였다.
설문조사 결과를 분석하다 보면 의외의 패턴을 발견하게 됩니다. 어떤 응답자는 모든 질문에 최고점을 주고, 다른 응답자는 모든 질문에 최저점을 줍니다. 이런 극단적 응답 패턴은 설문조사의 신뢰도를 크게 떨어뜨릴 수 있습니다. 1992년 그린리프(Greenleaf)가 발표한 연구는 이런 극단응답 스타일을 과학적으로 측정하고 개선하는 방법을 제시했습니다.
극단응답 스타일의 정의와 측정
그린리프(Greenleaf)는 극단응답 스타일을 척도의 양 끝점을 선택하는 경향으로 정의했습니다. 6점 리커트 척도에서라면 1점이나 6점을 선택하는 경향, 5점 척도에서라면 1점이나 5점을 선택하는 경향을 의미합니다. 이는 앞서 살펴본 긍정/부정 편향과는 다른 개념입니다. 긍정 편향자라도 항상 극단적 응답을 하는 것은 아니고, 극단응답을 하는 사람이라도 반드시 긍정적이거나 부정적인 것은 아니기 때문입니다.
연구자는 1975년과 1987년 미국 성인 소비자를 대상으로 한 두 차례의 대규모 설문조사 데이터를 분석했습니다. 첫 번째 조사에는 3,288명이, 두 번째 조사에는 4,061명이 참여했습니다. 연구진은 6점 리커트 척도로 구성된 171개 문항 중에서 극단응답 스타일을 측정하기에 적합한 16개 문항을 선별했습니다.
측정도구의 개발 원칙
극단응답 스타일을 정확히 측정하기 위해서는 몇 가지 중요한 조건을 만족해야 했습니다. 첫째, 문항 간 상관관계가 낮아야 했습니다. 만약 문항들이 서로 높은 상관관계를 보인다면 극단응답이 아니라 실제 의견의 일치 때문일 수 있기 때문입니다. 연구에서 선별된 16개 문항의 평균 상관계수는 0.071로 매우 낮은 수준이었습니다.
둘째, 각 문항에서 극단적 응답을 선택하는 비율이 비슷해야 했습니다. 한 문항에서는 대부분의 사람이 극단적 응답을 하고 다른 문항에서는 거의 하지 않는다면, 이는 문항 내용의 차이 때문일 가능성이 높습니다. 연구진은 이런 조건을 만족하는 문항들을 주성분 분석을 통해 체계적으로 선별했습니다.
인구통계학적 특성과의 관계
연구 결과 극단응답 스타일은 응답자의 인구통계학적 특성과 뚜렷한 관련성을 보였습니다. 가장 강한 관련성을 보인 것은 연령이었습니다. 나이가 많을수록 극단적 응답을 하는 경향이 강해졌습니다. 이는 나이가 들면서 자신의 의견을 더 확고하게 표현하려는 경향이 강해지기 때문으로 해석됩니다.
교육 수준과는 반대의 관계를 보였습니다. 교육 수준이 높을수록 극단적 응답을 피하고 중간 정도의 응답을 선택하는 경향이 강했습니다. 이는 고등교육을 받은 사람들이 복잡하고 미묘한 차이를 인식하고 표현하는 능력이 더 뛰어나기 때문으로 보입니다.
가구 소득도 비슷한 패턴을 보였습니다. 소득이 높을수록 극단적 응답보다는 중간 정도의 응답을 선택하는 경향이 강했습니다. 흥미롭게도 성별과는 유의미한 관련성이 없었습니다. 이는 극단응답 스타일이 성별보다는 다른 개인적 특성과 더 밀접한 관련이 있음을 시사합니다.
응답 스타일의 안정성 검증
연구에서 가장 중요한 발견 중 하나는 극단응답 스타일의 안정성이었습니다. 1975년과 1987년, 12년 간격으로 실시된 두 조사에서 극단응답 스타일의 분포가 거의 동일하게 나타났습니다. 이는 극단응답 스타일이 일시적인 현상이 아니라 비교적 안정적인 개인적 특성임을 의미합니다.
분할 신뢰도 계수는 0.593으로 나타났습니다. 이는 심리학 연구에서 허용되는 수준으로, 극단응답 스타일을 측정하는 도구가 내적 일관성을 가지고 있음을 보여줍니다. 또한 베타-이항분포 혼합모형을 통한 분석에서도 극단응답 스타일이 정규분포를 따르며 안정적인 개인차를 나타내는 것으로 확인되었습니다.
설문 설계에서의 실무적 고려사항
이런 연구 결과는 설문조사를 설계할 때 여러 실무적 시사점을 제공합니다. 첫째, 응답자의 인구통계학적 특성을 고려한 표본 설계가 중요합니다. 특정 연령대나 교육 수준에 치우친 표본은 극단응답 스타일로 인한 편향을 증가시킬 수 있습니다.
둘째, 설문 문항을 구성할 때 극단응답을 유도하지 않도록 주의해야 합니다. 지나치게 감정적이거나 논란이 될 수 있는 표현은 피하고, 중립적이고 균형잡힌 문항으로 구성하는 것이 좋습니다. 또한 문항의 순서도 중요합니다. 극단적인 문항이 앞에 나오면 후속 문항들에 대한 응답에도 영향을 미칠 수 있습니다.
결과 분석 시 편향 보정 방법
설문조사 결과를 분석할 때는 극단응답 스타일로 인한 편향을 보정하는 것이 중요합니다. 가장 기본적인 방법은 개별 응답자의 극단응답 빈도를 계산하여 가중치를 조정하는 것입니다. 극단응답을 자주 하는 응답자의 답변에는 낮은 가중치를, 중간 정도의 응답을 주로 하는 응답자의 답변에는 높은 가중치를 부여하는 방식입니다.
더 정교한 방법으로는 문항반응이론을 활용한 분석이 있습니다. 이는 각 응답자의 응답 패턴을 종합적으로 고려하여 실제 태도와 응답 스타일을 분리해서 측정하는 방법입니다. 최근에는 기계학습 알고리즘을 활용하여 극단응답 패턴을 자동으로 감지하고 보정하는 연구도 활발히 진행되고 있습니다.
그린리프(Greenleaf)의 연구는 30년이 넘었지만 현재의 빅데이터 시대에 더욱 중요한 의미를 갖습니다. 온라인 플랫폼에서 수집되는 대량의 평가 데이터, 리뷰, 피드백들이 모두 이런 극단응답 편향의 영향을 받기 때문입니다.
특히 추천 시스템이나 개인화 서비스에서 이런 편향을 고려하지 않으면 심각한 왜곡이 발생할 수 있습니다. 예를 들어 극단응답을 자주 하는 사용자의 평가가 과도하게 반영되면 다른 사용자들에게 부적절한 추천이 이루어질 수 있습니다.
문화적 차이도 중요한 고려사항입니다. 동양 문화권에서는 중간 응답을 선호하는 경향이 강한 반면, 서구 문화권에서는 극단응답을 상대적으로 자주 사용합니다. 글로벌 서비스를 제공하는 기업들은 이런 문화적 차이를 반드시 고려해야 합니다.
독립신문
<참고문헌>
Greenleaf, Eric A. (1992). Measuring Extreme Response Style. Public Opinion Quarterly, 56(3), 328-351.
Couch, A., & Keniston, K. (1960). Yeasayers and naysayers: Agreeing response set as a personality variable. Journal of Abnormal and Social Psychology, 60(2), 151-174.
Couch, A., & Keniston, K. (1961). Agreeing response set and social desirability. Journal of Abnormal and Social Psychology, 62(1), 175-179.