완주군과 전주시 통합 관련 여론조사기관 데일리리서치가 지난 8월 1~2일 완주군 거주 18세 이상 1000명을 대상으로 여론조사를 실시한 결과, ‘통합 반대’ 71.0%, 찬성 25.9%, ‘모름’ 3.2%로 나타났다. 사진=완주군의회
설문조사에서 몇 점 척도를 사용할지 결정하는 것은 단순한 기술적 선택이 아니다. 1988년 웨델(Wedell)과 파두치(Parducci)의 연구는 척도의 길이가 응답자의 판단 과정 자체를 바꾼다는 놀라운 사실을 발견했다. 3점 척도로 평가할 때와 9점 척도로 평가할 때 같은 것을 보더라도 다르게 판단한다는 것이다.
특히 적은 점수 척도는 최근 경험의 영향을 크게 받는 반면, 많은 점수 척도는 더 독립적인 판단을 가능하게 한다는 발견은 척도 선택이 조사 결과에 미치는 근본적 영향을 보여준다. 이와 함께 1971년 마텔(Matell)과 야코비(Jacoby)의 연구는 기존 통념과 달리 매우 짧은 척도도 효과적일 수 있다는 반전을 제시했다.
1988년 웨델과 파두치 연구: 척도가 판단을 바꾼다
행복 평가 실험의 설계
웨델과 파두치가 1988년 발표한 연구는 사람들이 행복을 평가할 때 척도의 범주 수가 어떤 영향을 미치는지 알아보고자 했다. 연구진은 세 가지 실험을 통해 이 문제를 체계적으로 분석했다.
첫 번째 실험에서는 참가자들에게 웃는 얼굴부터 우는 얼굴까지 다양한 표정을 보여주고 행복해 보이는 정도를 평가하게 했다. 일부 참가자는 3점 척도로, 다른 일부는 7점이나 100점 척도로 평가했다. 두 번째 실험에서는 일상생활의 여러 사건들을 읽게 하고 그 사건이 얼마나 행복한지 평가하게 했다. 세 번째 실험은 두 번째와 유사하지만 자극의 전체 범위를 모두 제시하여 범주 효과에 어떤 영향을 미치는지 확인했다.
범주 효과의 발견
연구 결과 범주가 적을수록 최근에 본 것들의 영향을 많이 받는 것으로 나타났다. 3점 척도를 사용하는 참가자들은 바로 직전에 본 자극에 따라 현재 자극에 대한 평가가 크게 달라졌다. 예를 들어 매우 슬픈 표정을 본 직후에는 보통 표정도 상대적으로 행복해 보인다고 평가했다.
반면 범주가 많을수록 더 독립적인 판단을 내리는 것으로 확인됐다. 9점 척도나 100점 척도를 사용하는 참가자들은 직전 자극의 영향을 덜 받고 각 자극을 더 절대적인 기준으로 평가했다. 또한 모든 것을 한꺼번에 보여줄 때보다 하나씩 순서대로 보여줄 때 이러한 효과가 더 강하게 나타났다.
극단적 비교의 활성화
연구에서 흥미로운 발견 중 하나는 많은 점수 척도를 사용할 때 실제로 보지 않은 더 극단적인 것들과 비교하는 경향이 있다는 점이었다. 9점 척도 사용자들은 현재 보고 있는 자극보다 훨씬 더 행복하거나 슬픈 상황을 머릿속으로 떠올리며 비교 판단을 내렸다. 이는 척도 길이가 응답자의 인지적 참조점을 확장한다는 것을 의미한다.
실생활 적용: 판단 방식이 미치는 영향
일상 평가 방식의 차이
연구 결과는 실생활에서 중요한 의미를 갖는다. "좋다/나쁘다"로만 생각하는 사람은 최근 경험에 크게 좌우되는 반면, 더 세분화해서 평가하는 사람은 판단이 더 일관적이라는 것이다. 이는 개인의 평가 습관이 실제 경험의 만족도나 행복감에 영향을 미칠 수 있음을 시사한다.
설문조사에서의 함정
같은 질문이라도 "예/아니오" 형식으로 물었을 때와 "1-10점 사이 점수"로 물었을 때 결과가 다를 수 있다는 점도 중요한 발견이다. 단순한 이분법적 질문은 응답자로 하여금 최근 경험을 더 많이 고려하게 만들어 조사 시점의 맥락에 따라 결과가 달라질 수 있다.
기분 관리에의 적용
연구 결과는 개인의 감정 관리에도 시사점을 제공한다. 어려운 상황을 겪을 때 단순히 '최악'이라고 생각하기보다는 '7점 정도로 안 좋음' 같은 세분화된 방식으로 생각하면 부정적 감정을 덜 극단적으로 느낄 수 있다는 것이다.
1971년 마텔과 야코비 연구: 통념에 도전하는 발견
척도 길이와 신뢰도의 관계 재검토
마텔과 야코비가 1971년 발표한 연구는 리커트 척도 항목에 대한 최적의 응답 범주 수가 존재하는지를 실증적으로 검증했다. 이들의 연구 목적은 척도의 길이가 측정의 신뢰도와 타당도에 미치는 영향을 탐구하는 것이었다.
연구의 주요 질문은 "리커트 척도 항목에 대한 최적의 응답 범주 수가 존재하는가?"였으며, 연구자들은 범주 수와 신뢰도 및 타당도 간에 유의미한 관계가 있을 것이라고 가정했다.
예상을 뒤엎는 결과
하지만 연구 결과는 예상과 달랐다. 척도의 범주 수는 신뢰도에 유의미한 영향을 미치지 않았다. 2점 척도부터 19점 척도까지, 범주 수가 증가함에 따라 신뢰도가 체계적으로 증가하거나 감소하는 경향이 발견되지 않았다.
타당도 역시 척도의 범주 수와 유의미한 관계를 보이지 않았다. 다양한 길이의 척도들이 유사한 수준의 타당도를 나타냈으며, 특정 범위의 척도가 더 우수한 타당도를 보이지 않았다. 특히 2점에서 3점과 같은 짧은 척도도 더 긴 척도와 비슷한 수준의 신뢰도와 타당도를 보였다.
응답자의 실제 활용 패턴
연구에서 흥미로운 발견은 응답 분포의 분석 결과였다. 많은 응답자들이 실제로는 2개에서 3개의 응답 범주만을 의미 있게 활용하는 것으로 나타났다. 이는 많은 응답 범주를 제공하더라도 응답자들이 그 모든 범주를 효과적으로 활용하지는 않는다는 것을 시사한다.
또한 응답 범주가 증가함에 따라 응답자들이 중간점 주변의 응답을 더 많이 선택하는 경향이 있었다. 이는 척도 길이가 증가할수록 극단적인 응답 옵션을 회피하는 현상을 보여준다.
두 연구가 던지는 질문
맥락 의존성 vs 일관성의 딜레마
웨델과 파두치의 연구는 짧은 척도가 맥락에 더 민감하다는 것을 보여준다. 이는 단점으로 여겨질 수 있지만, 때로는 현재 상황이나 최근 경험의 영향을 파악하고 싶은 경우에는 오히려 장점이 될 수 있다. 반대로 긴 척도는 더 일관된 판단을 가능하게 하지만, 현재 맥락의 중요한 정보를 놓칠 수 있다.
복잡성 vs 효용성의 균형
마텔과 야코비의 연구는 척도가 복잡할수록 반드시 좋은 것은 아니라는 점을 시사한다. 응답자들이 실제로 활용하는 범주가 제한적이라면, 굳이 많은 선택지를 제공할 필요가 없을 수 있다. 이는 응답자의 부담을 줄이면서도 유효한 측정이 가능할 수 있음을 의미한다.
척도 선택에 대한 새로운 관점
두 연구는 척도 선택에 대해 새로운 관점을 제시한다. 단순히 신뢰도나 타당도만을 고려할 것이 아니라, 연구의 목적과 맥락을 종합적으로 고려해야 한다는 것이다. 최근 경험의 영향을 파악하고 싶다면 짧은 척도가 유용할 수 있고, 일관된 태도를 측정하고 싶다면 긴 척도가 필요할 수 있다.
또한 응답자의 실제 활용 패턴을 고려할 때, 너무 복잡한 척도보다는 응답자가 의미 있게 구분할 수 있는 수준의 척도가 더 효과적일 수 있다. 이는 척도 설계에서 응답자 중심의 접근이 중요함을 보여준다.
웨델과 파두치 연구 결과를 바탕으로 볼 때, 맥락효과를 적절히 활용하는 것도 하나의 전략이 될 수 있다. 예를 들어 고객 만족도를 조사할 때 최근 서비스 경험의 영향을 파악하고 싶다면 의도적으로 짧은 척도를 사용할 수 있다. 반대로 브랜드에 대한 전반적 태도를 측정하고 싶다면 긴 척도를 사용하여 일시적 경험의 영향을 최소화할 수 있다.
마텔과 야코비 연구가 제시하는 시사점은 "더 많은 선택지가 항상 더 좋다"는 통념을 재검토할 필요가 있다는 것이다. 응답자의 실제 인지적 처리 능력과 활용 패턴을 고려할 때, 적절한 수준의 간결함이 오히려 더 정확한 측정을 가능하게 할 수 있다.
독립신문
<참고문헌>
Matell, M. S., & Jacoby, J. (1971). Is there an optimal number of alternatives for Likert scale items? Study I: Reliability and validity. Educational and Psychological Measurement, 31, 657-674.
Wedell, D. H., & Parducci, A. (1988). The Category Effect in Social Judgment: Experimental Ratings of Happiness. Journal of Personality and Social Psychology, 55(3), 341-356.