최근 정부가 추진하고 있는 세제개편안에 대해 참여연대가 발표한 여론조사 결과.

설문지를 만들 때 가장 고민되는 것 중 하나가 몇 점 척도를 사용할지 결정하는 것이다. "매우 만족"부터 "매우 불만족"까지 3점으로 나눌 것인지, 5점으로 나눌 것인지, 아니면 더 세밀하게 7점이나 9점으로 나눌 것인지에 따라 조사 결과가 달라질 수 있기 때문이다.

1980년부터 최근까지 40여 년간 축적된 연구들은 이 문제에 대한 실용적인 답을 제시한다. 대부분의 상황에서는 5점에서 7점 척도가 가장 효과적이지만, 조사 방법과 목적에 따라 다른 선택이 필요할 수 있다는 것이다.

1980년 콕스 연구: 5-7점 척도의 우수성 입증

다양한 척도 길이의 체계적 비교

콕스(Cox)가 1980년 발표한 연구는 설문조사에서 사용되는 응답 척도의 최적 점수 범위를 파악하기 위해 수행됐다. 이 연구는 3점, 5점, 7점, 9점 등 다양한 척도 길이가 측정의 신뢰도와 타당도에 어떤 영향을 미치는지 체계적으로 분석했다.

연구의 핵심 발견은 5점에서 7점 척도가 가장 신뢰할 만한 결과를 제공한다는 것이었다. 이 범위의 척도는 응답자들이 자신의 의견이나 태도를 충분히 표현할 수 있는 선택지를 제공하면서도, 너무 많은 선택지로 인한 혼란을 방지했다.

극단적 척도의 한계

3점 이하의 척도는 응답자들의 미묘한 의견 차이를 구분하는 변별력이 부족한 것으로 나타났다. 너무 적은 선택지는 응답자들이 자신의 실제 생각을 정확히 표현하기 어렵게 만들어 측정의 정확도를 떨어뜨렸다.

반면 9점 이상의 척도는 신뢰도의 증가가 미미한 것으로 드러났다. 응답자들은 너무 많은 선택지 사이에서 의미 있는 차이를 구분하기 어려워했고, 이는 오히려 측정의 안정성을 해칠 수 있었다. 또한 연구는 홀수 점수 척도가 중립적인 응답 옵션을 포함하기 때문에 짝수 점수 척도보다 더 유용할 수 있다는 점을 지적했다.

2000년 프레스턴과 콜만 연구: 목적별 최적 척도

신뢰도, 타당도, 선호도의 종합 분석

프레스턴(Preston)과 콜만(Colman)이 2000년 발표한 연구는 척도 선택에 대한 더 세밀한 분석을 제공했다. 이들은 신뢰도, 타당도, 응답 용이성, 응답자의 척도 선호도라는 네 가지 차원에서 다양한 척도를 평가했다.

신뢰도 측면에서는 7점 이상의 척도가 우수한 것으로 나타났다. 척도가 길어질수록 측정의 일관성이 높아지는 경향을 보였다. 하지만 타당도 측면에서는 5점에서 7점 척도가 최적인 것으로 확인됐다. 이는 너무 긴 척도가 오히려 측정하고자 하는 개념을 정확히 반영하지 못할 수 있음을 시사한다.

응답자의 실제 경험

응답 용이성에서는 5점 척도가 가장 높은 점수를 받았다. 응답자들이 가장 편하게 느끼는 선택지 수는 5개 정도였다. 흥미롭게도 척도 선호도에서는 7점 또는 10점 척도를 선호하는 것으로 나타났다. 이는 응답자들이 실제로는 더 많은 선택지를 원하지만, 막상 응답할 때는 간단한 척도를 선호하는 모순적인 심리를 보여준다.

1997년 크로스닉과 파브리가 연구: 상황별 맞춤 전략

조사 방법에 따른 차별화

크로스닉(Krosnick)과 파브리가(Fabrigar)가 1997년 제시한 권장사항은 여론조사와 설문조사에서 효과적인 측정을 위한 상황별 지침을 제공했다. 이들의 연구는 다양한 조사 상황과 목적에 따라 가장 적합한 척도 길이를 제시했다.

일반적인 상황에서는 5점에서 7점 척도가 가장 효과적인 것으로 나타났다. 이 범위의 척도는 응답자가 자신의 의견을 충분히 표현할 수 있으면서도, 불필요한 복잡성은 피할 수 있는 균형점을 제공했다.

전화 조사의 특별한 고려사항

전화를 통한 설문조사에서는 4점에서 5점 척도가 가장 적절한 것으로 권장됐다. 전화 설문은 시각적 보조 없이 청각적으로만 정보를 전달해야 하는 제약이 있어, 응답자가 기억하고 처리할 수 있는 선택지 수가 제한적이기 때문이다.

세밀한 측정이 필요한 경우, 특히 전문가 집단을 대상으로 할 때는 7점 이상의 척도를 고려할 것을 제안했다. 이는 더 많은 변별력을 제공하여 미묘한 차이를 포착할 수 있게 해준다. 연구는 응답자의 교육 수준, 인지 능력, 주제에 대한 관여도 등이 최적의 척도 길이에 영향을 미친다는 점을 강조했다.

척도별 장단점 종합 분석

3점 척도의 특성

3점 척도는 응답이 간단하고 빠르며 명확한 입장 표명이 가능하다는 장점이 있다. 또한 최근 경험이나 맥락의 영향을 잘 반영한다는 특성도 있다. 하지만 미세한 차이를 구분하기 어렵고, 천장 효과나 바닥 효과가 발생할 가능성이 높으며, 정규분포 가정을 위배할 가능성도 크다는 단점이 있다.

5점 척도의 균형

5점 척도는 적절한 응답 범위를 제공하고, 중간점이 있어 중립적 입장 표현이 가능하며, 응답이 비교적 용이하다는 장점이 있다. 신뢰도와 타당도도 양호한 수준을 보인다. 다만 중간점 선택 편향 가능성과 극단적 응답 회피 경향이라는 단점도 존재한다.

7점 척도의 정밀성

7점 척도는 충분한 변별력을 제공하고 신뢰도가 높으며, 응답자의 미세한 태도 차이를 반영할 수 있다는 장점이 있다. 또한 정규분포에 가까운 분포를 형성한다는 통계적 이점도 있다. 하지만 응답에 시간이 더 소요되고 응답자의 인지적 부담이 증가한다는 단점이 있다.

9점 이상 척도의 한계

9점 이상의 척도는 매우 세밀한 구분이 가능하고, 맥락효과의 영향이 적으며, 통계적 분석에 유리하다는 장점이 있다. 하지만 응답자의 피로도가 증가하고, 변별력이 실제로는 떨어질 수 있으며, 신뢰도가 오히려 낮아질 수 있다는 단점이 있다.

상황별 척도 선택 권고안

연구 결과를 종합하면 목적과 상황에 따라 적절한 척도를 선택해야 한다. 간단한 의견 조사에는 3점에서 5점 척도가 적합하고, 일반적인 태도 측정에는 5점에서 7점 척도가 효과적이다. 세밀한 차이 측정이 필요한 경우에는 7점에서 9점 척도를 고려할 수 있으며, 맥락효과를 최소화해야 하는 상황에서는 9점 이상의 척도도 필요할 수 있다.

전화 설문조사와 같이 특별한 제약이 있는 경우에는 4점에서 5점 척도가 가장 적절하며, 전문가나 고관여 집단을 대상으로 하는 경우에는 더 긴 척도의 활용도 고려해볼 만하다. 중요한 것은 조사의 목적과 응답자의 특성, 조사 방법의 제약을 종합적으로 고려하여 최적의 척도를 선택하는 것이다.

독립신문

<참고문헌>

Cox, R. (1980). The optimal number of response alternatives for a scale: A review. Journal of Marketing Research, 17(4), 407-422.

Krosnick, J. A., & Fabrigar, L. R. (1997). Designing rating scales for effective measurement in surveys. In L. Lyberg, P. Biemer, M. Collins, E. de Leeuw, C. Dippo, N. Schwarz, & D. Trewin (Eds.), Survey measurement and process quality (pp. 141-164). John Wiley & Sons.

Preston, C. C., & Colman, A. M. (2000). Optimal number of response categories in rating scales: Reliability, validity, discriminating power, and respondent preferences. Acta Psychologica, 104(1), 1-15.