지난 1일 여론조사전문기관 리서치뷰가 7월 29일부터 31일까지 사흘간 전국 만 18세 이상 휴대전화 가입자 1000명을 대상으로 대통령 국정 수행을 조사·공표한 결과에 따르면 ‘잘함’ 응답은 59.4%로 집계돼, 6월 말 대비 1.7%p 내려갔다. 20대(잘함 46.7% vs 잘못함 50.3%) 결과가 영향을 미친 것으로 분석된다.
여론조사에서 "찬성"과 "반대" 사이에 "중립"이나 "보통" 같은 중간 답변을 넣을 것인지는 오랫동안 논쟁이 되어왔다. 1980년 영국에서 실시된 대규모 실험은 이 문제에 대한 명확한 답을 제시했다. 중간 답변 선택지를 제공했을 때 응답자의 15%에서 49%가 중간 답변을 선택했으며, 이는 조사 결과의 해석을 완전히 바꿀 수 있는 수준이었다.
더 나아가 1995년 연구는 같은 중간 답변이라도 "보통"과 "중립"이라는 표현 차이만으로도 응답 패턴이 달라진다는 점을 확인했다. 이들 연구는 여론조사 설계에서 중간응답 처리가 단순한 기술적 문제가 아니라 결과의 타당성을 좌우하는 핵심 요소임을 보여준다.
1980년 칼턴 연구: 6가지 실험으로 입증한 중간응답 효과
연구 설계와 배경
1980년 영국 통계학 저널에 발표된 연구는 여론조사에서 중간 답변 선택지를 제공하는 것이 응답에 미치는 영향을 체계적으로 분석했다. 연구진은 같은 질문을 두 가지 방식으로 나누어 실험했다. A그룹에는 중간 답변 없이 질문하고, B그룹에는 중간 답변을 포함해서 질문하는 방식이었다.
실험은 영국과 웨일즈의 약 800가구를 대상으로 실시됐으며, 총 6가지 건강 관련 주제로 비교 분석이 이루어졌다. 모든 질문이 건강 관련 주제인 이유는 메인 설문조사가 건강 관련 연구였기 때문이다.
두 가지 유형의 실험
연구에서는 두 가지 유형의 실험이 진행됐다. 첫 번째 유형은 두 개 선택지와 세 개 선택지를 비교하는 것이었고, 두 번째 유형은 네 개 선택지와 다섯 개 선택지를 비교하는 것이었다.
1번부터 3번까지의 실험에서는 병원 방문 빈도, 경미한 질병 치료 지식, 적당한 음주의 건강 영향에 대해 물었다. 예를 들어 병원 방문 빈도 질문에서 A그룹은 "더 자주 가십니까, 덜 가십니까?" 두 가지 선택지만 제시받았고, B그룹은 "더 자주 가십니까, 비슷하게 가십니까, 덜 가십니까?" 세 가지 선택지를 제시받았다.
4번부터 6번까지의 실험에서는 수면 상태, 현재 건강 상태, 또래와 비교한 건강 상태에 대해 4점 척도와 5점 척도로 나누어 질문했다. A그룹은 "매우 좋음, 좋음, 나쁨, 매우 나쁨" 네 개 선택지를, B그룹은 여기에 "보통"을 추가한 다섯 개 선택지를 제시받았다.
실험 결과: 15%에서 49%까지 다양한 증가율
실험 결과 모든 주제에서 중간 답변을 제공했을 때 상당한 비율의 응답자가 중간 답변을 선택했다. 병원 방문 빈도에서는 15%가 "비슷하게" 답변을 선택했고, 경미한 질병 치료 지식에서는 49.2%가 "보통 수준" 답변을 선택했다. 적당한 음주의 건강 영향에서는 36.4%가 "영향 없음" 답변을 선택했다.
4점 척도와 5점 척도 비교에서도 유사한 패턴이 나타났다. 수면 상태 평가에서는 18.9%가 "보통" 답변을 선택했고, 현재 건강 상태 평가에서는 24.6%가, 또래와 비교한 건강 상태에서는 25%가 "보통" 답변을 선택했다.
1995년 연구: "보통"과 "중립" 표현의 차이
표현 방식의 영향
1995년 발표된 연구는 위 연구를 한 단계 더 발전시켰다. 이들은 중간 옵션을 제공할 것인지의 문제를 넘어서 중간 옵션을 어떤 단어로 표현할 것인지의 문제를 다뤘다.
연구에서는 같은 질문이라도 "매우 좋음-좋음-보통-나쁨-매우 나쁨"과 "매우 좋음-좋음-중립-나쁨-매우 나쁨"으로 표현했을 때 응답 패턴이 달라진다는 점을 확인했다. "보통"이라고 표현했을 때 더 많은 응답자가 중간 옵션을 선택하는 경향이 나타났다.
두 연구의 연관성
두 연구는 서로 보완적인 관계에 있다. 칼턴의 연구는 중간 옵션 제공 여부의 영향을 보여줬다면, 오무어처타이의 연구는 중간 옵션의 표현 방식에 따른 영향을 보여줬다. 칼턴 연구에서 중간 옵션이 있으면 응답이 15%에서 49%까지 증가한다는 것을 확인했고, 오무어처타이 연구에서는 중간 옵션의 표현 방식에 따라서도 응답이 달라진다는 것을 입증했다.
연구 결과의 함의
설문 설계에 대한 시사점
두 연구는 여론조사 설계에서 중간 옵션 처리가 매우 중요한 요소임을 보여준다. 중간 옵션을 넣을지 말지 결정하는 것뿐만 아니라 중간 옵션을 어떤 단어로 표현할지도 신중하게 고려해야 한다는 것이다.
"보통"은 일상적이고 선택하기 쉬운 표현으로 인식되는 반면, "중립"은 더 명확한 입장 표명으로 인식될 수 있다. 이런 차이는 응답자의 선택에 실질적인 영향을 미칠 수 있으므로 설문 설계 시 반드시 고려해야 한다.
응답 결과에 미치는 실질적 영향
칼턴 연구에서 나타난 15%에서 49%의 중간응답 선택률은 여론조사 결과 해석에 상당한 영향을 미칠 수 있는 수준이다. 예를 들어 어떤 정책에 대한 찬성과 반대 비율을 조사할 때 중간응답을 제공하지 않으면 찬성과 반대로만 나누어지지만, 중간응답을 제공하면 상당한 비율이 중간응답으로 이동할 수 있다.
이는 여론조사 결과를 해석할 때 중간응답 처리 방식을 반드시 고려해야 한다는 것을 의미한다. 같은 주제라도 중간응답 제공 여부와 표현 방식에 따라 다른 결과가 나올 수 있기 때문이다.
연구에 따르면 "보통"보다는 "중립" 표현이 더 적절
이에 대한 네 가지 근거가 제시되고 있다. 첫째, 정의의 명확성 측면에서 "보통"은 참조점이 모호한 반면 "중립"은 찬성도 반대도 아닌 명확한 중간 입장을 의미한다. 둘째, 측정의 정확성 면에서 응답자들이 "보통"을 사회적으로 바람직한 응답으로 인식하는 경향이 있는 반면 "중립"은 더 객관적인 입장 표명으로 인식된다. 셋째, 척도의 균형성 관점에서 "보통"은 긍정적 뉘앙스를 가질 수 있어 척도의 균형을 해칠 수 있지만 "중립"은 진정한 중간 입장을 반영한다. 넷째, 응답자의 인지적 처리 과정에서 "중립"을 더 신중하게 고려하는 경향이 있는 반면 "보통"은 깊은 고민 없이 선택하기 쉬운 옵션으로 인식된다.
독립신문
<참고문헌>
Kalton, G., Roberts, J., & Holt, D. (1980). The effects of offering a middle response option with opinion questions. Journal of the Royal Statistical Society. Series D (The Statistician), 29(1), 65-78.
O'Muircheartaigh, C., Gaskell, G. D., & Wright, D. B. (1995). Weighing anchors: Verbal and numeric labels for response scales. Public Opinion Quarterly, 59(4), 525-550.