위임 100일을 앞둔 7일 여론조사 전문기관 리얼미터의 9월 1주차 주간 여론조사에 따르면, 이 대통령 국정 수행 지지도는 지난주 대비 2.4%포인트(p) 상승한 56.0%로 나타났다.
여론조사 결과를 언론에서 보도할 때 "국민의 75%가 정부 정책을 지지한다"라는 헤드라인을 본 적이 있을 것입니다. 하지만 실제 설문에서는 "이 정책이 수용할 만하다고 생각하십니까?"라고 물었을 수도 있습니다. "수용할 만하다"와 "지지한다"는 같은 의미일까요? 1989년 크로스닉(Krosnick)이 발표한 연구는 이런 용어 변경이 여론을 심각하게 왜곡할 수 있음을 실험적으로 증명했습니다.
"수용 가능"과 "지지"의 30%포인트 차이
크로스닉의 연구는 한 여론조사 회사가 생명보험회사를 위해 실시한 민사 사법제도 개혁 관련 여론조사에서 시작되었습니다. 이 조사에서는 응답자들에게 특정 개혁안이 "수용 가능한지"를 물었지만, 결과 보고에서는 "지지한다"는 표현을 사용했습니다.
이런 표현 변경이 실제로 어떤 차이를 만드는지 확인하기 위해 크로스닉은 1988년 5월 콜럼버스 교외 지역 주민 60명을 대상으로 실험을 실시했습니다. 참가자들을 세 그룹으로 나누어 동일한 내용에 대해 "수용 가능한가", "지지하는가", "선호하는가"라고 각각 다르게 질문했습니다.
결과는 놀라웠습니다. "수용 가능한가"라는 질문에는 평균 75%가 긍정적으로 답했지만, "지지하는가"라는 질문에는 45%만이 긍정적으로 답했습니다. 무려 30%포인트의 차이가 났습니다. 반면 "수용 가능한가"와 "선호하는가" 사이에는 큰 차이가 없었습니다. 75%와 73%로 거의 비슷한 수준이었습니다.
이는 "수용 가능"이라는 표현이 상대적으로 소극적인 동의를 의미하는 반면, "지지"는 보다 적극적인 찬성을 의미한다는 것을 보여줍니다. 따라서 실제 질문에서 "수용 가능"이라고 물었는데 결과를 "지지"로 보고한다면 여론을 실제보다 훨씬 더 적극적이고 긍정적으로 왜곡하는 것입니다.
표현 강화의 일반적 패턴
이런 문제는 특정 사례만의 특수한 경우가 아닙니다. 1984년 터너와 마틴(Turner & Martin)의 연구에 따르면 여론조사 기관들이 원래 질문과 다른 표현으로 결과를 보고하는 경향이 광범위하게 존재합니다. 특히 중립적인 표현이 보고서에서는 더 강한 의미로 변환되는 경우가 많습니다.
"고려할 수 있다"는 질문이 "지지한다"로 보고되거나, "수용할 만하다"가 "찬성한다"로 변경되는 경우들이 그 예입니다. 또한 "들어본 적이 있다"는 질문의 응답이 "알고 있다"로 해석되는 것처럼 인지도 조사에서도 유사한 문제가 발생합니다.
정도성의 변화도 중요한 문제입니다. 부분적 동의나 조건부 수용이 전적인 지지로 해석되는 경향이 있습니다. "어느 정도 동의한다"는 응답이 단순히 "동의한다"로 보고되거나, "상황에 따라 수용할 수 있다"가 "수용한다"는 확정적 표현으로 바뀌는 경우입니다. 이런 과정에서 응답 강도의 미묘한 차이가 무시되고, "매우"와 "다소"의 구분이 사라지며, 중간적 응답이 긍정이나 부정으로 양분되는 현상이 나타납니다.
맥락 정보의 손실과 통계적 왜곡
2009년 그로브스(Groves)와 동료들의 연구는 보고서 작성 과정에서 발생하는 더 광범위한 왜곡 현상들을 분석했습니다. 가장 심각한 문제 중 하나는 맥락 정보의 손실입니다. 질문 앞에 제시된 "특정 조건하에서"와 같은 전제 조건이 생략되거나, 질문 이전에 제공된 배경 설명이 누락되는 경우가 많습니다.
복수 응답이 가능했던 질문이 단일 응답처럼 보고되거나, 응답자에게 제시된 추가 정보나 설명이 생략되는 것도 흔한 문제입니다. 이런 맥락 정보의 손실은 응답의 본래 의미를 크게 변화시킬 수 있습니다.
통계적 불확실성이 확정적 결론으로 변환되는 것도 문제입니다. "95% 신뢰수준에서 ±3%포인트 오차범위"라는 중요한 정보가 생략되고 단순 수치만 제시되는 경우가 많습니다. "잠정적", "추정"과 같은 불확실성을 나타내는 표현이 삭제되고, 표본의 한계나 대표성 문제가 언급되지 않기도 합니다. 더 심각하게는 상관관계가 인과관계로 잘못 해석되어 보고되는 경우도 있습니다.
응답 범주의 임의적 통합 문제
원래 설문에서는 섬세한 구분을 위해 5점 척도를 사용했는데, 보고서에서는 3점이나 2점으로 축소되는 경우도 빈번합니다. "매우 동의"와 "다소 동의"가 단순히 "동의"로 통합되거나, "모름/무응답"이 분석에서 아예 제외되기도 합니다. 조건부 응답이 단순한 찬반으로 구분되는 것도 마찬가지 문제입니다.
이런 범주 통합은 겉보기에는 단순화를 통한 이해 증진으로 보일 수 있지만, 실제로는 응답자들의 미묘한 의견 차이를 무시하고 여론을 과도하게 단순화하는 결과를 낳습니다. 특히 중간층의 의견이나 유보적 태도가 사라지면서 사회적 합의나 갈등의 정도를 잘못 판단하게 만들 수 있습니다.
전문가와 일반 독자 간의 이해 격차
여론조사 결과의 왜곡은 전문가와 일반 독자 간의 이해도 차이에서도 기인합니다. 표준편차, 유의수준과 같은 통계적 개념에 대한 이해 차이가 있고, 표본 대표성이나 조사방법론의 한계에 대한 인식 수준도 다릅니다. 결과를 다른 집단이나 상황에 일반화할 수 있는 정도에 대한 판단도 차이를 보입니다.
특히 통계적 유의성과 실질적 중요성을 혼동하는 경우가 많습니다. 통계적으로 유의미한 작은 차이를 과대 해석하거나, 표본 크기에 따른 유의성 변화를 고려하지 않는 경우가 그 예입니다. 실용적 의미보다 통계적 의미에 과도한 중요성을 부여하거나, 효과 크기가 고려되지 않는 것도 문제입니다.
왜곡이 가져오는 사회적 파급효과
이런 용어 왜곡은 단순한 기술적 문제를 넘어서 심각한 사회적 파급효과를 가져올 수 있습니다. 첫째, 여론이 왜곡되어 전달됩니다. 실제보다 더 강한 의견으로 해석되고, 중간적이거나 유보적인 의견이 축소되거나 무시됩니다.
둘째, 정책 결정에 영향을 미칩니다. 과대 해석된 여론이 정책 결정에 반영되면서 실제 국민 여론과 정책 간에 괴리가 발생할 수 있습니다. 정책 입안자들이 잘못된 여론 정보를 바탕으로 의사결정을 내릴 위험이 있습니다.
셋째, 여론조사 자체의 신뢰성이 저하됩니다. 같은 조사 결과를 다양하게 해석할 수 있다는 인식이 확산되면서 여론조사 전체에 대한 불신이 증가할 수 있습니다. 이는 민주주의 사회에서 중요한 여론 수렴 도구로서의 여론조사의 역할을 약화시킬 수 있습니다.
올바른 보고서 작성을 위한 권장사항
이런 문제들을 해결하기 위해서는 몇 가지 원칙을 지켜야 합니다. 가장 기본적인 것은 원래 질문의 정확한 표현을 유지하는 것입니다. 질문에서 "수용 가능한"이라고 물었다면 결과 보고에서도 "수용 가능하다고 답했다"고 해야 하며, "지지한다"로 바꿔서는 안 됩니다.
결과 해석에서 과도한 일반화를 지양해야 합니다. 특정 조건하에서 실시된 조사의 결과를 모든 상황에 적용할 수 있는 것처럼 해석해서는 안 됩니다. 응답의 맥락을 충실하게 전달하는 것도 중요합니다. 질문 앞에 제시된 배경 정보나 조건들을 함께 제시해야 합니다.
원문과 해석을 함께 제시하는 방식도 고려해볼 만합니다. 실제 질문 문구를 제시하고, 그에 대한 해석이나 의미를 별도로 설명하는 방식입니다. 마지막으로 전문가 검토 과정을 강화하여 보고서 작성 과정에서 발생할 수 있는 왜곡을 사전에 방지해야 합니다.
독립신문
<참고문헌>
Krosnick, J. A. (1989). Question wording and reports of survey results: The case of Louis Harris and Associates and Aetna Life and Casualty. Public Opinion Quarterly, 53(1), 107-113.
Turner, C. F., & Martin, E. (1984). Reporting Public Opinion Polls. Russell Sage Foundation.
Groves, R. M., Fowler, F. J., Couper, M. P., Lepkowski, J. M., Singer, E., & Tourangeau, R. (2009). Survey Methodology and Reporting. Wiley Series in Survey Methodology.