지난 2일 경기도 고양시 킨텍스에서 열린 더불어민주당 제2차 임시전국당원대회(전당대회) 당 대표 경선에서 정청래 후보가 61.74%의 득표율로 당선됐다. 정 대표는 각각 권리당원 66.48%, 대의원 46.91%, 여론조사 60.46% 득표율을 기록해 박찬대 후보(38.26%)를 큰 격차로 제치고 압승을 거뒀다.

여론조사에서 중간응답을 제공하기로 결정했다면 다음 단계는 그 위치를 정하는 것이다. 1987년 비숍(Bishop)의 연구는 중간응답의 위치가 응답 결과에 실질적인 영향을 미친다는 점을 입증했다. 특히 원자력 발전에 관한 질문에서 중간응답을 마지막에 제시했을 때 약 9% 더 많은 응답자가 중간응답을 선택했다.

이 연구는 기존 연구들이 제한된 주제에만 집중했던 한계를 보완하여 사회보장, 국방비, 원자력 발전 등 다양한 정책 이슈에 대해 실험을 실시했다. 연구 결과는 중간응답의 위치 효과가 모든 주제에서 동일하게 나타나는 것이 아니라 이슈의 성격에 따라 다르게 작용한다는 점을 보여줬다.

중간응답 위치 실험의 설계

네 가지 질문 방식

비숍 연구에서는 같은 질문을 네 가지 다른 방식으로 제시하는 실험을 진행했다. 사회보장혜택을 예로 들면 다음과 같다.

완전 미제시형에서는 "당신은 사회보장혜택이 증가해야 한다고 보십니까, 감소해야 한다고 보십니까?"라고 중간응답 없이 양자택일로만 질문했다. 서두 언급형에서는 "사회보장혜택은 현 수준을 유지할 수도 있습니다. 당신은 증가해야 한다고 보십니까, 감소해야 한다고 보십니까?"라고 중간응답의 가능성을 언급했지만 실제 선택지에는 포함하지 않았다.

중간 위치 제시형에서는 "사회보장혜택이 증가해야 한다고 보십니까, 현 수준을 유지해야 한다고 보십니까, 감소해야 한다고 보십니까?"라고 중간에 현상유지 옵션을 배치했다. 마지막 위치 제시형에서는 "사회보장혜택이 증가해야 한다고 보십니까, 감소해야 한다고 보십니까, 아니면 현 수준을 유지해야 한다고 보십니까?"라고 마지막에 현상유지 옵션을 제시했다.

세 가지 정책 이슈 비교

실험은 사회보장, 국방비, 원자력 발전이라는 세 가지 서로 다른 정책 이슈에 대해 진행됐다. 각 이슈는 미국 사회에서 서로 다른 성격의 논쟁을 불러일으키는 주제들이었다. 연구진은 이처럼 다양한 주제를 통해 중간응답 위치 효과가 이슈의 성격과 무관하게 나타나는 일반적 현상인지, 아니면 특정 이슈에만 나타나는 제한적 현상인지 확인하고자 했다.

이슈별로 다르게 나타난 위치 효과

사회보장: 순서 효과 없음

사회보장 관련 질문에서는 중간응답의 위치에 따른 유의미한 차이가 나타나지 않았다. 중간 위치에 제시하든 마지막 위치에 제시하든 현상유지를 선택하는 응답자의 비율에 큰 차이가 없었다. 이는 사회보장이라는 이슈의 특성상 응답자들이 이미 명확한 선호를 가지고 있어서 선택지의 순서에 크게 영향을 받지 않았을 가능성을 시사한다.

국방비: 제한적 효과

국방비 관련 질문에서는 1983년 조사에서만 마지막 위치 효과가 나타났다. 현상유지 옵션을 마지막에 제시했을 때 8.6% 더 많은 응답자가 이를 선택했다. 하지만 이 효과는 다른 시기의 조사에서는 재현되지 않았다. 이는 국방비 이슈에 대한 여론의 시기적 변화나 특정 시점의 정치적 상황이 위치 효과에 영향을 미쳤을 가능성을 보여준다.

원자력 발전: 일관된 마지막 위치 효과

원자력 발전 관련 질문에서는 가장 뚜렷하고 일관된 위치 효과가 나타났다. 여러 차례의 조사에서 일관되게 마지막 위치에 현상유지 옵션을 제시했을 때 약 9% 더 많은 응답자가 이를 선택했다. 이는 원자력 발전이라는 이슈가 복잡하고 기술적인 성격을 가지고 있어서 응답자들이 극단적 선택보다는 신중한 중간적 입장을 선호할 가능성을 시사한다.

서두 언급의 효과

연구에서 흥미로운 발견 중 하나는 서두 언급형에서 나타난 효과였다. 실제 선택지에는 중간응답이 포함되지 않았지만, 질문 앞부분에서 중간응답의 가능성을 언급하기만 해도 응답자들이 자발적으로 중간적 입장을 표명하는 경우가 늘어났다.

이는 응답자들이 질문을 듣는 순간부터 가능한 답변의 범위를 인지하고, 그 범위 안에서 자신의 입장을 결정한다는 것을 보여준다. 단순히 선택지에 중간응답이 있느냐 없느냐의 문제를 넘어서 질문하는 방식 전체가 응답에 영향을 미칠 수 있다는 것이다.

위치별 권고사항

첨부파일에 제시된 연구자 의견에 따르면 대부분의 경우 중간 위치가 가장 바람직하지만, 질문의 성격과 연구 목적에 따라 마지막 위치도 고려할 수 있다고 평가된다. 처음 위치는 특별한 경우가 아니면 피하는 것이 좋다고 권고되고 있다.

중간 위치가 바람직한 경우로는 자연스러운 순서를 따르는 리커트 척도나 논리적 연속성이 있는 문항이 제시된다. 예를 들어 "매우 동의-동의-보통-비동의-매우 비동의"나 정치 성향에서 "진보-중도-보수" 같은 경우다. 이런 배치는 응답자의 인지적 부담을 감소시키고 자연스러운 응답 흐름을 유지하며 극단적 선택지들 사이의 실제 중간점 역할을 한다.

마지막 위치가 바람직한 경우로는 복잡한 정책적 판단이 필요한 문항이나 양자택일적 성격의 질문에 중간선택지를 추가할 때가 제시된다. 예를 들어 "찬성하십니까, 반대하십니까, 아니면 중립이십니까?" 같은 경우다. 이런 배치는 응답자가 양쪽 입장을 모두 고려한 후 판단할 수 있게 하고, 충동적인 중간선택을 감소시키며, 신중한 응답을 유도한다.

처음 위치는 권장되지 않는데, 나머지 선택지에 대한 고려를 감소시키고 응답자의 자연스러운 사고 흐름을 방해하며 순서효과 발생 우려가 있기 때문이다.

위치 효과 통제 방안

위치 효과를 통제하기 위한 방안으로 중간 응답의 무작위 배정이 제안되고 있다. 컴퓨터 지원 조사 시스템을 활용하여 각 응답자별로 독립적 무작위 배정을 하는 방식이다.

실제 작동 방식은 조사원이 새로운 응답자와 인터뷰를 시작할 때마다 컴퓨터가 자동으로 선택지 순서를 무작위로 선택하는 것이다. 이는 제비뽑기를 컴퓨터가 자동으로 해주는 것과 같아서 완벽한 무작위성을 보장하고, 자동화된 관리를 통해 실수 가능성을 최소화하며, 데이터 품질을 향상시킬 수 있다고 평가된다.

독립신문

<참고문헌>

Bishop, G. F. (1987). Experiments with the middle response alternative in survey questions. The Public Opinion Quarterly, 51(2), 220-232.