오는 8월 2일 더불어민주당의 대표를 뽑는 전당대회를 앞두고 지역별 투표가 이어지고 있다. 이번 당 대표는 경선에서 대의원 15%, 권리당원 55%, 국민 여론조사 30%의 비율로 합산해 선출한다. 지난 19일 열린 충청권, 20일 영남권 권리당원 투표에서 정 후보가 누적 득표율 62.65%로 선두를 달리고 있다. 박 후보의 득표율은 37.35%의 정 후보 보다 25.3%p 낮다.

1940년대 일본인 수용소 조사에서 나타난 질문 방식에 따른 결과 차이는 이후 실증연구를 통해 구체적으로 검증됐다. 1951년과 1986년에 실시된 두 연구는 개방형과 폐쇄형 질문이 응답에 미치는 영향을 수치로 입증했다. 같은 사람에게 설문지와 인터뷰로 동일한 내용을 물었을 때 일치하는 답변은 절반 미만이었고, 선택지 제시 여부에 따라 특정 이슈의 중요도가 3배 가까이 달라졌다.

이들 연구는 데이터 수집 방법에 따른 응답 차이를 체계적으로 분석하여, 더 신뢰성 높은 조사방법 설계를 위한 기초를 제공했다는 의의가 있다.

1951년 연구: 설문지와 인터뷰의 응답 일치도 분석

연구 설계와 대상

메츠너(Metzner)와 만(Mann)이 1951년 발표한 연구는 설문지법과 개방형 인터뷰의 장단점을 비교 분석했다. 연구진은 전기 회사 직원 328명을 대상으로 1948년 1월 28일부터 2월 6일까지 설문조사를 실시한 후, 동일한 대상에게 1948년 3월 27일부터 5월 12일까지 개별 인터뷰를 진행했다.

연구의 핵심 목적은 설문지와 인터뷰 응답 간의 일관성 정도를 파악하는 것이었다. 연구진은 상관관계 분석, 퍼센트 분포 분석, 응답 일치도 분석, 화이트칼라와 블루칼라 직원 집단 간 비교 분석을 실시했다.

주요 대각선 일치도 39-43%

연구 결과, 설문지와 인터뷰에서 정확히 동일한 답변을 한 비율인 '주요 대각선 일치도'는 39%에서 43%로 나타났다. 주요 대각선 일치도란 개방형과 폐쇄형 질문에 대한 응답이 정확히 일치하는 비율을 의미한다. 예를 들어 폐쇄형 질문에서 "매우 좋음"을 선택한 사람이 개방형 질문에서도 "매우 좋다"고 응답한 경우가 주요 대각선 일치에 해당한다.

약간의 차이는 있지만 대체로 비슷한 응답을 한 경우까지 포함한 '인접 대각선 일치도'는 67%였다. 이는 폐쇄형에서 "매우 좋음"을 선택한 사람이 개방형에서 "좋다"고 답한 경우까지 포함한 수치다.

질문 문구에 따른 상관관계 차이

연구에서 주목할 만한 발견은 질문 문구가 응답 일치도에 미치는 영향이었다. 설문지와 인터뷰에서 질문 문구가 유사할수록 높은 상관관계를 보였는데, 문구가 유사할 때는 0.67의 상관관계를 보인 반면, 문구가 다를 때는 0.20까지 낮아졌다.

직종별 차이

연구에서는 직종에 따른 차이도 발견됐다. 화이트칼라 직원이 블루칼라 직원보다 두 방법론 간 응답 일치도가 높았다. 또한 블루칼라 직원들은 설문조사에서 더 낮은 만족도를 보이는 경향이 나타났다.

1986년 연구: 선택지 제시 효과의 실증적 검증

연구 방법과 설계

슈만(Schuman)과 스콧(Scott)이 1987년 발표한 연구는 여론조사에서 개방형과 폐쇄형 질문 방식이 응답에 미치는 영향을 실험적으로 검증했다. 연구진은 1986년 10월 전국 전화 설문조사를 통해 무작위 추출된 두 집단에 각각 개방형과 폐쇄형 질문을 실시했다.

첫 번째 집단에게는 "오늘날 미국이 직면한 가장 중요한 문제가 무엇이라고 생각하십니까?"라고 자유롭게 응답하도록 했다. 두 번째 집단에게는 동일한 질문에 4개의 선택지를 제시했으며, "원하시면 다른 문제를 언급하셔도 됩니다"라는 추가 옵션도 제공했다.

개방형 질문 결과

개방형 질문에 대한 응답 결과는 다음과 같았다. 실업 문제를 지적한 응답자가 17%로 가장 많았고, 일반 경제문제도 17%로 동일한 수준이었다. 이어서 핵전쟁 위협이 12%, 외교문제가 10% 순으로 나타났다.

폐쇄형 질문의 선택지 효과

폐쇄형 질문에서 제시된 4개의 선택지는 "에너지 부족", "공립학교의 질", "낙태 합법화", "오염"이었다. 흥미롭게도 이 선택지들은 개방형 질문에서 각각 1% 미만의 응답률을 보인 문제들이었다.

폐쇄형 질문 결과, 60%의 응답자가 제시된 4개 선택지 중에서 답변을 선택했다. 반면 개방형에서 가장 높은 응답률을 보인 실업 문제는 6.2%로 급감했다. 다른 문제를 언급한 응답자는 40%에 그쳤다.

연구 결과의 함의

질문 형식이 응답에 미치는 영향

두 연구는 공통적으로 질문 형식이 응답에 상당한 영향을 미친다는 점을 보여준다. 1951년 연구의 39-43% 일치도는 동일한 응답자라도 질문 방식에 따라 다른 답변을 할 가능성이 높다는 것을 의미한다. 1986년 연구에서 실업 문제의 중요도가 17%에서 6.2%로 변화한 것은 선택지 제시가 응답 패턴을 크게 바꿀 수 있음을 보여준다.

선택지 구성의 중요성

1986년 연구는 폐쇄형 질문에서 선택지 구성이 결과에 미치는 영향을 명확히 보여준다. 개방형에서 1% 미만의 응답률을 보인 문제들이 선택지로 제시되자 60%의 응답을 얻었다. 이는 실제 중요도와 무관하게 제시된 선택지에 응답이 집중되는 현상을 보여준다.

방법론적 시사점

개방형 질문의 적절한 활용

연구 결과에 따르면 개방형 질문은 새로운 분야나 예상치 못한 응답이 중요할 때, 응답자의 생각을 깊이 있게 이해해야 할 때, 사전 지식이 부족해 가능한 응답의 범위를 예측하기 어려울 때, 질적 연구가 필요한 상황에서 선택해야 한다. 다만 분석과 해석 과정에서 연구자의 주관이 개입될 가능성이 있다는 한계가 있다.

폐쇄형 질문의 장단점

폐쇄형 질문은 대규모 조사가 필요할 때, 빠른 결과 도출이 필요할 때, 특정 선택지들 간의 선호도 비교가 필요할 때, 통계적 분석이 중요한 경우에 적합하다. 하지만 선택지 구성에 따른 응답 왜곡 가능성을 항상 고려해야 한다.

복합적 접근법의 필요성

두 방식을 함께 사용하는 것이 바람직한 상황도 있다. 충분한 시간과 자원이 있을 때, 연구의 타당성을 높이고 싶을 때, 복잡한 사회현상을 다각도로 이해하고 싶을 때가 그런 경우다. 다만 각 방식의 결과가 상충할 경우의 해석 기준을 명확히 설정할 필요가 있다.

1951년과 1986년 연구가 제시하는 교훈은 조사 방법 선택이 단순히 기술적 문제가 아니라는 점이다. 동일한 이슈라도 조사 방식에 따라 매우 다른 결과가 도출될 수 있으며, 특히 민감한 사회 문제를 조사할 시에는 방법론 선택이 매우 중요하다.

정책 결정에 영향을 미칠 수 있는 조사 결과를 해석할 때는 반드시 조사 방식의 한계를 고려해야 한다. 여론조사 설계 시에는 방법론적 타당성을 고려하고, 가능한 경우 복합적 접근법 활용을 검토하며, 결과 해석 시 조사 방식의 한계를 염두에 둘 필요가 있다.

독립신문

<참고문헌>

Metzner, H., & Mann, F. (1951). A limited comparison of two methods of data collection: The fixed alternative questionnaire and the open-ended interview. American Sociological Review, 486-491.

Schuman, H., & Scott, J. (1987). Problems in the Use of Survey Questions to Measure Public Opinion. Science, 236, 957-959.