여론조사기관 리얼미터에 따르면, 8월 2주차 정례 조사에서 이 대통령의 국정수행 평가 조사 결과는 '잘하고 있다'는 긍정 평가가 51.1%, '잘못하고 있다'는 부정 평가가 44.5%로 나타났다. 긍정 평가는 전주 대비 5.4%포인트 하락, 부정 평가는 반대로 6.3%포인트 상승했다.

설문조사를 설계하거나 분석하는 담당자라면 응답자들의 예상치 못한 행동 때문에 당황한 경험이 있을 것입니다. 왜 모든 질문에 '동의'만 선택하는 사람이 있을까요? 왜 복잡한 질문일수록 '모르겠다'는 응답이 늘어날까요? 크로스닉(Krosnick)의 연구는 이런 현상들을 체계적으로 분류하고 각각에 대한 해결책을 제시합니다.

첫 번째로 떠오르는 답변을 선택하는 패턴

응답자들이 가장 흔히 사용하는 만족화 전략 중 하나는 보기 중 처음 보이는 그럴듯한 답변을 선택하는 것입니다. 이때 흥미로운 현상이 나타납니다. 시각적으로 제시된 설문에서는 목록의 초반부 응답을 선택하는 경향이 강하고, 구두로 제시된 설문에서는 목록의 후반부 응답을 선택하는 경향이 강합니다.

이는 인간의 기억 특성과 관련이 있습니다. 시각적 제시에서는 위쪽 항목이 먼저 눈에 들어오지만, 청각적 제시에서는 마지막에 들은 내용이 더 생생하게 기억되기 때문입니다. 문제는 이런 선택이 다른 더 적절한 답변 옵션을 고려하지 않은 채 이루어진다는 점입니다.

동의 편향의 메커니즘

질문의 내용과 관계없이 '동의' 또는 '예'로 답하는 경향도 자주 관찰됩니다. 이는 면접자와의 우호적 관계를 유지하려는 욕구, 사회적 바람직성에 대한 고려, 인지적 노력을 최소화하려는 욕구가 복합적으로 작용한 결과입니다.

특히 저학력 응답자나 면접자와 응답자의 사회적 지위 차이가 클 때 이런 현상이 더 자주 발생합니다. 이는 단순히 게으름의 문제가 아니라 사회적 압력과 인지적 부담이 결합된 복잡한 심리적 반응입니다.

현상유지를 선호하는 심리

"현재 상태를 유지하자"는 응답을 선택하는 패턴도 일반적입니다. 정부 정책 변화나 사회 제도 변경에 대한 질문에서 특히 자주 나타나는데, 이는 변화를 고려하는 것보다 현재 상태 유지가 인지적으로 덜 부담스럽기 때문입니다.

이런 현상은 정치 여론조사에서 특히 중요한 함의를 갖습니다. 실제로는 변화를 원하는 응답자도 설문에서는 현상유지를 선택할 수 있어, 여론과 실제 선거 결과 사이에 차이가 발생할 수 있습니다.

구분을 회피하는 응답 패턴

여러 대상을 평가할 때 모두 동일한 점수를 부여하는 경우도 흔합니다. 5점 척도에서 모든 항목에 3점을 주거나, 여러 제품의 선호도를 모두 동일하게 평가하는 것이 대표적인 예입니다. 이는 세밀한 구분을 위한 인지적 노력을 회피하려는 심리에서 비롯됩니다.

이런 패턴은 브랜드 선호도 조사나 서비스 만족도 조사에서 특히 문제가 됩니다. 응답자는 실제로는 명확한 선호를 가지고 있지만, 그것을 표현하는 과정에서 만족화를 선택하는 것입니다.

"모르겠다" 응답의 함정

실제로는 알고 있는 내용임에도 "모르겠다"를 선택하는 경우가 있습니다. 질문이 복잡하거나, 응답에 자신감이 부족하거나, "모르겠다" 옵션이 명시적으로 제시될 때 더 자주 발생합니다.

이를 방지하기 위해서는 필터링 질문을 사용하거나 "모르겠다" 옵션의 제시 방식을 조정해야 합니다. 예를 들어 "모르겠다"를 별도로 강조하지 않고 다른 선택지와 동일한 방식으로 제시하는 것만으로도 이런 응답을 줄일 수 있습니다.

무작위 응답의 특징과 감지법

가장 극단적인 만족화는 깊은 생각 없이 임의로 답변을 선택하는 것입니다. 이는 주로 설문 후반부, 피로도가 높을 때, 시간 압박이 있을 때 발생합니다.

무작위 응답은 몇 가지 특징적 패턴을 보입니다. 일관성 없는 응답, 논리적으로 모순되는 응답, 비정상적으로 짧은 응답 시간 등이 그것입니다. 최근에는 이런 패턴을 자동으로 감지하는 알고리즘도 개발되고 있습니다.

설문 설계 개선을 위한 7가지 제안

이런 문제들을 해결하기 위해 연구는 구체적인 개선 방안들을 제시합니다.

첫째, 질문 수를 적절히 조절하여 응답자의 피로도를 관리해야 합니다.

둘째, 명확하고 간단한 질문으로 구성하여 인지적 부담을 줄여야 합니다.

셋째, 응답자의 피로도를 고려한 설문 설계가 필요합니다. 중요한 질문을 앞쪽에 배치하고, 설문 중간에 휴식이나 흥미를 유발하는 요소를 삽입하는 것이 효과적입니다.

넷째, 적절한 동기부여를 제공해야 합니다. 설문의 목적과 중요성을 명확히 설명하고, 가능하다면 인센티브를 제공하는 것도 고려할 수 있습니다.

다섯째, 응답 품질을 체크하는 문항을 포함해야 합니다. 논리적 일관성을 확인하는 질문이나 주의집중도를 측정하는 문항을 중간중간 삽입하는 것입니다.

여섯째, 응답 시간을 모니터링하여 비정상적으로 빠른 응답을 감지해야 합니다.

일곱째, 논리적 일관성을 검증하는 장치를 마련하여 모순된 응답을 걸러내야 합니다.

독립신문

<참고문헌>

Krosnick, J. A. (1991). Response strategies for coping with the cognitive demands of attitude measures. Applied Cognitive Psychology, 5(3), 213-236.