출퇴근 지옥으로 불리는 9호선 역사 플랫폼 장면. 수요조사 실패의 대표적인 사례로 꼽히고 있다.

5%라는 동일한 수치가 상황에 따라 완전히 다른 의미로 받아들여진다면 믿어지시겠습니까? 피임 실패율이 5%라면 ‘거의 실패하지 않는다’고 생각하지만, 수업 결석률이 5%라면 ‘자주 빠진다’고 인식합니다. 동일한 수치임에도 불구하고 맥락에 따라 정반대의 평가를 받는 것입니다.

1968년부터 시작된 빈도 표현 연구에서 새로운 발견이 이어졌습니다. 단순히 '자주', '가끔' 같은 단어의 해석이 사람마다 다른 것을 넘어, 맥락이 바뀌면 동일한 표현도 완전히 다른 의미로 변한다는 것입니다.

"맥락이 없으면 의미도 없다"

미네소타 대학교의 해켈 연구가 발표된 같은 해, 파르두치(Parducci)는 중요한 지적을 했습니다. 해켈의 연구에서 드러난 방법론적 한계를 지적하며, 빈도 표현 해석에 있어 맥락(context)의 중요성을 강조한 것입니다.

파르두치는 구체적인 사례를 들었습니다. 학생들에게 ‘5%’라는 동일한 수치에 대해 서로 다른 맥락을 제시했을 때의 반응을 관찰했습니다. 피임 실패 맥락에서 "피임법의 실패율이 5%입니다"라고 제시하자 응답자들은 "매우 낮은 실패율", "안전하다"고 반응했습니다. 반면 수업 결석 맥락에서 "학생의 수업 결석률이 5%입니다"라고 제시하자 응답자들은 "자주 빠진다", "문제가 있다"고 반응했습니다.

파르두치는 이를 통해 맥락을 고려하지 않은 빈도 표현의 수치화는 의미가 제한적이라고 결론지었습니다.

1974년 스탠포드 대학교의 체계적 검증

6년 후, 페퍼(Pepper)와 프리툴라크(Prytulak)는 이러한 맥락 효과를 체계적으로 검증했습니다. 스탠포드 대학교 학생 33명을 대상으로 한 이들의 연구는 빈도 표현의 해석이 단순히 고정된 것이 아니라 맥락에 따라 역동적으로 변화함을 실증적으로 보여주었습니다.

연구진은 5개의 빈도 표현(very often, frequently, sometimes, seldom, almost never)에 대해 6가지 서로 다른 맥락 조건을 설정했습니다.

먼저 심장박동이나 숨쉬기처럼 일반적으로 매우 자주 일어나는 현상을 다룬 고빈도 맥락 2개를 준비했습니다. 다음으로 일상적인 활동 수준을 다룬 중빈도 맥락 1개와 지진 발생이나 교통사고처럼 드물게 일어나는 현상을 다룬 저빈도 맥락 2개를 설정했습니다. 마지막으로 구체적 상황 없이 추상적으로만 제시한 무맥락 조건 1개를 포함시켰습니다.

놀라운 발견: 맥락이 의미를 뒤바꾸다

연구 결과는 놀라웠습니다. 동일한 빈도 표현이 맥락에 따라 완전히 다른 수치적 의미로 해석되었습니다.

‘sometimes’라는 표현의 경우, 고빈도 맥락인 심장박동과 관련해서는 상당히 낮은 빈도로 해석되었지만, 저빈도 맥락인 지진 발생과 관련해서는 상당히 높은 빈도로 해석되었습니다.

‘frequently’라는 표현도 마찬가지였습니다. 일상 활동 맥락에서는 주 2-3회 정도를 의미했지만, 재해 발생 맥락에서는 연 1-2회만 발생해도 ‘자주’로 인식되었습니다.

더욱 흥미로운 점은 무맥락 정의와 맥락 빈도의 차이가 클수록 정의의 변동성이 증가한다는 것이었습니다. 또한 높은 빈도를 나타내는 표현일수록 다양한 맥락에서의 정의 변동성이 더 컸습니다.

통계적 검증과 함의

연구진은 이러한 맥락 효과가 통계적으로 유의미함을 확인했습니다. 표현과 맥락 간의 상호작용 효과가 명확하게 나타났으며, 이는 빈도 표현의 해석이 맥락에 크게 의존한다는 것을 과학적으로 증명했습니다.

이 발견은 설문조사 설계에 중요한 시사점을 제공합니다. 동일한 빈도 표현이라도 질문의 맥락에 따라 응답자가 완전히 다르게 해석할 수 있다는 것입니다.

맥락 효과는 실제 설문조사에서 어떤 문제를 일으킬까?

의료 분야에서 "통증을 자주 느끼십니까?"라고 질문할 때, 만성질환자는 일주일에 2-3회를 '자주'로 인식하는 반면 건강한 사람은 한 달에 1-2회도 '자주'로 인식할 수 있습니다.

업무 스트레스 조사에서 "업무 스트레스를 자주 받으십니까?"라고 물을 때도 마찬가지입니다. 고강도 업무 직종 종사자들은 매일 발생해도 '가끔'으로 인식하는 반면, 일반 사무직 직원들은 주 1-2회 발생을 '자주'로 인식할 수 있습니다.

연구자들이 제시한 해결 방향

먼저 맥락 통제가 중요하다고 강조했습니다. 응답자들이 동일한 참조 기준을 가질 수 있도록 구체적인 맥락을 제시해야 한다는 것입니다. 둘째로 "일반적인 사람들과 비교했을 때"와 같은 상대적 기준점을 명시해야 한다고 제안했습니다. 셋째로 주관적 평가와 객관적 지표를 함께 수집하여 상호 검증하는 다층 검증 방법을 사용해야 한다고 권했습니다.

사회의 빠른 변화로 인해 세대별, 직업별로 동일한 현상에 대한 경험 맥락이 크게 다를 수 있습니다. 예를 들어, '온라인 쇼핑을 자주 한다'는 표현이 기성세대와 MZ세대에게 완전히 다른 의미로 해석될 가능성이 높습니다. 따라서 시대적 맥락과 사회문화적 배경을 고려한 설문 설계가 더욱 중요해지고 있습니다.

독립신문

<참고문헌>

Parducci, A. (1968). Often is often. American Psychologist, 23(11), 828.

Pepper, S., & Prytulak, L. S. (1974). Sometimes frequently means seldom: Context effects in the interpretation of quantitative expressions. Journal of Research in Personality, 8, 95-101.

Hakel, M. D. (1968). How often is often? American Psychologist, 23(7), 533-534.