독일이 급속도로 보수화되고 있다. 12일(현지시간) 독일 여론조사기관 포르사에 따르면, 독일의 극우정당인 '독일을 위한 대안(AfD)의 지지율이 26%로 중도 보수인 프리드리히 메르츠 독일 총리의 기독민주당(CDU)·기독사회당(CSU) 연합(24%)을 앞질렀다.
설문조사에서 선택지를 A, B, C, D로 표시할 때 응답자들이 실제 내용과 상관없이 특정 기호를 선호하는 현상이 있을까? 1977년 미국의 코니(Coney) 연구는 이 질문에 대한 명확한 답을 제시했다. 애리조나 주립대 학생 272명을 대상으로 한 실험에서 응답자들은 동일한 제품임에도 불구하고 A로 표시된 것을 압도적으로 선호했고, D로 표시된 것은 기피했다.
하지만 2년 후 영국의 그린할그(Greenhalgh)는 11,365명을 대상으로 한 대규모 연구에서 정반대 결과를 발표했다. 이로써 시작된 학술 논쟁은 순서 기호 선호도라는 새로운 연구 영역을 열었고, 오늘날까지도 설문조사 설계에 중요한 시사점을 제공하고 있다.
순서 기호 선호도의 정의와 발생 형태
비합리적 선호의 두 가지 양상
순서 기호 선호도는 응답자가 특정 알파벳이나 기호에 대해 가지는 비합리적 선호 현상으로, 실제 내용과 무관하게 표시된 기호 자체가 선택에 영향을 미치는 현상이다. 이는 두 가지 형태로 나타난다.
첫 번째는 응답 편향으로, 위치와 관계없이 특정 기호를 선호하는 현상이다. 예를 들어 A가 어디에 위치하든 A를 선택하는 경향을 보인다. 두 번째는 위치 편향으로, 특정 위치의 응답을 선호하는 현상이다. 항상 첫 번째나 세 번째 보기를 선택하는 경향이 이에 해당한다.
영향을 미치는 요인들
이러한 현상에 영향을 미치는 요인은 다양하다. 문화적 의미가 가장 중요한 요인 중 하나인데, 미국에서 A는 최고 등급을 의미한다는 인식이 강하다. 교육 시스템도 중요한 역할을 하는데, 학교 성적 등급이 기호의 의미를 형성하기 때문이다.
사회적 맥락 역시 기호가 가진 일반적 서열 의미에 영향을 미치며, 응답 형식도 중요하다. 이러한 현상은 응답자가 의식하지 못하는 사이에 무의식적으로 발생하며, 문화권에 따라 다른 양상을 보이는 문화 의존적 특성을 갖는다.
1977년 코니 연구: A 선호 현상의 발견
실험 설계와 가설
코니의 연구는 다지선다형 응답에서 알파벳 기호가 응답자의 선택에 영향을 미치는지 검증하고자 했다. 특히 마케팅 연구에서 브랜드 이름 대신 알파벳을 사용할 때 발생할 수 있는 편향을 확인하는 것이 목적이었다.
연구 가설은 두 가지였다. 첫 번째는 A, B, C, D로 표시된 동일한 제품 중 A가 위치와 관계없이 선호될 것이라는 응답 편향 가설이었고, 두 번째는 H, L, M, P로 표시된 동일한 제품 중 특정 위치가 선호될 것이라는 위치 편향 가설이었다.
실험 결과와 발견
애리조나 주립대 비즈니스 전공 학생 272명을 대상으로 한 실험에서 연구진은 알파벳 그룹별로 4가지 순서 배열을 제시했다. 제품으로는 맥주를 선택했는데, 이는 친숙하고 자주 구매하는 제품이기 때문이었다.
A, B, C, D 그룹에서는 A에 대한 강한 선호가 나타났다. 110명이 A를 선택한 반면, D를 선택한 사람은 36명에 불과했다. H, L, M, P 그룹에서는 특정 알파벳보다는 1번과 3번 위치에 대한 약한 선호가 발견됐다.
1979년 그린할그의 반박: 영국 연구의 상반된 결과
대규모 연구의 다른 결론
그린할그는 코니의 연구 결과에 대해 강력한 반박을 제기했다. 영국 성인 11,365명을 대상으로 한 실험에서는 A 선호 현상이 발견되지 않았다는 것이다. 이는 코니 연구보다 훨씬 큰 규모의 표본을 대상으로 한 결과여서 더욱 주목받았다.
그린할그는 표본의 대표성 문제를 제기했다. 대학생과 일반 성인 사이에는 교육 수준과 경험에서 차이가 있어 결과가 달라질 수 있다는 것이었다. 또한 쌍비교 방식이 다지선다보다 실용적이라고 주장했다.
연구 방법론에 대한 비판
그린할그의 비판은 단순히 결과의 차이를 지적하는 것을 넘어서 연구 방법론 자체에 대한 문제를 제기했다. 표본의 특성이 미치는 영향을 간과해서는 안 된다는 것이었다.
코니의 재반박: 문화적 차이와 실제 상황
문화적 맥락의 중요성
코니는 그린할그의 비판에 대해 재반박했다. 가장 중요한 논점은 문화적 차이였다. 미국에서는 A가 최고 등급을 의미한다는 인식이 강한 반면, 영국에서는 그러한 문화적 맥락이 다를 수 있다는 것이다.
또한 실제 소비자 선택 상황은 다지선다에 가깝다고 주장했다. 소비자들이 여러 브랜드나 제품 중에서 하나를 선택하는 실제 상황을 고려할 때, 쌍비교보다는 다지선다형이 더 현실적이라는 것이었다.
실증적 근거의 한계
코니는 대학생과 일반인의 편향 차이에 대한 근거가 부족하다고 반박했다. 교육 수준이나 연령대에 따른 차이가 있을 수 있지만, 이를 입증할 충분한 실증적 근거가 제시되지 않았다는 것이다.
기호 체계별 특성과 문화적 의미
ABCD 체계의 서열 의미
ABCD 체계는 영어권에서 강력한 서열 의미를 갖는다. A는 최고 등급이라는 문화적 의미가 있고, 학교 성적 등에서 A가 최상위를 의미한다. 반면 D는 낮은 등급이나 실패를 연상시키며, C는 평균 이하라는 부정적 의미를 갖는 경우가 많다.
1234 체계의 보편성
1234 체계는 문화권에 관계없이 비교적 일관된 서열 의미를 갖는다. 1은 1등이나 최고라는 보편적 의미가 있고, 숫자가 커질수록 순위가 낮아진다는 인식이 일반적이다. 학교 성적에서도 1등급이 최상위를 의미하는 경우가 많다.
가나다라 체계의 상대적 중립성
가나다라 체계는 한글 자모 순서라는 중립적 의미를 갖는다. 학교에서 반 구분 등에 사용되지만, 성적이나 등급 표시에는 잘 사용되지 않아 상대적으로 서열 의미가 약하다. 하지만 '가'가 첫 번째라는 인식은 여전히 존재한다.
현대적 함의와 통제 방법
연구 방법론에 미친 영향
비록 두 연구의 결과는 상반되었지만, 이들 연구는 현대 연구 방법론에 중요한 영향을 미쳤다. 응답이나 위치에 따른 편향이 존재할 수 있다는 코니의 기본 주장은 연구 설계 시 주의해야 할 요소로 받아들여졌다. 동시에 그린할그가 지적한 문화적 맥락과 연구 방법에 따른 차이도 중요하게 고려되고 있다.
실무에서의 편향 통제
현재 여론조사나 마케팅 연구에서는 일반적으로 알파벳 순서 효과를 통제하기 위한 다양한 방법이 사용되고 있다. 응답 순서를 무작위화하거나, 알파벳 대신 숫자나 기호를 사용하는 방법이 대표적이다. 또한 응답 보기의 순서를 응답자마다 다르게 제시하는 방법도 활용되고 있다.
설문 설계 시에는 목적에 따라 적절한 기호 체계를 선택해야 한다. 가능한 한 중립적인 표시 방법을 사용하고, 순서 무작위화 등 편향 통제 방법을 적용하는 것이 바람직하다.
특히 한국의 경우 한글 자모 체계에서의 순서 효과에 대한 체계적인 검증이 필요하다. 다양한 기호 체계 간의 편향을 비교하고, 문화권별 기호 선호도 차이를 분석하는 연구가 요구된다. 또한 디지털 환경에서의 순서 효과에 대한 연구도 현대적 맥락에서 의미 있는 통찰을 제공할 수 있을 것이다.
코니와 그린할그의 논쟁은 연구 결과의 문화적 맥락과 방법론적 엄밀성의 중요성을 보여준다. 현대 연구에서는 두 연구자의 우려를 모두 반영하여 가능한 한 편향을 최소화하는 방향으로 발전하고 있다.
독립신문
<참고문헌>
Coney, K. A. (1977). Order-Bias: The Special Case of Letter Preference. The Public Opinion Quarterly, 41(3), 385-388.
Coney, K. A. (1979). Coney's reply. Public Opinion Quarterly, 43(3), 408-409.
Greenhalgh, C. (1979). On Letter Preference Order Bias. The Public Opinion Quarterly, 43(3), 407-408.