"여론조사를 볼 때는 '추세'를 함께 봐야합니다"

여론조사를 보도할 때 가장 흔히 하는 말 중 하나입니다. 오늘 나온 숫자보다 지난주에 비해 얼마나 올랐는지 내렸는지 그 흐름을 봐야한다는 거죠. 그런데 여기에 고려할 것이 하나 더 있습니다. 바로 여론조사 기관들의 고유한 조사기법에 따라 발생하는 효과, 그러니까 조사기관의 '성향'입니다.

'추세'와 '성향'은 MBC와 서울대 국제정치데이터센터 박종희 교수가 여론조사를 조사할 때 고려하는 두가지 요소입니다. 간단히 말하면 추세 어제의 여론이 오늘의 여론에 영향을 준다는 것이고, 성향은 여론조사 기관이 가진 고유한 조사기법에 의해 나타나는 효과라고 보시면 됩니다.

여론조사를 조사하다에서는 여론조사 기관이 가진 레시피에 따라 성향의 차이가 나타나는 걸 여러분 눈으로 직접 확인할 수 있는 코너를 마련했습니다.

같이 하나씩 봐 볼까요?

문재인 대통령 취임(2017년 5월 10일) 이후 발표된 대통령 국정수행평가 여론조사 결과를 한 그래프에 모아봤습니다. 약 4년 동안 다섯차례 이상 국정수행평가 조사결과를 발표한 여론조사 기관은 19개 (2021.03.19 기준)입니다. 각 조사회사를 하나의 선으로 표현했습니다. 각 회사가 발표한 대통령 국정수행 긍정평가 결과값을 하나의 선으로 이은건데요, 같은 날 발표된 조사라고 해도 조사기관마다 조금씩 결과값에 차이가 나는게 보이죠?

19개의 선 중 두 곳의 대통령 직무수행 긍정평가 조사결과를 비교했습니다. A조사기관은 다른 조사기관들과 비교해 전반적으로 높게, B조사기관은 낮게 나타납니다. 그렇다고 해서 두 조사 중 하나만 맞거나 틀린 것이라고는 할 수 없습니다. 각 회사가 여론조사를 할 때 사용하는 고유한 방식에 따라 차이가 발생하는 것인데요, 저희는 이를 조사방법의 효과, 그러니까 조사기관의 성향이라고 봤습니다.

이런 차이는 사람이 물어보는지 기계가 물어보는지, 어떻게 물어봤는지, 조사를 언제 했는지에 따라 다르게 나타납니다. 질문으로 한번 알아볼까요? "대통령이 국정수행을 잘하고 있다고 생각하십니까?"라는 질문에 보기가 아래와 같다고 가정해보겠습니다.

보통 ①번으로 답한 사람의 비율을 구해서 "대통령 국정수행 긍정평가"로 발표를 하는데요. X 조사회사처럼 물어보면 ①잘하고 있다고 답할 사람도 Y 조사회사처럼 물어보면 ③ 보통이다로 답할 가능성이 있기 때문에 ①의 비율은 줄어들겠죠. 그러니까 다른 조건이 모두 같다면 X조사회사의 긍정평가가 Y조사회사의 결과보다 훨씬 높을겁니다.

여론조사를 보도할 땐 보통 어떻게 물어봤는지 구체적인 내용은 알려주지 않으니까 유권자 입장에선 들쭉날쭉한 결과에 혼란스러울 수 밖에 없습니다.

그럴 땐 여론조사를 조사하다를 참고하면 됩니다. MBC와 서울대 국제정치데이터센터 박종희 교수가 함께 발표하는 추정치(굵은 선)는 때론 들쭉날쭉한 여론조사 결과값을 요약해 보여주는 역할을 합니다. 발표되는 모든 여론조사 결과를 모아서 각 조사회사가 가진 성향(조사기법에 따라 발생하는 효과)를 추정해 통제하고, 추세를 관통하는 값을 찾아내는 거죠.

그럼 여론조사 기관의 조사방식에 따라 나타나는 성향을 직접 한번 확인해보시겠어요? 각 여론조사 기관 버튼을 누르면 조사결과 흐름을 한 눈에 비교할 수 있습니다.