통계의 함정

1. 개요

2. 원인

2.1. 너무 작은 표본에 기초한 결론

2.2. 무응답 표본

2.3. 작위적인 표본을 통해 내린 결론

2.4. 매우 큰 표본에서 나타난 소수의 사례를 과대평가

2.5. 일회성 조사를 통해 내린 결론

2.6. 잘못된 조사 방법

• 만약 당신이 서울역 광장에서 지나가는 사람들에게 "여기 음란물 보는 걸 좋아하는 사람 있습니까?"라고 크게 외친다면, 그것에 대해 "네"라고 대답할 사람은 백 명 중에 한 명도 되지 않을 것이다. 하지만 그렇다고 해서 음란물을 보는 사람이 1%도 되지 않는다고 판단할 수는 없다. 조사 방법이 잘못되었기 때문이다.
• 병영 생활 만족도 조사는 항상 90% 이상이 만족한다고 나온다. 문제는 이 조사라는 것을 아예 기명식으로 하거나 간부가 지켜보고 있는 상황에서 하기도 하고, 감시 없이 무기명으로 한다고 해도 불만족하다고 대답한 경우에 대해 필적 대조까지 하면서 그런 답을 한 사람을 색출해 내서 불이익을 주는 경우까지 있다. 그렇기에 이 결과만을 보고 "따라서 지금의 병영 생활은 더 이상 개선할 필요가 없다."는 결론을 내리는 것은 잘못된 것이 된다.
• 사내 직원 만족도 설문 같은 경우도 마찬가지. 5등급 설문에서 4만 나와도 관리자에게 문책이 가고, 3이 나오면 경을 친다. 서비스 기사가 만족도 조사에서 제발 10점 만점에 10점 달라고 애걸복걸 하는 것도 이 때문.
• 하나의 기업을 대상으로 한국의 기업문화와 사내 부조리에 대한 설문조사를 하고 싶다고 하자. 이걸 시행할 수 있는 권한을 가진 건 사장, 노조 간부, 정부 정도뿐이다. 일개 사원이 이런 걸 시행하려 들다 발각되면 잘린다.
• 성 취향 관련 통계를 낼 때, 동성애자는 스스로가 동성애자라고 밝히기 매우 어렵기 때문에 실제 동성애자의 수보다 축소되어 나올 가능성이 크다. 때문에 실제 환자의 성비(남성:여성 11:1 수준)과는 달리 HIV 보균자나 에이즈 발병률 통계에서 유의미한 왜곡(동성애자와 이성애자의 환자비율이 비슷한 것처럼 나온다)이 발생된다. 해당 이유때문에 동성애자와 이성애자의 에이즈 발병비중을 알아보기 위해 주로 남성 환자와 여성 환자의 비율을 통해 간접적으로 알아차리는 방식을 취한다.

2.7. 잘못된 인과관계 추론

• 명확하고 극단적인 예를 하나 들자면, 정크푸드의 대명사인 치즈버거를 자주 먹는 사람들이 오히려 암 사망률이 낮다는(?!) 터무니없는 통계가 있는데 사실은 암으로 죽기 이전에 심혈관 질환으로 죽어버리는 경우가 많아서 결과적으로는 암 사망자의 비율이 줄어든 것이다(...).

• 더 극단적인 사례로 '고속도로에서 안전벨트를 하지 않은 사람이 한 사람보다 부상 당할 확률이 낮다'가 있다. 안전벨트를 하지 않고 사고가 나면 부상이고 자시고 죽어버리기 때문에, 통계에는 '부상자'가 아니라 '사망자'로 처리되기 때문.

• 다른 예시를 들자면, '햄버거를 매일 적어도 하루 1끼 이상 먹는 사람이 시험 성적이 낮다'라는 통계도 비슷한 예일 수 있다. 이는 햄버거가 마치 두뇌활동에 악영향을 미치는 것처럼 보이는 통계이지만 실제로는 햄버거 등의 패스트푸드를 자주 먹는 사람은 식비에 쓸 돈이 적은 저소득층이거나 식사에 시간을 쓸 정도로 여유가 없는 사람일 가능성이 높아서 학업에 전념하거나 교육에 돈을 투자하기 어려웠기 때문에 낮은 성적이 나왔을 가능성이 더 높다. 따라서, 이와 같은 통계가 나오는 과정에서 비교집단의 소득수준, 학업시간 등을 동일하게 통제하지 않고서는 신뢰할만한 통계결과로 보기는 어렵다.[7]

2.8. 집단의 특성을 개인에게 적용

2.9. 의도치 않은 편향

• 1990년대까지만 해도 심장마비는 여성보다 남성에게 더 쉽게 발생한다는 것이 정설이었으나, 2004년에 발표된 연구에 따르면 이는 남성의 심장병 증상이 더 뚜렷하여 의사가 더 일찍 발견하기 때문에 빚어진 오해였다. 심장병은 오히려 25세 이상 여성의 사망 원인 중 첫 번째이다.[9]

• 2020년 인플루엔자 백신 접종자 집단사망 논란도 역시 의도치 않은 편향에 의한 왜곡이다. 안 그래도 상온 백신 접종 사태로 인해 의료에 대한 불안감이 높아진 상황에서, 하필 코로나19라는 시국이 얽혀 있어 언론의 관심이 극도로 집중된 상황이었다. 이러한 상황에서 "백신 접종자가 일정 기간 내에 사망하는 사례"가 발생하자마자 언론들이 앞다투어 부각하다보니 자연스레 백신과의 연관성으로 이어졌고 이것이 결국 백신 반대 운동에 불을 지피게 되었다. 하지만 실제 수치는 평년 수치와 비슷했고 각 사례들마저 전부 백신과는 상관없이 평소 기저질환이나 다른 사유로 사망에 이른 경우였다.
  참고로 대한민국의 평균 일일 사망자 수는 대략 750명 정도로 집계되며, 2020년에 백신을 접종한 접종자 수는 1800만명에 육박하는 것으로 드러났다. 이는 대한민국 총 인구수의 약 36%에 해당하며, 평균적인 비율로 따져보아도 백신 접종자 중 사망자가 발생하는 것은 전혀 이례적인 일이 아니다.

• 반례로는 제2차 세계 대전 당시 미국에서는 차기 전투기의 생존성 강화 설계를 위해 피격 후 돌아온 전투기들을 조사했으며 동체에 피탄흔적이 남은 기체는 몇 없고 날개와 꼬리에 피탄이 집중되어있어 이 피탄부위들을 강화하면 생존성을 올릴 수 있다고 추측했으나, 수학자 에이브러햄 왈드(Abraham Wald)는 동체를 피탄당한 비행기는 돌아올 수 없었다는 것을 파악, 동체를 강화하는 것을 주장했다. 실제로 당시 전투기의 경우 날개가 반이 잘려나가거나 수직미익이 떨어져나가도 꽤 안정적으로 귀환할 수 있었으나, 아예 동체에 과도한 공격이 가해지는 경우 아예 동체가 절단당해 그자리에서 회전하며 추락하게된다.

2.10. 의도적 편향

2.11. 통계적으로 의미 있는 모든 분석에 현실적인 의미 부여

2.12. 오차범위

2.13. 시각적 도해를 활용한 왜곡

2.14. 백분율의 배수 차이에 너무 큰 의미를 부여

2.15. 철저한 검사 및 조사에 의해 통계에 잡히는 사례가 증가하는 경우

3. 관련 문서

• 통계 관련 정보
• 편향
• 자료수집
• 표본조사
• 여론조사