통계로 속지말자

 통계를 보여주면서 틀린 말을 한 것은 아니지만 자료를 이리저리 주물주물 하면 완전히 다른 자료가 나타날 수 있다. '통계의 거짓말'에서는 거짓말에 사용하는 몇가지 스킬을 알려준다. 이중에 심슨의 역설과 윌로저스 현상은 정말 흥미로웠다.

 a. 심슨의 역설

 세부 항목들을 하나로 합치다보면 자료에서 중요하게 생각되어야 할 자료들이 사라지고 엉뚱한 결론이 나오기도 한다.

아래의 표를 보자

연령대	55~64세		65~74세
흡연/비흡연	흡연자	비흡연자	흡연자	비흡연자
전체인원	115	121	36	129
20년뒤 생존자	64	81	7	28
생존율	67%	56%	22%	19%

 표를 보면 흡연자가 비흡연자 보다 생존율이 높다라는 상식에 부합하는 결과가 나온다.  

 하지만 나이를 나눈 세부 사항을 하나로 합치면 아래와 같은 표가 나온다. 이 표를 보면 분명히 같은 데이터를 이용했음에도 불구하고 흡연자의 생존율이 비흡연자의 생존율보다 높다는 반대의 결과가 나온다. 

연령대	55~74세
흡연/비흡연	흡연자	비흡연자
전체인원	151	250
20년 뒤 생존자	71	109
생존율	47%	44%

 65세 이후에는 자연사 하는 경우가 많아 생존률은 흡연자와 비흡연자 모두 낮다. 첫번째 표에서 알 수 있듯이 65세 이후의 흡연자 표본 수는 비흡연자 보다 훨씬 적다. 생존율이 낮은 65세 이상의 인원이 적게 더해진 흡연자 집단은 비흡연자 집단에 비해 생존율이 높아진다. 그러므로 자연사와 흡연 두 요인이 섞여 있는 두번째 표만을 보고 흡연이 생존율을 높인다고 단정지을 수는 없다.

  

b. 윌로저스 현상

 윌로저스 현상은 분류를 다르게 함으로써 평균이 높아진 것처럼 속이는 방법이다. 같은 회사라도 회사 부서이동만으로도 두 부서의 실적이 좋아질 수 있다.

기간	2010 1~6월		2010 7~12월
	A부서	B부서	A부서	B부서
판매실적	5000개 6000개 7000개	5000개 10000개 15000개 20000개	5000개 6000개 7000개 10000개	5000개 15000개 20000개
평균판매	6000개	12500	7000	13333

 전체적인 판매량의 변화는 없다. 하지만 못하는 부서(A)의 평균보다 높고 잘하는 부서(B)의 평균보다 낮은 사람을 월등히 잘하는 부서(B)에서 못하는 부서(A)로 보내기만 하면 된다. 감쪽같이 평균이 높아진다. 

 

 매일 정보가 튀어나오고 자료가 바뀌는 시대에 통계는 필수적으로 필요하다. 하지만 주의를 기울이지 않으면 눈뜨고 코베이는 일이 생길지도 모른다. 통계를 만드는 사람은 자기가 원하는 목적을 이루기 위해 시간 같은 배경변수를 없애고 백분율로 실제 숫자를 숨기고 정의를 바꿔버린다. 중요한 결정을 할 때에는 누군가 가공한 자료 말고 RAW 데이터로 자료를 읽을 수 있는 능력을 기를 필요가 있다.

통계의 거짓말 국내도서 저자 : 게르트 보스바흐(Gerd Bosbach),옌스 위르겐 코르프(Jens Jorgen Korff) / 강희진역 출판 : 작은책방 2016.05.23 상세보기

유용한 책인데 오류작렬이다(출판사가 안티인듯)