통계 읽기 퀴즈 12문제 - 평균과 중앙값이 갈리는 경우, 표본 크기와 오차, 상관과 인과, 생존자 편향, 기저율 무시, 백분율 포인트와 퍼센트, 축 자른 그래프, 여론조사 표본오차, p값 오해, 상대위험과 절대위험, 심슨의 역설, 무작위 배정

정답과 해설

1. 어느 회사 팀원 다섯 명의 연봉이 3,000만원, 3,200만원, 3,400만원, 3,600만원, 2억원이다. 평균과 중앙값은? — 정답: 평균 6,640만원, 중앙값 3,400만원. 다섯 값을 모두 더하면 3,000 + 3,200 + 3,400 + 3,600 + 20,000이므로 33,200만원이고, 이것을 5로 나누면 평균은 6,640만원입니다. 중앙값은 값을 순서대로 늘어놓았을 때 한가운데 오는 수이므로 세 번째 값인 3,400만원입니다. 여기서 문제는 평균 6,640만원이 다섯 명 중 누구의 실제 연봉과도 비슷하지 않다는 점입니다. 한 명의 큰 값이 평균을 통째로 끌어올렸기 때문입니다. 소득, 집값, 재산처럼 한쪽으로 길게 꼬리가 늘어지는 분포에서는 이런 일이 흔하고, 그래서 이런 자료에서는 평균보다 중앙값을 함께 보는 것이 관례가 됐습니다. 평균 연봉이 올랐다는 기사에서 체감이 전혀 다른 이유도 대개 여기 있습니다. 반대로 키나 몸무게처럼 좌우가 비교적 대칭인 분포에서는 평균과 중앙값이 크게 어긋나지 않아 평균만 봐도 큰 문제가 없습니다. 요약하면 평균이 나쁜 지표가 아니라, 분포 모양을 모르고 평균만 보는 것이 문제입니다.
2. 표본 크기와 결과의 흔들림에 대한 설명으로 맞는 것은? — 정답: 표본이 작을수록 우연에 따른 흔들림이 커져 극단적인 값이 나오기 쉽고, 표본이 커질수록 추정치가 안정된다. 동전을 열 번 던지면 앞면이 여덟 번 나오는 일도 종종 생기지만, 천 번을 던져 팔백 번이 앞면일 확률은 사실상 없습니다. 표본이 작으면 우연이 개입할 여지가 크고, 그래서 작은 집단에서는 유난히 좋은 성적과 유난히 나쁜 성적이 함께 잘 나타납니다. 학생 수가 적은 학교가 성적 상위와 하위 목록에 동시에 자주 등장하는 현상이 대표적인 예로 인용됩니다. 이것을 학교의 특성으로 해석하면 잘못된 결론에 이릅니다. 반대로 표본이 커지면 우연이 상쇄되며 추정치가 참값 근처로 모입니다. 다만 큰 표본이 모든 것을 해결하지는 않습니다. 애초에 표본을 뽑는 방식이 한쪽으로 치우쳐 있으면 아무리 많이 모아도 편향은 그대로 남습니다. 특정 커뮤니티에서만 백만 명에게 물어본 결과가 전체 국민의 생각을 대변하지 못하는 것이 그래서입니다. 크기와 대표성은 다른 문제입니다.
3. 아이스크림 판매량과 물놀이 사고 건수가 함께 오르내린다는 자료를 봤다. 가장 적절한 해석은? — 정답: 둘 다 기온이라는 다른 요인의 영향을 받았을 가능성이 크며, 상관이 있다고 한쪽이 다른 쪽의 원인이라고 볼 수는 없다. 두 값이 나란히 움직이는 것을 상관이라고 하는데, 이것만으로는 방향도 원인도 알 수 없습니다. 가능성은 최소 네 가지입니다. A가 B의 원인일 수도, B가 A의 원인일 수도, 제3의 요인이 둘 다를 움직였을 수도, 그냥 우연일 수도 있습니다. 아이스크림과 물놀이 사고는 세 번째에 해당합니다. 더워지면 아이스크림이 팔리고 물에 들어가는 사람도 늘어나므로, 기온이라는 공통 원인이 두 수치를 함께 밀어 올린 것입니다. 이렇게 뒤에 숨어 결론을 흔드는 요인을 교란변수라고 부릅니다. 방향 문제도 흔합니다. 운동하는 사람이 건강하다는 자료에서 운동이 건강을 만든 것인지, 건강한 사람이 운동할 여력이 있는 것인지는 관찰만으로 가르기 어렵습니다. 그래서 인과를 말하려면 교란변수를 통제하거나 무작위 배정 실험처럼 설계 자체로 원인을 분리하는 방법이 필요합니다.
4. "성공한 창업자들은 대부분 대학을 중퇴했다, 따라서 중퇴가 성공에 유리하다"는 주장의 문제는? — 정답: 살아남아 눈에 띄는 사례만 세고 같은 선택을 했다가 사라진 다수를 세지 않은 생존자 편향이다. 성공한 사람들만 모아 공통점을 찾으면 그 공통점이 성공의 비결처럼 보입니다. 그러나 같은 선택을 했다가 실패해 아무 기사에도 나오지 않은 사람들이 분모에서 빠져 있으면 계산 자체가 성립하지 않습니다. 중퇴자 중 성공한 비율을 알려면 성공한 중퇴자와 실패한 중퇴자를 함께 세야 하는데, 우리가 보는 목록에는 앞쪽만 있습니다. 이런 착각을 생존자 편향이라고 합니다. 널리 인용되는 사례는 2차 대전 당시 돌아온 폭격기의 총알 자국 분석입니다. 자국이 많은 부위를 보강하자는 제안에, 돌아온 기체에 자국이 없는 부위야말로 맞으면 돌아오지 못한 곳이라는 지적이 나왔다는 이야기입니다. 일상에서도 흔합니다. 후기가 좋은 제품은 만족한 사람이 후기를 더 많이 남긴 결과일 수 있고, 오래된 물건이 튼튼해 보이는 것은 부실한 물건이 이미 버려졌기 때문일 수 있습니다.
5. 1,000명 중 1명이 걸리는 병을 정확도 99%인 검사로 진단했더니 양성이 나왔다. 실제로 병일 확률은? — 정답: 병에 걸린 사람 자체가 드물어 위양성이 더 많아지므로 99%보다 훨씬 낮다. 10만 명을 검사한다고 놓고 세어 보면 감이 잡힙니다. 실제 환자는 100명이고 이 중 99명이 양성으로 나옵니다. 나머지 99,900명은 건강한데 1%가 잘못 양성으로 나오므로 약 999명이 양성입니다. 그러면 양성 판정을 받은 사람은 대략 1,098명인데 그중 진짜 환자는 99명이니 10%가 채 되지 않습니다. 검사가 부정확해서가 아니라 애초에 병이 드물어서 생기는 결과입니다. 이렇게 전체에서 그 일이 얼마나 흔한지를 나타내는 비율을 기저율이라고 하고, 이것을 빼놓고 판단하는 것을 기저율 무시라고 합니다. 실제 의료 현장에서 증상이 없는 사람에게 희귀 질환 검사를 함부로 권하지 않는 이유가 여기 있습니다. 양성이 나와도 대부분 위양성이라 추가 검사와 불안만 늘어납니다. 반대로 증상이 있거나 위험 요인이 있는 사람은 기저율 자체가 높아 같은 검사라도 양성의 의미가 훨씬 커집니다.
6. 어떤 조사에서 만족도가 20%에서 25%로 바뀌었다. 올바른 표현은? — 정답: 5퍼센트포인트 올랐고, 이는 이전 값 대비 25% 증가한 것이다. 퍼센트포인트는 비율끼리의 뺄셈이고, 퍼센트는 원래 값 대비 얼마나 늘었는지의 나눗셈입니다. 20에서 25로 갔으니 차이는 5퍼센트포인트이고, 증가율은 5를 20으로 나눈 25%입니다. 같은 변화를 두고 5라고 쓸 수도 있고 25라고 쓸 수도 있으니, 어느 쪽을 고르느냐로 인상이 크게 달라집니다. 작아 보이게 하고 싶으면 퍼센트포인트를, 커 보이게 하고 싶으면 증가율을 쓰면 됩니다. 그래서 기사나 광고에서 숫자만 크게 뽑고 단위를 흐리는 경우를 조심해야 합니다. 반대 방향도 마찬가지입니다. 금리가 2%에서 3%가 되면 1퍼센트포인트 인상이지만 이자 부담은 절반이 늘어난 셈이고, 지지율이 40%에서 38%가 되면 2퍼센트포인트 하락이지만 5% 감소로 쓸 수도 있습니다. 숫자를 볼 때 단위가 포인트인지 퍼센트인지부터 확인하는 습관이 필요합니다.
7. 막대그래프의 세로축이 0이 아니라 95에서 시작하고 있다. 이때 생기는 문제는? — 정답: 값의 차이가 실제보다 훨씬 크게 보여 사소한 변화가 극적인 변화처럼 읽힌다. 막대그래프는 막대의 길이로 크기를 비교하도록 만들어진 형식입니다. 그런데 축을 0이 아닌 지점에서 시작하면 길이가 더 이상 값에 비례하지 않습니다. 98과 99를 축 95부터 그리면 막대 길이는 3대 4가 되어 한쪽이 다른 쪽보다 3분의 1쯤 큰 것처럼 보이지만, 실제 차이는 1%입니다. 그래서 막대그래프의 세로축은 0에서 시작하는 것이 기본으로 여겨집니다. 다만 항상 자르면 안 된다는 뜻은 아닙니다. 선그래프로 체온이나 주가처럼 변동 폭 자체가 관심사인 값을 볼 때는 축을 좁히는 편이 오히려 정보를 잘 보여 줍니다. 관건은 형식과 목적이 맞는지, 그리고 잘랐다는 사실이 드러나 있는지입니다. 이 밖에도 가로축의 간격을 고르지 않게 배치하거나, 그림 아이콘의 높이를 두 배로 키우면서 면적은 네 배가 되게 그리는 방식도 자주 쓰이는 왜곡입니다.
8. "오차범위 ±3.1%포인트, 95% 신뢰수준"이라는 여론조사에서 A 40%, B 36%로 나왔다. 올바른 해석은? — 정답: 두 후보의 구간이 겹치므로 우열을 단정하기 어려운 상태이며, 흔히 오차범위 내 접전이라고 부른다. 오차범위는 표본을 뽑는 과정에서 생기는 우연한 흔들림의 폭을 나타냅니다. ±3.1퍼센트포인트라면 A는 대략 36.9%에서 43.1% 사이, B는 32.9%에서 39.1% 사이로 볼 수 있습니다. 두 구간이 겹치므로 실제로는 B가 앞설 가능성도 남아 있고, 이런 상태를 오차범위 내라고 표현합니다. 흔한 오해는 두 수치의 차이인 4퍼센트포인트를 오차범위 3.1과 직접 비교하는 것입니다. 각 후보에게 오차가 따로 붙으므로 두 후보 사이의 차이에 붙는 불확실성은 더 큽니다. 95% 신뢰수준도 자주 오해됩니다. 같은 방식의 조사를 여러 번 반복했을 때 그렇게 만든 구간들 중 약 95%가 참값을 포함한다는 뜻이지, 이번 결과가 95% 확률로 맞다는 뜻이 아닙니다. 그리고 오차범위는 표본추출 오차만 다룹니다. 질문 문구, 조사 시점, 응답률, 조사 방식에서 오는 차이는 여기 포함되지 않으므로 함께 확인해야 합니다.
9. p값이 0.03이라는 결과에 대한 설명으로 맞는 것은? — 정답: 차이가 없다고 가정했을 때 이 정도 결과가 나올 확률이 3%라는 뜻이며, 가설이 참일 확률이나 효과의 크기를 알려 주지는 않는다. p값은 차이나 효과가 없다는 가정, 즉 귀무가설이 맞다고 쳤을 때 관찰된 것만큼 극단적인 결과가 나올 확률입니다. 방향이 이렇게 잡혀 있으므로 가설이 맞을 확률로 뒤집어 읽으면 안 됩니다. 흔한 오해가 몇 가지 더 있습니다. p값이 작다고 효과가 크다는 뜻이 아닙니다. 표본이 충분히 크면 실질적으로 의미 없는 미세한 차이도 통계적으로 유의하게 나옵니다. 그래서 효과의 크기와 신뢰구간을 함께 봐야 합니다. 반대로 p값이 0.05보다 크다고 효과가 없음이 증명된 것도 아닙니다. 표본이 작아 못 잡아낸 것일 수 있습니다. 0.05라는 기준선 자체도 관행일 뿐 자연법칙이 아닙니다. 이 기준을 통과한 결과만 발표되는 경향과, 여러 분석을 돌려 유의한 것만 골라 보고하는 관행이 겹치면 재현되지 않는 결과가 쌓입니다. 최근 여러 분야에서 p값 하나로 결론을 내리지 말자는 목소리가 커진 배경입니다.
10. 어떤 약이 부작용 위험을 1%에서 2%로 높인다. 이를 두고 "위험 100% 증가"라고 표현했다면? — 정답: 상대위험으로는 맞는 표현이지만 절대적인 증가폭은 1퍼센트포인트이므로, 두 값을 함께 봐야 판단할 수 있다. 1%가 2%가 되면 이전 값의 두 배이므로 상대적으로는 100% 증가가 맞습니다. 동시에 절대적으로는 1퍼센트포인트, 즉 100명 중 한 명이 더 생기는 수준입니다. 같은 사실을 두고 위험이 두 배로 뛴다고 쓸 수도 있고 100명 중 한 명 차이라고 쓸 수도 있으니, 표현만 보고 놀라거나 안심하면 곤란합니다. 판단은 원래 위험이 얼마나 컸는지에 달려 있습니다. 원래 위험이 0.001%였다면 두 배가 되어도 여전히 매우 드문 일이고, 원래 30%였다면 두 배는 심각한 이야기입니다. 그래서 건강 관련 기사를 읽을 때는 몇 배라는 표현 뒤에 원래 수치가 적혀 있는지 확인하는 것이 좋습니다. 이 구분은 이익 쪽에도 똑같이 적용됩니다. 사망 위험을 30% 낮춘다는 문구도 원래 위험이 작으면 실제로 줄어드는 사람 수는 얼마 되지 않습니다. 그래서 의학 문헌에서는 몇 명을 치료해야 한 명이 이득을 보는지를 함께 제시하기도 합니다.
11. 두 병원을 비교했더니 전체 수술 성공률은 A병원이 높은데, 중증 환자만 봐도 경증 환자만 봐도 B병원이 높았다. 가능한 설명은? — 정답: 집단별 환자 구성이 달라 전체를 합쳤을 때 결론이 뒤집히는 심슨의 역설로, B병원이 중증 환자를 훨씬 많이 받았을 수 있다. 이상해 보이지만 산술적으로 충분히 가능한 일이고 심슨의 역설이라고 부릅니다. 핵심은 집단마다 성공률도 다르고 인원 비중도 다르다는 데 있습니다. B병원이 성공률이 낮을 수밖에 없는 중증 환자를 대거 받았다면, 각 집단에서 A병원보다 잘하고도 전체 평균은 낮아질 수 있습니다. 이런 상황에서 전체 수치만 보고 A병원이 낫다고 결론 내리면 오히려 실력 있는 병원을 잘못 평가하게 됩니다. 실제로 이 문제 때문에 병원별 성적을 비교할 때 환자의 중증도를 보정하는 절차를 둡니다. 대학원 입학 합격률을 학과별로 나눠 보니 성별 격차의 방향이 달라졌다는 사례도 널리 인용됩니다. 교훈은 단순합니다. 합쳐진 숫자를 볼 때는 무엇이 섞여 있는지를 묻고, 나눠 보면 결론이 달라지는지 확인해야 합니다. 다만 아무 기준으로나 잘게 쪼개 원하는 결론을 찾는 것은 반대 방향의 왜곡이라, 나누는 기준이 타당한지도 함께 봐야 합니다.
12. 실험에서 참가자를 무작위로 두 집단에 배정하는 이유로 가장 적절한 것은? — 정답: 연구자가 모르는 요인까지 포함해 두 집단의 조건을 평균적으로 비슷하게 만들어, 결과의 차이를 처치 탓으로 돌릴 수 있게 하기 위해서다. 관찰만으로 인과를 말하기 어려운 이유는 비교하는 두 집단이 애초에 다르기 때문입니다. 어떤 약을 스스로 챙겨 먹는 사람은 건강에 신경 쓰는 사람일 가능성이 높고, 그러면 결과가 좋아도 약 때문인지 생활습관 때문인지 알 수 없습니다. 무작위 배정은 이 문제를 설계로 해결합니다. 동전 던지듯 배정하면 나이나 소득처럼 아는 요인뿐 아니라 연구자가 떠올리지도 못한 요인까지 두 집단에 고르게 섞이므로, 처치 말고는 체계적으로 다른 점이 남지 않습니다. 그래서 무작위 대조 실험이 인과 근거의 기준으로 여겨집니다. 여기에 참가자와 연구자가 누가 어느 집단인지 모르게 하는 눈가림과, 가짜 약을 쓰는 대조군을 더해 기대 효과와 판정 편향까지 줄입니다. 물론 만능은 아닙니다. 흡연처럼 무작위 배정이 불가능하거나 비윤리적인 주제가 있고, 참가자가 지원자로 한정되면 결과를 일반화하기 어렵다는 한계도 있습니다.

평균과 분포

평균은 한두 개의 큰 값에 쉽게 끌려가므로, 소득이나 집값처럼 한쪽으로 꼬리가 긴 분포에서는 중앙값을 함께 봐야 합니다. 표본이 작으면 우연에 따른 흔들림이 커져 극단적인 값이 나오기 쉽고, 크기가 커지면 추정치가 안정됩니다. 다만 크기와 대표성은 다른 문제여서, 뽑는 방식이 치우쳐 있으면 아무리 많이 모아도 편향은 그대로 남습니다.

인과를 말하려면

두 값이 함께 움직인다는 사실만으로는 방향도 원인도 알 수 없습니다. 아이스크림 판매와 물놀이 사고는 기온이라는 공통 원인이 밀어 올린 결과이고, 이렇게 뒤에 숨어 결론을 흔드는 요인을 교란변수라고 합니다. 무작위 배정이 중요한 이유가 여기 있습니다. 동전 던지듯 배정하면 연구자가 떠올리지도 못한 요인까지 두 집단에 고르게 섞여 처치 말고는 체계적으로 다른 점이 남지 않습니다. 성공한 사례만 모아 공통점을 찾는 생존자 편향, 병이 드물다는 사실을 빼놓고 검사 결과를 읽는 기저율 무시도 같은 계열의 함정입니다.

표현과 해석

20%에서 25%로의 변화는 5퍼센트포인트이자 25% 증가여서, 어느 단위를 쓰느냐로 인상이 완전히 달라집니다. 위험이 1%에서 2%로 오른 것도 상대적으로는 100% 증가이고 절대적으로는 1퍼센트포인트입니다. 막대그래프의 세로축을 0이 아닌 곳에서 시작하면 길이가 값에 비례하지 않아 사소한 차이가 크게 보입니다. 여론조사의 오차범위는 표본추출에서 오는 흔들림만 다루므로 질문 문구나 응답률에서 오는 차이는 포함되지 않고, 두 후보의 구간이 겹치면 우열을 단정하기 어렵습니다. p값은 차이가 없다고 가정했을 때 그런 결과가 나올 확률이지 가설이 참일 확률이 아니며 효과의 크기도 말해 주지 않습니다. 전체를 합쳤을 때와 집단별로 나눴을 때 결론이 뒤집히는 심슨의 역설도 함께 기억해 둘 만합니다.

자주 묻는 질문