#3 다중 검정

❗️블로그 옮김:  https://www.taemobang.com

방태모

 

❗ Prerequisite

통계적 가설검정의 원리

 

다중 검정(multiple testing)은 여러 개의 검정을 동시에 수행하는 경우를 말한다. 이러한 경우에 단일 검정을 수행할 때와 똑같은 방식으로 검정을 진행하게 되면 심각한 문제가 발생한다. 예를 들어 처리가 3개인 CRD 진행 후, 실제 각각 처리그룹들의 모평균이 어떻게 차이가 있는지 궁금하여 다중 비교(multiple comparison)를 수행하는 상황을 생각해보자. 단일 가설 검정에서 하던대로 유의수준을 0.05로 놓고 two-sample t-test를 진행하자. 이 경우 귀무가설이 참일 때, 귀무가설을 기각하지 않을 확률은 $(1-0.05) = 95$%가 되며, 그에 따라 세 가설 모두 동시에 올바르게 판단할 확률은 $(1-0.05)^3 = 85.7$%가 된다(처리가 3개이므로 검정해야 할 가설의 수는 $_3C_2 = 3$). 이를 뒤집어 말하면, 잘못된 판단을 내릴 확률은 결국 $(1-0.857) = 14.3$%씩이나 된다. 결국, 유의수준 5%로 여러 개의 가설검정을 수행하면, $\alpha$값이 매우 커지는 문제가 발생한다. 즉, 다수의 검정을 동시에 수행할 경우 전체오류율 $\alpha$를 유지하는 방법이 필요하다. 이러한 방법론을 통칭하여 FWER을 조절하는 방법이라고 하며, 대표적으로는 본페로니 교정(bonferroni correction)을 예로 들 수 있다.