유의성과 설명력에 대해

❗️블로그 옮김:  https://www.taemobang.com

방태모

분산분석 표를 해석할 때에는 모형의 유의성(검정통계량 $F_0$)뿐만 아니라 설명력($R^2$)도 함께 확인해야 한다. 이는 회귀분석에서도 마찬가지다. 모형의 유의성은 검정통계량을 통해 확인할 수 있으며, 설명력은 결정계수(coefficient of determination)로 확인할 수 있다. 이 둘을 모두 확인해봐야 하는 이유는, 모형이 유의하다고 해서 반드시 데이터 해석에 쓸모있지는 않기 때문이다. 먼저 유의성에 대해 이야기해보자. 분산분석에서 검정통계량을 통한 F-검정에서 모형이 유의하다고 결과가 나온 것의 의미는, 처리효과간에 차이가 있고, 주어진 데이터를 설명하는데에 의미가 있다는 것이다. 설명력은 결정계수 $R^2 = \frac{SStrt}{SST} = 1-\frac{SSE}{SST}$로 확인하며, 식에서 확인할 수 있는 그대로 총 변동중 모형으로 설명가능한 처리변동의 비율이다. 0과 1사이의 값을 가지며 당연히 클수록 데이터를 잘 설명한다는 뜻이다. 딱 어느 값 정도는 되어야 좋은 모형이라는 기준은 없지만, 최소 0.5(50%)는 되어야 분석의 가치가 있는 모형이라 생각한다. 그럼 이제 각 상황을 나눠서 설명해보자.

 

(1) $\textrm{p-value} \rightarrow 1$

분석을 진행할 가치가 없다. 

 

(2) $\textrm{p-value} \rightarrow 0$, $R^2 \rightarrow 1$

연구자가 바라는 매우 이상적인 상황이다. 유의성도 뛰어나며, 데이터 변동의 대부분이 처리변동으로 설명되어 결정계수도 매우 높다. 훌륭한 모형이란 말이다.

 

(3) $\textrm{p-value} \rightarrow 1$, $R^2 \rightarrow 0$

문제의 상황이다. 이런 경우가 존재하기는 할까? 결론부터 말하면 그렇다. 이런 현상이 발생할 수 있는 이유는, 검정통계량 $F_0$의 식을 떠올려보면 알 수 있다. 

$F_0 = \frac{SStrt/t-1}{SSE/N-t}$

검정통계량의 분모 부분을 주목하자. 오차변동이 표본크기 $N$에 처리그룹의 수 $t$로 뺀값으로 나눠지고 있다. 우리가 실험을 수행했는데, 여유가 있어 표본 크기를 매우 많이 확보했다고 하자. 극단적으로 생각하면 $N \rightarrow \infty $를 가정해보자. 그럼 검정통계량 분모 식의 분모 부분이 매우 커지게되고, 데이터를 설명하는 처리변동의 값이 작다고 할지라도 $F_0$는 매우 큰 값을 가지게 되어, 모형은 매우 작은 p-value 값을 가지게 된다. 즉, 유의한 모형이 된다. 그러나 $R^2$의 경우 표본 크기와 무관하게 $\frac{SStrt}{SSE}$로 정의되기 때문에, 처리변동의 값이 작다면 매우 작은 값이 나올 것이다. 이같은 난점은 몇몇 통계적 방법론이 가진 내부적 문제점이다. 그래서 표본 수가 무작정 크기만 하다고 또 좋은것은 아니다. 물론 크면 좋겠지만, 연구자는 표본 크기로 인해 위와 같은 문제점이 발생할 수 있음을 인지하고 있어야한다! 표본 크기가 큰 상황에서는 위와 같은 문제는 언제든 발생할 수 있다.  그러나 통계적 검정법이 거짓말을 하는 것은 아니다. 예를 들어 세 브랜드의 오렌지 쥬스간 신맛 차이가 있는지 검정했는데, $\textrm{p-value} = 0.08, \; R^2 = 0.26$이 나왔다 하자. 앞서 말한 문제가 발생한 상황이다. 이는 곧 쥬스간 신맛 차이는 있지만 그 맛의 차이는 매우 작음을 의미한다. 이와 같은 미세한 맛의 차이를 통계적으로 감지했을뿐이다. 이는 검정력이 강하기 때문인데 표본 크기가 커지면 검정력이 세지게 되고, 검정력이 세지면 모형이 유의하다는 결론을 자주내리게 된다. 그래서 실험 비용도 아끼고, 실용적으로 결론을 내릴 수 있는 적절한 표본 크기를 결정하는 문제도 생각해봐야한다.

 

우리 모두 분산분석을 수행할때는 $\textrm{p-value}$뿐만아니라 $R^2$도 꼭 함께 확인하고, 좋은 모형을 설정하기 위해 노력하자!

 

 

참고한 책

성내경 (2012). 실험설계와 분석 2판. 자유아카데미