실험설계 소개

❗️블로그 옮김:  https://www.taemobang.com

방태모

우리가 실험(experiment)을 하는 이유는 어떤 대상을 알기 위해서이다.  동일한 조건에서 동일한 실험을 하고 동일한 방법으로 관찰해도 결과론적으로 측정값은 항상 같게 나오지 않는다. 여기서 통계적 사고방식이 필요하다! 예를 들면, 동전 낙하 속도를 측정하는 "실험"을 한다고 하자. 이 동전이 떨어지는 순간 매번 정확하게 초시계를 스탑 시키는 게 상식적으로 가능한가? 그리고 초시계는 얼마나 정밀한가? 등과 같은 매번 측정값은 다소 차이가 있기 마련이다.

 

이런 문제는 "조사"의 경우에도 똑같다. 예를 들면, 올해 우리 나라에서 벼를 재배한 농지 전체 면적을 알고 싶다 하자. 이를 전수 조사하는 것은 말도 안 되니, 몇 군데를 조사해서 벼를 재배한 농지의 면적을 알아낸 다음 비례적으로 전국의 재배 면적을 추정하는 것 외에는 답이 없다. 그럼 대표 지역 선정도 추정에 있어서 매우 중요해지며, 과연 그 지역 내 농지 면적은 정확하게 측정됐는가? 도 중요하다. 즉, 이런 문제에 대해서 근사적인 답을 찾으려면 통계적 방법이 필요할 수밖에 없다.

 

상술한 두 가지 실험형태를 절대실험(absolute experiment)이라고 한다. 이와같은 실험에서는 분명히 참값이 있지만, 측정 오차 때문에 측정을 반복해도 항상 동일한 값을 얻지 못하는 상황을 생각한다. 이 책에서 다루는 실험 형태는 절대 실험이 아닌 비교실험(comparative experiment)이다. 말그대로 상호 비교라는 개념이 밑바탕에 있는 실험이다. 예를 들면, 신약이 기존의 약보다 효과가 더 좋은가? 기존의 교육방식보다 새로운 교육방식이 더 좋은가? 등과 같은 것 들이다.

 

비교실험과 같은 통계실험에서는 결과에 영향을 주는 요인(factor)을 연구자가 조정하여 어떤 반응(response)이 유발되는지를 측정하여, 요인과 반응 간의 인과성을 유추할 수 있다. "조사"와 같은 관찰연구(여론조사와 같은 통계조사)에서는 원인과 결과의 관계(인과성)를 통계적으로 결론지을 수 없다.

 

실험의 형태에 상관없이 우리가 얻게 되는 최종 측정값에서 오차(error)가 항상 존재한다. 이러한 오차가 포함된 값들에서 서 최대한 참값에 대한 정보를 걸러내야 하며, 이때 통계학이 필요하다. 통계학에서 제시하는 답은 애초에 설계(design)를 잘하여 조사나 실험을 하면 합리적인 결론을 얻을 수 있다는 것이고, 그래서 실험설계(experimental design; design of experiment)라는 과목이 필요로 된다. 즉 실험을 잘 수행하기 위해서는 실험설계에 대한 지식이 꼭 필요하다.

 

정리하면! 실험설계란 관심이 있는 대상 또는 시스템의 특성을 알기 위해 실험을 수행할 때, 모든 실험 조건을 고려해 가능한 한 최소 노력(i.e. 적절한 설계는 수 만 번의 실험이 필요한 상황에, 실험 횟수를 대폭 감소시켜주기도 한다)으로 최대의 정보를 얻고 합리적인 통계적 해석이 가능하도록 실험 방법을 결정하려는 통계 기법이다.

 

1. 용어

실험에 관련한 용어들을 정리하자.

 

(1) 요인(factor)

결과에 영향을 줄 것으로 판단되어 선택된 원인이며 연구자가 조절할 수 있어야 한다. 예를 들어 사과나무 수확량을 최대로 하는 것이 목표인 실험이 있다고 하자. 이때 사과 수확을 증가 또는 감소시키는 원인은 비료, 물 주기 횟수 등등 많은 것들이 있을 수 있으며, 이러한 것들을 요인이라 한다. 요인이 많아질수록 필요한 실험 횟수는 증가할 것이다. 대체로 요인의 갯수는 셋을 넘기지 않는것이 좋다.

 

(2) 반응(response)

실험 결과 관측되는 값이다. 예를 들어 사과 수확량을 따질때, 사과의 갯수로 따질 수도 있고, 수확된 모든 사과의 무게로 따질 수도 있다. 여기서  사과의 갯수로 수확량을 따지기로 했다면, 사과의 갯수를 반응이라고 부른다.

 

(3) 수준(level)과 처리(treatment)

수준은 연구자가 조절하는 조건이다. 편의상 사과 수확량의 요인으로 물 주기 횟수만을 고려한다고 하자. 물 주기 횟수를 1, 3, 5로 고려할 때, 이를 수준이라고 부른다. 그리고 실제 실험이 진행되는 수준들의 조합을 처리라고 부른다. 즉 관심 요인이 하나이면, 요인의 수준이 곧 처리이며 관심 요인이 둘 이상이면 요인들의 수준 조합이 처리가 된다.

 

반응, 요인, 수준을 결정하면 이제 실험만 하면 된다. 그럼 어떻게 통계적으로 올바른 실험을 수행할 수 있을까? 한 가지 예를 들어보자. 몸이 아파 병원을 가면 의사들은 약을 처방해준다. 그러나 가능하면 약을 복용하지 않고 스스로 낫게하는 것이 더 좋다. 그래서 진짜 약 대신 가짜 약을 주는 경우가 있으며, 그래도 환자는 자기가 정말 약을 먹었다고 착각하고 병이 낫기도 한다. 이를 위약효과 또는 플라시보(placebo) 효과라 한다. 위약 효과가 실제로 존재하는지 보려면 실험이 필요하다. 그럼 환자를 두 그룹으로 나눠 각 그룹에 진짜약, 가짜약을 주고 병세가 어떻게 되는지 지켜보면 될 것이다. 이때 환자들에게 자신이 먹은 약이 진짜인지 가짜인지 알게하면 심리적 영향이 생기기 때문에, 절대로 알려 줘서는 안된다. 그렇다고 의사에게 진짜 약, 가짜 약을 어느 환자에게 먹일지 맡겨야할까? 의사가 환자 중 친척이 있어 진짜 약을 주어야지 하면 이것도 곤란하다. 그래서 이러한 경우에는 실험 관리자가 따로 있어 의사의 처방과는 상관없이 진짜 약이든 가짜 약이든 멋대로 투여하는 방법을 사용한다. 즉, 환자도 의사도 어느 것이 진짜 약인지 모른다. 더 나아가 실험 관리자도 어느 것이 진짜 약인지 모르게 할 수도 있다. 

 

위와 같이 굳이 실험을 복잡하게 진행하는 이유는, 실험의 객관성을 유지하기 위해서이다. 통계실험에는 절대 본인의 주관이 들어가서는 안된다. 그래야 객관적인 결과분석이 가능하기 때문이다. 객관적 분석이 가능한 실험을 하려면 실험 순서를 연구자의 주관이 배제된 상태에서 결정해야 하는데 이러한 실험 순서의 결정은 "랜덤배치법"으로 구현할 수 있다. 통계 실험을 지배하는 가장 중요한 원리가 바로 실험 순서의 랜덤화이며, 랜덤화를 해야 적법한 통계 분석이 가능하다.

 

2. 실험단위, 관찰단위

• 실험단위(EU : Experimental Unit) : 서로 다른 처리가 가해지는 최소 단위
• 관찰단위(OU : Observational Unit) : 최종 측정값이 나오는 최소 단위

실험단위와 관찰단위는 서로 같을 수도 있으며 다를 수도 있다. 예를 들어, 세 종류의 금붕어 먹이가 있을 때 이들의 효과를 비교한다고 하자. 금붕어가 10마리씩 들어있는 어항 3개를 준비해 각 어항마다 서로 다른 먹이를 주고 일정 기간후 금붕어들의 무게 증가분을 측정하는 실험을 한다면, 이때 실험단위는 어항이 되며, 금붕어는 관찰단위가 된다. 실험단위에는 실험오차(experimental error)가 따른다. 예를 들면 위 실험의 어항속 금붕어 10마리는 서로 완전히 똑같지않다. 이와 같이 실험단위들이 서로 완전히 똑같지 않은데서 실험오차가 발생한다. 또다른 형태로는 처리오차(treatment error)가 있으며, 예를 들면 세 어항에 먹이를 똑같이 10g씩 줄때, 실제로는 9.9g 또는 10.1g의 먹이를 줄 수도 있는것이다. 관찰단위에는 관찰오차(observational error)가 존재하며, 대표적인것이 측정오차(measurement error)다. 예를 들어 금붕어의 무게 증가를 측정시 나타나는 어쩔 수 없는 오차다(세상에 완벽한 측정 장치는 없으므로). 상술한 오차들로 인해 측정값은 다음과 같이 정의된다:

측정값 = 참값 + 실험오차 + 측정오차

3. 실험설계의 기본원리

비교 실험의 통계적 해석을 가능케 하는 세 가지 근본원리는 랜덤화(randomization), 반복(replication), 블록화(blocking)이다. 아무리 복잡한 실험이여도 통게적으로 설계된 실험이면 이 세 가지 원리의 반복 적용에 지나지 않는다.

 

(1) 랜덤화

실험의 객관성을 보장하는 방법으로 실험 단위의 배정 및 실험 순서들을 랜덤하게 결정하는 것을 의미한다. 인간의 주관이 개입되지 않고, 객관적인 실험을 설계하기위해 통계학에서 제시하는 해결책이다.

 

(2) 반복

각 처리들을 둘 이상의 실험단위에 가함을 의미한다. 실험결과의 정밀성을 유지하기위해서는 반복이 꼭 필요하다. 반복실험을 하면 실험오차의 크기를 계산할 수 있다. 그러나 너무 많은 횟수의 반복은 추천하지 않는다. 실험설계가 고안된 주된 이유중 하나가 최소 비용 대비 최대의 효과를 얻기 위함이기 때문이다.

 

(3) 블록화

실험의 정밀도를 향상시키는 기법이다. 모든 실험설계에서 반드시 블록화를 해야하는 것은 아닌데, 실험의 성격상 필요하다고 판단되면 블록화는 하는것이 유리하다. 측정값에 영향을 미칠만한 외부 요인을 통계적으로 제거한 후, 원하는 요인의 효과만을 걸러내기 위해 사용한다. 주어진 상황의 제약때문에 완벽한 랜덤화에 기초한 실험의 수행이 불가능한 경우에 실험설계에서 제시하는 대안이 블록화이다. 블록화는 곧 제한된 랜덤화를 의미한다. 블록의 기본 성질은 블록 내에서는 동질적(homogeneous), 블록 간에는 이질적(heterogeneous)이라는 것이다.

 

 

참고한 책

성내경 (2012). 실험설계와 분석 2판. 자유아카데미