통계학 - 추정과 검정(2)_가설과 검정

가설(hypothesis)

가설은 모수 또는 분포(모집단)에 대한 추측이나 주장을 의미합니다. 즉, 내가 주장하고자하는 값 혹은 분포를 의미한다고 생각하면 됩니다. 이렇게 주장하는 것이 있다면 반대로 그 주장에 반대되는 값들이 존재하겠죠. 이를 귀무가설과 대립가설로 이야기하고 각각  H0, H1이라 표현 할 수 있습니다. 각 가설은 다음과 같이 이야기할 수 있습니다.

• 귀무가설(H0) : 검정의 대상이 되는 가설 
• 대립가설(H1) : 표본으로부터 얻은 정보를 이용해 입증하고 싶은 가설

즉, 내가 주장하고 싶은게 대립가설이되고 그에 반대되는 가설이 귀무가설이 된다고 생각하시면됩니다.

 

+ 가설검정의 원리

그렇다면 이렇게 설정한 가설을 어떻게 검정을할까요? 이 가설검정의 원리를 쉽게 이해하기 위해서 먼저 이해하고 넘어가야할 개념이 있습니다. 바로 명제의 역, 이, 대우에 대한 개념입니다. 기준이 되는 명제가 'A이면 B'라고 해봅시다. 이때

이 : 'A가 아니면 B가 아니다' / 역 : 'B이면 A' / 대우 : 'B가 아니면 A가 아니다'

이런 관계가 있습니다. 아래 그림을 보면 쉽게 이해하실 수 있습니다. 그런데 여기에 중요한 특성이 하나 있습니다. 기준 명제가 참이면 대우 명제도 참, 기준 명제가 거짓이라면 대우 명제도 거짓이라는 특성이 있습니다. 이 특성은 기준명제와 대우명제와의 관계에서만 성립하고 역과 이에는 성립하지 않습니다. 이 원리를 이용해 가설검정을 진행하게 됩니다.

역, 이, 대우의 관계

 

 

가설에서는 결국 내가 주장하고자하는 대립가설을 증명하고 싶은 것입니다. 그런데 그 증명이 생각보다 쉽지 않습니다. 이때 사용할 수 있는게 위에서 본 대우를 이용한 귀무가설을 이용한 검증을 진행하게 되는 것입니다. 그런데 가설에는 큰 대전제가 존재합니다. 바로 '표본은 정상적인 표본이다'라는 대전제가 존재합니다. 그렇기 때문에 나의 주장은 표본을 통해 H1이 참일 것이다라는 것을 주장할 수 있는 것이죠. 이에 대우를 적용해하면 H1이 거짓이 되기에 H0가 참이되고 그게 비정상적인 표본에서 나온 것이다.라는 것으로 H1이 참이다라는 것을 주장할 수 있게 된다는 것이죠. 이게 가설검정의 방법입니다. 그래서 위에서 귀무가설을 설명할때 검정의 대상이 되는 가설이라고 했던 것입니다. 흔히 이야기하는 내 주장으로 상대방을 설득시키려면 내 주장을 관철하기 보다 상대방 주장을 무너뜨리는게 더 효과적이라고 하는것이 이것과 같다고 생각하시면 됩니다.

귀류법

그렇다면 이제 방법은 알았는데 그러면 정상과 비정상을 구분짓는 것은 무엇이고 그 구분짓는게 숫자라면 어떤 값을 가져야할까에 대해서 의문이 드는데 이는 검정통계량과 유의수준을 통해 결정됩니다.

 

검정통계량(testing statistic)

귀무가설(H0)하에 표본이 비정상적인지를 확인하는 통계량입니다. 즉 통계량은 미지의 모수를 포함하지 않는 확률변수이고 이는 확률분포를 갖고있습니다. 귀무가설을 기각(reject)할수 있고 채택(accept)할 수 있는 두 가지 경우가 있습니다. 이렇게 기각 혹은 채택할 수 있는 영역들이 존재하는데 이를 기각역과 채택역이라고 합니다. 각 영역에 들어가면 H0를 기각, 채택한다고 생각하시면 됩니다. 말로만 설명하면 어려우니 간단하게 예를 들어보면

작년에 대한민국 남성 평균키가 175라는 조사결과 있었습니다. 그런데 올해는 173보다 작을 것이다라고 주장하고 싶습니다. 그렇다면 이를 귀무가설과 대립가설로 바꿔보면 다음과 같습니다.

• 귀무가설 : 𝝁 >= 173
• 대립가설 : 𝝁 < 173

저의 주장이 맞다고 하기 위해서는 귀무가설을 무너뜨려야겠죠? 그렇다면 𝝁 값이 175, 170 두 가지 값에 대해서 생각해보겠습니다. 

𝝁 = 175 일때 귀무가설은 참입니다. 따라서 정상적이죠. 이 경우 귀무가설을 채택하게 됩니다. 즉, 내가 주장한 대립가설이 기각된다는 것입니다. 반대로 𝝁 = 170일때 귀무가설은 거짓이죠. 비정상적인거죠. 그렇기에 귀무가설을 기각하고 대립가설을 채택하게 됩니다.

 

이렇게 진행된 가설검정이 매번 100% 정확하다면 정말 좋겠지만 그렇지 않을 수 있습니다. 위 예시에서 𝝁 = 175인데 비정상적으로 보고 귀무가설을 기각하고 대립가설을 채택하는 경우가 발생할 수 있습니다. 반대 경우도 가능합니다. 이때 이를 '오류'라고 표현합니다. 방금 언급한 두 가지 경우에 대한 오류에 대해서 H0가 참인데 H1을 채택한 경우를 '제1종의 오류', H1이 참인데 H0를 채택한 경우 '제2종의 오류'라고 표현합니다. 이 개념을 통해서 '유의수준'과 '검정력'을 찾을 수 있게 됩니다.

검정의 오류

 

유의수준

앞서 검정통계량을 통해서 정상과 비정상을 구분하기 위해서 사용한다고 했습니다. 이러한 통계량을 정상과 비정상으로 구분지어줄 구분점이 필요하게 되는데 그게 유의수준이 됩니다. 이 유의수준은 '제1종의 오류'에서 구할 수 있습니다. 

 

제1종의 오류를 다시 생각해보겠습니다. 귀무가설(H0)가 참인데 H1을 채택한 경우입니다. 예로 들어 표본 표본 X를 16개를 뽑았는데 이 표본들은 N(𝝁, 4)의 정규분포를 따른다고 해보겠습니다. 이때 저는 𝝁>0를 주장하고 싶습니다. 따라서 귀무가설은 𝝁<=0이 되겠죠.

그래서 저는 이를 위해서 X-bar가 0.5이상일때 귀무가설을 기각하겠다라고 설정해보겠습니다. 이때의 제1종 오류를 예로 들어 보겠습니다.

우선 𝝁 = 0일때를 확인해보겠습니다. 𝝁가 0이라면 H0에 속하므로 H0를 채택해야 합니다. 그런데 H1가 채택되면 제1종의 오류가 발생하는 것이겠죠. 그럴 경우는 앞서 설정한 X-bar가 0.5이상이라고 나와서 H0를 기각해버린겁니다. 이를 표현하면 아래와 같습니다.

이때 X-bar는 N(0, 4/16)을 따릅니다.

이를 표준화를 시켜보면 다음과 같이 0.1587이라는 값이 나옵니다. 다음은 𝝁 = -0.5에 대해서 동일한 작업을 진행해보았습니다.

좌 : 𝝁 = 0 / 우 𝝁 = -0.5

 

보시면 H0의 처음 설정인 𝝁<=0 라는 설정에서 𝝁=0일때 가장 큰값을 갖고 작아질수록 그 값들이 낮아지는 모습을 확인할 수 있습니다. 즉 오류의 확률이 줄어든다는 것이죠. 오류 확률이 가장 컸을때를 최악의 상황으로 보고 이를 그 경계선을 기준으로 해당 영역을 유의수준(𝜶)라 합니다. 𝜶는 보통 0.05, 0.1, 0.01을 사용하며 보통은 0.05를 주로 사용하게 됩니다. 이전에 표준정규분포에 대해서 설명할때 주로 사용하는 값들에 대해서 암기해두면 좋다고 표현했었는데 그 값들이 여기서 사용됩니다. 

 

제2종의 오류는 반대로 생각하면 됩니다. 𝝁 = 1일때는 H1을 채택하는 상황이겠죠. 그런데 X-bar >= 0.5일때 H0를 기각한다고 했습니다. 그런데 X-bar < 0.5인 상황이 발생해서 H1을 기각해버린 상황이 생겼다고 해보겠습니다. 이에대한 표준화 과정까지는 제1종오류의 과정과 동일합니다. 여기서 나오는 값을 𝜷라 부릅니다. 상황에 대해서 자세히 생각해보겠습니다. 결국 정상적인 결과는 H0를 기각하고 H1을 채택했어야 했습니다. 이는 표본이 비정상적이었다는 것을 의미합니다. 그런데 제2종 오류에서는 이를 정상으로 봤다는 것이죠. 즉 반대상황을 다시 생각해보면 원래 구하고자 했던 표본이 비정상적으로 봤을때의 확률값이 나오는 것이죠. 그래서 1-𝜷를 통해 검정력을 구할 수 있게 됩니다. 

 

그런데 𝜶, 𝜷는 하나의 가설에서 모두 일어날 수 있습니다. 이런 오류의 값들이 적을수록 좋은데 아래 그림을 보면 한쪽이 작은면 반대쪽이 커지는 모습을 볼 수 있습니다. 즉, 기각역을 조정하는 것만으로는 전체 오류를 좁히기 어렵다는 것입니다. 이 때 사용할 수 있는 방법은 원하는 수준의 오류(𝜶, 𝜷)에 맞추어 표본의 크기를 설정하게 되면 오류들의 전체적인 확률이 줄어들게 됩니다.

𝜶, 𝜷의 영역

 

유의확률(p-value)

유의확률, 다른 말로 p-value라고도 부릅니다. 이는 귀무가설을 가정했을 때 표본들의 발생할 확률을 의미합니다. 그리고 이 표본을 바탕으로 우리가 세운 가설(대립가설)이 맞는지, 틀린지 검정을 합니다. 그래서유의확률은 우리가 뽑은 표본의 데이터들이 대립가설에 힘을 실어주게 될 확률이라고 말할 수 있습니다.

 

예를들어보면 한 A학교의 수학선생님이 학교에 우리학교 학생들의 수학이 평균 70점이다라는 소문을 확인했습니다. 그런데 선생님이 생각하기에는 그것보다 높았다고 생각이 되었던 것입니다. 그래서 수학선생님은 적어도 평균 75점이상일거야 라는 가정을 하게 되고 이에 대한 검정을 진행하게 됩니다. 그래서 전교생 중 50명의 수학성적을 샘플링합니다.(전교생에 대한 평균을 구하면 끝이지만 예시니까!!) 그 결과가 평균이 80점이 나왔습니다. 기각역은 75점이상이었습니다. 그러면 선생님은 원하던  'H1 : 적어도 평균 73점이상'이라는 대립가설을 채택할 수 있게 됩니다. 이를 통해서 알 수 있는 것은 관측값에 의해 귀무가설을 기각시킬 수 있는 최소 유의수준을 알 수 있습니다. 예시에서는 75점이겠죠. 이때 우리가 구한 검정통계량(예시에서는 80점)으로부터 확률밀도함수의 넓이를 유의확률(p-value)이라고 부를 수 있습니다. 따라서 p-value와 유의수준을 비교하여 H0에 대한 기각 여부를 결정하게 됩니다.