통계컬럼



비모수 검정의 사후분석

 

비모수 검정에서는 사후분석이 없다. 이때에 어떻게 하는지 알아보도록 한다.

 

Kruskall-Wallis(K-W test) 비모수 검정이나 Chi-Square test 등을 실시한 경우 집단간에 유의한 차이가 있다고 나왔을 때에, 집단간에 차이가 있다는 것은 알지만, 어떤 집단끼리 차이가 있는지는 알 수 없는 문제가 발생한다.  ANOVA 라고 한다면 Scheffe, Tukey, Duncan 등의 사후분석을 할 수 있지만, 비모수 검정에서는 사후분석이라는 것이 없기 때문에 고민을 할 수 밖에 없다.

 

이때, 가장 먼저 생각할 수 있는 것이 각 집단별로 각각 Mann-Whitney 검정(M-W test)을 하는 것이다. 즉, A-B, A-C, B-C 간에 각각 Mann-Whitney test 를 하는 것이다. 이렇게 하면 A-B 간의 p-value 가 나오기 때문에, 두 집단간에 차이가 있는지를 알 수 있다고 생각한다. 하지만 여기에서 간과한 것이 바로 제1종 오류이다. 우리는 유의수준 alpha 를 .05 로 놓고 분석을 한다. 이는 집단간에 차이를 비교할 때, 제1종 오류를 최대 .05 까지만 허용하겠다는 것이다. 하지만, 3집단의 비교후에 2집단을 비교하게 되면 유의수준 .05가 유지되지 않는 문제가 발생한다. 따라서 K-W test 후에 각 집단간에 M-W test 를 하는 것은 바람직하지 않다.

 

3집단의 경우 신뢰수준은 0.95*0.95*0.95 = 0.857375 이 되어 실제 유의수준은 .05가 아닌 .143 정도가 된다.

 

이런 경우 K-W test 후의 사후검정에 해당하는 것이 Bonferroni Correction Method(B.C. Method) 이다. 엄밀히 따지면 이것은 사후검정이 아니라 보정의 방법이다. B.C. Method 를 실행하는 방법은 생각보다 쉽다.

 

1. A,B,C 집단간의 차이에 대해 K-W test 를 시행한다.

2. 집단간 유의한 차이가 있는 경우(p<.05), 각 집단별로 M-W test 를 시행한다.

3. 각 분석 결과에서 p-value 와 alpha를 집단간 비교한 총 횟수로 나누어진 값(alpha/n)으로 비교하여 개별 집단간 유의성을 검정한다. 집단이 3개 일 경우에 M-W test 의 총 횟수는 A-B, A-C, B-C 3번이므로 p-value 는 alpha/3 = .05/3 = .0167 과 비교한다.

 

 

예를 들어, A, B, C 3 개의 집단이 있는데, 이 집단에 따른 스트레스의 차이를 보고자 한다.

 

1. A,B,C 집단간 K-W test 에서 p=.002 가 나왔다면, 3 집단간에는 스트레스의 차이가 있다라고 판정한다.

2. A-B 집단간 M-W test 를 실시한다. 그 결과, p-value 가 .03 이 나오고

    A-C 집단간 p-value .019

    B-C 집단간 p-value .012 

3. B.C. Method 결과 각각의 p-value 는 .05/3 = .0167 과 비교하여, A-B, A-C 간에는 비록 p-value가 .05보다는 작지만, B.C. Method 의 보정된 alpha(.0167)과 비교해서는 크기 때문에 유의하지 않으며, 다만, B-C 집단간 p=.012 < .0167 이므로 유의하다

4. 따라서, 집단간 스트레스는 유의한 차이가 있다(p=.002<.05). Bonferroni Correction 결과, B-C 집단간에 유의한 차이가 있다.

 

라고 보고하면 된다.

 

P.S.1  B.C. Method 가 비모수검정에서 사후분석을 대체할 수 있는 좋은 방법이기는 하지만, 이 방법은 제2종오류가 커지는 문제가 있다는 단점이 존재한다.

P.S.2  집단이 4개인 경우에는 비교하는 쌍이 A-B, A-C, A-D, B-C, B-D, C-D 의 총 6번이므로 p-value 는 .05/6 = .0083 과 비교해야 한다.

P.S.3  Bonferroni Correction 의 대안으로 나온 방법이 Šidák Correction 이라는 방법이 있다.

 

             Bonferroni Correction :    ^α/_n

             Šidák Correction        :  1 − (1 − α)^{1 / n}

 

 

REFERENCES:

 

Bonferroni, C. E. "Il calcolo delle assicurazioni su gruppi di teste." In Studi in Onore del Professore Salvatore Ortu Carboni. Rome:

Italy, pp. 13-60, 1935.

 

Bonferroni, C. E. "Teoria statistica delle classi e calcolo delle probabilità." Pubblicazioni del R Istituto Superiore di Scienze Economiche e Commerciali di Firenze 8, 3-62, 1936.

 

Perneger, Thomas V, What's wrong with Bonferroni adjustments, BMJ 1998;316:1236-1238 ( 18 April )

 

Abdi, H (2007). "Bonferroni and Šidák corrections for multiple comparison". in N.J. Salkind (ed.). Encyclopedia of Measurement and Statistics. Thousand Oaks, CA: Sage. 

 

---

기존 StatEdu 통계이야기 글을 통계컬럼으로 이전했습니다. 원문: http://www.statedu.com/lecture/87159