통계컬럼

회귀분석을 하게 되면 종종 나오는 문제중의 하나가 회귀분석 결과는 유의한데, B 값이 .000 등으로 나오는 경우가 있습니다. 반대로 유의하지 않으면 B 값이 엄청 큰 경우가 있습니다. 예를 들어, 다음과 같은 data가 있을 경우

                    X1            X2         Y
             --------------------------------
              123456789    0.000042    2.1
              235134643    0.000047    3.5
              352394435    0.000041    4.8
              452346523    0.000053    5.7

위 data를 바탕으로 회귀분석을 한 결과가 바로 이며, 바로 아래와 같다.

         변수              B         beta      p
       --------------------------------------
         상수           1.343                  .354
         X1               .000      1.026     .045
         X2    -13147.376      -.046     .642

위와 같은 결과가 나왔을 경우, 보통 2가지를 고민하게 되는데, 상황에 따라서는 3가지를 고민을 할 수 있습니다.

1. X1의 p값이 .05보다 작아서 유의한데 B 값이 .000 인 경우

의외로 빈번하게 나오는 경우에 해당되는데, 이 경우 p 값을 기준으로 보면, X1은 종속변수에 유의한 영향을 준다고 할 수 있습니다. 하지만, B 값을 보면 .000 으로 0 이라고 나오게 되어 의구심을 갖게 되는데, 곧이 곧대로 해석을 한다면 X1 값이 아무리 변해도 Y 는 변화가 없는 형태이므로 결국, X1 이 Y 에 영향을 주지 않는다고 생각할 수 있습니다.
하지만, 전혀 그렇지 않습니다. 우리가 흔히 회귀분석을 할 경우 가장 빠지기 쉬운 함정 중의 하나가 바로 B 값(기울기)입니다. 이 값이 크면 영향을 많이 주고, 이 값이 작으면 영향을 주지 않는다고 생각을 합니다. 하지만, B 값은 X1, Y의 단위에 의해서 영향을 받는 값입니다.
위 data에서 확인한 바와 같이 X의 단위가 Y의 단위보다 상당히 큰 경우에는 기울기인 B 값은 아주 작게 나오게 됩니다.
즉, X의 단위가 커서 B 값이 .000 으로 아주 작게 나온다는 것이죠.

2. X2의 p 값이 0.05보다 커서 유의하지 않은데, B 값이 -13147 과 같이 절대값이 아주 큰 경우

2의 내용은 1의 반대 현상때문에 나오는 것으로, X의 단위에 비해서 Y의 단위가 상대적으로 큰 경우 일어나는 현상입니다.

1,2 의 내용에서 알 수 있는 것은 B 값의 크기는 중요하지 않다는 것입니다.
이것을 입증하기 위해서

                 X1 * 100,000,000
                 X2 / 100,000

를 해주면, 즉, X1 에는 1억을 곱해주고, X2에는 십만으로 나누어 주게 되면 data의 단위는 다음과 같이 바뀌게 됩니다.

                 X11             X12    Y
          --------------------------------
              1.23456789    4.2    2.1
              2.35134643    4.7    3.5
              3.52394435    4.1    4.8
              4.52346523    5.3    5.7
        
이 data를 가지고 회귀분석한 결과가 이며, 다음과 같습니다.

        변수              B         beta        p
       ----------------------------------------
         상수           1.343                  .354
         X11            1.129      1.026     .045
         X12            -.131      -.046     .642

위 결과를 보면, B 값을 제외한 모든 값은 같다는 것을 알 수 있습니다. 즉, B 값은 data의 단위에 따라서 변하는 값이기 때문에 그 값의 크기는 의미가 없습니다. 그래서, 실제 회귀분석을 할 경우에는 독립변수와 종속변수의 단위 차이가 많이 날 경우에는 가능하면 비슷하게 맞추어서 분석을 하는 것이 편리합니다.
다만, 해석을 할 때에는 단위를 고려해서 해석해야겠죠.

3. 상수항(절편)의 p 값이 유의하지 않은 경우

위의 결과들을 보면, 상수항의 p 값은 유의하지 않은 것을 알 수 있습니다. 하지만, 특별한 경우가 아니라면 상수항에 대한 검정은 하지 않는 것이 일반적입니다. 왜냐하면 상수항에 대한 검정을 해서, 상수항이 유의하지 않을 경우에는 다음과 같이

        변수              B         beta          p
      ----------------------------------------
         X11            1.075       .800       .008
         X12              .194      .210       .102

본래의 결과에서 상수항을 빼고 다시 회귀분석을 하면 위와 같은 결과가 나오게 됩니다.

이때, 상수항이 빠진 회귀식(a)과 상수항이 포함된 회귀식(b)을 서로 비교할 경우, 결정계수 등으로 직접적인 비교를 할 수 없습니다. 다만, 독립변수의 값을 고정시켜주었을 때 예측되어지는 종속변수 Y 값에 대한 정확도가 (a), (b) 어느 것이 더 정확할지에 대해 생각해 볼 수 있는데, 상수항이 포함된 (b)가 더 정확하다고 할 수 있습니다. 그래서, 예측의 관점에서 볼 때에는 (a) 보다는 (b)가 좀더 좋은 모형이기 때문에 가능하면, 상수항은 포함해서 분석을 하게 되며, 상수항에 대한 검정은 하지 않는 것이 일반적입니다.

---

기존 StatEdu 통계이야기 글을 통계컬럼으로 이전했습니다. 원문: http://www.statedu.com/lecture/262368