모형 선택지표(AIC, AICc, BIC, MSE) 관련하여
제가 비선형 모델링 작업을 하고 있습니다.
특정 데이터를 설명할 수 있는 후보군 모형들을 선정을 해놓고
이 후보군 모형 중 가장 좋은 모형을 선택하는 Logic인 AIC, AICc, BIC를 비교하여
모형을 선택하고 있습니다.
그런데 AIC, AICc, BIC지표를 통해 모형을 선택할 경우 항상 모수개수가 많은 모형을 선택하는 경향을 보입니다.
Ex.) 1번모형 – 모수 : 21, MSE : 0.381, BIC : -653
2번모형 – 모수 : 17, MSE : 0.467, BIC : -514
–> 이 경우 BIC가 더 작은 1번 모형을 선택하게 됩니다.
그런데 이상하게 모수가 많아 과적합 모형을 선택하는게 아닌가라는 생각이 자꾸 듭니다.
사실 MSE 차이는 그렇게 많이 나는 것으로 보이지는 않아서요…..
여러 논문을 찾아보아도 비선형 모형선택 Logic은 AIC, AICc, BIC로 비교하는 것 밖에 없더군요…
그래서 그냥 제가 생각한 지표인데
MSE / R^2(adj) * P를 하게 되면 모수의 개수에 대한 효과가 반영이 되는 지표가 될 것 같아서 시험 삼아
몇가지 적용을 해보니 모수가 작은 모형이 선택되는 경향성을 보여주었습니다.
혹시 이 지표를 사용하게 되면 문제가 있나요?(이론적인 근거는 없음. 그냥 효과만 생각함.)
Existing replies
이일현 (2017-09-18 21:19:57)
만드신 지표를 사용하는 것은 문제가 있어 보이네요.
AIC, BIC 의 경우 모수가 많다고 더 잘 선택되지는 않습니다.
다만 비선형의 경우 제곱과 같은 변수들이 추가되면 좀 더 잘 적합시키는 경향이 있기 때문에 조금 유리한 것은 사실입니다. 그러나 모형에 적합하지 않은 비선형식이 추가되면 값은 나빠지므로 하상 그렇다고 말할 수 없는 것이죠.
Legacy document_srl: 241155 / Legacy URL: http://www.statedu.com/QnA/241155