overfitting(과적합)은 항상 안좋은가?, overfitting의 이점

 

 

우리가 일반적으로 모델을 설계하고 평가할 때 overfitting이 발생하면 좋지 않은 것으로 인식하곤 한다. 하지만 이러한 overfitting이 마냥 나쁘기만 할까? overfitting이 가져다 줄 수 있는 이점은 없는걸까?

사실 답은 NO이다. 우리가 overfitting으로부터 얻을 수 있는 insight도 있다. 어떠한 이점들이 있을까? 우리가 어떠한 문제를 해결해보고자 모델을 설계했다고 가정해보자. 그런데 안타깝게도 학습 결과 해당 모델이 과적합을 일으킨다. 하지만 좌절할 필요는 없다. 일단 오버피팅이 일어났다는 것은 말그대로 '학습' 자체는 잘 이루어졌다는 점을 생각해볼 수 있다. 여기에 착안한다면 '처음으로' 설계해 '처음으로' 학습을 한 모델이 오버피팅을 발생시켰다면 우린 아래와 같은 점들을 파악할 수 있다.

• your problem is well defined - 당신이 정의한 problem definition은 굉장히 잘 된 것이다.
• your dataset can be trained - 당신의 dataset은 학습이 가능하도록 잘 설계되었다.
• your NN model has capability to train the dataset - 당신의 model은 data를 학습할 수 있는 능력을 갖추도록 잘 설계되었다.
• Now all you need to do is regularization(avoiding overfit) - 이제 regularization을 통해 이러한 overfitting을 방지하도록 조금씩 수정해 나아가면 된다.

그러니 처음 만든 모델이 오버피팅이 되었다면 좌절하기보단 박수를 쳐보자!!