Overfitting과 Underfitting

Overfitting은 그림에서 맨 오른쪽과 같은 상태. Train 과정에 치우치게 과하게 학습되어 새로운 데이터가 들어왔을 때 잘 분류를 못하는 상태이다. 가운데가 optimize하다고 한다면, 왼쪽은 지나치게 단순화되어 있는 Underfitting 상태이다. 학습이 덜되어있는 상태라고 볼 수 있다. 

 

Overfitting 방지하는 방법 

• 모델의 capacity 낮추기: 모델이 학습데이터에 비해 과하게 복잡할때 발생 
  • ex. resnet18 로 충분히 학습가능한 binary cls문제를 resnet50 이상으로 사용하면 오히려 학습 loss가 증가할 수 있다. 
• 모델이 방해가 될만한 요소들 심기
  • dropout 적용하기. dropout은 training을 할 때, 일부 뉴런을 끄고 학습하는 것을 말한다.
  • 학습 데이터 늘리기. 이를 data augmentation이라고 한다.
• L1, L2 정규화하기.
  • loss function에 regularizer 값(=보정값)을 넣어줌
  • variance를 줄여서 overfitting을 방지. train data에만 맞게 학습된 예측값들을 test data에도 맞게 보정해주는 효과