1. 오버피팅과 언더피팅

오버피팅 : 학습 오차가 일반화 오차에 비해 현격하게 낮아지는 현상

언더피팅 : 모델이 충분히 데이터를 학습하지 못해 학습 오차가 충분히 낮지 않은 현상

• 딥러닝의 최종목표 : 일반화 오차를 최소화하는 것

• 언더피팅이 되면 새로운 데이터셋에 민감하게 반응하지 못해 원하는 결과를 내줄 수 없고(수용력이 작다)
• 오버피팅이 되면 새로운 데이터셋에 너무 민감하게 반응해서 이상치가 나옴

2. 검증 데이터셋

: 모델의 최적화가 잘 진행된다면 언더피팅 → 오버피팅으로 가게 됨.

→ 즉, 초반에는 데이터의 중요한 피쳐들을 배우다가 나중엔 불필요한 피쳐까지 배우게 됨.

→ 오버피팅으로 전환되기 전에 학습을 멈춰야 함

→ 그러기 위해 검증 데이터셋을 도입

• 검증과정 : 주기적으로 모델에 valid set을 넣어 오버피팅 여부를 확인
• 보통은 매 에포크마다 이 작업 수행
• 검증 손실값 : 검증 데이터셋에 대한 손실 값

→ Valid set으로는 학습을 하지 않음!!!

→ Valid set에는 어떤 편향도 있어선 안됨!