: 드롭아웃과 마찬가지로 신경망 계층으로 구현되어 작동할 수 있는 정규화 기법

• 모델의 모드 전환에 따라 다르게 동작
• 학습 방해하는 형탤 작용
• 드롭아웃처럼 학습을 방해하는 형태로 작용

→ 단, 배치정규화는 학습속도를 비약적으로 향상시킬 수 있음 + 일반화 성능까지 대폭 개선할 수 있는 방법임

1. 공변량 변화 문제

• 피드포워딩 - 미분 - 역전파 학습이 이루어짐. 그러면서 파라미터가 바뀌는데 바뀔 때 어떻게 바뀔지 서로 레이어끼리 합의하는게 아님
• 역전파할때 i+1번째 레이어는 파라미터 업데이트 후 괜찮은 값을 내놨는데 i번째에서 갑자기 이상한 값을 내놓을 수 있음
• 이게 공변량 변화 문제임

2. 배치정규화의 동작

• 공변량 변화 문제를 해결하기 위해 등장
• 미니배치를 단위 가우시안 분포로 바꾸기 위해 정규표준분포화를 함
• 그 이후 스케일 파라미터 감마와 이동 파라미터 베타를 적용
• 이때 감마와 베타는 가중치 파라미터로 신경망 내의 비선형적 성질을 유지하도록 함

3. 구현