1. 미니배치 크기에 따른 SGD

1. 주의할 점

• SGD가 너무 커지면 GD와 다를 바 없어짐 너무 커지지 않게 주의
• 크기가 너무 1에 가까워지면 노이즈가 생겨서 파라미터의 올바른 학습을 저해할 수 있음
• 보통 256 정도 크기에서 시작하는 것이 좋음

2. 미니배치 크기에 따른 파라미터 업데이트 횟수

• 한 에포크 내에서 파라미터 업데이트 횟수 = 이터레이션 횟수
• 이터레이션 수가 높을 수록 신경망 학습 기회가 많아짐
• 미니배치 크기 늘리고 이터레이션 줄이면 = 그래디언트 방향 정확
• 이터레이션 줄이고 학습률 크면 = 파라미터 업데이트되는 양을 늘일 수 있음