1. SGD의 직관적 이해
SGD에서 최소값을 찾는 과정
색깔이 진할 수록 깊은 구간(손실이 작음)
원래대로라면 검은화살표처럼 미끄러져 들어가는 형태
다만,
SGD가 적용되면 미니배치를 이용하므로 달라짐
미니배치는 랜덤 샘플링 → 얼추 원래 샘플을 따르나, 조금 다를 거임!
그래서 미니배치별로 얻는 손실도 다름
결국 빨간색처럼 지그재그형태로 내려감
