• 심층신경망이 너무 깊어지면 최적화 수행이 잘 되지 않을 수 있음.
• 이게 무슨말이냐면, 가중치 파라미터가 잘 업데이트가 안된단 소리임. 입력층에 가까운 파라미터일 수록 더욱 업데이트가 안됨
• 왜냐면, 업데이트는 역전파를 통해 이루어지는데 역전파에 의해 맨 마지막에 업데이트되는게 입력층에서 가깝기 때문임

알아둘 점

→ 시그모이드와 탄에이치는 미분하면 다음 그림과 같이 됨

→ 시그모이드는 전 구간에서 1보다 한참 작은 기울기를 가짐

→ 탄에이치는 전구간에서 1보다 같거나 작은 값을 가짐

→ 그럼 체인룰에 의해 계속 1이거나 1보다 작은 값만 곱해지므로 최종적으로 1보다 작은 값이 도출

→ 이게 계속 작아지면 그래디언트가 0에 근접(양끝단 확인)

→ 그러면 가중치 파라미터는 더이상 업데이트가 안됨

→ 이를 두고 그래디언트 소실이라고 함.