경사하강법이 필요한 이유

• 신경망의 내부 가중치 파라미터를 잘 조절하여 원하는 함수를 근사계산하고 싶을 때 사용
• 손실 함수를 통해 더 좋은 가중치 파라미터를 선태할 수 있음
• 효율적으로 가중치 파라미터를 찾고 싶을 때 사용
• 손실 값을 가중치 파라미터로 미분해 그래디언트 벡터를 구하고 반대 방향으로 가중치 파라미터를 업데이트하면 점진적으로 더 낮은 손실 값을 갖는 가중치 파라미터를 구할 수 있음

경사하강법의 수식

학습률

• 너무 크면 : 파라미터 업데이트 과정에서 손실 값 발산 가능성
• 너무 작으면 : 파라미터가 너무 조금 바뀌어서 학습이 느려짐

오토그래드

• 자동 미분 수행
• 스칼라 값에 backward함수 호출
• 텐서간의 연산마다 계산 그래프를 자동으로 생성하고 나중에 미분할 때 사용
  • 계산 그래프 : 텐서의 연산을 추적하기 위한 그래프