최종 수식

• 알 수 없는 함수 $f$를 근사계산하기 위해 데이터셋 $D$를 모아 모델 함수가 최적의 출력값을 반환하는, (손실 함수가 최소가 되는 모델의 가중치 파라미터 $\theta$햇을 찾고자 할 때
• 선형 계층만을 모델로 활용할 때에 수식으로 나타낸 것
• 가중치 파라미터를 랜덤하게 팝업해서 계산할 수도 있지만, 그건 너무 비효율적

→ 이 때, 경사 하강법을 사용할 수 있음

1차원에서의 경사하강법

경사하강법이란?

: 미분 가능한 복잡한 함수가 있을 때 해당 함수의 최소점을 찾기 위한 방법

• 만약 이 그림에 지구처럼 중력이 작용한다면, 빨간점들은 아래를 향해 곤두박질칠 것임
• 경사하강법도 비슷, 공이 위치한 지점의 기울기, 또는 그래디언트를 활용해 더 낮은 방향으로 움직임
• 좌측의 빨간공의 기울기는 음수이므로, 오른쪽(양의 방향)으로 움직여야 함
• 우측의 빨간공의 기울기는 양수이므로, 왼쪽(음의 방향)으로 움직여야 함
• 예를 들어, 좌측 빨간점의 접선의 기울기는 당연히 음수, 다음 위치의 x는 다음 식을 따르므로 만약 x가 1이고 기울기가 -2, 학습률이 2라면, 다음위치의 x는 5가 됨

경사하강법의 수식표현