1. 심층 신경망의 학습 개요

1. 실재하지만 알 수 없는 함수 $f$를 근사하고자 한다

2. 그러기 위해 손실이 최소가 되게하는 손실함수의 가중치 파라미터를 찾는다

3. 손실함수의 가중치 파라미터는 손실함수를 가중치 파라미터로 미분하는 경사하강법을 활용하여 업데이트할 수 있다

4. 심층신경망을 구성하는 여러 계층의 가중치 파라미터들로 손실 함수 미분

5. 미분한 결과를 경사하강법에 활용해 각 가중치 파라미터를 업데이트함

6. 달라진 점은, 선형계층 한개로 구성되던 전과 달리 이번엔 여러 계층(레이어)로 이루어져 있다고 보면 됨

7. 그러면, 계층이 많아진 만큼, 가중치 파라미터도 증가함. 따라서 업데이트되어야 할 가중치 파라미터들이 늘어난 만큼 손실 함수에 대해 미분해야 함.

문제

• 입력층에 가까워질 수록 뒤로 미분할 때마다 식이 점점 더 복잡해짐
• 그래서 일일히 다 미분하는 건 매우 비효율적!

2. 역전파

• 얘를 통해 효과적으로 심층신경망 학습이 가능

이런 함수가 있다고 가정하면, y를 x로 미분하고자 할 때

이렇게 식을 나누고

y를 x로 미분할 때 h미분을 분모, 분자에 넣어주면 원하는 값을 얻을 수 있다. 이를 체인룰이라고 한다

• 심층신경망 뿐 아니라 다른 역전파에서도 사용가능함.
• 심층신경망에서 더 효율이 두드러지며 간단한 수식들에 대한 미분은 다른 계층의 미분을 구할 때 재활용 가능하다.
• 아래에서 빨간색이 역전파가 이루어지는 과정(뒤로 향한다)