심층신경망
- 선형 회귀 또는 로지스틱 회귀는 비선형 문제는 풀 수 없음
- 선형 계층들 사이에 비선형 활성 함수를 넣어 비선형 함수로 만들 수 있음
- 선형 계층과 비선형 활성 함수를 반복해서 쌓아 심층신경망을 구성할 수 있음
- 학습방법은 기존 선형회귀 학습과 같다
- 신경망의 깊이와 너비는 하이퍼 파라미터로 깊이가 깊고 너비가 넓을 수록 복잡한 함수를 배울 수 있는 수용능력이 좋아짐
역전파 알고리즘
- 역전파 알고리즘은 체인 룰을 활용하여 복잡한 수식의 미분을 작게 분리해 효율적으로 계산 및 계산 결과를 재활용할 수 있게 ㅏㅎㅁ
그래디언트 소실
- 시그모이드 함수와 탄에이치 함수의 기울기 값은 전 영역에서 1 이하임.