순환신경망이란?
- 이전 순서에서의 결과인 h-1을 다음 신경망에 입력 값 x와 함께 넣어주어 현재 결과인 h를 구하는 것을 순환신경망이라고 함
- 시계열데이터를 다루는데 적합함
- 순서 데이터에 강함 → 자연어처리 분야에서 많이 활용됨
순환신경망(RNN)구조
- 연산결과값에 하이퍼볼릭 탄젠트(시그모이드와 유사하지만 -1 ~ 1까지의 값을 가지는 연속적인 그래프) 통과 → 현재 순서 h를 구할 수 있음
- 이를 RNN의 은닉상태라고 함
순환신경망(RNN) 학습
- 모든 순서의 결과값(은닉 상태) h들을 출력으로 취급해 학습
- 아래의 h1, h2, h3 등을 전부 출력으로 보고 다음학습에 넣음
- 그래서 정답데이터도 순서대로 가지고 있는게 매우 중요!
손실함수