RNN 단점
: 내부에 하이퍼볼릭 탄젠트가 있어서 그래디언트 소실이 발생함
→ 그래서 그래디언트 소실이 발생하기 전까지 다뤄야하기 때문에 순서 데이터가 짧은 길이로 한정됨
→ 이를 보완하는게 LSTM
게이트
- 특정 값에 시그모이드를 곱하면 → 0, 1로 출력 → 문을 닫고 열고의 느낌을 낼 수 있음
- 시그모이드 결괏값의 특정 차원이 0에 가깝다면 x의 해당 차원은 거의 가져올 수 없음
- 시그모이드 결괏값의 특정 차원이 1에 가깝다면 x의 해당차원은 대부분 가져올 수 있을 것임
- 이렇게 해당차원을 시그모이드를 적용해 가져올지 말지를 결정하는 방식을 게이트라고 부름 → 데이터를 통과시킬지 말지를 결정하고 행동하게 됨
LSTM이란?
: 장단기 기억을 수행할 수 있는 구조 모델
- 앞서 말했듯, 직사각형으로 표시된, 게이트가 몇군데 있는걸 확인할 수 있음
- 게이트 : forget, output, input
- 긴 문장이나 순서데이터에 대해서도 딥러닝 잘 수행할 수 있지만 파라미터가 많고 구조가 복잡
입출력 및 은닉 상태 텐서 모양