하이퍼파라미터

• 모델의 성능에 영향을 주지만 데이터를 통해 자동으로 학습할 수 없는 파라미터를 가리키며 학습률, 신경망의 깊이/너비, 활성함수의 종류 등이 있음

적응형 학습률

• 학습률 설정에 따라 모델의 학습 경향이 매우 달라질 수 있음
• 학습 초반에는 큰 학습률이 선호 학습 후반에는 작은 학습률이 선호
• 이를 응용해 각 가중치 파라미터별 학습 진행 정도에 따라 학습률을 다르게 자동 적용할 수 있음

Adam 최적화 방법

• 가장 널리 쓰이는 알고리즘
• 모멘텀과 적응형 학습률이 복합 적용된 방식
• 학습률 하이퍼 파라미터가 존재는 하지만 입문 단계에서는 딱히 튜닝할 필요가 없음