• 맨마지막 softmax층에서 출력된 벡터 y_hat → 미리 지정된 클래스에 대한 확률을 담고 있음 → 이산 확률 분포(0과 1로 구성된 벡터)
• 아래는 정답 y와 예측값(확률값)인 y_hat임

• 정답벡터를 전치, 예측벡터에 log를 취해서 내적하면 로그 가능도 계산 가능

1. 교차 엔트로피와 NLL

• 교차 엔트로피 수식

• NLL 손실함수 수식

→ 사실 교차 엔트로피를 이용해 손실함수를 계산하는건 NLL 손실함수로 손실을 계산하는 것과 유사하다.