• 이진 분류에서 자주 사용한다.
• 클래스가 여러개라면 categorical crossentropy를 사용한다.

수식

설명

엔트로피

• 열역학에선 에너지정도로 사용되지만 딥러닝에서는 불순도로 사용된다.
• 이때, 불순도란 데이터 레이블을 분류했을 때 하나의 클래스에 서로 다른 레이블이 혼합되어 있으면 불순도가 높다 , 엔트로피가 높다고 얘기한다.
• 하나의 클래스에 같은 종류의 데이터만 모여있는 것이 베스트이다.
• 이 엔트로피를 구하는 식은 다음과 같다.

위의 수식 설명

• 수식이 비슷한 것을 알 수 있을 것이다.
• loss, 손실이란 y 예측값에서 y 실제값을 뺀 잔차가 최소가 되어야 한다.
• 그리고 바이너리의 경우 예측해야할 값이 0 또는 1이다. 그렇기 때문에 그냥 y예측값을 넣거나 혹은 1-y를 식에 대입하는 것이다.
• 이때, 1-y에서 y가 0에 가깝다면 이는 틀린 예측이므로 수식에 의해 loss가 커지게 된다. 그런식으로 얼만큼 모델이 예측을 잘하는 것인지 알아내는 것이다.

구현