Ex. 정규분포를 가정할 때 평균과 표준편차 → 정규분포의 형태를 정의
→ 이 때 평균과 표준편차를 분포의 파라미터라고 부름
- 이 때 이 선의 길이의 곱을 가능도라고 부름
- 가능도는 현재 분포의 파라미터가 수집된 데이터를 얼마나 잘 설명하는지 나타내는 점수라고 볼 수 있음
- 가능도 함수는 분포의 파라미터의 변화에 따라 변화하는 가능도를 나타낸 것
1. 로그 가능도
- 가능도는 확률의 곱으로 표현
- 그렇기 때문에 샘플의 숫자가 많아지면 숫자가 너무 작아짐 → 언더 플로에 빠질 가능성 존재
- 언더플로 : 계속 숫자가 작아지면 최대값부터 다시 시작하게 되는 현상
- 그래서 로그 도입 → 곱셈을 덧셈으로 바꿔줌
2. 경사상승법을 통한 MLE
- 경사하강법이 계속해서 내려가면서 손실을 최소화하는 파라미터를 찾은 거라면,
- 경사상승법은 거리의 합(가능도)를 키우기 위해 계속 올라가면서 MLE를 최적화함
- 하강법과 다르게 다음 파라미터는 기존 파라미터에 손실 편미분한 걸 더함
