손실, 오차 (loss) : 모델을 만들고 학습해서 나온 예측값이 실제값과 얼마나 차이 나느냐

• 이 오차값은 음수일수도, 양수일수도 있다. 따라서, 제곱한다
• 다만, 제곱한 값들 하나하나 살피기엔 너무 값이 많아서 더하게 된다
• 그런데 학습시키는 값들이 늘어날 수록 제곱합도 늘어난다.
• 그렇게 되면, 단순히 모델이 나빠 손실이 큰건지 학습을 많이 시켜서인지 헷갈리게 됨

→ 따라서, 제곱합을 평균 낸 값을 사용하게 된다.

→ 이 손실값이 작을 수록 모델은 근사계산을 잘 하고 있는 것!

손실함수

• 예측값을 반환하는 모델은 가중치 파라미터에 의해 동작이 정의됨
• 파라미터 집합 $\theta$ 는 가중치 $W$와 $b$로 정의된다.

$$ \theta = \{W,b\} $$

• 파라미터(가중치)가 바뀌면 손실값도 바뀌므로 손실함수는 다음과 같이 표현된다

→ 이 손실함수의 출력값(손실, Loss)를 최소로 만드는 모델의 가중치 파라미터 ($\theta$)를 찾는 것이 목표

손실함수 종류(차이의 크기를 정의하는 방법)

L1