Mean Squared Error (MSE)

Regression (회귀) Task에서 흔히 사용되는 평가 지표인 Mean Squared Error (MSE) 를,

Maximum Likelihood Estimation (MLE) 및 확률 분포의 관점에서 생각해볼 수 있다.

 

 

---

 

 

정규 분포 (Gaussian Distribution)

y : 위의 정규분포를 따르는 확률변수

 

파라미터 theta로 이루어진 모델이 있다고 하면,

y는 입력 x에 대한 모델의 출력 y_hat를 평균으로 하는 정규분포를 따른다고 가정한다.

 

그러면 파라미터 theta와 입력 x에 대해,

y가 나타날 확률은 아래의 식으로 나타나게 된다.

 

 

그리고 그 확률은 y = y_hat 일 때 가장 크다.

 

---

 

Likelihood

 

파리미터 theta에서 D 개의 입력 데이터 X에 대한 Likelihood 값은 아래와 같다.

 

Log Likelihood

 

NLL (Negative Log Likelihood)

 

---

 

MSE (Mean Squared Error)

 

NLL

 

NLL을 theta로 미분

 

 

위의 NLL 식에서, 파란색 부분은 파라미터 theta와 관련 없는 항들이다.

 

MSE

 

따라서, 위의 MSE 값을 최소화키는 것이

결국 NLL 값을 최소화시키는 것과 같다.

 

따라서 MSE를 통해 파라미터를 업데이트하면서, 모델을 학습할 수 있다.

 

 

---

 

 

◎ References

 

< sji, Regression에서 MSE를 Loss 함수로 쓰는 이유? >

 

< HYEONGMIN LEE'S WEBSITE, Maximum Likelihood Estimation(MLE) & Maximum A Posterior(MAP) >