Maximum Likelihood Estimation

개인적으로 공부한 내용들을 정리하고 있습니다.

새롭게 알게 되는 내용들은 지속적으로 업데이트 할 생각입니다.

틀린 내용에 대해선 언제나 지적 환영합니다 :)

---

 

Maximum Likelihood = Likelihood의 최대값

 

Deep Learning에서 Maximum Likelihood

-> Gradient Descent를 통해 Parameter를 업데이트하며, Likelihood가 최대가 되는 확률 분포를 찾는다.

 

 

 

---

 

확률 분포 a와 b

 

어떤 Dataset이 확률 분포 b를 따른다고 가정한다.

그리고 3 개의 데이터로 실험을 해 봤더니, (0.1, 0.2, 0.3)의 결과가 나왔다.

 

이번에는 확률 분포 a로 가정하고, 동일한 3 개의 데이터로 실험한다.

(0.4, 0.5, 0.4)의 결과가 나왔다.

 

확률 분포 a가 데이터를 더 잘 설명하는 것을 눈으로 확인할 수 있다.

이것을 수치적으로 확인하기 위해 Likelihood를 계산하면,

a의 Likelihood : 0.4 * 0.5 * 0.4 = 8e-2
b의 Likelihood : 0.1 * 0.2 * 0.3 = 6e-3

 

a의 Likelihood가 10배 이상 큰 걸 알 수 있다.

 

 

---

 

Maximum Likelihood Estimation (MLE, 최대 가능도 추정)

 

 

Deep Learning에서는

Parameter를 업데이트 하면서, Maximum Likelihood Estimator (최대 가능도 추정량) 를 찾는 것이 핵심이다.

 

즉, 모델 F(x; theta)에서

Likelihood를 최대로 만드는 theta 값을 찾는 과정이라고 할 수 있다.

 

그리고 그 과정에서 활용되는 수식은, Cross Entropy와 매우 유사하다.

 

▷ Cross Entropy를 통한 최적화 ↔ Maximum Likelihood Estimator를 찾는 과정

 

 

 

---

 

◎ References

 

< Probability and Likelihood >

 

< HYEONGMIN LEE'S WEBSITE, Maximum Likelihood Estimation(MLE) & Maximum A Posterior(MAP) >