Conditional Entropy

Joint Entropy (결합 엔트로피)

 

Joint Entropy 간단한 수식

 

X, Y의 가능한 모든 결합확률에 대한 Entropy

 

X 하나만 있을 때의 Entropy와 마찬가지로,

골고루 분포됐을 때 값이 커진다.

 

 

---

Conditional Entropy (조건부 엔트로피)

 

Conditional Entropy 간단한 수식

 

H[Y|X=x] : X 값을 하나로 고정해놓고, Y에 대해 구한 Entropy

X의 특정 x 값에 대해서, Y 값이 고르게 분포되있을수록 높은 값을 갖는다.

 

H[Y|X] : sum( p(x) * H[Y|x] ) ◁ 가중 평균

 

그러므로 Conditional Entropy는,

여러 개의 X 변수가 있을 때

Y 예측에 가장 효과적인 변수를 선정하는 지표가 될 수 있다.

 

 

 

 

---

◎References

 

< 데이터 사이언스 스쿨, 10.2 조건부엔트로피 >