Mutual Information

Mutual Information (상호 정보)

 

Mutual Information 정의 (Definition)

 

Mutual Information은,

결합 확률 분포 (Joint probability) P(x, y)와 주변 확률 분포 (Marginal probability) P(x) * P(y) 간의

쿨백-라이블러 발산 (Kullback-Leibler Divergence) 값으로 정의된다.

 

 

---

 

Entropy와의 관계

 

 

Mutual Information 값은 위와 같이,

[ Entropy - Conditional Entropy ] 의 형태로 표현된다.

 

즉, 엔트로피와 조건부 엔트로피의 차이와 같다.

 

유도식은 아래와 같다.

 

 

---

 

의미

 

두 확률변수 X, Y 간에 상관관계가 클수록

조건부 엔트로피 H(X | Y) 값이 작아진다.

 

MI[X, Y] = H(X) - H(X | Y) 에서 H(X)는 일정하므로

MI[X, Y] 값은 커지게 된다.

 

즉, ( X, Y ) 간에 상관관계가 클수록, MI[X, Y] 값도 커진다.

 

 

이를 정보량 관점에서 해석하면,

X와 Y의 상관관계가 클수록

X와 Y가 서로에게 제공하는 정보량의 크기가 크다고 할 수 있다.

 

또는 X와 Y가 공유하는 Entropy가 많다고 볼 수도 있다.

 

---

 

X, Y가 독립(Independent)일 때

 

두 확률변수 X, Y가 서로 독립이면,

위 그림과 같이 Mutual Information 값은 0이 된다.

 

서로 독립이기 때문에, 상호정보량 또한 0이 된다고 할 수 있다.

 

 

---

 

활용

 

피어슨 상관계수 (Pearson's Correlation) 등으로 찾아내기 어려운

두 확률변수 간 비선형(non-linear) 관계 같은 것들을

수치화 하는 데에 활용할 수 있다.

 

 

---

 

 

◎ References

 

< bskyvision.com, [정보이론] 상호정보량(mutual information)이란 >

 

< 유니의 공부, Mutual Information이란? (상호의존정보란?, Normalized Mutual Information, Maximal Information Coefficient) >

 

< 모끼의 딥러닝 공부, [논문 읽기] MINE : Mutual Information Neural Estimation(ICML 2018) >

 

< WakaraNai, Mutual Information >