Entropy & Surprise

Surprise

 

Surprise에 대한 간단한 메모

 

"Surprise"는 말 그대로 "깜짝 놀라다"라는 의미이다.

 

어떤 사건 x가 일어날 확률 p(x)가 있을 때

 

▷ p(x) = 1 이라면, 이 사건은 반드시 일어나기 때문에

이후에 일어난다고 하더라도 "전혀 놀랍지 않다".

즉, Surprise = 0 이다.

 

▷ p(x) = 0 이라면, 이 사건은 절대 일어나지 않기 때문에

이후에 이 사건이 일어난다면, "엄청나게 놀랍다".

즉, Surprise = 무한대 (매우 큼) 이다.

 

그리고 이 Surprise는, "정보량"의 의미도 갖고 있다.

 

 

Entropy (엔트로피)

 

Entropy에 대한 간단한 메모

 

Entropy는 결국 Surprise의 기댓값이다.

 

Entropy를 그냥 불순도의 정도를 나타내는 값 정도로 알고 있었는데,

이렇게도 해석된다는 것이 정말 새로웠다.

 

Entropy에 대해 좀 더 이해할 수 있게 된 것 같다.

 

 

---

 

◎ References

 

< StatQuest, Entropy (for data science) Clearly Explained!!! >

 

< PRML, Information Theory >

 

< 데이터 사이언스 스쿨, 10.1 엔트로피 >

 

< 순록킴의 블로그, 초보를 위한 정보이론 안내서 - Entropy란 무엇일까 >