Informační entropie
Entropie diskrétní náhodné veličiny \(X\) je jednotka udávající očekáváné množství informace potřebné k popisu proměnné.
\[
H(X) = -\sum_{x \in X} p(x) \cdot \log{p(x)} = \sum_{x \in X} p(x) \cdot \log{\frac{1}{p(x)}}
\]
https://www.youtube.com/watch?v=YtebGVx-Fxw