信息论中的熵

什么是熵

• 热力学中的熵：是表示分子状态混乱程度的物理量。

• 信息论中的熵：用来描述信源的不确定性的大小。

常用熵

• 信息熵

$$H(U) = E[-\log{p_i}] = -\sum\limits_{i=1}^n{p_i\log{p_i}}$$

• 交叉熵

$$H(P,Q) = -\sum\limits_{x\in X}P(x)\log{Q(x) = \sum\limits_{x\in X}P(x)\log{\frac{1}{Q(x)}} }$$

• 相对熵

$$D_{KL}(P||Q) = \sum\limits_{x \in X}P(x)\log{\frac{1}{Q(x)}} - \sum\limits_{x\in X}P(x)\log{\frac{1}{P(x)}} = \sum\limits_{x\in X}P(x)\log{\frac{P(x)}{Q(x)}}$$

• 条件熵

$$H(x|y) = \sum\limits_{i=1}^n\sum\limits_{j=1}^np(y_i)p(x_i|y_i)\log{p(x_i|y_i)}$$

• 互信息

$$I(X;Y) = H(X) - H(X|Y) = \sum\limits_{x,y}p(x,y)\log{\frac{p(x,y)}{p(x)p(y)}}$$