熵 （entropy）

描述一个事件不确定性程度的量度。美国数学家申农提出。设\(X\)是离散型随机变量。取值是\(a_1,a_2,\cdots,a_k,\cdots\) （至多可列个），且 \(P_r(X=a_i)=p_i(i=1,2,\cdots)\)，则称“\(-\sum_{i}p_i\ln{p_i}”为\(X\)的熵，并记为\(H(X)\)，即\(H(X)=-\sum_{i}p_i\ln{p_i}\)（注意上面式中规定当\(p_i=0\)时，\(0\cdot \ln{0}=0\)）。对于连续型随机变量\(X\)，若\(X\sim p(x)\)，且积分“\(-\int p(x)\ln{p(x)}dx\)”有意义，则称为\(p(x)\)（或\(X\)）的熵。如参数空间\(\Theta=\left \{ \theta_1,\theta_2,\cdots,\theta_n \right \}\)，若\(p(\theta_k)=1\)，\(p(\theta_i)=0\)（当\(i\ne k\)时）。即\(\theta\)以概率1取\(\theta_k\)是肯定的，于是我们求得熵是\(H(p(x)=-\sum_{i}p(\theta_i)\cdot \ln{p(\theta_i)=0}\)。这是不确定性最小的极端情形。若\(p(\theta_i)=1/n,(i=1,2,\cdots,n)\)于是有\(H(p(x)=-\sum_{i}p(\theta_i)\ln{p(\theta_i)}=-\sum \frac{1}{n}\ln{(\frac{1}{n})}=\ln{n}\)可见，均匀分布的熵最大。