随机事件 X 所包含的信息量与其发生的概率有关。发生的概率越小,其信息量就越大;反之,必定发生的事件(如太阳东升西落),其信息量为 0。
信息量公式:I(X) = −logp(X) ,其中 I 是 information 的缩写。
信息量公式的单位:
log 以2为底,记作lb,单位比特(bit)
log 以e为底,记作ln,单位奈特(nat)
log 以 10 为底,记作lg,单位哈脱来(hat)
信息熵:随机变量 X 不确定性的度量,是对 X 所有可能值产生的信息量的期望。
由公式可知:信息熵只与随机变量X的概率分布 p(x) 有关。
条件熵:表示在已知随机变量 X 的条件下随机变量 Y 的不确定性。