一个二进制源X发出符号集为{-1,1},经过离散无记忆信道传输,由于信道中噪音的存在,接收端Y收到符号集为{-1,1,0}。已知P(x=-1)=1/4,P(x=1)=3/4,P(y=-1|x=-1)=4/5,P(y=0|x=-1)=1/5,P(y=1|x=1)=3/4,P(y=0|x=1)=1/4,求条件熵H(Y|X)( )

说明:该题目计算 熵 以 10 为底。

3724 次浏览
  • A、0.7889 bit
  • B、0.3275 bit
  • C、0.5273 bit
  • D、0.5372 bit
随机事件 X 所包含的信息量与其发生的概率有关。发生的概率越小,其信息量就越大;反之,必定发生的事件(如太阳东升西落),其信息量为 0。 信息量公式:I(X) = −logp(X) ,其中 I 是 information 的缩写。 信息量公式的单位: log 以2为底,记作lb,单位比特(bit) log 以e为底,记作ln,单位奈特(nat) log 以 10 为底,记作lg,单位哈脱来(hat) 信息熵:随机变量 X 不确定性的度量,是对 X 所有可能值产生的信息量的期望。 由公式可知:信息熵只与随机变量X的概率分布 p(x) 有关。 条件熵:表示在已知随机变量 X 的条件下随机变量 Y 的不确定性。
挑战成功
1年前
123
挑战成功
2年前
123
挑战成功
2年前
qwe
挑战成功
2年前
挑战失败
2年前
挑战失败
2年前
挑战失败
2年前
挑战失败
2年前
挑战成功
2年前
挑战失败
2年前

微信公众号

有课学公众号
  • 微信公众号: geekdaxue