chk 发表于 2009-7-15 20:02

关于互信息和自信息

I（x,y)
I(x|y)
I(x)
的不同点我总是弄不清楚，可否有高人指点下。

另外它们的关系式I(x,y)=I(x)-I(x|y),可否从物理意义上解释下？


非常感谢高人指导

qqvirile 发表于 2009-7-15 20:36

回复 楼主 chk 的帖子

信号论与编码 曹雪虹清华大学出版社
28页的 图2-10是解释的互信息量与熵之间的关系
这个图是理解这些基本概念很重要的工具！！
I(x)从定义上说是 一个符号具有的不确定度
I(x|y) 则是符号y在出现的条件下 x发生的不确定度
I（x,y)=I(x|y) +I(y)即 xy同时发生的不确定度

chk 发表于 2009-7-16 08:53

非常非常感谢

你这样一说我就理解咧。。。。哈哈   很是感谢啊。:handshake
页: [1]
查看完整版本: 关于互信息和自信息