信息熵

asdf229955

热力学统计物理中有熵增加原理，在信息论中也有对应的关于信息熵的著名定理――最大信息熵原理。
在很多情况下，对一些随机事件，我们并不了解其概率分布，所掌握的只是与随机事件有关的一个或几个随机变量的平均值。例如，我们只知道一个班的学生考试成绩有三个分数档：80分、90分、100分，且已知平均成绩为90分。显然在这种情况下，三种分数档的概率分布并不是唯一的。因为在下列已知条件限制下
        （平均成绩）
        （概率归一化条件）
有无限多组解，该选哪一组解呢？即如何从这些相容的分布中挑选出“最佳的”、“最合理”的分布来呢？这个挑选标准就是最大信息熵原理。
按最大信息熵原理，我们从全部相容的分布中挑选这样的分布，它是在某些约束条件下（通常是给定的某些随机变量的平均值）使信息熵达到极大值的分布。这一原理是由杨乃斯提出的。这是因为信息熵取得极大值时对应的一组概率分布出现的概率占绝对优势。从理论上可以证明这一点。
在我们把熵看作是计量不确定程度的最合适的标尺时，我们就基本已经认可在给定约束下选择不确定程度最大的那种分布作为随机变量的分布。因为这种随机分布是最为随机的，是主观成分最少，把不确定的东西作最大估计的分布。
任何物质系统除了都受到或多或少的外部约束外，其内部总是具有一定的自由度，这种自由度导致系统内的各元素处于不同的状态。而状态的多样性，状态的丰富程度（混乱程度、复杂程度）的定量计量标尺就是熵，熵最大就是事物状态的丰富程度自动达到最大值。换句话说，事物总是在约束下争取（或呈现）最大的自由权，我们把这看作是自然界的根本原则。
在给定的约束条件下，由最大信息熵原理求“最佳”概率分布，就是求解条件极值问题。在某些场合，常用拉格朗日乘子法来确定此分布。
一般地，拉格朗日乘子法的法则可叙述如下：欲求n元函数f（x1，x2，…，xn）在m个 约束条件
        　　（6）
下的条件极值，可用常数1， 依次乘f， 把结果加起来，得函数
　　　
然后列出  无约束条件时具有极值的必要条件
        　　　（7）
这n个方程（7）与m个方程（6）联立解出n+m个未知数x1，x2，…，xn ， 。而其中x1，x2，…，xn就是可能为极值点的坐标，称为驻点。
从信息论中发展起来的最大信息熵原理，使人们开始把统计物理看成是信息论的特例。这使我们看到熵概念的强大生命力，也看到了熵概念和熵原理的重大意义。
信 息 熵
一 熵的另一种表达形式
按照Boltzmann关系式 S=kBlnΩ，式中kB是Boltzmann常数，Ω是系统可及微观状态总数，系统的微观态数目越多，熵值就越大。因此，熵是系统内部分子热运动的混乱度的量度。按统计平均的意义上式还有另一种表示方法，设隔离系统可及微观状态为1，2，3，……，Ω。按Boltzmann等概率假设这Ω个可及微观状态出现的概率pi都相等，即Pi =1/Ω(i=1,2,……，Ω)，因此熵就有了另一种表达形式  
Boltzmann对熵的这个解释，具有极为深刻的意义，使熵成为一个富有生命力的概念。它不仅促进了热力学和统计物理学自身理论的发展，并且使熵的应用远远超出热力学和统计物理学的范畴，直接或间接地渗入了信息论，控制论、概率论、天体物理，以及甚至生命科学和社会科学等不同的领域。?
二 一个例子
仍然以投掷骰子为例：小张掷一个骰子，让眼被蒙住的小李猜骰子向上的点数。由于正方体骰子六个侧面是等价的， 1、2、3、4、5、6点向上的概率相同都等于1/6，所以小李猜对的概率是1/6。如果提供如下消息：
a: 骰子的点数是偶数。
b: 骰子的点数不是2。
c: 骰子的点数是1,2,3,4,5,6中的一个。
d: 骰子的点数是4。
①当小李只得到其中的一条消息后，他猜对的概率分别为1/3(a) ,1/5(b), 1/6(c), 1(d)。
②当小李依次得到a ,b或b ,a这两条消息，那么他猜对的概率均为1/2。
上面的例子说明:概率反映了事件发生不确定性的大小，而信息是可以改变不确定性的;消息中所含有用“信息”的量（信息量）是不同的，“信息量”是可以数量化的。在定量地描述“信息量”之前必须对事件的不确定性给出确切的量度。
三Shannon(香农)熵
1948年，C.E.Shannon把Boltzmann关于熵的概念引入信息论中，把熵作为一个随机事件的不确定性的量度。?
考虑一个随机事件实验A，设它有n个可能的(独立的)结局：a1,a2……，an；每一结局出现的概率分别定P1，P2，P3……Pn，它们满足以下条件?
0 ≤ Pi ≤ 1 (i = 1,2,…….,n) 及  = 1
对于随机事件，其主要性质是：对它们的出现与否没有完全把握，当进行和这些事件有关的多次实验时，它们的出现与否具有一定的不确定性，概率实验先验地含有这一不确定性，本质上是和该实验可能结局的分布概率有关。为了量度概率实验A的不确定性，Shannon引入函数?
Hn(A) = H(P1,P2,…….,Pn) = - k
作为概率实验A实验结果不确定性的量度，式中k是一个大于零的恒量，因此Hn≥0。量Hn叫做Shannon熵。
结果出现的概率 Pi        1点        2点        3点        4点        5点        6点        　
A        1/6        1/6        1/6        1/6        1/6        1/6        kln6
A+a        0        1/3        0        1/3        0        1/3        kln3
A+b        1/5        0        1/5        1/5        1/5        1/5        kln5
A+c        1/6        1/6        1/6        1/6        1/6        1/6        kln6
A+d        0        0        0        1        0        0        0
A+a+b        0        0        0        1/2        0        1/2        kln2
A+b+a        0        0        0        1/2        0        1/2        kln2
可见Shannon熵具有如下性质：在实验A中，如果任何一个Pi=1，而其余的都是等于零，则Hn=0，因为这时我们可以对实验结果作出决定性预言，而不存在任何不确定性；反之，如果事先对实验结果一无所知，则所有的Pi都相等(Pi=1/n , i=1,2,3,……n)，这时Hn达到极大值
(Hn)max=k ln (n)?
很明显，在这一极限情况下，实验结果具有最大的不确定性；同时可以证明Shannon熵具有可加性：由两个独立事件A和B组成的复合事件C,其Shannon熵
- k = - k
= - k  - k
即 H(AB) = H(A) + H(B)
可以证明上面定义的Shannon熵是一个独立于热力学熵的概念，但具有热力学熵的基本性质(单位性和极值性)。与热力学熵相比，Shannon熵具有更为广泛和普通的意义。
四 信息量与信息熵
信息论量度信息的基本出发点，是把获得的信息看作用以消除不确定性的东西，因此信息数量的大小，可以用被消除的不确定性的多少来表示。设随机事件A在获得信息α之前结果的不确定性为H(A)，得到信息α之后为Hα(A)，那么包含在消息α中的关于事件A的信息量: I(α,A) = H(A) - Hα(A)
利用上表的数据可以求出包含在消息a,b,c.d中的关于事件A的信息量：
I(a,A) = kln2
I(b,A)= kln1.2
I(c,A)= 0
I(d,A)= kln6
事件A的Shannon熵H(A) 也可以理解为包含在A这个事件本身中的关于它自己的信息，因为事件发生后结果(d)就完全确定了,这时 Hd(A) = 0所以H(A) = I(d,A)= kln6。换句话说，事件A的Shannon熵H(A)等于这个事件发生之后，我们所得到的信息。
一般而言，Shnnon熵在随机事件发生之前，它是结果不确定性的量度；在随机事件发生之后，它是我们从该事件中所得到信息的量度(信息量)。因此，随机事件的Shnnon熵也叫信息熵，它是一个随机事件的不确定性或信息量的量度。与统计熵相似，在给定的实验条件下，所有可能的概率分布中，存在一个使信息熵Hn取极大值的分布( , , ,……, ) 。这称为最大信息熵原理。这一原理使我们能从所有可能的相容分布中挑选出使信息熵为极大值的分布——即最为常见的、实现概率最大的“最佳”分布。
信息量是信息论的中心概念，把熵作为一个随机事件的不确定性或信息量的量度，它奠定了现代信息论的科学理论基础，大大地促进了信息论的发展。
http://www.wljx.sdu.edu.cn/wlwz/reading/r_infor/shang7.htm


    熵是混乱和无序的度量.熵值越大,混乱无序的程度越大. 我们这个宇宙是熵增的宇宙.热力学第二定律,体现的就是这个特征. 生命是高度的有序,智慧是高度的有序. 在一个熵增的宇宙为什么会出现生命?会进化出智慧?(负熵) 热力学第二定律还揭示了, 局部的有序是可能的,但必须以其他地方更大无序为代价. 人生存,就要能量,要食物,要以动植物的死亡(熵增)为代价. 万物生长靠太阳.动植物的有序, 又是以太阳核反应的衰竭(熵增),或其他的熵增形势为代价的. 人关在完全封闭的铅盒子里,无法以其他地方的熵增维持自己的负熵. 在这个相对封闭的系统中,熵增的法则破坏了生命的有序. 熵是时间的箭头,在这个宇宙中是不可逆的. 熵与时间密切相关,如果时间停止"流动",熵增也就无从谈起. "任何我们已知的物质能关住"的东西,不是别的,就是"时间". 低温关住的也是"时间". 生命是物质的有序"结构"."结构"与具体的物质不是同一个层次的概念. 就象大厦的建筑材料,和大厦的式样不是同一个层次的概念一样. 生物学已经证明,凡是到了能上网岁数的人, 身体中的原子,已经没有一个是刚出生时候的了. 但是,你还是你,我还是我,生命还在延续. 倒是死了的人,没有了新陈代谢,身体中的分子可以保留很长时间. 意识是比生命更高层次的有序.可以在生命之间传递. 说到这里,我想物质与意识的层次关系应该比较清楚了. 这里之所以将"唯物"二字加上引号. 是因为并不彻底.为什么熵减是这个宇宙的本质,还没法回答. （摘自人民网BBS论坛）

不管对哪一种能量来说，情况都是如此。在蒸汽机中，有一个热库把水变成蒸汽，还有一个冷库把蒸汽冷凝成水。起决定性作用的正是这个温度差。在任何单一的、毫无差别的温度下——不管这个温度有多高——是不可能得到任何功的。

“熵”(entropy)是德国物理学家克劳修斯(Rudolf Clausius, 1822 – 1888)在1850年创造的一个术语，他用它来表示任何一种能量在空间中分布的均匀程度。能量分布得越均匀，熵就越大。如果对于我们所考虑的那个系统来说，能量完全均匀地分布，那么，这个系统的熵就达到最大值。

在克劳修斯看来，在一个系统中，如果听任它自然发展，那么，能量差总是倾向于消除的。让一个热物体同一个冷物体相接触，热就会以下面所说的方式流动：热物体将冷却，冷物体将变热，直到两个物体达到相同的温度为止。如果把两个水库连接起来，并且其中一个水库的水平面高于另一个水库，那么，万有引力就会使一个水库的水面降低，而使另一个水面升高，直到两个水库的水面均等，而势能也取平为止。

因此，克劳修斯说，自然界中的一个普遍规律是：能量密度的差异倾向于变成均等。换句话说，“熵将随着时间而增大”。

对于能量从密度较高的地方向密度较低的地方流动的研究，过去主要是对于热这种能量形态进行的。因此，关于能量流动和功－能转换的科学就被称为“热力学”，这是从希腊文“热运动”一词变来的。

人们早已断定，能量既不能创造，也不能消灭。这是一条最基本的定律；所以人们把它称为“热力学第一定律”。

克劳修斯所提出的熵随时间而增大的说法，看来差不多也是非常基本的一条普遍规律，所以它被称为“热力学第二定律”。

2.信息论中的熵：信息的度量单位：由信息论的创始人Shannon在著作《通信的数学理论》中提出、建立在概率统计模型上的信息度量。他把信息定义为“用来消除不确定性的东西”。

Shannon公式：I(A)=-logP(A)

I(A)度量事件A发生所提供的信息量，称之为事件A的自信息，P(A)为事件A发生的概率。如果一个随机试验有N个可能的结果或一个随机消息有N个可能值，若它们出现的概率分别为p1,p2,…，pN,则这些事件的自信息的平均值：

H=-SUM(pi*log(pi)),i=1,2…N。H称为熵。



负熵
负熵是物质系统有序化、组织化、复杂化状态的一种量度。
   齐拉德首次提出了“负熵”这个经典热力学中从未出现过的概念和术语。
   
   熵是用以表示某些物质系统状态的一种量度或说明其可能出现的程度。(或者说是描述一个孤立系统中物质的无序程度)

   在自然科学家看来，人类的发展过程实际上就是有序化的增长过程，人类的一切生产与消费实际上就是“负熵”的创造与消耗；在社会科学家看来，人类的发展过程实际上就是本质力（即劳动能力或社会生产力）的增强过程，人类的一切生产与消费实际上就是“价值”的创造与消耗。然而，无论是自然科学家还是社会科学家，既不承认“负熵与价值毫不相干”，也不承认“负熵就是价值，价值就是负熵”。
   1944年，著名的物理学家、量子力学的奠基人之一、诺贝尔奖获得者薛定锷（E.Schrodinger）出版《生命是什么？》一书，明确地论述了负熵的概念，并且把它应用到生物学问题中，提出了“生物赖负熵为生”（或译“生物以负熵为食”）的名言。
    负熵的概念最初是不容易被人们接受的。薛定锷本人也明白地写道：“关于负熵的说法，遭到过物理界同事们的怀疑和反对。我首先要说的是，如果我只是想迎合他们的心意的话，那我就该用自由能来代替这个问题的讨论了”。