信息论修改版_信息论第四版

信息论修改版由刀豆文库小编整理，希望给你工作、学习、生活带来方便，猜你可能喜欢“信息论第四版”。

信息论局限性分析以及在光通信中的应用

摘要

从新的角度指出了香农信息论的局限性，这些局限性主要体现在对信息的可靠性和完备性的忽视，通过例子分析进一步说明信息可靠性对于度量信息的重要意义。指出局限性产生的根源在于对信息多重不确定性的忽视，以及对概率值本身存在不确定性的认识不足。后半部分介绍了信息论在光通信领域的一些应用。

关键词：信息论，通信，可靠性，纠错，概率，光通信。

Abstract The limitations of Shannon information theory are pointed out from new angles.The limitations areembodied in the neglect of the reliability and completene of information.The significance of the reliability of information to measure information is further illustrated by the analysis of some examples.It is pointed out that the origin of the limitation rests with the neglect of multiple uncertainty of information and the lack of cognition that the value of probability maybe uncertain itself.Keywords: information theory, communication, reliability, errorcorrection,probability optical communication.正文

第一小节：信息论的局限性分析 1.引言

香农(Shannon)信息论对通信技术的发展具有深远的影响。但是信息论的应用一直限于通信等一些很局限的领域，信息论并不能够完全地适用于一些信息技术相关的领域。关于香农信息论的局限性，许多学者都有认识，香农本人也反对将信息论滥用。国内外一些学者从许多角度讨论了信息论的局限性，比如没有考虑语义、语用，没有考虑信息的模糊性和事件之间的相似性，没有考虑事件划分可能存在包含关系等。笔者发现信息论的局限性一个重要体现就是忽视信息的可靠性，缺乏对可靠性的度量。

2.香农信息论针对现实问题的局限性

香农对信息的定义，对信息的度量，以及他的信息论，基本上都是用熵来计算的随机不确定性，并没有考虑信息的可靠度，对信息的可靠度的考虑最多是从信息传递过程中的失真进行了考虑。香农将信息定义为消除不确定性的东西，与他研究通信中的条件熵不增加有密切关系。

现信息论存在如下局限性：第一，信息论没有考虑信息的可靠性问题，而现实中的信息大多数都是不可靠的。而信息的可靠性却是信息价值的前提，比如情报类信息的可靠性就非常重要。信息的可靠性是信息的主要指标，但是信息论没有考虑，仅仅是考虑到信息的不确定性。

第二，信息的完备性问题，信息论并没有考虑信息并不完全发送的情况，而现实中许多信息都是不完全（完备）、片面的，需要融合。在没有更加完备信息的场合下，人们往往权宜地将片面的信息姑且当作全面的信息来对待这一些简单的信道并联和串联可以合为一个信道，比如简单的两个串联信道的信道矩阵可以直接通过相乘而当作一个信道，但是信息论没有考虑信息复杂的多重传递，比如，信息从一个信源传递到中间信宿，而中间信宿又转发给一个最终信宿，而且在这个转换的过程中，信息的表示发生了改变，在这种多重传递的过程中，可能会产生多重不确定性。

第三，现实中的信息往往需要经过这种多重传递，导致多重不确定性。比如，当然如果考虑前面提到的模糊集合等，这种多重不确定性性将更加复杂。信息论没有考虑到信道矩阵的传递概率等参数的复杂性。现实中这种传输特性可能不是确定不变的，而可能是随机变量，甚至可能更加复杂。

第四，信息论中以通信为研究对象，其传输的信号本身是确定的，然而现实中却存在许多不确定性问题。在通信中，定义信息为消除不确定性的东西无可厚非，但是面对本身不确定的信息，我们如果去消除其不确定性。

第五，信息论中的条件相对而言是简单的，而且多是以条件概率来表示的。然而现实中许多中的信息的条件是比较复杂的，比如，给出的条件可能是知识、规律等等，在已知先验概率的情况下，又得知某一个规律，通过这个规律并不能简单得出相应的条件概率来。

第六，信息论用先验概率来表示已知的信息，然而，现实中，许多已知的信息并不是可以用先验概率来表示，比如可能包含未知数，可能是某个约束条件，可能是某个规律，甚至可能是完全未知的。3.实际应用分析

实例1：甲从乙处得到情报：“敌人明天早晨百分之九十九要发动进攻”。此后，甲同样从丙处得到相同的情报。从信息论角度来看，对于问题“敌人明天早晨是否要发动进攻”，不确定性是一样的，因而信息量一样，丙似乎并不提供新的信息。但是人们依然会感觉从丙处得到了信息，这种信息使得甲更加确定“敌人明天早晨百分之九十九要发动进攻”，这一例子进一步说明信息的可靠性应当是一个度量信息的指标。

实例2：当获得消息“所有的事件都是等概率发生的”的时候，对这句话的内容是什么，或者对于问题“所有的事件发生呈现什么样的概率分布”而言，它消除了不确定性。但是对于什么事件将发生情况，不可能是更加确定，信息量不可能增加而只可能是减少。这一点说明信息量仅仅是针对于消息本身的不确定性而言的，而该消息衍生出来的问题的不确定性并不与消息的信息量有必然联系，因此，信息熵这一度量的应用范围也是有限的，并不适合应用在日常的信息问题中。

通过以上的例子分析，暴露出信息论的一些局限性，为挖掘信息论局限性的根源提供了基础。

4.信息论局限性的本质及结论

由以上例子分析可以得出，信息论没有考虑信息的可靠性，而信息的可靠性是一个非常重要的指标。在通信中，由于消息是确定的，因此，不确定性的消除与可靠性的增加有一定的联系。实际上，我们要消除不确定性是很容易的事情，而香农信息论的消除不确定性是以保证信息的可靠性和完备性为基础的，比如利用纠错码纠错，利用后验概率来增强信息的完备性。假如把信息的确定性当作唯一的指标，抛开信息的可靠性问题，则可以随便确定某一事件的概率为1，其余事件的概率为0 就可以了。再假如，我们把信息的确定性当作首要考虑的目标，其次考虑其可靠性，则我们也可以指定概率最大的事件概率为1，其余事件概率为0。这样首先保证了确定性，可靠性也在一定程度上得到了满足。如果如此，信息论和信息处理就变得相当的简单了。显然现实中人们不是这样的。根据以上多处的分析，可靠度是信息的一个首要指标。以上的信息的可靠性、完备性以及经典集合的不切和实际都可以归结为对信息的多重不确定性的忽视，比如，在实例分析中，我们发现不可靠的信息，它的信息表示本身是不固定的，其概率值可能是随机变量，不完备的信息也是类似。对于模糊集和粗糙集之类的非经典集合，则可以认为是某一个集合包含的对象不确定而造成的，比如，在粗糙集中，对象可能属于也可能不属于集合X，对象a 是否属于集合X 就具有随机不确定性。其中一些不确定性与信息论原有的不确定性叠加起来就可能产生多重不确定性。这里的不确定性除了随机不确定性、模糊不确定性，还可能有更多形式的不确定性，包括某些不完全的约束条件造成的不确定性。可见，对信息多重不确定性的忽视是信息论的局限性的重要的根源。对信息可靠性的忽视也是信息论无法广泛应用的重要原因。鉴于所有的信息都很难可靠和完备，所以我们可以将可靠性和完备性问题总归为信息的相对性问题。实际上，现实中人们很难得出完全可靠的信息，只有权宜地采用相对可靠的信息，当有更加可靠的信息的时候，人们会利用更可靠的信息取代先验的信息。由于可靠性也与概率值的不确定性有关系，对信息可靠性的度量也可以借鉴香农对信息不确定性的度量，然而，计算概率的不确定性会比信息熵的计算复杂，因为概率需要满足更多的约束条件。

当然，信息论也与现实信息问题具有很强相似性，信息论的方法很值得在现实的信息问题的研究中（包括信息的可靠性的研究中）借鉴，总而言之，信息论的局限性是源于信息论是针对通信问题的，其模型本身具有的局限性。当然也与概率论的局限性有关系，由于对概率值随机性和多重随机不确定性研究的不足，使得人们容易陷入“概率（包括联合概率分布）就是确定值，而不可能是随机变量”，“给定条件就可以得出条件概率”等思维定势中，而这些思维定势只是适用于现实概率论问题中的一部分。由于信息论的这些限制条件能够较好地满足通信问题，使得它能够在通信领域得到成功的应用，而推广到一般的信息领域则需要针对它的局限性解除相应的约束条件。

第二小节．信息论在光通信中的应用

自香农(C．E．Shannom)提出信息理论以来，信息论已经成为通信理论中重要而又基础的一部分。如今，通信中越来越多的使用光作为传输媒质以及光器件的快速发展，电信道已被光信道所取代。光信道的信息容量的大小已成为人们关心的课题。对此进行分析和比较。

光量子信道的信道容量从信息论的角度可以认为光量子信道是信号和噪声叠加的加性信道。假设在频率

fi时，输人信号产生的平均量子数为xi，噪声产生的平均量子数为ni可得，对于频率，输出信号的平均量子数为

y=x+niii

p(xi)p()p(yi)，ni，假设xi与ni统计独立。设xi，ni，p(yi的概率密度函数为yi且x)i=p(ni)在特定频率 上，光量子信道的平均互信息:

I(y;xi)H(y)H(ni)ii（*）

因为固定时间间隔t，t1/fi，所以单位时间内的平均互信息:

1I(X;Y)I(y;xi)H(Y)H(n)iti0

在f1上，假设接收信号的光量子的离散能谱为Eihfi(h是普朗克常数).由于热辐射，光量子的波动服从Gibb分布

p(ni)1exp[hfi/kT]exp[nihfi/kT]

2H(n)Kt/3hln2 可得，光量子的波动引起的噪声熵:信号最大熵：

H(Y)p(y)logp(y)dfii03hln2yi0

C由式（*）可得光量子信道容量：

2kTe2Kt3hln2[(16hs1/2)1]kT

6hs12当hfkT,即信噪比(kT)时，光量子信道的信道容量极限值为：

C光量子=2S1/2)ln23h

(1)

(6hs12当信噪比很小(kT)时，光量子信道的信道容量极限值为

C经典=SN0ln2

(2)

此式正是由香农公式得到的信道容量极限值式，其中N0KT。

结论

从以上分析可看出，对于光量子信道来言，当频率很高时，信道容量的极限值是式(1)，而不是式(2)。只有当信噪比很低时，光量子信道的极限值才等于香农信道容量公式的极限值。因此，对于窄带的光量子信道，带宽ff（中心频率)时，可计算得光量子信道的极限值就等于香农信道容量公式。

参考文献

[1]朱雪龙著．应用信息论基础．清华大学出版社.[2]傅祖芸著．信息论基础理论与应用．电子工业出版社，2001(8).[3]陶纯堪，陶纯匡著．光学信息论．科学出版社，1999(3).[4]Shannon C E.A mathematical theory of communication[J]，Bell System Technical Journal,27(1948)，379—429，623—656.[5].钟义信．信息科学原理[M]．福州：福建人民出版社，1988． [6].鲁晨光．广义信息论[M]．中国科技大学出版社，1993.[7].王勇，香农信息定义分析与改进[OL]，www.daodoc.com, 2007年11月.