信息论概述与机械工程中的信息论_信息论概述
信息论概述与机械工程中的信息论由刀豆文库小编整理，希望给你工作、学习、生活带来方便，猜你可能喜欢“信息论概述”。
信息论概述与机械工程中的信息论
摘要
信息论是一门新兴学科，是在长期的通信工程实践中，与通信技术、概率论、随机过程和数理统计相结合逐步发展起来的一门学科。信息论中主要的概念包括信息，自信息，互信息和信息熵。本文介绍了信息论的产生和发展，简要介绍了信息论几个主要概念的定义和推导，重点介绍了信息熵，最后讨论了信息论相关知识在机械工程专业的应用。
关键词：信息论，信息熵，机械工程专业
第一章 绪论
§1-1 引言
人类的社会生活是不能离开信息的，人类不仅时刻需要从自然界获得信息，而且人与人之间也需要进行通讯，交流信息，离开信息，人类就不能生存。人们获得信息的方式有两种；一种是直接的，即通过自己的感觉器官，耳闻、目睹、鼻嗅、口尝、体触等直接了解外界情况；一种是间接的，即通过语言、文字、信号„„等等传递消息而获得信息。在人类社会的早期，只应用语言手势直接交流信息，但随着社会的进步，尤其是科学水平的进步，传统的信息获取方式已经不能满足人类的发展要求，人类开始探索快速有效地获取信息的方法，从而导致了一门新的学科——信息论的诞生。
§1-2 信息论
信息论是关于信息的本质和传输规律的科学的理论，是研究信息的计量、发送、传递、交换、接收和储存的一门学科。1-2-1 信息论的诞生和发展
信息论的创始人是美贝尔电话研究所的数学家香农（C.E.Shannon1916——），他为解决通讯技术中的信息编码问题，把发射信息和接收信息作为一个整体的通讯过程来研究，提出通讯系统的一般模型；同时建立了信息量的统计公式，奠定了信息论的理论基础。1948年香农发表的《通讯的数学理论》一文，成为信息论诞生的标志。
其实，1922年卡松就提出边带理论，指明信号在调制（编码）与传送过程中与频谱宽度的关系。1922年哈特莱发表《信息传输》的文章，首先提出消息是代码、符号而不是信息内容本身，使信息与消息区分开来，并提出用消息可能数目的对数来度量消息中所含有的信息量，为信息论的创立提供了思路。香农创立信息论，实际是在前人研究的基础上完成的。
在信息论的发展中，还有许多科学家对它做出了卓越的贡献。法国物理学家L.布里渊（L.Brillouin）1956年发表《科学与信息论》专著，从热力学和生命等许多方面探讨信息论，使热力学中争论了一个世纪之久的“麦克斯韦尔妖”的佯谬问题得到了满意的解释。英国神经生理学家（W.B.Ashby）1964年发表的《系统与信息》等文章，还把信息论推广应用于生物学和神经生理学领域，也成为信息论的重要著作[1]。这些科学家们的研究，以及后来从经济、管理和社会的各个部门对信息论的研究，使信息论远远地超越了通讯的范围。1-2-2 信息论的发展现状
信息论近期发展的主要特点是向多学科结合方向发展，其重要的发展方向有如下几种：
（1）信息论与密码学
通信中的安全与保密问题是通信编码问题的又一种表示形式，由香农提出的保密系统模型仍然是近代密码学的基本模型。
（2）算法信息论与分形数学
由于香农熵，柯尔莫哥洛夫与豪斯道夫位数的等价性在理论上已经得到证明，从而使信息论，计算机科学与分形理论都找到了他们的汇合点。
（3）信息论在统计与智能计算中的应用
信息论与统计理论的结合已经有许多突出的成果出现。其主要特点是统计理论正在从线性问题转向非线性问题，信息的度量可以作为研究非线性问题的工具，如果用交互信息来取代统计中的相关系数，更能发现二维随机变量的相互依赖程度。
智能计算中的信息统计问题，信息量与统计存在许多本质的联系，在微分流形中，Fisher信息矩阵式Kullback-Laiber熵的偏微分，由此关系而引出的信息几何理论是智能计算的基础[2]。
§1-3 自信息与互信息
香农在《通信的数学理论》引言部分就提出“通信中的基本问题就是在某一点精确或近似的再生另一点选择的信息”。未解决这一问题，他在这篇论文中开创性的利用概率论、数理统计、随机过程建立了通信系统的数学模型，提出了自信息、互信息、信息熵等概念，这一部分我们将重点讨论自信息与互信息，信息熵留待下一部分具体描述。1-3-1 自信息
用I（xi）=log（1/pi）表示信源发出的符号xi的自信息。自信息具有两个含义：当符号xi输出前，表示符号xi被输出的不确定性；当符号xi输出后，表示符号xi所含有的信息量[3]。1-3-2 互信息
互信息有三个不同角度的定义。
从信源出发的定义：站在信源一端，当信源没有发送时，信息发送方对信宿收到符号yi的不确定度是I（yi）；而当信源发送符号xi后，信息发送方对信宿收到符号yi的不确定度是I（yi|xi），从这个意义上定义互信息。
从信宿出发对互信息的定义：站在信宿一端，当没有接收时，信息接收方对信源发送符号xi的不确定度是I（yi）；而当信宿接收到符号yi，信息接收方对信源发送符号xi的不确定度是I（yi|xi），从这个意义上定义互信息。
从整个系统出发对互信息的定义：如果从整个系统的全局出发，通信前，信源发送随机变量X和信宿接收随机变量Y之间没有任何关联关系，即X，Y统计独立：P（xi，yi）= P（xi）·P（yi）
此时，有关符号xi和符号yi的联合自信息量： I’（xi yi）=log[1/ P（xi）P（yi）]=I（xi）+I（yi）
通信后，信源发送随机变量X和信宿接收随机变量Y之间由信道的统计性相联系，其联合概率密度：
P（xi，yi）= P（xi）·P（yi |xi）= P（yi）·P（xi |yi）此时有关于符号xi和符号yi的联合自信息量： I（xi yi）=log[1/ P（xi）·P（yi |xi）]=log[1/ P（yi）·P（xi |yi）]
通信后的互信息量，等于前后不确定度的差。事实上，以上三种互信息的定义是一致的[3]。
§1-4 本文的主要内容
本文的大略概括了信息论的基本知识，介绍了信息论的发展过程，信息论中常见的名词定义，重点介绍了信息熵的概念和推导公式（以离散信源模型为例），以及相关的条件熵，联合熵等概念。并对信息论在机械工程领域的应用做了大概说明。
第二章 信息熵及相关概念推导公式
信息熵是1948年香农(Shannon)在论文“通信的数学理论”中引入的，解决了对信息的量化度量问题。他对信息的定义：事物运动状态或存在方式的不确定性的描述。
在香农一开始寻找信息量定名称时，数学家冯.诺依曼建议称为熵，理由是不定性函数在统计力学中已经用在熵下面了。在热力学中熵是物质系统状态的一个函数，它表示微观粒子之间无规则的排列程度，即表示系统的紊乱度，维纳说：“信息量的概念非常自然地从属于统计学的一个古典概念——熵。
§2-1 信息熵
基于Shannon 创立的信息熵理论,信息是不守恒的、无序的，它可以共享、传递、储存、转换,系统要向有序方向发展必须有负熵的输入[4]。信息和熵有内在的联系，一般地，信息量越大，熵就越小，系统就越有序,结构性就越强；反之，信息量越小，熵就越高，系统就越无序，结构性就越差[5]。信息与熵是一个相反的量，它表示系统获得后无序状态的减少或消除，即消除不定性的大小。
§2-2 信息熵公式推导
离散信源的模型：
定义1[6]：设某一概率系统X中有n个事件（X1，X2，„„，Xi，„„Xn），第i个事件Xi产生的概率为pi（i= 1，2，3，„„n），当事件Xi产生后, 给出的信息量就称为自信息：I（Xi）= log2（1/pi）单位为bit。自信息的数学期望即平均自信息量，它的值称为信息熵，简记为H(X)，则有如下公式：
由公式推导可以得知：（1）信息熵的大小可以用来描述信息系统的平均不确定程度。若某一信息系统中某一知识产生的概率为1，其他事件产生的概率为0，由上式计算后可知，该系统的信息熵H = 0，它就是一个确定系统，不确定度为0。（2）如果某一信息系统中，其等价类是均匀的则表示系统中每一知识产生的分类基数相等，该系统的信息熵具有最大值（在相同对象数的情况下）即该系统的不确定性最大。根据信息熵的定义可知熵值越大看，不确定性就越大。那么，搞清楚它所需要的信息量也就越大[7-8]。
§2-3 条件熵
在信源X输出Xi的条件下，信源Y再输出Yj所能提供的平均信息量[6]，称为条件熵。记为H（Y | X)。条件熵有如下公式：
§2-4 联合熵
两个互相关联的信源X和Y的联合信源的信息熵为信源X的熵加上在X已知条件下信源Y的条件熵,称为X Y的联合熵[6]。符合记为H（X Y）或H（X∪Y）。
公式表达: H（X∪Y）= H（X）+ H（Y|X）
第三章 信息理论在机械工程方面的应用
目前，信息理论在机械工程方面的应用并不普遍，这个结果通过论文搜索就可以看出，大概每搜索6篇有关信息论的论文，只能找到一篇论文与机械工程专业相关。
从目前论文检索情况来看，信息论的应用和它自身的特点有很密切的关系，常应用于信息量大，需要进行信息筛选整理，需要对信息数据进行数理统计工作的领域，土地和城市规划常用到信息论的有关知识。
机械工程方面的应用，一是集中于传感器的信息处理方面。例如视觉，听觉，嗅觉等。这些传感器研究的特点都是有大量信息需要接收，而接收之后必须筛选抛弃或放大部分数据。已经开始初步探索的是机器人的语音识别，主要研究方式依旧是模板匹配，音频对比[9]。
二是在产品检测，测量领域的应用，例如目前的表面粗糙度Ra（算术平均偏差）往往只出检验的结果，而没有考虑检验结果的不确定因素。为了保证Ra测量结果的完整性和有效性，有论文提出了一种表面粗糙度Ra测量不确定度的计算方法。该方法依据表面粗糙度最小二乘检验的基本原理计算检验结果，并根据信息熵与不确定度的关系计算检验结果的不确定度，从而减少产品的误收和误废[10]。
第四章 结论
物质、能量、信息是构成这个世界的三大要素，因此材料科学、能源科学和信息科学构成了世界发展的三大支柱。信息论是信息科学中最基础的理论，由香农在1948年正式提出。信息论中最基础的概念是信息，信息论是一门新兴学科，其中重要的组成概念包括自信息，互信息，信息熵，在此基础上，衍生出其他的相关概念。信息论目前在机械工程领域应用还不是特别普遍，因为信息论本身是基于数理统计的学科，它的研究目的是收集大量信息进行筛选甄别计算，得出整体结论而不是讨论个体情况。信息论的这一特点意味着它将主要用于需接收大量数据的研究领域，包括机器人应用传感器的研究领域，尤其是视觉图像采集，嗅觉，听觉语音辨识等，还有质量检测领域。
参考文献
[1]韩晓平.当能源充满智慧——中国能源网首席信息官.中外企业家，2009（5）
[2]沈世镒.信息论基础与应用.北京，高等教育出版社，2004.15 [3]艾科拜尔.艾合麦提.信息论中关于互信息的三种不同理解的统一性.中小企业管理与科技，2009，（6）：225 [4]姬桂珍，吴承祯，洪伟，朱文华等.武夷山市土地利用结构信息熵动态研究[.安全与环境学报，2004，4(4)：41244.[5]严志强，路汝成.基于信息熵的小城镇土地利用结构变化及其持续利用研究_以广西北流市为例.广西师范学院学报（自然科学版），2008，25（4）：70-74 [6]傅祖芸.信息论基础理论与应用.北京:电子工业出版社，2001 [7]Pawlak Z.Rough sets：probabilistic versus deterministic approach.International Journal of Man-Machine Studies，1998，29：81-95 [8]纪滨.信息熵在粗糙集中衍生的几个概念.计算机技术与发展，2008，18（6）：73-75 [9]俞一彪.基于互信息理论的说话人识别研究.[博士学位论文]，上海大学，2004 [10]钟艳如，郭德伟，黄美发.信息熵原理在表面粗糙度Ra不确定度计算中的应用.机械科学与技术，2009，28（6）：829-833
信息论局限性分析以及在光通信中的应用摘要从新的角度指出了香农信息论的局限性，这些局限性主要体现在对信息的可靠性和完备性的忽视，通过例子分析进一步说明信息可靠性对于度......
一：数据处理定理：（1）：I(X;Z)Z看作数据处理系统，那么通过数据处理后，虽然可以满足我们的某种要求，但是从信息量来看，处理后会损失一部分信息，最多保持原有的信息，也就是说，对接收到的数据......
湖南科技大学课程结课论文《信息论与编码A》学院：信息与电气工程学院 专业： 班级： 学号： 姓名：信息论基础摘要：从对信息论的一些基础知识汇总，信息的定义，信息论的发展；还有信源与信......
《信息论基础》课程教学大纲课程编号：（0531305） 课程名称：信息论基础参考学时：48其中实验或上机学时：0 先修课及后续课：先修课：概率论、信号与系统后续课：通信原理、数字图像处理、语......
华中科技大学文华学院信息论上机实验报告专业年级：10级通信工程** 学号：1001******** 姓名：** 指导教师：***2012年 04月30日 目录1 等长编码 .........................2 1.1......
