信息论中有关信源熵的不等式_量子信息中的熵不等式

信息论中有关信源熵的不等式由刀豆文库小编整理，希望给你工作、学习、生活带来方便，猜你可能喜欢“量子信息中的熵不等式”。

论文题目： 信息论中有关各种熵之间关系的证明 学院：数学科学学院 专业：信息与计算科学 姓名：周艳君 学号：20071115158

信息论中有关各种熵之间关系的证明

07信息班 周艳君 20071115158

指导老师 王桂霞

摘 要 根据信息量与熵的定义和重要定理以及主要公式，对各种熵之间的关系进行分析和证明.关键词 无条件熵 条件熵 联合熵 交互熵.⒈基本定义

1.1信息就是对事物动态（或它的存在方式）的不确定性的一种描述.不确定 性及随机性，可以用研究随机现象的数学教具—概率论与随机过程来描述信息.1.2自信息量：一个随机事件发生某一结果后所带来的信息量称为自信息量，简称自信息.用I(ai)来表示.1.3联合自信息量：自信息量是二维联合集XY上元素aibj的联合概率

p(aibj)数的负值，称为联合自信息量.用I(aibj)来表示.1.4条件自信息量：为条件概率对数的负值.用I(ai/bj)来表示.1.5交互信息量：ai后验概率与先验概率比值的对数为bj对ai的互信息量, 也称交互信息量(简称互信息).用I(ai;bj)来表示.1.6信源熵：信源各个离散消息的自信息量的数学期望（即概率加权的统计 平均值）为信源的平均自信息量，一般称为信源的信息熵，也叫信源熵或香农熵，记为H(X).1.7条件熵：在联合符号集合XY上的条件自信息量的数学期望.可以用

H(X/Y)表示.1.8联合熵：也叫共熵，是联和离散符号XY上的每的元素aibj的联合自信息量的数学期望，用H(XY)表示.2．基本公式

2.1 自信息量：I(ai)log2p(ai)2.2 联合的自信息量：I(aibj)log2p(aibj)当X和Y相互独立时，p(aibj)p(ai)p(bj)；则有：

I(aibj)log2p(aibj)log2p(ai)p(bj)log2p(ai)log2p(bj)I(ai)I(bj)

2.3条件自信息量：I(ai/bj)log2p(ai/bj)或 I(bj/ai)log2p(bj/ai)

2.4互信息量：I(ai;bj)log2p(ai/bj)p(ai)(i1,2,,n;j1,2,,m)

n12.5信源熵：H(X)E[I(ai)]E[log2]p(ai)log2p(ai)

p(ai)i12.6条件熵：ⅰ：在已知随机变量Y的条件下，随机变量X的条件熵H(X/Y)为：

H(X/Y)E[I(ai/bj)]p(aibj)I(ai/bj)

j1i1mn

p(aibj)lo2gp(ai/bj).j1i1mn

ⅱ：在已知随机变量X的条件下，随机变量Y的条件熵H(Y/X)为：

H(Y/X)E[I(bj/ai)]p(aibj)I(bj/ai)

j1i1mmn

p(aibj)lo2gp(bj/ai).j1i1n2.7联合熵：H(XY)p(aibj)I(aibj)p(aibj)log2p(aibj).i1j1j1i1nmmn2.8有关概率的基本公式：p(ai)1，p(bj)1，p(ai/bj)1，i1nmnj1i1p(bj1mj/ai)1，p(ab)1，p(ab)p(b),p(ab)p(a)ijijjnmnmiji，i1j1i1j1p(aibj)p(ai)p(bj/ai)p(bj)p(ai/bj).3.各种熵之间的关系 3.1无条件熵 3.1.2 H(X)H(X/Y)I(X;Y)H(X/Y).证明：①H(X)p(ai)log2p(ai)

i1n

p(ab)logp(a/b)p(a/b)

ij2ijj1i1nijmnp(ai)

p(aibj)lo2gj1i1mp(ai/bj)p(ai)p(aibj)lo2gp(ai/bj)

j1i1mn

I(X;Y)H(X/Y).②H(X/Y)p(bj)p(ai/bj)log2p(ai/bj)

ji

p(bj)[p(ai/bj)log2p(ai/bj)].ji

由熵的极值性知：

H(X/Y)p(bj)[p(ai/bj)lo2gp(ai)]

ji

[p(bj)p(ai/bj)]lo2gp(ai)

ij

H(X),其中 p(b)p(a/b)p(ab)p(a).jijijijj同理： H(Y)H(Y/X)I(X;Y)H(Y/X).3.1.2.H(X)H(XY)H(Y/X).证明：H(X)p(ai)log2p(ai)

i

[p(bj)p(ai/bj)]log2ijp(aibj)p(bj/ai)ij

p(aibj)log2p(aibj)[p(aibj)log2p(bj/ai)]

ij

H(XY)H(Y/X), 同理：H(Y)H(XY)H(X/Y).3.2条件熵 H(X/Y)H(XY)H(Y)H(X)I(X;Y).3.2.1 H(X/Y)H(XY)H(Y).证明：H(X/Y)p(ab)logiji1j1mnnm2p(ai/bj)

p(aibj)log2p(aibj)i1j1nm[p(ab)]logijj1i1mmn2p(bj)

p(aibj)log2p(aibj)p(bj)log2p(bj)

i1j1j1H(XY)H(Y),其中：p(aibj)p(bj).i1n3.2.2 H(X/Y)H(X)I(X;Y).证明：H(X/Y)p(aibj)log2p(ai/bj)

i1j1nm

p(aibj)lo2gp(ai)i1j1nmnmp(aibj)p(ai)n

m

[p(aibj)]lo2gp(ai)i1j1i1mp(aibj)lo2gj1ijip(ai/bj)p(ai)

H(X)I(X;Y), 其中：

p(ab)p(a).j1同理：H(Y/X)H(XY)H(X)H(Y)I(X;Y).3.3联合熵 H(XY)H(YX)

H(XY)H(X)H(Y/X)H(Y)H(X/Y)

H(X)H(Y)I(X;Y)H(X/Y)H(Y/X)I(X;Y).3.3.1H(XY)H(X)H(Y/X)H(Y)H(X/Y).证明：H(XY)p(aibj)log2p(aibj)

i1j1nm

p(aibj)lo2gp(ai)p(bj/ai)

i1j1nnm

[p(aibj)]lo2gp(ai)p(aibj)p(bj/ai)

i1j1i1j1mmnm

H(X)H(Y/X),其中：p(aibj)p(ai).j1同理：

H(XY)H(Y)H(X/Y).3.3.2 H(XY)H(X)H(Y)I(X;Y)

.证明：H(XY)p(aibj)log2p(ai)p(bj/ai)

i1j1nm

p(aibj)lo2gp(ai)p(bj)i1j1nmmnmp(bj/ai)p(bj)n

[p(aibj)]log 2p(ai)[p(aibj)]log2p(bj)i1j1j1i1

p(aibj)log2i1j1nmp(bj/ai)p(bj)

H(X)H(Y)I(X;Y).3.3.3 H(XY)H(X/Y)H(Y/X)I(X;Y).证明：H(XY)p(aibj)log2p(ai)p(bj/ai)

i1j1nm

p(aibj)lo2gp(ai/bj)p(bj/ai)i1j1nmnmnmp(ai)

p(ai/bj)

p(aibj)loggp(bj/ai)2p(ai/bj)p(aibj)lo2i1j1i1j1

p(aibj)lo2gi1j1nmp(ai/bj)p(ai)

H(X/Y)H(Y/X)I(X;Y)3.4交互熵 I(X;Y)I(Y;X)

I(X;Y)H(X)H(X/Y)H(Y)H(Y/X)

H(XY)H(X/Y)H(Y/X)H(X)H(Y)H(XY).3.4.1 I(X;Y)H(X)H(X/Y)H(Y)H(Y/X)证明：I(X;Y)p(aibj)log2i1j1nmnmp(ai/bj)p(ai)

nm

[p(aibj)]lo2gp(ai)p(aibj)lo2gp(ai/bj)

i1j1i1j1m

H(X)H(X/Y), 其中：p(aibj)p(ai).j1同理：I(X;Y)H(Y)H(Y/X).3.4.2证明: I(X;Y)p(aibj)log2i1j1nmp(ai/bj)p(ai)

p(aibj)log2p(ai/bj)p(bj/ai)i1j1nmnmnm1

p(aibj)p(aibj)log2p(aibj)p(aibj)log2p(ai/bj)

i1j1mi1j1p(aibj)log2p(bj/ai)

i1j1nH(XY)H(X/Y)H(Y/X).3.4.3证明：I(X;Y)p(aibj)log2i1j1nmp(ai/bj)p(ai)

p(aibj)lo2gi1j1nmnmp(aibj)p(ai)p(bj)

mn

[p(aibj)]lo2gp(ai)[p(aibj)]lo2gp(bj)

i1j1mj1i1

p(aibj)lo2gp(aibj)

i1j1n

H(X)H(Y)H(XY).其中：p(aibj)p(ai)，p(aibj)p(bj).j1i1mn参考文献

[1]傅祖芸，赵建中.信息论与编码.电子工业出版社,2006,4.[2]邓稼先，康耀红.信息论与编码.西安电子科技大学出版社,2007,5.[3]陈运.信息论与编码.电子工业出版社,2007,12.[4]贾世楼.信息论理论基础.哈尔滨工业大学出版社,2002,6.