第四章大数定律与中心极限定理_大数法则之盈定理详解

2020-02-28 其他范文下载本文

第四章大数定律与中心极限定理由刀豆文库小编整理，希望给你工作、学习、生活带来方便，猜你可能喜欢“大数法则之盈定理详解”。

第四

教学目的：

大数定律与中心极限定理

1．使学员理解随机变量序列依概率收敛、按分布收敛的含义，知道两种收敛的关系，理解连续性定理的意义。

2．使学员牢固掌握马尔科夫大数定律、辛钦大数定律及其证明、理解契贝晓夫、贝努力里大数定律的意义。

3．使学员能熟练应用De Moivre-Laplace中心极限定理作近似计算及解决生产、生活中的实际问题。

4．使学员掌握、独立同分布场合下的Lindeberg-Leve中心极限定理的证明及应用，知道德莫佛—拉斯定理是其特例。

本课程一开始引入事件与概率的概念时，我们就知道就一次试验而言，一个随机事件可以出现也可不出现，但作大量的重复试验则呈现出明显的规律性——统计规律性。即，任一事件出现的频率是稳定于某一固定数的，这固定数就是该事件在一次试验下发生的概率，这里说的“频率稳定于概率”实质上是频率依某种收敛意义趋于概率，“大数定律”就是解释这一问题的。

另外在前一章介绍正态分布时，我们一再强调正态分布在概率统计中的重要地位和作用，为什么实际上有许多随机现象会遵循正态分布？这仅仅是一些人的经验猜测还是确有理论依据，“中心极限定理”正是讨论这一问题的。

§4.2*

随机变量序列的两种收敛性

假设1(),2(),,n(),是定义在同一概率空间（，F, P）上的一列随机变量，显然，其中每个r.v，k()可以看成是定义在概率空间上的一个有限可测函数，因此，我们 * §4.2使用的是原教材的编号，是方便学员看书复习。可以象在实变函数论中对可测函数列定义收敛性一样，给出随机变量列{k()}的收敛性概念。

以下我们讨论时，总假定r.v列{n}和r.v.都是定义在同一概率空间（，F,P）上的，对于某样本点0，显然{n(0)}可视为一普通实数列，(0)则可看作一实数，此时若有limn(0)(0)，则称随机变量列{n}在点0收敛到。若对任意，均有

nlimn()()，则称{n}在上点点收敛到。但在本章的讨论中，我们没有必n要对{n}要求这么高，一般是考虑下面给出的收敛形式。

定义4.2 设有一列随机变量,1,2,，如对任意的＞0，有

limP{:n()()}0

（4.6）

n则称{n}依概率收敛到，并记作



4.6

limnPnP,

4.6 或

n（4.6）式也等价于limP{n}}0

n

从定义可见，依概率收敛就是实函中的依测度收敛。

时，其相

我们知道，随机变量的统计规律由它的分布函数完全刻划，当n应的分布函数Fn(x)与F(x)之间的关系怎样呢？

例4．2 设n(n1)及都服从退化分布：

P1P{n}1,n1,2, nP{0}1对任给＞0，当n＞ 1时，有P{n}P{n}0 2 ,(n)所以

nP10n 而n的d.f为

Fn(x)

1x1nx  的d.f为

F(x)

01x0x0

易验证当x0时，有Fn(x)→F(x)（n→）但x0时，Fn(0)1不趋于F(0)0

上例表明，一个随机变量依概论收敛到某随机变量，相应的分布函数不是在每一点都收敛，但如果仔细观察这个例，发现不收敛的点正是F(x)的不连续点，类似的例子可以举出很多，使人想到要求Fn(x)在每一点都收敛到F(x)是太苛刻了，可以去掉F(x)的不连续点来考虑。

定义4.3 设{Fn(x)}为一分布函数序列，如存在一个函数F(x)，使在F(x)的每一连续点x，都有limFn(x)F(x)

n则称分布函数列{Fn(x)}弱收敛于F(x)，并

F(x)

n

（4.7）记作Fn(x)

定义4.3

设r.v.n(n1)和的分布函数分别为Fn(x)，F(x)，若

WLFn(x)F(x)n，则称n按分布收敛于，并记作 n（n）W，则n 定理4.4 若n证

对于xR,任取xx，因有 PL(x)(nx,x)(nx,x)(nx)(nx,x)

故

P(x)P(nx)P(nx,x)即 F(x)Fn(x)P(nxx)

，故P(nxx)0 因

n所以有 F(x)limFn(x)

nP同理可证，对xx

有F(x)limFn(x)

n于是对任意

xxx有F(x)limFn(x)limFnF(x)

nn令xx,xx，有F(x0)limFn(x)limFnF(x0)

nn若x是F(x)的连续点，就有limFn(x)F(x)。

证毕。此定理的逆不真。

n例4.3 抛掷一枚均匀硬币，记1=“出现正面”，2=“出现反面” 则P(1)P(2)1 211令

n()

n=1，2，„„

0

2()

102

11因Fn(x)与F(x)完全相同，显然有Fn(x)→F(x)对xR成立。

但 P{n12}P(n0,1)P(n1,1)

=P11111。

对n1成立 22222不成立。∴

n一般来说，按分布收敛不能推出依概率收敛，但在特殊情况下，却有下面的结果。

n, 定理4.5 设C是一常数，P(C)1，则n（即n，CnC）PLPL证（）由定理4.1推得（）（不妨就设C）对任给0，有

P{nC}P(nC)P(nC)1Fn(C)Fn(C0)

(4.8)

因

C的分布函数为

0xCWF(x)

F(x)只在xc处不连续，而c处都是连续的，由Fn(x)1xC在（(4.8）中令n得

limP(nc)1100

n本章将要向大家介绍的大数定律实际上就是随机变量列依概率收敛于常数的问题，由定理4.5知，它可归结为相应的分布函数列弱收敛于一退化分布，而中心极限定理就是随机变量的分布函数列弱收敛问题，可见分布函数列的弱收敛在本章讨论中占重要地位。然而，要直接判断一个分布函数列是否弱收敛是很困难的上一章我们就知道，分布函数与特征函数一一对应，而特征函数较之分布函数性质优良很多，故判断特征函数的收敛一般较易，那么是否有

WFnxF(x)相应的n(t)(t)

答案是肯定的。

定理4.6 分布函数列{Fn(x)}弱收敛于分布函数F(x)的充要条件是相应的特征函数列{n(t)}收敛于F(x)的特征函数(t)

例4.4 若～P()证明

1limP(x)2xet22dt

随机变量到依pr收敛具有如下性质。

a,nb 定理4.7（斯鲁茨基）若n

PP则有

（1）nPnab 

（2）b0时，nPa nbP，f(x)为连续函数书P220习题4.8 nf()

（4.9）则有

f(n) P§4.1 大数定律

本章一开始我们就指出大数定律是从讨论“频率稳定于概率”这件事引入的，概率的发展史上，这件事又是从贝努里试验这个概型入手的。

设事件A在一次试验中发生的概率为P，将试验独立重复地进行n次，如果其中事件A发生的次数为n，则nn就是这n次试验中事件A发生的频率。所谓频率

nn稳定到概率P，是指当n增大时，敛。nn依某种收敛意义向P逼近。很容易验证，这里的收敛意义不是普通的收limnnn P

（4.1）事实上，（4.1）意味着，对任给0，能找到N，当nN时，有

nnP

4.1

我们知道，在n重贝努里试验中，不管n多大，{A出现n次}这一结果都是可能发生的，当这个结果发生时，nn，即

nnP1P，因此，对于01P，不管N取多大，nP不发生的可n也不能保证nN时（4.1）′成立。但可以想见，当n很大时， 6 能性很小了，比如PnP1Pn0(n)。于是猜想可能有nP。这个猜想

nn是正确的，其证明暂放后一步。现不妨先承认有事实

nnP P

（4.2）若令k1,第k次试验A发生

k1,2,

0,第k次试验A不发生则（4.2）意味着

1n1nPkE(k)nk1nk1上式反映出大量随机现象的平均结果具有的一种稳定性，我们称之为大数定律。

k为一随机变量序列，它们具有有限的数学期望Ek,k1,2。定义4.1，设1nPPEn（或（nEn）k服从大令nk，若n，则称随机序列0）nk1数定律。

下面的定理给出随机序列服从大数律的一个充分条件。

k是一列两两不相关的随机变量序列，其中每一随定理4.1（契贝晓夫大数定律）设机变量都有有限的数学期望和方差，且方差有公共上界：DkC,(C为常数);K1,2,k服从大数定律。则证明：只须证，对任给0，均有

1n1nP{kEk}0

(0)

（4.3）nk1nk1由契贝晓夫不等式1n1n0PkEknk1nk1下面我们来证明（4.2）式

1nD(k)nk12Cn2(n)0

定理4.2（贝努里大数定律）设n是n重贝努重试验中事件A出现的次数，每次试验都有P(A)P,则nnPP。

k，则EkP,DkP(1P)[证明]照（4.2）定义随机序列1,k1,2, 4k服从大数律，因此由定理4.1知，k1nkPEkk1nnn,这就是nnPP,k服从大上面所述的两个大数定律，后一个是前一个的特款，从定理4.1的证明看出，数律的一个充分条件是

D(k)k12nn0(n)

(4.4)(4.4)所示的条件常称为马尔可夫条件，由此得如下的马尔可夫大数定律（书P222习题4.23）k满足（4.4）所示的马尔可夫条件，则它服从大数定律。若随机变量序列证：对任给0，由契贝晓夫不等式，有

1n1n0PkEknk1nk1D(k)nk122n再由(4.4)立得结论。

k相互独立的条件。另方面，显然定理4.1我们注意到，马尔可夫大数律并没有附加又是它的特款。因此，上面所述的三个大数定律，马尔可夫大数律才是最基本的，当然，它的条件也是充分而非必要的。我们还注意到上面的三个大数定律，其证明都要依靠契贝晓夫不等式，所以要求随机变量的方差存在。但进一步的研究表明，方差存在这个条件并不一定必要。比如在独立同分布的场合，就可去掉这个条件。著名的俄国数学家XИНЧИН证明了这点。

定理4.3（辛钦大数定律）设k为相互独立，同分布的随机序列，具有有限的数学期望Eka(a为常数)，则k服从大数定律。

证：因1,2,同分布，故有相同的特征函数(t),又Eka在t=0处展开，有

(0)i，将（t）(t)(0)(0)t0(t)1iat0(t)

1n由1,2,相互独立，得nk的特征函数为

nk1tttgn(t)[()]n[1ia0()]n

nnnttnL1iata，再由定对于任意tR,limgn(t)lim[1ia0()]e，由定理4.6知nnnnna，即k服从大数定理。理4.5得nP贝努里大数定律显然是辛钦大数定律的特款。

k为独立同分布随机变量序列，存在Ena,Dn，令例4.1 设21n1n2nk, Sn(kn)2

nk1nk1 证明

Sn2P2ki·证：i·d 则 {n}亦i·i·d

21n2Pa，k(2a2)由辛钦大数律 nnk1Pa 由（4.9），(n)2P21n2P2由斯鲁茨基定理 Sk(n) 2

（4.5）

nk12n

§4.3 中心极限定理

大数定律仅仅从定性的角度解决了频率

nn稳定于概率p，即

nnPp，为了定量地估计用频率nn估计概率P(A)(记为p)的误差，历史上DeMoivre、Laplace等数学家经过许多努力，证明了n的标准化随机变量渐近于N（0，1）分布：

定理4.8（德莫佛—拉普拉斯）在n重贝努里试验中，事件A在每次试验中出现的概率为p(0p1)，n为n次试验中A出现的次数，则对任意xR,一致地有，1limP{nnnpnpqx}12xet22dt

（4.10）

本定理的原始证明较复杂，但它是下面要证明的定理4.9的特例，现在来看定理4.8的重要意义。定理4.8在实际的数值计算中有重要作用主要表现在（1）较为精确地估计出用频率估计概率的误差。当n充分大时

P{nnP}P{npnnpqnpqn} pq2(n)4.10 pq由上式，.,n中已知其二，可求另一（2）较好地解决了二项分布的近似近计算。

当~B(n,p)而n较大时，无论p是否接近0或1，均由（4.10）得P{x1x2}P{x1npnpqnpnpqx2npnpq}(x2npnpq)(x1npnpq)

（4.10）″

另方面，定理4.8在理论研究上也有很大价值，这里仅指出这样一个事实

nnpnnp依分布收敛于标准正态变量（这时称渐近于正态分布

npqnpqN（0，1）

若令

k第k试验A出现,1,k1,2 0,第k次试验A不出现则上面的事实等价于

k1nk有渐近正态分布，这一重要发现具有普遍意义。

前面我们介绍正态分布时曾说过，已发现许多随机现象，比如测量误差，射击偏差等都可用正态分布来描述。经过长期观察、总结、发现那些服从正态分布的随机现象往往是由许多彼此无关，谁也不起突出作用，只均匀地起微小作用的随机因素共同作用而产生。换句话说，这类随机现象往往可视为独立（或弱相依）随机变量之和

k1nk，在什么条件下有渐近正态分布的问题，在长达两个世纪的时间内成为概率论讨论的中心课题，为使问题规范化，数学家们将问题归结为讨论规范和。

.k1nkE(k)k1nn有渐近分布N（0，1）的条件。

D(k)k1k服从中心极限定理。并称有此结论的随机序列下面是勒维（Levy）和林德贝尔格（Lindeberg）的成果

Dk（20）定理4.9 若1,2,是一列独立同分布的随机变量，且Eka，11 则有 limP{k1nnkna x}(x)

（4.11）n对一切实数x成立证：„„

在定理4.8中，由于n可看作独立同贝努里分布的一列随机变量的部分和，因此定理4.8是定理4.9的特例。在处理近似计算时，定理4.9较之定理4.8有更广泛的应用。在实际应用中，只要n较大，便可把独立同分布的随机变量之和近似当作正态变量。这种处理方法对于解决大子样问题非常方便。常用的近似计算式为：

P{x1kx2}P{k1nx1nan(k1nka)x2nann}(x2nan)(x1nan)

（4.12）

例4.5 某单位有260架电话分机，每个分机有4%的时间要用外线通话，可以认为各个电话分机用不用外线是相互独立的，问总机要备多少条外线才能以95%的把握保证各个分机在需用外线时不必等候。

例4.6（近似数定点运算的误差分析）数值计算时，任何数x都只能用一定数位的有限小数y来近似，这就产生了一个误差xy，在下面讨论中，我们假定参加运算的数都用十进制定点表示，每个数都用四舍五入的方法取到小数点后五位，这时相应的四舍五入误差可以看作是[0.510,0.51055]上的均匀分布。

如果要求n个数xi(i1,2,,n)的和S，在数值计算中就只能求出相应的有限位小数，y2(i1,2,,n)的和T,并用T作S的近似值，现在问，这样做造成的误差ST是多少？

因为

S x(yii1i1nnii)yii

i1i1nn12 故

i1ni.5传统的估计方法是，根据i0.510 得 i1nin0.5105

以n10000为例，所得误差估计为0.05

今用（4.12）估计。

如果假定舍入误差i是相互独立的，这里。

aEi0,Di有

0.51053

P{iKn}(k)(k)

i1n若取k3，则上面的概率约为0.997，即能以99.7%的概率断言