中心极限定理

Reference

• 概率论——大数定律与中心极限定理
• 什么是中心极限定理？这里有一份可视化解释
• 中心极限定理通俗介绍

【引入】

大数定律研究的是一系列随机变量 $\{X_n\}$ 的均值 $\overline{X_n}$ 是否会依概率或几乎处处收敛于期望 $E\overline{X_n}$，而中心极限定理，是进一步研究 $\overline{X_n}$ 服从什么分布

若 $\{X_n\}$ 满足一定条件时，当 $n$ 足够大时，$\overline{X_n}$ 近似服从正态分布，这就是中心极限定理的主要思想

其在理论上保证了可以只抽样一部分，而推测研究对象统计参数的目的

【林德贝格-勒维中心极限定理】

林德贝格-勒维中心极限定理又称独立同分布中心极限定理，其说明了当 $n$ 足够大时，随机变量序列 $\{X_n\}$ 在独立同分布条件下，$\overline{X_n}$ 近似服从正态分布

若 $\{X_n\}$ 是独立同分布的随机变量序列，且数学期望 $EX_i=\mu$，方差 $DX_i=\sigma^2$，那么当 $n$ 足够大时，$\overline{X_n}$ 近似服从正态分布 $N(\mu,\frac{\sigma^2}{n})$，即

$$\lim_{n\rightarrow\infty} P(\frac{\overline{X_n}-\mu}{\sigma/\sqrt{n}}<a)=\Phi(a)=\int_{-\infty}^a\frac{1}{\sqrt{2\pi}}e^{\frac{-t^2}{2}}dt$$

期望和方差有

$$\begin{align*} E\overline{X_n} &= \frac{1}{n}\sum_{i=1}^nEX_i=\frac{n\mu}{n}=\mu \\ D\overline{X_n} &= \frac{1}{n^2}\sum_{i=1}^nDX_i=\frac{n\sigma^2}{n^2}=\frac{\sigma^2}{n} \end{align*}$$

故当 $n$ 足够大时，$\overline{X_n}$ 近似服从的正态分布就是 $N(\mu,\frac{\sigma^2}{n})$，归一化后的随机变量 $\frac{\overline{X_n}-\mu}{\sigma/\sqrt{n}}$ 近似服从标准正态分布 $N(0,1)$

【棣莫弗-拉普拉斯中心极限定理】

棣莫弗-拉普拉斯中心极限定理又称二项分布中心极限定理，其是林德贝格-勒维中心极限定理的特殊情况

设随机变量 $X$ 服从二项分布 $B(n,p)$，由于 $X$ 可视为 $n$ 个独立同分布的伯努利分布随机变量的和，有 $EX=np,DX=np(1-p)$，满足独立同分布中心极限定理，那么当 $n$ 足够大时，$X$ 近似服从正态分布 $N(np,np(1-p))$，即

$$\lim_{n\rightarrow\infty} P(\frac{X-np}{\sqrt{np(1-p)}}<a)=\Phi(a)=\int_{-\infty}^a\frac{1}{\sqrt{2\pi}}e^{\frac{-t^2}{2}}dt$$

棣莫弗-拉普拉斯中心极限定理说明了当 $n$ 足够大时，二项分布近似于正态分布

【林德伯格中心极限定理】

林德伯格中心极限定理是独立不同分布的中心极限定理，其对 $\{X_n\}$ 的约束基本上是最弱的，也就是说其是最强的中心极限定理，但该定理的条件较难运用与验证

设 $\{X_n\}$ 是相互独立的连续随机变量序列，具有有限的数学期望 $EX_i=\mu_i$ 和方差 $DX_i=\sigma^2_i$，记 $Y_n=\sum\limits_{i=1}^nX_i$，$DY_n=\sum\limits_{i=1}^n\sigma_i^2=B_n^2$，$X_i$ 的概率密度函数为 $f_i(x)$

若对 $\forall\tau>0$ ，有

$$\lim_{n\rightarrow\infty}\frac{1}{\tau^2B_n^2}\sum_{i=1}^n\int_{|x-\mu_i|>\tau B_n} (x-\mu_i)^2f_i(x)dx=0$$

则

$$\lim_{n\rightarrow\infty} P(\frac{1}{B_n}\sum_{i=1}^n(X_i-\mu_i)<a)=\Phi(a)=\int_{-\infty}^a\frac{1}{\sqrt{2\pi}}e^{\frac{-t^2}{2}}dt$$

故当 $n$ 足够大时，$Y_n$ 近似服从正态分布 $N(\sum\limits_{i=1}^n\mu_i,B_n^2)$

【李雅普诺夫中心极限定理】

李雅普诺夫中心极限定理是林德伯格中心极限定理的特例，其条件在很多情况下是满足的，因此适用性较广

设 $\{X_n\}$ 是相互独立的随机变量序列，具有有限的数学期望 $EX_i=\mu_i$ 和方差 $DX_i=\sigma^2_i$，记 $Y_n=\sum\limits_{i=1}^nX_i$，$DY_n=\sum\limits_{i=1}^n\sigma_i^2=B_n^2$

若对 $\forall\delta>0$ ，有

$$\lim_{n\rightarrow\infty}\frac{1}{B_n^{2+\delta}}\sum_{i=1}^n(E|x-\mu_i|^{2+\delta}) =0$$

则

$$\lim_{n\rightarrow\infty} P(\frac{1}{B_n}\sum_{i=1}^n(X_i-\mu_i)<a)=\Phi(a)=\int_{-\infty}^a\frac{1}{\sqrt{2\pi}}e^{\frac{-t^2}{2}}dt$$

故当 $n$ 足够大时，$Y_n$ 近似服从正态分布 $N(\sum\limits_{i=1}^n\mu_i,B_n^2)$