Reference

中心极限定理与大数定律

概率论——大数定律与中心极限定理

【马尔可夫不等式】

设 $X$ 为一随机变量，若 $E|X|^r<+\infty,r>0$，则称 $EX^r$ 为随机变量 $X$ 的 $r$ 阶矩

设 $X$ 的 $r$ 阶矩存在，则对 $\forall \varepsilon>0$，有：

$P(|X|\geq \varepsilon) \leq \frac{E|X|^r}{\varepsilon^r}$

称为马尔可夫（Markov）不等式

需要注意的是，Markov 不等式是一个很宽松的不等式，在大多数情况下，Markov 不等式得出的概率的上界通常都与真实的概率相去甚远，但其需要的条件非常之少

特别地，令 $X=X-EX,r=2$，即可得到切比雪夫（Chebyshev）不等式

$P(|X-EX|\geq \varepsilon) \leq \frac{DX}{\varepsilon^2}$

切比雪夫不等式可以对随机变量偏离期望值的概率做出估计，这是大数定律的推理基础

【大数定律的引入】

大数定律，是关于大量随机现象平均结果稳定性的定理

对于随机变量序列 $\{X_n,n=1,2,\cdots\}$，设每个随机变量都有期望，由于随机变量之和 $\sum\limits_{i=1}^nX_i$ 很有可能发散到无穷大

因此转而考虑随机变量的均值 $\overline{X_n}=\frac{1}{n}\sum\limits_{i=1}^nX_i$ 和其期望 $E(\overline{X_n})$ 之间的距离

若 $\{X_n\}$ 满足一定条件，当 $n$ 足够大时，这个距离会以非常大的概率接近 $0$

任取 $\varepsilon>0$，若恒有

$\lim_{n\rightarrow\infty} P(|\overline{X_n}-E\overline{X_n}|<\varepsilon) = 1$

则 $\overline{X_n}$ 依概率收敛于 $E\overline{X_n}$，称 $\{X_n\}$ 服从弱大数定律，一般称为服从大数定律

当取 $\varepsilon=0$ 时，有

$\lim_{n\rightarrow\infty} P(\overline{X_n}=E\overline{X_n}) = 1$

则 $\overline{X_n}$ 几乎处处收敛于 $E\overline{X_n}$，称 $\{X_n\}$ 服从强大数定律

【弱大数定律】

马尔可夫大数定律

任取 $\varepsilon >0$，由切比雪夫不等式

$P(|\overline{X_n}-E\overline{X_n}|<\varepsilon)\geq 1-\frac{D\overline{X_n}}{\varepsilon^2}=1-\frac{1}{\varepsilon^2n^2}$

由于 $D\overline{X_n}=\frac{1}{n^2}D\big[\sum\limits_{i=1}^nX_i\big]$，故有

$P(|\overline{X_n}-E\overline{X_n}|<\varepsilon)\geq 1-\frac{D\big[\sum\limits_{i=1}^nX_i\big]}{\varepsilon^2n^2}$

由此得到马尔可夫（Markov）大数定律，即：若 $\lim\limits_{n\rightarrow\infty}\frac{1}{n^2}D\big[\sum\limits_{i=1}^nX_i\big]=0$，则 $\{X_n\}$ 服从弱大数定律，$\overline{X_n}$ 依概率收敛于 $E\overline{X_n}$

切比雪夫大数定律

若 $\{X_n\}$ 是两两不相关的随机变量序列，每一随机变量都有有限的方差，那么 $D\overline{X_n}$ 可写为

$D\overline{X_n}=\frac{1}{n^2}D\Big[\sum_{i=1}^nX_i\Big]=\frac{1}{n^2}\sum_{i=1}^nDX_i$

如果 $DX_i$ 有共同的上界 $c$，则

$\frac{1}{n^2}\sum_{i=1}^nDX_i\leq \frac{nc}{n^2}=\frac{c}{n}$

由此，对 $\forall \epsilon>0$，有

$P(|\overline{X_n}-E\overline{X_n}|<\varepsilon)\geq 1-\frac{D\overline{X_n}}{\varepsilon^2}=1-\frac{c}{\varepsilon^2n}$

可得到切比雪夫（Chebyshev）大数定律，即：若 $\{X_n\}$ 两两不相关，且方差 $DX_i$ 有共同上界，则 $\{X_n\}$ 服从弱大数定律，$\overline{X_n}$ 依概率收敛于 $E\overline{X_n}$

独立同分布大数定律

在切比雪夫大数定律的基础上，进一步限制随机变量序列 $\{X_n\}$ 独立同分布

由此可得到独立同步大数定律，即：若 $\{X_n\}$ 独立同分布，且方差 $DX_i$ 有共同上界，则 $\{X_n\}$ 服从弱大数定律，$\overline{X_n}$ 依概率收敛于 $E\overline{X_n}$

伯努利大数定律

根据经验，在进行大量独立重复试验后，某随机事件 $A$ 发生的频率与概率往往十分接近，这正是伯努利大数定律在发挥作用

记第 $k$ 次试验中 $A$ 的示性函数为 $I_{A,k}$，则所有的 $n$ 次试验中，事件 $A$ 发生的频数为 $\sum\limits_{i=1}^nI_{A,k}$，频率为 $\frac{1}{n}\sum\limits_{i=1}^nI_{A,k}$，易知

$E\Big[\frac{1}{n}\sum\limits_{i=1}^nI_{A,k}\Big] = \frac{1}{n}\sum_{i=1}^nEI_{A,k}=\frac{nP(A)}{n}=P(A)$

由于这 $n$ 个示性函数 $I_{A,k}$ 独立同分布，且方差有界，那么由独立同分布大数定律可知 $\{I_{A,K}\}$ 服从大数定律

由此可得到伯努利（Bernoulli）大数定律，记 $n_A$ 为 $n$ 重伯努利试验中事件 $A$ 发生的次数，记 $p$ 为事件 $A$ 发生的概率，则对 $\varepsilon>0$，有

$\lim_{n\rightarrow\infty} P(|\frac{n_A}{n}-p|< \epsilon)=1$

成立，则称 $\{\frac{n_A}{n}\}$ 服从弱大数定律， $\frac{n_A}{n}$ 依概率收敛于 $p$

辛钦大数定律

以上的四个大数定律都对 $\{X_n\}$ 的方差有所约束，辛钦大数定律则可以完全不考虑方差，其从理论上指出了，用算术平均值来近似实际真值是合理的

若 $\{X_n\}$ 独立同分布，且有有限的数学期望 $\mu=EX_i<+\infty,i=1,2,\cdots$，则对 $\forall\epsilon>0$，有

$\lim_{n\rightarrow\infty} P(|\frac{1}{n}\sum_{i=1}^nX_i-\mu|<\varepsilon) = 1$

可得到辛钦（Khintchine）大数定律，即：若 $\{X_n\}$ 独立同分布，且具有有限的数学期望 $\mu$，则 $\{X_n\}$ 服从弱大数定律，$\overline{X_n}$ 依概率收几乎敛于 $\mu$

【强大数定律】

波莱尔大数定律

波莱尔（Borel）大数定律是伯努利大数定律的推广，其进一步说明了频率稳定于概率这一事实

记 $n_A$ 为 $n$ 重伯努利试验中事件 $A$ 发生的次数，记 $p$ 为事件 $A$ 发生的概率，若

$\lim_{n\rightarrow\infty} P(\frac{n_A}{n}=p)=1$

成立，则称 $\{\frac{n_A}{n}\}$ 服从强大数定律， $\frac{n_A}{n}$ 几乎处处收敛于 $p$

柯尔莫哥洛夫大数定律

柯尔莫哥洛夫（Kolmogorov）大数定律是对辛钦大数定律的推广，从依概率收敛加强到了几乎处处收敛

设 $\{X_n\}$ 是相互独立的随机变量序列，且 $\sum\limits_{n=1}^{\infty}\frac{DX_n}{n^2}<+\infty$，则

$P(\lim_{n\rightarrow\infty}\frac{1}{n}\sum_{i=1}^n(X_i-EX_i)=0)=1$

成立，则称 $\{X_n\}$ 服从强大数定律， $\overline{X_n}$ 几乎处处收敛于 $E\overline{X_n}$