常见抽样分布

【抽样分布】

在使用统计量进行统计推断时，常需要知道它的分布，统计量的分布被称为抽样分布

当总体的分布函数已知时，抽样分布是确定的，但要求出统计量的精确分布，一般来说是比较困难的

下面介绍来自正态总体的几个常见的统计量的分布

【$\chi^2$ 分布】

定义

设 $X_1,X_2,\cdots,X_n$ 是来自总体 $N(0,1)$ 的样本，则称统计量

$$\chi^2 = X_1^2+X_2^2+\cdots+X_n^2$$

服从自由度为 $n$ 的卡方分布，记为 $\chi^2 \sim \chi^2(n)$

自由度为 $n$ 的卡方分布 $\chi^2(x)$ 本质上是 $\alpha=\frac{n}{2},\lambda=\frac{1}{2}$ 的伽马分布 $\Gamma(\frac{n}{2},\frac{1}{2})$，关于伽马分布的详细介绍，见：常见概率分布

根据伽马分布的可加性，易得卡方分布的可加性为：若 $\chi_1^2\sim\chi^2(n_1)$，$\chi_2^2\sim\chi^2(n_2)$，且 $\chi_1^2,\chi_2^2$ 相互独立，则 $\chi_1^2+\chi_2^2\sim \chi^2(n_1+n_2)$

数字特征

若 $\chi^2 \sim \chi^2(n)$，则其数学期望和方差分别为：

$$E(\chi^2) = n,\quad D(\chi^2)=2n$$

特征函数为：

$$\varphi(t) = \frac{1}{(1-\frac{1}{2}jt)^{\frac{n}{2}}}$$

概率密度

$\chi^2(n)$ 的概率密度为：

$$f(y) = \left\{\begin{array}{aa} \frac{1}{2^{\frac{n}{2}}\Gamma(\frac{n}{2})} y^{\frac{n}{2}-1} e^{-\frac{y}{2}}, & y>0 \\ 0, & y\leq 0 \end{array}\right.$$

其图形如下图所示

分位点

对于给定正数 $\alpha,0<\alpha<1$，称满足条件：

$$P\{\chi^2 > \chi^2_{\alpha}(n)\} = \int_{\chi^2_{\alpha}(n)}^{\infty} f(y) dy =\alpha$$

的点 $\chi^2_{\alpha}(n)$ 为 $\chi^2(n)$ 的上 $\alpha$ 分位点

对于不同的 $\alpha,n$，上 $\alpha$ 分位点已制成相应的数据表，以供查用

【$t$ 分布】

定义

设 $X\sim N(0,1),Y\sim \chi^2(n)$，且 $X,Y$ 相互独立，则称随机变量

$$t=\frac{X}{\sqrt{Y/n}}$$

服从自由度 $n$ 的 $t$ 分布，记为 $t\sim t(n)$

概率密度

$t(n)$ 的概率密度为：

$$h(t) = \frac{\Gamma[\frac{n+1}{2}]}{\sqrt{\pi n}\Gamma(\frac{n}{2})} (1+\frac{t^2}{n})^{-\frac{n+1}{2}},\quad -\infty<t<+\infty$$

其图形如下图所示

可以看出 $h(t)$ 的图形关于 $t=0$ 对称，当 $n$ 充分大时，$t(n)$ 近似于 $N(0,1)$，但对较小的 $n$，$t(n)$ 与 $N(0,1)$ 相差较大

分位点

对于给定正数 $\alpha,0<\alpha<1$，称满足条件：

$$P\{t > t_{\alpha}(n)\} = \int_{t_{\alpha}(n)}^{\infty} h(t) dt =\alpha$$

的点 $t_{\alpha}(n)$ 为 $t(n)$ 的上 $\alpha$ 分位点

由 $t$ 分布上 $\alpha$ 分位点的定义以及 $h(t)$ 图形的对称性，有：

$$t_{1-\alpha}(n) = -t_{\alpha}(n)$$

对于不同的 $\alpha,n$，上 $\alpha$ 分位点已制成相应的数据表，以供查用

通常来说，当 $n>45$ 时，对于常用的 $\alpha$ 值就用正态分布来近似

【$F$ 分布】

定义

设 $U\sim \chi^2(n_1),V\sim \chi^2(n_2)$，且 $U,V$ 相互独立，则称随机变量

$$F=\frac{U/n_1}{V/n_2}$$

服从自由度 $(n_1,n_2)$ 的 $F$ 分布，记为 $F\sim F(n_1,n_2)$

由定义可知：若 $F\sim F(n_1,n_2)$，则 $\frac{1}{F}\sim F(n_2,n_1)$

概率密度

$F(n_1,n_2)$ 的概率密度为：

$$\varphi(y) = \left\{\begin{array}{aa} \frac{\Gamma(\frac{n_1+n_2}{2})\frac{n_1}{n_2}^{\frac{n_1}{2}}y^{\frac{n_1}{2}-1}}{\Gamma(\frac{n_1}{2})\Gamma(\frac{n_2}{2})(1+\frac{n_1}{n_2}y)^{\frac{n_1+n_2}{2}}}, & y>0 \\ 0, & y\leq 0 \end{array}\right.$$

其图形如下图所示

分位点

对于给定正数 $\alpha,0<\alpha<1$，称满足条件：

$$P\{F > F_{\alpha}(n_1,n_2)\} = \int_{F_{\alpha}(n_1,n_2)}^{\infty} \varphi(y) dy =\alpha$$

的点 $F_{\alpha}(n_1,n_2)$ 为 $F(n_1,n_2)$ 的上 $\alpha$ 分位点

由 $F$ 分布上 $\alpha$ 分位点的定义，有：

$$F_{1-\alpha}(n_1,n_2) = \frac{1}{F_{\alpha}(n_2,n_1)}$$

对于不同的 $\alpha,n_1,n_2$，上 $\alpha$ 分位点已制成相应的数据表，以供查用

【正态总体的样本均值与样本方差的分布】

设总体 $X$ （无论服从何种分布，只要均值方差均存在）的均值为 $\mu$，方差为 $\sigma^2$，$X_1,X_2,\cdots,X_n$ 是来自 $X$ 的一个样本，$\overline{X},S^2$ 分别是样本均值和样本方差，则有：

$$E(\overline{X})=\mu \quad E(S^2) = \sigma^2 \quad D(\overline{X}) = \frac{\sigma^2}{n}$$

进而，设 $X\sim N(\mu,\sigma^2)$，易知 $\overline{X}=\frac{1}{n}\sum\limits_{i=1}^n X_i$ 也服从该正态分布，故有以下定理：

1）设 $X_1,X_2,\cdots,X_n$ 是来自正态总体 $N(\mu,\sigma^2)$ 的样本，$\overline{X}$ 是样本均值，则有：

$$\overline{X} \sim N(\mu,\frac{\sigma^2}{n})$$

2）设 $X_1,X_2,\cdots,X_n$ 是来自正态总体 $N(\mu,\sigma^2)$ 的样本，$\overline{X},S^2$ 分别是样本均值和样本方差，则 $\overline{X}$ 与 $S^2$ 相互独立，同时有：

$$\frac{(n-1)S^2}{\sigma^2} \sim \chi^2(n-1)$$

3）设 $X_1,X_2,\cdots,X_n$ 是来自正态总体 $N(\mu,\sigma^2)$ 的样本，$\overline{X},S^2$ 分别是样本均值和样本方差，则有：

$$\frac{\overline{X}-\mu}{S/\sqrt{n}} \sim t(n-1)$$

4）设 $X_1,X_2,\cdots,X_n$ 与 $Y_1,Y_2,\cdots,Y_n$ 分别是来自正态总体 $N(\mu_1,\sigma_1^2)$ 和 $N(\mu_2,\sigma_2^2)$ 的样本，且这两组样本相互独立，$\overline{X}=\frac{1}{n_1}\sum\limits_{i=1}^{n_1}X_i,\overline{Y}=\frac{1}{n_1}\sum\limits_{i=1}^{n_1}Y_i$ 分别是这两组样本的均值，$S_1^2=\frac{1}{n_1-1}\sum\limits_{i=1}^{n_1}(X_i-\overline{X})^2,S_2^2=\frac{1}{n_2-1}\sum\limits_{i=1}^{n_2}(Y_i-\overline{Y})^2$ 分别是这两组样本的方差，则有：

$$\frac{S_1^2/S_2^2}{\sigma_1^2/\sigma_2^2} \sim F(n_1-1,n_2-1)$$

当 $\sigma_1^2=\sigma_2^2=\sigma^2$ 时，有：

$$\frac{(\overline{X}-\overline{Y})-(\mu_1-\mu_2)}{S_w\sqrt{\frac{1}{n_1}+\frac{1}{n_2}}} \sim t(n_1+n_2-2)$$

其中，对于 $S_w$，有：

$$S_w^2 = \frac{(n_1-1)S_1^2+(n_2-1)S_2^2}{n_1+n_2-2},\quad S_w=\sqrt{S_w^2}$$