Reference

• 概率论学习笔记（三）
• §3.2 随机向量，随机变量的独立性

【$n$ 维随机向量】

在随机变量的基础上扩展到 $n$ 维，就有了随机向量，从本质上来看，二者区别不大，只是处理的方式稍微复杂一些

在概率空间 $(\mathrm{\Omega },\mathcal{F},P)$ 上的 $n$ 元实函数 $\mathbf{X}(\cdot )=\{X_1(\cdot ),X_2(\cdot ),\cdots ,X_n(\cdot )\}$，若 $\mathrm{\forall }\mathbf{x}=(x_1,x_2,\cdots ,x_n)\in {\mathbb{R}}^n$，有：

$$\{\omega |X_1(\omega )\le x_1,X_2(\omega )\le x_2,\cdots ,X_n(\omega )\le x_n\}\in \mathcal{F}$$

则称 $\mathbf{X}=(X_1,X_2,\cdots ,X_n)$ 为 $n$ 维随机向量

【分布函数】

联合分布函数

对于 $n$ 维随机向量 $\mathbf{X}=(X_1,X_2,\cdots ,X_n)$， $\mathrm{\forall }\mathbf{x}=(x_1,x_2,\cdots ,x_n)\in {\mathbb{R}}^n$，称：

$$F(\mathbf{x})=F(x_1,x_2,\cdots ,x_n)=P(X_1\le x_1,X_2\le x_2\cdots ,X_n\le x_n)$$

为 $\mathbf{X}$ 的联合分布函数

与一维情况下的分布函数类似，其具有如下性质：

1. 单调不减：$F(x_1,x_2,\cdots ,x_n)$ 对任一 $x_i$，是单调不减函数
2. 右连续：$F(x_1,x_2,\cdots ,x_n)$ 对任一 $x_i$，是右连续函数
3. 有界：$F(x_1,\cdots ,x_{i-1},-\mathrm{\infty },x_{i+1},\cdots ,x_n)=0,F(+\mathrm{\infty },+\mathrm{\infty },\cdots ,+\mathrm{\infty })=1$
4. Jordan 公式：设 $x_i\le y_i,i=1,2,\cdots ,n$，有

$$\begin{array}{rl}& F(y_1,y_2,\cdots ,y_n)-\sum _{i=1}^{n}F(y_1,y_2,\cdots ,y_{i-1},x_i,y_{i+1},\cdots ,y_n)\\ +& \sum _{1\le i<j\le n}F(y_1,y_2,\cdots ,y_{i-1},x_i,y_{i+1},\cdots ,y_{j-1},x_j,y_{j+1},y_n)\\ -& +(-1{)}^{n}F(x_1,x_2,\cdots ,x_n)\ge 0\end{array}$$

边缘分布函数

联合分布描述的是多个随机变量混合纠缠在一起时的分布，将某一个或某几个随机变量分离出来，求他们的概率分布，即有了边缘分布函数

对于 $n$ 维随机向量 $\mathbf{X}=(X_1,X_2,\cdots ,X_n)$， $\mathrm{\forall }\mathbf{x}=(x_1,x_2,\cdots ,x_n)\in {\mathbb{R}}^n$，保留 $k(1\le k<n)$ 个 $x_i$，比如 $x_1,x_2,\cdots ,x_k$，并令其他的 $x_i$ 均趋于 $+\mathrm{\infty }$，即：

$$\underset{\begin{array}{rl}{x}_{k+1}& \to +\mathrm{\infty }\\ & \cdots \\ x_n& \to +\mathrm{\infty }\end{array}}{lim}F(x_1,\cdots ,x_k,x_{k+1},\cdots ,x_n)=F(x_1,\cdots ,x_k,+\mathrm{\infty },\cdots ,+\mathrm{\infty })$$

此时称 $F(x_1,\cdots ,x_k)$ 为 $n$ 维随机向量 $\mathbf{X}$ 关于 $(X_1,X_2,\cdots ,X_k)$ 的边缘分布函数

特别地，当 $k=1$ 时，即可得到 $n$ 维随机向量 $\mathbf{X}$ 的 $n$ 个边缘分布函数：

$$F_{X_1}(x_1),F_{X_2}(x_2),\cdots ,F_{X_n}(x_n)$$

【随机向量分量独立性】

有了边缘分布的概念后，即可得到关于随机向量各分量间独立性的定理，其描述的是随机向量内部的关系

设 $n$ 维随机向量 $\mathbf{X}=(X_1,X_2,\cdots ,X_n)$， 其联合分布函数为 $F(x_1,x_2,\cdots ,x_n)$，边缘分布函数为 $F_{X_1}(x_1),F_{X_2}(x_2),\cdots ,F_{X_n}(x_n)$

若对 $\mathrm{\forall }\mathbf{x}=(x_1,x_2,\cdots ,x_n)\in {\mathbb{R}}^n$，有：

$$F(x_1,x_2,\cdots ,x_n)=F_{X_1}(x_1)F_{X_2}(x_2)\cdots F_{X_n}(x_n)$$

则称随机变量 $X_1,X_2,\cdots ,X_n$ 相互独立

【$n$ 维离散型随机向量】

联合分布函数

若 $n$ 维随机向量 $\mathbf{X}=(X_1,X_2,\cdots ,X_n)$ 的可能取值为有限对或可列无限对，则 $X$ 称为$n$ 维离散型随机向量

此时用联合分布律来描述随机变量的概率分布，即：

$$P(X_1=x_1,X_2=x_2,\cdots ,X_n=x_n)$$

此时 $X$ 的联合分布函数为：

$$F(u_1,u_2,\cdots ,u_n)=\sum _{x_1\le u_1}\sum _{x_2\le u_2}\cdots \sum _{x_n\le u_n}P(X_1=x_1,X_2=x_2,\cdots ,X_n=x_n)$$

边缘分布函数

对于 $n$ 维随机向量 $\mathbf{X}=(X_1,X_2,\cdots ,X_n)$， $\mathrm{\forall }\mathbf{x}=(x_1,x_2,\cdots ,x_n)\in {\mathbb{R}}^n$，保留 $k(1\le k<n)$ 个 $x_i$，比如 $x_1,x_2,\cdots ,x_k$，并令其他的 $x_i$ 均趋于 $+\mathrm{\infty }$，即可得到 $k$ 维边缘分布函数 $F(x_1,x_2,\cdots ,x_k,+\mathrm{\infty },\cdots ,+\mathrm{\infty })$

特别地，当 $k=1$ 时，即可得到 $n$ 维随机向量 $\mathbf{X}$ 的 $n$ 个边缘分布函数：

$$F_{X_1}(x_1),F_{X_2}(x_2),\cdots ,F_{X_n}(x_n)$$

分量独立性

对于 $n$ 维离散型随机向量 $\mathbf{X}=(X_1,X_2,\cdots ,X_n)$，$X_1,X_2,\cdots ,X_n$ 相互独立的充要条件为：

$$P(X_1=x_1,X_2=x_2,\cdots ,X_n=x_n)=P(X_1=x_1)P(X_2=x_2)\cdots P(X_n=x_n)$$

【$n$ 维连续型随机向量】

联合概率密度函数

若随机向量 $\mathbf{X}$ 的可能取值为不可列对，则 $\mathbf{X}$ 称为 $n$ 维连续型随机变量

若 ${\mathbb{R}}^n$ 上的非负可积函数 $f(x_1,x_2,\cdots ,x_n)$，对 $\mathrm{\forall }D=\{(x_1,\cdots ,x_n)|a_i<x_i\le b_i,a_i,b_i\in \mathbb{R}\}$，都有：

$$P(\mathbf{X}\in D)=\int \cdots {\int }_{D}f(x_1,\cdots ,x_n)d{x}_1\cdots d{x}_n$$

则称 $f(x_1,x_2,\cdots ,x_n)$ 为 $n$ 维连续随机向量 $\mathbf{X}$ 的联合概率密度函数

边缘概率密度函数

对于 $n$ 维连续型随机变量 $\mathbf{X}$，其联合概率密度函数为 $f(x_1,x_2,\cdots ,x_n)$

对 $\mathrm{\forall }1\le k<n$，设 $D_k=\{(x_1,\cdots ,x_k)|a_i<x_i\le b_i,a_i,b_i\in \mathbb{R},1\le i\le k\}$，则有：

$$P((X_1,\cdots ,X_k)\in D_k)=\int \cdots {\int }_{D_k\times {\mathbb{R}}^{n-k}}f(x_1,\cdots ,x_n)d{x}_1\cdots d{x}_n$$

根据 Fubini 定理：对于 $D\subset {\mathbb{R}}^n$ 上的绝对可积函数 $f$，其在 $D$ 上的任意 $n$ 重积分可以任意交换 $n$ 次积分的顺序

故原式为：

$$\int \cdots {\int }_{D_k}(\int \cdots {\int }_{{\mathbb{R}}^{n-k}}f(x_1,\cdots ,x_k,x_{k+1},\cdots ,x_n)d{x}_{k+1}\cdots d{x}_n)d{x}_1\cdots d{x}_k$$

根据联合概率密度函数的定义，记：

$$f(x_1,\cdots ,x_k)=\int \cdots {\int }_{{\mathbb{R}}^{n-k}}f(x_1,\cdots ,x_k,x_{k+1},\cdots ,x_n)d{x}_{k+1}\cdots d{x}_n$$

此时 $f(x_1,\cdots ,x_k)$ 为 $n$ 维随机向量 $\mathbf{X}$ 关于 $(X_1,X_2,\cdots ,X_k)$ 的边缘概率密度函数

特别地，当 $k=1$ 时，即可得到 $n$ 维连续型随机向量 $\mathbf{X}$ 的 $n$ 个边缘概率密度函数：

$$f_{X_1}(x_1),f_{X_2}(x_2),\cdots ,f_{X_n}(x_n)$$

分量独立性

对于 $n$ 维连续型随机向量 $\mathbf{X}=(X_1,X_2,\cdots ,X_n)$，$X_1,X_2,\cdots ,X_n$ 相互独立的充要条件为：

$$f(x_1,x_2,\cdots ,x_n)=f_{X_1}(x_1)f_{X_2}(x_2)\cdots f_{X_n}(x_n)$$