Reference

• 概率论学习笔记（三）
• §3.2 随机向量，随机变量的独立性

【$n$ 维随机向量】

在随机变量的基础上扩展到 $n$ 维，就有了随机向量，从本质上来看，二者区别不大，只是处理的方式稍微复杂一些

在概率空间 $(\Omega,\mathscr{F},P)$ 上的 $n$ 元实函数 $\mathbf{X}(\cdot)=\{X_1(\cdot),X_2(\cdot),\cdots,X_n(\cdot)\}$，若 $\forall \mathbf{x} = (x_1,x_2,\cdots,x_n)\in\mathbb{R}^n$，有：

$$\{\omega|X_1(\omega)\leq x_1,X_2(\omega)\leq x_2,\cdots,X_n(\omega)\leq x_n\}\in \mathscr{F}$$

则称 $\mathbf{X}=(X_1,X_2,\cdots,X_n)$ 为 $n$ 维随机向量

【分布函数】

联合分布函数

对于 $n$ 维随机向量 $\mathbf{X}=(X_1,X_2,\cdots,X_n)$， $\forall \mathbf{x} = (x_1,x_2,\cdots,x_n)\in\mathbb{R}^n$，称：

$$F(\mathbf{x})=F(x_1,x_2,\cdots,x_n)=P(X_1\leq x_1,X_2\leq x_2\cdots,X_n\leq x_n)$$

为 $\mathbf{X}$ 的联合分布函数

与一维情况下的分布函数类似，其具有如下性质：

1. 单调不减：$F(x_1,x_2,\cdots,x_n)$ 对任一 $x_i$，是单调不减函数
2. 右连续：$F(x_1,x_2,\cdots,x_n)$ 对任一 $x_i$，是右连续函数
3. 有界：$F(x_1,\cdots,x_{i-1},-\infty,x_{i+1},\cdots,x_n)=0,F(+\infty,+\infty,\cdots,+\infty)=1$
4. Jordan 公式：设 $x_i\leq y_i,i=1,2,\cdots,n$，有

$$\begin{align*} & F(y_1,y_2,\cdots,y_n)-\sum_{i=1}^n F(y_1,y_2,\cdots,y_{i-1},x_i,y_{i+1},\cdots,y_n) \\ +& \sum_{1\leq i< j \leq n}F(y_1,y_2,\cdots,y_{i-1},x_i,y_{i+1},\cdots,y_{j-1},x_j,y_{j+1},y_n) \\ -& +(-1)^n F(x_1,x_2,\cdots,x_n) \geq 0 \end{align*}$$

边缘分布函数

联合分布描述的是多个随机变量混合纠缠在一起时的分布，将某一个或某几个随机变量分离出来，求他们的概率分布，即有了边缘分布函数

对于 $n$ 维随机向量 $\mathbf{X}=(X_1,X_2,\cdots,X_n)$， $\forall \mathbf{x} = (x_1,x_2,\cdots,x_n)\in\mathbb{R}^n$，保留 $k\:(1\leq k<n)$ 个 $x_i$，比如 $x_1,x_2,\cdots,x_k$，并令其他的 $x_i$ 均趋于 $+\infty$，即：

$$\lim_{ \begin{align*} x_{k+1} & \rightarrow +\infty \\ &\cdots \\ x_{n} & \rightarrow +\infty \end{align*} } F(x_1,\cdots,x_k,x_{k+1},\cdots,x_n) =F(x_1,\cdots,x_k,+\infty,\cdots,+\infty)$$

此时称 $F(x_1,\cdots,x_k)$ 为 $n$ 维随机向量 $\mathbf{X}$ 关于 $(X_1,X_2,\cdots,X_k)$ 的边缘分布函数

特别地，当 $k=1$ 时，即可得到 $n$ 维随机向量 $\mathbf{X}$ 的 $n$ 个边缘分布函数：

$$F_{X_1}(x_1),F_{X_2}(x_2),\cdots,F_{X_n}(x_n)$$

【随机向量分量独立性】

有了边缘分布的概念后，即可得到关于随机向量各分量间独立性的定理，其描述的是随机向量内部的关系

设 $n$ 维随机向量 $\mathbf{X}=(X_1,X_2,\cdots,X_n)$， 其联合分布函数为 $F(x_1,x_2,\cdots,x_n)$，边缘分布函数为 $F_{X_1}(x_1),F_{X_2}(x_2),\cdots,F_{X_n}(x_n)$

若对 $\forall \mathbf{x} = (x_1,x_2,\cdots,x_n)\in\mathbb{R}^n$，有：

$$F(x_1,x_2,\cdots,x_n)=F_{X_1}(x_1)F_{X_2}(x_2)\cdots F_{X_n}(x_n)$$

则称随机变量 $X_1,X_2,\cdots,X_n$ 相互独立

【$n$ 维离散型随机向量】

联合分布函数

若 $n$ 维随机向量 $\mathbf{X}=(X_1,X_2,\cdots,X_n)$ 的可能取值为有限对或可列无限对，则 $X$ 称为$n$ 维离散型随机向量

此时用联合分布律来描述随机变量的概率分布，即：

$$P(X_1=x_1,X_2=x_2,\cdots,X_n=x_n)$$

此时 $X$ 的联合分布函数为：

$$F(u_1,u_2,\cdots,u_n)=\sum_{x_1\leq u_1}\sum_{x_2\leq u_2}\cdots\sum_{x_n\leq u_n}P(X_1=x_1,X_2=x_2,\cdots,X_n=x_n)$$

边缘分布函数

对于 $n$ 维随机向量 $\mathbf{X}=(X_1,X_2,\cdots,X_n)$， $\forall \mathbf{x} = (x_1,x_2,\cdots,x_n)\in\mathbb{R}^n$，保留 $k\:(1\leq k<n)$ 个 $x_i$，比如 $x_1,x_2,\cdots,x_k$，并令其他的 $x_i$ 均趋于 $+\infty$，即可得到 $k$ 维边缘分布函数 $F(x_1,x_2,\cdots,x_k,+\infty,\cdots,+\infty)$

特别地，当 $k=1$ 时，即可得到 $n$ 维随机向量 $\mathbf{X}$ 的 $n$ 个边缘分布函数：

$$F_{X_1}(x_1),F_{X_2}(x_2),\cdots,F_{X_n}(x_n)$$

分量独立性

对于 $n$ 维离散型随机向量 $\mathbf{X}=(X_1,X_2,\cdots,X_n)$，$X_1,X_2,\cdots,X_n$ 相互独立的充要条件为：

$$P(X_1=x_1,X_2=x_2,\cdots,X_n=x_n)=P(X_1=x_1)P(X_2=x_2)\cdots P(X_n=x_n)$$

【$n$ 维连续型随机向量】

联合概率密度函数

若随机向量 $\mathbf{X}$ 的可能取值为不可列对，则 $\mathbf{X}$ 称为 $n$ 维连续型随机变量

若 $\mathbb{R}^n$ 上的非负可积函数 $f(x_1,x_2,\cdots,x_n)$，对 $\forall D=\{(x_1,\cdots,x_n)|a_i<x_i\leq b_i,a_i,b_i\in \mathbb{R}\}$，都有：

$$P(\mathbf{X}\in D)=\int\cdots\int_Df(x_1,\cdots,x_n)dx_1\cdots dx_n$$

则称 $f(x_1,x_2,\cdots,x_n)$ 为 $n$ 维连续随机向量 $\mathbf{X}$ 的联合概率密度函数

边缘概率密度函数

对于 $n$ 维连续型随机变量 $\mathbf{X}$，其联合概率密度函数为 $f(x_1,x_2,\cdots,x_n)$

对 $\forall 1\leq k < n$，设 $D_k=\{(x_1,\cdots,x_k)|a_i<x_i\leq b_i,a_i,b_i\in \mathbb{R},1\leq i\leq k\}$，则有：

$$P((X_1,\cdots,X_k)\in D_k) = \int\cdots\int_{D_k \times \mathbb{R}^{n-k}}f(x_1,\cdots,x_n)dx_1\cdots dx_n$$

根据 Fubini 定理：对于 $D\subset \mathbb{R}^n$ 上的绝对可积函数 $f$，其在 $D$ 上的任意 $n$ 重积分可以任意交换 $n$ 次积分的顺序

故原式为：

$$\int\cdots \int_{D_k} \Big( \int\cdots \int_{\mathbb{R}^{n-k}} f(x_1,\cdots,x_k,x_{k+1},\cdots,x_n) dx_{k+1}\cdots dx_n \Big) dx_1\cdots dx_k$$

根据联合概率密度函数的定义，记：

$$f(x_1,\cdots,x_k)=\int\cdots \int_{\mathbb{R}^{n-k}} f(x_1,\cdots,x_k,x_{k+1},\cdots,x_n) dx_{k+1}\cdots dx_n$$

此时 $f(x_1,\cdots,x_k)$ 为 $n$ 维随机向量 $\mathbf{X}$ 关于 $(X_1,X_2,\cdots,X_k)$ 的边缘概率密度函数

特别地，当 $k=1$ 时，即可得到 $n$ 维连续型随机向量 $\mathbf{X}$ 的 $n$ 个边缘概率密度函数：

$$f_{X_1}(x_1),f_{X_2}(x_2),\cdots,f_{X_n}(x_n)$$

分量独立性

对于 $n$ 维连续型随机向量 $\mathbf{X}=(X_1,X_2,\cdots,X_n)$，$X_1,X_2,\cdots,X_n$ 相互独立的充要条件为：

$$f(x_1,x_2,\cdots,x_n)=f_{X_1}(x_1)f_{X_2}(x_2)\cdots f_{X_n}(x_n)$$