条件数学期望

Reference

• 概率论学习笔记（四）
• 概率论 —— 条件数学期望
• 【概率论】4-7:条件期望(Conditional Expectation)

【条件分布律】

设离散型二维随机变量 $(X,Y)$ 的联合分布律为 $P(X=x_i,Y=y_j)=p_{ij}$，若 $P(Y=y_j)=p_{\cdot j}>0$，则称

$$p_{i|j} = P(X=x_i|Y=y_j)=\frac{p_{ij}}{p_{\cdot j}}$$

为 $(X,Y)$ 关于 $X$ 在 $Y=y_j$ 条件下的条件分布律，称

$$F_{X|Y}(x|y)=P(X\leq x| Y=y_j) =\sum_{x_i\leq x} \frac{p_{ij}}{p_{\cdot j}},\quad -\infty<x<+\infty$$

为 $(X,Y)$ 关于 $X$ 在 $Y=y_j$ 条件下的条件分布函数

类似地，可定义关于 $Y$ 在 $X=x_i$ 条件下的条件分布律和条件分布函数

$$\begin{align*} p_{j|i} &= \frac{p_{ij}}{p_{i\cdot}} \\ F_{Y|X}(y|x) &= \sum\limits_{y_j\leq y} \frac{p_{ij}}{p_{i\cdot}} \end{align*}$$

【条件概率密度函数】

对于连续型二维随机变量 $(X,Y)$，当给定 $y$ 时，设对于任意固定正数 $\varepsilon$，$P(y-\varepsilon0$，若对于 $\forall x$，极限

$$\lim_{\varepsilon\rightarrow 0^{+}} P(X\leq x|y-\varepsilon <Y \leq y+\varepsilon) = \lim_{\varepsilon\rightarrow 0^{+}} \frac{P(X\leq x,y-\varepsilon <Y \leq y+\varepsilon)}{P(y-\varepsilon <Y \leq y+\varepsilon)}$$

存在，则称该极限为 $(X,Y)$ 关于 $X$ 在条件 $Y=y$ 下的条件分布函数，记为 $P(X\leq x|Y=y)$ 或 $F_{X|Y}(x|y)$

进一步，若 $(X,Y)$ 的联合分布函数为 $F(x,y)$，联合概率密度函数为 $f(x,y)$，若在点 $(x,y)$ 处 $f(x,y)$ 连续，边缘密度函数 $f_Y(y)>0$ 且连续，则有：

$$P(X\leq x|Y=y)=\frac{\partial F(x,y) /\partial y}{dF_Y(y)/dy}$$

即

$$F_{X|Y}(x|y)=\frac{\int_{-\infty}^x f(u,y)du}{f_Y(y)}=\int_{-\infty}^x \frac{f(u,y)}{f_Y(y)} du$$

因此，$(X,Y)$ 关于 $X$ 在条件 $Y=y$ 下的条件概率密度函数为

$$f_{X|Y}(x|y)=\frac{f(x,y)}{f_Y(y)}$$

类似地，可定义关于 $Y$ 在条件 $X=x$ 下的条件分布函数和条件概率密度函数

$$\begin{align*} F_{Y|X}(y|x) &= \lim_{\varepsilon\rightarrow 0^{+}} \frac{P(Y\leq y,x-\varepsilon <X \leq x+\varepsilon)}{P(x-\varepsilon <X \leq x+\varepsilon)} \\ f_{Y|X}(y|x) &= \frac{f(x,y)}{f_Y(y)} \end{align*}$$

【条件数学期望】

定义

设 $(X,Y)$ 是二维随机变量，$F_{X|Y}(x|y)$ 和 $F_{Y|X}(y|x)$ 分别是 $X$ 和 $Y$ 的条件分布函数，则分别称

$$\begin{align*} E(X|y) &\triangleq \int_{-\infty}^{+\infty} x d F_{X|Y}(x|y) \\ E(Y|x) &\triangleq \int_{-\infty}^{+\infty} y d F_{Y|X}(y|x) \end{align*}$$

为 $X$ 在条件 $Y=y$ 下的条件数学期望和 $Y$ 在条件 $X=x$ 下的条件数学期望

若 $X,Y$ 是离散型随机变量，所有可能的取值分别是 $x_1,x_2,\cdots$ 和 $y_1,y_2,\cdots$，则

$$\begin{align*} E(X|y) &= \sum_{i}x_ip_{i|j}=\sum_{i}P(X=x_i|Y=y_j) \\ E(Y|x) &= \sum_{j}y_jp_{j|i}=\sum_{j}P(Y=y_j|X=x_i) \end{align*}$$

若 $X,Y$ 是连续型随机变量，$f_{X|Y}(x|y)$ 和 $f_{Y|X}(y|x)$ 分别是条件概率密度函数，则

$$\begin{align*} E(X|y) &= \int_{-\infty}^{+\infty} x f_{X|Y}(x|y) d x \\ E(Y|x) &= \int_{-\infty}^{+\infty} y f_{Y|X}(y|x) d y \end{align*}$$

一般化定义

上述定义是针对二维随机变量 $(X,Y)$ 的，对于 $n$ 维随机向量 $\mathbf{X}=(X_1,X_2,\cdots,X_n)$，设 $X_i$ 的条件分布函数为 $F_{X_i|X_1,\cdots,X_{i-1},X_{i+1}\cdots,X_n}(x_1,\cdots,x_{i-1},x_{i+1}\cdots,x_n)$，则称

$$\int_{-\infty}^{+\infty} x dF_{X_i|X_1,\cdots,X_{i-1},X_{i+1}\cdots,X_n}(x_1,\cdots,x_{i-1},x_{i+1}\cdots,x_n)$$

为 $X_i$ 在条件 $X_1=x_1,\cdots,X_{i-1}=x_{i-1},X_{i+1}=x_{i+1},\cdots,X_n=x_n$ 下的条件数学期望，记为 $E(X_i|x_1,\cdots,x_{i-1},x_{i+1}\cdots,x_n)$

而更一般的条件数学期望定义为：设概率空间 $(\Omega,\mathscr{F},P)$，$Y$ 为其上的随机变量，$E|Y|<+\infty$，$\mathscr{Y}$ 为 $\mathscr{F}$ 的子 $\sigma$ 域，若

• $E(Y|\mathscr{Y})\in \mathscr{Y}$
• 对任意 $B\in\mathscr{Y}$，有 $\int_{B}E(Y|\mathscr{Y})dP=\int_BydP$

则称 $E(Y|\mathscr{Y})$ 是 $Y$ 关于 $\mathscr{Y}$ 的条件数学期望

性质

对于条件数学期望，有如下性质：

1）对于 $n$ 个随机变量 $X_1,X_2,\cdots,X_n$，有：

$$E[E(X_i|X_1,\cdots,X_{i-1},X_{i+1},\cdots,X_n)]=EX_i$$

2）若 $X_1,X_2,\cdots,X_n$ 相互独立，则

$$E(X_i|X_1,\cdots,X_{i-1},X_{i+1},\cdots,X_n)=EX_i$$

3）对于 $n$ 维随机向量 $\mathbf{X}=(X_1,X_2,\cdots,X_n)$，设 $g(x_1,\cdots,x_{i-1},x_{i+1},\cdots,x_n)$ 为连续函数，则

$$\begin{align*} & E(X_ig(X_1,\cdots,X_{i-1},X_{i+1},\cdots,X_n)|X_1,\cdots,X_{i-1},X_{i+1},\cdots,X_n) \\ =& g(X_1,\cdots,X_{i-1},X_{i+1},\cdots,X_n)E(X_i|X_1,\cdots,X_{i-1},X_{i+1},\cdots,X_n) \end{align*}$$

4）对于 $n$ 维随机向量 $\mathbf{X}=(X_1,X_2,\cdots,X_n)$，设 $k<n-1$，则

$$E[E(X_n|X_1,\cdots,X_{n-1})|X_1,\cdots,X_k]=E(X_n|X_1,\cdots,X_k)$$