Reference

概率论学习笔记（四）

可测函数与积分、Stieltjes积分

在Stieltjes观点下看“级数”与“积分”

初识斯蒂尔杰斯积分（Stieltjes integral）

【引入】

Stieltjes 积分

设 $f(x),g(x)$ 是定义在 $[a,b]$ 上的有界函数，$a=x_0<x_1<\cdots<x_n=b$ 为区间 $[a,b]$ 的任一划分，取 $\Delta x_k=x_k-x_{k-1}$，$\Delta=\max\limits_{1\leq k\leq n} \Delta_k$，在每一子区间 $[x_{k-1},x_k]$ 上任取一点 $\xi_k$ 作和式

$S = \sum_{k=1}^n f(\xi_k)[g(x_k)-g(x_{k-1})]$

若极限

$\lim_{\Delta\rightarrow0} S = \lim_{\Delta\rightarrow0} \sum_{k=1}^n f(\xi_k)[g(x_k)-g(x_{k-1})]$

存在，且与 $[a,b]$ 的划分方法和 $\xi_k$ 的取法无关，则称该极限为函数 $f(x)$ 对函数 $g(x)$ 在区间 $[a,b]$ 的 Stieltjes 积分，简称 S 积分，也称 $f(x)$ 对 $g(x)$ 在 $[a,b]$ 上可积，记为 $\int_a^bf(x)dg(x)$

进一步，若 $f(x),g(x)$ 是定义在 $(-\infty,+\infty)$ 上的函数，在任意有限区间 $[a,b]$ 上，$f(x)$ 对 $g(x)$ 在 $[a,b]$ 上可积，且极限

$\lim_{\begin{align*}a\rightarrow -\infty\\b\rightarrow+\infty\end{align*}} \int_b^a f(x) dg(x)$

存在，则称该极限为 $f(x)$ 对 $g(x)$ 在无穷区间 $(-\infty,+\infty)$ 上的 Stieltjes 积分，记为 $\int_{-\infty}^{+\infty}f(x)dg(x)$

S 积分的转化

在 S 积分中，当 $g(x)$ 取一些特殊形式时，其可化为级数或黎曼积分

当 $g(x)=x$ 时，S 积分即黎曼积分，有

$\int_{-\infty}^{+\infty} f(x) dg(x)=\int_{-\infty}^{+\infty} f(x) dx$

当 $g(x)$ 为可微函数，且其导数为 $g’(x)$ 时，有

$\int_{-\infty}^{+\infty} f(x) dg(x)=\int_{-\infty}^{+\infty} f(x) g'(x)dx$

当 $g(x)$ 为阶梯函数，且其跳跃点为有限个或无穷可列个时，积分问题转为判别级数是否收敛问题，有

$\int_{-\infty}^{+\infty} f(x) dg(x)=\sum_kf(x_k)\big[g(x_k+0)-g(x_k-0)\big]$

Fourier-Stieltjes 积分

当 $f(x)=e^{itx}$ 时，根据欧拉公式，有：

$e^{itx}=\cos tx+i\sin tx$

若积分

$\int_{-\infty}^{+\infty} e^{itx} dg(x)=\int_{-\infty}^{+\infty}\cos tx dg(x) + i\int_{-\infty}^{+\infty}\sin tx dg(x)$

存在，则称该积分为 $g(x)$ 的 Fourier-Stieltjes 积分，简称 F-S 积分

【数学期望】

随机变量

设 $X$ 为一随机变量，$F(x)$ 为其分布函数，若 $\int_{-\infty}^{+\infty} |x| dF(x) < +\infty$，则称

$EX\triangleq \int_{-\infty}^{+\infty} x dF(x)$

为随机变量 $X$ 的数学期望，描述了 $X$ 平均取值状况特征

当 $X$ 为离散型随机变量时，其分布律为 $P(X=x_i)=p_i$，则：

$EX=\sum_{i}x_ip_i$

当 $X$ 为连续型随机变量时，其概率密度函数为 $f(x)$，则：

$EX=\int_{-\infty}^{+\infty}xf(x) dx$

随机向量

若 $y=g(x)$ 为一连续函数，$\int_{-\infty}^{+\infty} g(x) dF(x)$ 存在，则

$EY=E[g(X)]=\int_{-\infty}^{+\infty} g(x) dF(x)$

推广到 $n$ 维随机向量，设 $\mathbf{X}=(X_1,X_2,\cdots,X_n)$，其联合分布函数为 $F(x_1,x_2,\cdots,x_n)$，$g(x_1,x_2,\cdots,x_n)$ 是连续函数，若 $\int_{-\infty}^{+\infty}\cdots\int_{-\infty}^{+\infty} g(x_1,\cdots,x_n) dF(x_1,\cdots,x_n)$ 存在，则

$E[g(X_1,\cdots,X_n)]=\int_{-\infty}^{+\infty}\cdots\int_{-\infty}^{+\infty} g(x_1,\cdots,x_n) dF(x_1,\cdots,x_n)$

性质

随机变量的数学期望具有如下性质：

设 $a,b$ 为任意常数，则 $E(aX+bY)=aEX+bEY$
若 $X,Y$ 相互独立，则 $EXY=EXEY$
Schwarz 不等式：设 $E|X|^2<+\infty,E|Y|^2<+\infty$，则 $(EXY)^2\leq EX^2EY^2$

【方差】

方差

设 $X$ 为一随机变量，$F(x)$ 为其分布函数， $E|X|^2<+\infty$，则称

$DX\triangleq E(X-EX)^2=\int_{-\infty}^{+\infty}(x-EX)^2 dF(x)$

为随机变量 $X$ 的方差，其描述了 $X$ 与其期望值偏离程度

当 $X$ 为离散型随机变量时，其分布律为 $P(X=x_i)=p_i$，则：

$DX=\sum_{i}(x_i-EX)^2p_i$

若 $X$ 为连续型随机变量时，其概率密度函数为 $f(x)$，则：

$DX=\int_{-\infty}^{+\infty}(x-EX)^2f(x) dx$

性质

随机变量的方差具有如下性质：

设 $c$ 为任意常数，则 $D(c)=0$
设 $a,b$ 为任意常数，则 $D(aX+b)=a^2DX$
$D(X\pm Y)=DX+DY\pm 2Cov(X,Y)$
若 $X,Y$ 相互独立，则 $D(aX+bY)=a^2DX+b^2DY$
$DX=EX^2-(EX)^2$

【协方差】

协方差

设 $X,Y$ 为随机变量，$F(x,y)$ 为联合分布函数， $E|X|^2<+\infty,E|X|^2<+\infty$，则称

$cov(X,Y)\triangleq E[(X-EX)(Y-EY)]=\int_{-\infty}^{+\infty}\int_{-\infty}^{+\infty}(x-EX)(y-EY) dF(x,y)$

为随机变量 $X,Y$ 的协方差，其描述了 $X,Y$ 间偏差的关联程度

当 $(X,Y)$ 为离散型随机变量时，其联合分布律为 $P(X=x_i,Y=y_j)=p_{ij}$，则：

$cov(X,Y)=\sum_{i}\sum_{j}(x_i-EX)(y_j-EY)p_{ij}$

若 $(X,Y)$ 为连续型随机变量时，其联合概率密度函数为 $f(x,y)$，则：

$DX=\int_{-\infty}^{+\infty}\int_{-\infty}^{+\infty}(x-EX)(y-EY)f(x,y) dxdy$

性质

随机变量 $X,Y$ 的协方差具有如下性质：

$Cov(X,Y)=Cov(Y,X)$
$Cov(X,X)=DX$
设 $c$ 为任意常数，则 $Cov(X,c)=Cov(c,Y)=0$
设 $a,b$ 为任意常数，则 $Cov(aX+b,Y)=aCov(X,Y)$
$Cov(X_1+X_2,Y)=Cov(X_1,Y)+Cov(X_2,Y)$

随机变量 $X,Y$ 的相关系数具有如下性质：

$\rho_{XX}=1$
$|\rho_{XY}|\leq 1$
若 $Y=aX+b$，则 $a>0$ 时，$\rho_{XY}=1$，$a<0$ 时，$\rho_{XY}=-1$

【均值向量与协方差矩阵】

设 $\mathbf{X}=(X_1,X_2,\cdots,X_n)$ 为一 $n$ 维随机向量，称

$E\mathbf{X}\triangleq(EX_1,EX_2,\cdots,EX_n)$

为 $n$ 维随机向量 $\mathbf{X}$ 的均值向量，称

$\mathbf{B} \triangleq \begin{bmatrix} Cov(X_1,X_1) & Cov(X_1,X_2) & \cdots & Cov(X_1,X_n) \\ Cov(X_2,X_1) & Cov(X_2,X_2) & \cdots & Cov(X_2,X_n) \\ \vdots & \vdots & \ddots & \vdots \\ Cov(X_n,X_1) & Cov(X_n,X_2) & \cdots & Cov(X_n,X_n) \\ \end{bmatrix}$

为 $n$ 维随机向量 $\mathbf{X}$ 的协方差矩阵，其是一个非负定矩阵，且主对角线元素分别为 $X_1,X_2,\cdots,X_n$ 的方差

Alex_McAvoy

随机变量的数字特征