特征函数、矩母函数与母函数

Reference

• 概率论与随机过程8——特征函数，矩母函数与母函数
• 概率论学习笔记（五）
• 概率论学习笔记（六）
• 公式墙(1)——Laplace Transform(拉普拉斯变换)
• 拉普拉斯变换简介
• 从另一个角度看拉普拉斯变换

【复随机变量】

设 $(\Omega,\mathscr{F},P)$ 为一概率空间，$X,Y$ 为 $\mathscr{F}$ 的实值随机变量，则称

$$Z\triangleq X+jY,\quad j=\sqrt{-1}$$

为复随机变量

复随机变量 $Z$ 是取复数值的随机变量，其数学期望被定义为

$$EZ\triangleq EX+jEY$$

【随机变量的特征函数】

特征函数

设 $X$ 为实值随机变量，其分布函数为 $F(x)$，则称

$$\varphi(t)\triangleq E[e^{jtX}]=\int_{-\infty}^{+\infty}e^{jtx}dF(x),\quad -\infty<t<+\infty$$

为随机变量 $X$ 的特征函数，其中，$e^{jtX}$ 为复随机变量

可以发现，随机变量 $X$ 的特征函数，为复随机变量 $e^{jtX}$ 的数学期望，那么根据欧拉公式：$e^{jtx}=\cos tx+j\sin tx$，$X$ 的特征函数也可表示为

$$\varphi(t)= E[\cos tX]+jE[\sin tX],\quad -\infty<t<+\infty$$

当 $X$ 为离散型随机变量时，其分布律为 $P(X=x_i)=p_i$，则

$$\varphi(t) = \sum_i e^{jtx_i} p_i$$

当 $X$ 为连续型随机变量时，其概率密度函数为 $f(x)$，则

$$\varphi(t) = \int_{-\infty}^{+\infty}e^{jtx}f(x)dx$$

反演公式

在 $\varphi(t)$ 绝对可积的情况下，即 $\int_{-\infty}^{+\infty}|\varphi(t)|dt<+\infty$ 时，有：

$$f(x)=\frac{1}{2\pi}\int_{-\infty}^{+\infty}e^{-jtx}\varphi(t)dt$$

上式即为特征函数的反演公式，其能够通过随机变量 $X$ 的特征函数 $\varphi(t)$ 来唯一的确定相应的概率密度函数 $f(x)$

一般来说，随机变量 $X$ 的概率分布常用分布函数 $F(x)$ 给出，那么由特征函数 $\varphi(t)$ 来确定对应的分布函数 $F(x)$ 可使用如下的定理

设随机变量 $X$ 的分布函数为 $F(x)$，特征函数为 $\varphi(t)$，对于 $F(x)$ 的连续点 $x_1$ 和 $x_2$，有

$$F(x_2)-F(x_1)=\lim_{T\rightarrow +\infty} \frac{1}{2\pi} \int_{-T}^T \frac{e^{-jtx_1}-e^{-jtx_2}}{jt} \varphi(t) dt$$

上式亦为特征函数的反演公式，其能够通过随机变量 $X$ 的特征函数 $\varphi(t)$ 来唯一的确定相应的分布函数 $F(x)$

性质

随机变量特征函数具有如下七条性质

1）$|\varphi(t)|\leq \varphi(0)=1$

2）$\overline{\varphi(t)}=\varphi(-t)$

3）设随机变量 $Y=aX+b$，其中 $a,b$ 是常数，则：

$$\varphi_Y(t)=e^{jbt}\varphi_X(at)$$

其中，$\varphi_X(t),\varphi_Y(t)$ 分别为随机变量 $X,Y$ 的特征函数

4）$\varphi(t)$ 在 $(-\infty,+\infty)$ 上一致连续

5）设随机变量 $X,Y$ 相互独立，又 $Z=X+Y$，则：

$$\varphi_Z(t)=\varphi_X(t)\varphi_Y(t)$$

6）$\varphi(t)$ 是非负定的，即对任意正整数 $n$，任意复数 $z_1,z_2,\cdots,z_n$ 和任意实数 $t_1,t_2,\cdots,t_n$，有：

$$\sum_{l=1}^n\sum_{k=1}^n\varphi(t_l-t_k)\overline{z_k}z_l \geq 0$$

7）设随机变量 $X$ 的 $n$ 阶原点矩存在，则 $\varphi(t)$ 存在 $k(k\leq n)$ 阶导数，且：

$$\varphi^{(k)}(0)=j^kEX^k$$

该性质提供了一种利用导数求随机变量 $X$ 各阶矩的方法，即：

$$EX^k = \frac{\varphi^{(k)}(0)}{j^k}$$

特别地，有 $EX=\frac{\varphi’(0)}{j},EX^2=\frac{\varphi’’(0)}{j^2}$，进而可得方差为

$$DX=\frac{\varphi''(0)}{j^2}-(\frac{\varphi'(0)}{j})^2=\frac{1}{j^2}\big[\varphi''(0)-(\varphi'(0))^2 \big]$$

【矩母函数】

Laplace 变换与反变换

特征函数要求随机变量 $X$ 的取值范围为 $(-\infty,+\infty)$，而对于只取非负值的随机变量来说，使用拉普拉斯变换（Laplace Transform） 最为方便

设 $X$ 为非负值随机变量，其分布函数为 $F(x)$，则称

$$\tilde{F}(s)\triangleq E[e^{-sX}]=\int_0^{+\infty} e^{-sx} dF(x)$$

为 $F(x)$ 的 Laplace 变换，也称为随机变量 $X$ 的矩母函数，其中 $s=a+jb,a>0$

对于连续型非负值随机变量 $X$ 来说，若概率密度函数为 $f(x)$，则称

$$\tilde{F}(s)=\int_0^{+\infty} e^{-sx} f(x)dx$$

为 $f(x)$ 的 Laplace 变换，记为 $\tilde{F}(s)=\mathscr{L}(f(x))$

---

若 $\tilde{F}(s)=\mathscr{L}(f(x))$ 在半平面 $Re(s)>0$ 上存在，则称

$$f(x)=\frac{1}{2\pi}\int_{-\infty}^{+\infty} e^{sx}\tilde{F}(s)ds,\quad Re(s)>0$$

为 $\tilde{F}(s)$ 的 Laplace 反变换

性质

Laplace 变换具有如下性质：

1）设 $\tilde{F}(s)=\mathscr{L}(f(x))$，则 $\mathscr{L}(f’(x))=s\tilde{F}(s)-f(0)$

2）设 $\tilde{F}(s)=\mathscr{L}(f(x))$，则 $\mathscr{L}(\int_0^xf(t)dt)=\frac{\tilde{F}(s)}{s}$

3）设 $\tilde{F}(s)=\mathscr{L}(f(x))$，则 $\mathscr{L}(e^{-ax}f(x))=\tilde{F}(s+a)$

4）设 $\tilde{F}(s)=\mathscr{L}(f(x))$，则 $\mathscr{L}(f(x-a)h(x-a))=e^{-as}\tilde{F}(s)$，其中

$$h(x)= \left\{\begin{align*} 0,&&x<0 \\ 1,&&x>0 \end{align*}\right.$$

5）设 $\tilde{F}(s)=\mathscr{L}(f(x)),\tilde{G}(s)=\mathscr{L}(g(x))$，则 $\mathscr{L}(f(x)*g(x))=\tilde{F}(s)\tilde{G}(s)$，其中

$$f(x)*g(x)=\int_0^xf(t)g(x-t)dt=\int_0^xf(x-t)g(t)dt$$

【母函数】

母函数

Laplace 变换要求随机变量 $X$ 取非负值，而在研究一些只取非负整数的随机变量时，由于引入复数系运算会使问题变得复杂麻烦，为避免其复杂化，引入了母函数的概念，它可以通过使用幂级数的方法从而避免出现复运算

设随机变量 $X$ 只取非负整数，其分布律为 $P(X=k)=p_k$，则称

$$G(s)\triangleq E[s^X]=\sum_{k} s^kp_k,\quad -1\leq s \leq 1$$

为随机变量 $X$ 的母函数

特别地，取 $s=e^{jt}$ 时，$G(s)=\varphi(t)$，故母函数的本质即为特征函数

反过来，若随机变量 $X$ 的母函数为 $G(s)=\sum\limits_{k} s^kp_k$，则其分布律为

$$p_k=\frac{1}{k!}G^{(k)}(0)$$

性质

母函数具有如下性质：

1）随机变量的分布律与母函数一一对应且相互唯一确定

2）$|G(s)|\leq G(1)=1$

3）若随机变量 $X$ 的母函数为 $G_X(s)$，则 $Y=aX+b$ 的母函数为

$$G_Y(s)=s^bG_X(s^a)$$

其中，$a,b$ 均为非负整数

4）若 $X_1,X_2,\cdots,X_n$ 相互独立，其母函数分别为 $G_{X_1}(s),G_{X_2}(s),\cdots,G_{X_n}(s)$，则 $X=X_1+X_2+\cdots+X_n$ 的母函数为

$$G_X(s)=G_{X_1}(s)G_{X_2}(s)\cdots G_{X_n}(s)$$

特别地，当 $X_1,X_2,\cdots,X_n$ 独立同分布时，有共同的母函数 $G(s)$，则 $X=X_1+X_2+\cdots+X_n$ 的母函数为

$$G_X(s)=[G(s)]^n$$

5）若 $X_1,X_2,\cdots,X_n,\cdots$ 相互独立同分布，有共同的母函数 $G_{1}(s)$，随机变量 $Y$ 的母函数为 $G_2(s)$，且 $Y$ 与 $X_1,X_2,\cdots,X_n,\cdots$ 相互独立，则 $X=X_1+X_2+\cdots+X_Y$ 的母函数为

$$G(s)=G_{2}[G_1(s)]$$

6）设随机变量 $X$ 的 $n$ 阶原点矩存在，则 $G(s)$ 存在 $k(k\leq n)$ 阶导数，且 $X$ 的 $k$ 阶矩可以通过母函数在 $s=1$ 时的各阶导数表示：

$$\begin{align*} EX &= G'(1) \\ EX^2 &= G''(1)+G'(1) \\ EX^3 &= G'''(1) + G''(1)+G'(1)\\ \vdots \end{align*}$$

【随机向量的特征函数】

特征函数

设 $\mathbf{X}=(X_1,\cdots,X_n)$ 是 $n$ 维随机向量，其联合分布函数为 $F(x_1,\cdots,x_n)$，则称

$$\begin{align*} &\varphi(t_1,\cdots,t_n) \triangleq E[e^{jt\mathbf{X}^T}] \\ &=E[\exp({j\sum_{k=1}^nt_kX_k})] \\ &=\int_{-\infty}^{+\infty}\cdots\int_{-\infty}^{+\infty} \exp[j(t_1x_1+\cdots+t_nx_n)]dF(x_1,\cdots,x_n) \end{align*}$$

为随机向量 $\mathbf{X}$ 的特征函数

若 $\mathbf{X}=(X_1,\cdots,X_n)$ 为 $n$ 维离散型随机向量，其联合分布律为 $P(X_1=x_1,\cdots,X_n=x_n)$，则称

$$\varphi(t_1,\cdots,t_n) = \sum_{x_1}\cdots\sum_{x_n}\exp[j(t_1x_1+\cdots+t_nx_n)]P(X_1=x_1,\cdots,X_n=x_n)$$

为 $n$ 维离散型随机向量 $\mathbf{X}$ 的特征函数，其中 $\sum\limits_{x_i}$ 为 $X_i$ 的所有可能取值 $x_i$ 的和

若 $\mathbf{X}=(X_1,\cdots,X_n)$ 为 $n$ 维连续型随机向量，其联合分布律为 $f(x_1,\cdots,x_n)$，则称

$$\varphi(t_1,\cdots,t_n) = \int_{-\infty}^{+\infty}\cdots\int_{-\infty}^{+\infty}\exp[j(t_1x_1+\cdots+t_nx_n)]f(x_1,\cdots,x_n)dx_1\cdots dx_n$$

为 $n$ 维连续型随机向量 $\mathbf{X}$ 的特征函数

性质

与一维随机变量类似，$n$ 维随机向量的特征函数具有如下性质

1）$|\varphi(t_1,t_2,\cdots,t_n)|\leq\varphi(0,0,\cdots,0)=1$

2）$\varphi(t_1,t_2,\cdots,t_n)=\varphi(-t_1,-t_2,\cdots,-t_n)$

3）设 $\varphi(t_1,t_2,\cdots,t_n)$ 是 $n$ 维随机向量 $\mathbf{X}$ 的特征函数，则随机变量 $Y=a_1X_1+a_2X_2+\cdots+a_nX_n$ 的特征函数为

$$\varphi_Y(t_1,t_2,\cdots,t_n)=\varphi(a_1t_1,a_2t_2,\cdots,a_nt_n)$$

4）$\varphi(t_1,t_2,\cdots,t_n)$ 在 $\mathbb{R}^n$ 上一致连续

5）设 $\varphi(t_1,t_2,\cdots,t_n)$ 是 $n$ 维随机向量 $\mathbf{X}$ 的特征函数，$\varphi_{X_i}(t)$ 是随机变量 $X_i$ 的特征函数，则 $X_1,X_2,\cdots,X_n$ 相互独立的充要条件为

$$\varphi(t_1,t_2,\cdots,t_n)=\varphi_{X_1}(t_1)\varphi_{X_2}(t_2)\cdots\varphi_{X_n}(t_n)$$

6）设 $\varphi(t_1,t_2,\cdots,t_n)$ 是 $n$ 维随机向量 $\mathbf{X}$ 的特征函数，则 $k(1\leq k\leq n)$ 维随机向量 $(X_1,X_2，\cdots,X_k)$ 的特征函数为

$$\varphi_{X_1,X_2,\cdots,X_k}(t_1,t_2,\cdots,t_k)=\varphi(t_1,t_2,\cdots,t_k,0,\cdots,0)$$

7）设 $\varphi(t_1,t_2,\cdots,t_n)$ 是 $n$ 维随机向量 $\mathbf{X}$ 的特征函数，若 $E[X_1^{k_1}X_2^{k_2}\cdots X_n^{k_n}]$ 存在，则

$$E[X_1^{k_1}X_2^{k_2}\cdots X_n^{k_n}]=j^{-\sum\limits_{i=1}^nk_i}\Big[ \frac{\partial^{k_1+k_2+\cdots+k_n}\varphi(t_1,t_2,\cdots,t_n)}{\partial t_1^{k_1} \partial t_2^{k_2} \cdots \partial t_n^{k_n}} \Big]_{t_1=t_2=\cdots=t_n=0}$$