【可逆马尔可夫链】

设马尔可夫链 $\{X_n,n\geq0\}$ 的转移概率矩阵为 $P$，若有状态分布 $\pi=(\pi_1,\pi_1,\cdots)^T$，对任意状态 $i,j\in S$，对任意一个时刻 $t$ 满足：

则称该马尔可夫链为可逆马尔可夫链（Reversible Markov Chain）

【状态的基本属性】

首达概率与迟早概率

设马尔可夫链 $\{X_n,n\geq0\}$，当 $i,j\in S$，称：

【齐次马尔可夫链】

设 $\{X(n),n\geq 0\}$ 为马尔可夫链，若其一步转移概率 $p_{ij}(n)$ 恒与起始时刻 $n$ 无关，则称 $\{X(n),n\geq 0\}$ 为时间齐次的马尔可夫链（Time Homogeneous Markov Chain），简称齐次马尔可夫链

对于齐次马尔可夫链 $\{X(n),n\geq 0\}$，其一步转移概率简记为 $p_{ij}$，其 $k$ 步转移概率 $p_{ij}^{(k)}(n)$ 也恒与起始时刻 $n$ 无关，可记为 $p_{ij}^{(k)}$，因此在进行具体讨论时，总可假设时间起点为零，即

【转移概率与转移概率矩阵】

转移概率

设 $\{X(n),n\geq 0\}$ 为离散时间马尔可夫链 DTMC，当 $X(t)$ 的状态空间 $S$ 为离散状态空间时

【马尔可夫性】

设 $\{X(t),t\in T\}$ 是一随机过程，当 $\{X(t),t\in T\}$ 在 $t_0$ 时刻所处的状态已知时，若其在 $t>t_0$ 时刻所处状态的条件分布与其在 $t_0$ 之前所处的状态无关，则称 $\{X(t),t\in T\}$ 具有马尔可夫性

简单来说，马尔可夫性是指：在已知过程现在条件下，其将来的条件分布只依赖于现在，不依赖于过去

【复平稳过程的谱分解】

设 $\{X(t),-\infty<t<+\infty\}$ 是零均值均方连续的平稳过程，其谱函数为 $F_X(\omega)$，则

称为 $\{X(t),-\infty<t<+\infty\}$ 的随机谱函数，其中

【相关函数的谱密度】

平稳过程的相关函数可视为一表示位移的时间函数，在时域上描述了随机过程的统计特征，因此，对于平稳过程的相关函数，利用 Fourier 分析的方法进行研究，便可在频域上描述平稳过程的统计特征，进而得到平稳过程谱密度这一概念

设 $\{X(t),-\infty<t<+\infty\}$ 是均方连续的平稳过程，则其相关函数

【时间平均与时间相关函数】

设 $\{X(t),-\infty<t<+\infty\}$ 是平稳过程，若下列均方极限存在

则称该均方极限是平稳过程在 $(-\infty,+\infty)$ 上的时间平均

【严平稳过程】

设 $\{X(t),t\in T\}$ 是一随机过程，若对任意的 $n\geq 1$ 和任意的 $t_1,t_2,\cdots,t_n\in T$ 以及使 $t_1+\tau,t_2+\tau,\cdots,t_n+\tau\in T$ 的任意实数 $\tau$，$n$ 维随机向量 $(X(t_1),X(t_2),\cdots,X(t_n))$ 和 $(X(t_1+\tau),X(t_2+\tau),\cdots,X(t_n+\tau))$ 有相同的联合分布函数，即

则称 $\{X(t),t\in T\}$ 是严平稳过程，或称 $\{X(t),t\in T\}$ 具严平稳性

【矩阵直积】

定义

设 $A=[a_{ij}]\in C^{m\times n},B\in C^{p\times q}$，则对于矩阵 $A$ 与矩阵 $B$，称