马尔可夫链的状态空间分解

【等价类】

对于马尔可夫链 $\{X_n,n\geq0\}$，根据互通这一等价关系，可以将状态空间 $S$ 划分为有限个或可列无限个互不相交的子集 $S_1,S_2,\cdots$ 的并，即

$$S=\bigcup_{n}S_n,\quad S_m\bigcap S_n=\varnothing,\quad m\neq n,n=1,2,\cdots$$

显然，同一子集 $S_n$ 中的所有状态都互通，不同子集 $S_m$ 和 $S_n$ 中的状态不互通

称 $S_n$ 是一个等价类，包含 $i$ 的等价类 $S_n$ 常记为 $S(i)$，于是有

$$\begin{align*} S(i)&= \{i\} \bigcup \{j|j\leftrightarrow i\} \\ S(i)&= S(j) \Leftrightarrow i\leftrightarrow j\\ S(i)&=S_n \Leftrightarrow i\in S_n \end{align*}$$

【闭集与吸收状态】

对于马尔可夫链 $\{X_n,n\geq0\}$，设 $C$ 是 $S$ 的子集，若对任意 $i\in C,j\notin C,n\geq 0$，有

$$p_{ij}^{(n)}=0$$

则称 $C$ 是一个闭集，而对 $i\in S$，若状态子集 $\{i\}$ 是闭集，那么状态 $i$ 被称为吸收状态

那么，$i\in S$ 是吸收状态的充要条件是

$$p_{ii}=1$$

---

对于 $S$ 的子集 $C$，其是闭集的充要条件是下列三个等价条件之一成立

$$\begin{array}{c} p_{ij}=0，\forall i\in C,j\notin j \\ \sum\limits_{j\in C}p_{ij}=1,\forall i\in C \\ \sum\limits_{j\in C}p_{ij}^{(n)}=1,\forall i\in C,n\geq 0 \end{array}$$

【可约与不可约】

设 $C$ 是一个闭集，若 $C$ 中不再包含任何非空真闭子集，则称 $C$ 是不可约闭集，否则，称 $C$ 是可约闭集

根据闭集的定义，显然对于马尔可夫链 $\{X_n,n\geq0\}$，状态空间 $S$ 是一个闭集，那么如果 $S$ 是不可约的，就称该马尔可夫链不可约，否则，称其可约

于是，可以给出如下定理：

• 若等价类 $S(i)$ 为闭集，那么 $S(i)$ 是不可约的
• 若 $C$ 是闭集，当且仅当 $C$ 中的任何两个状态都互通时，$C$ 是不可约的
• 马尔可夫链不可约的充要条件是：其任意两个状态都互通

---

在实际应用中，常遇到有限状态的马尔可夫链，关于有限马尔可夫链有如下定理：

• 有限马尔可夫链的所有非常返状态的集合 $D$ 不可能是闭集
• 有限马尔可夫链不可能存在零常返状态
• 不可约的有限马尔可夫链的所有状态都是正常返状态

也就是说，无论有限马尔可夫链从什么状态出发，迟早要进入常返状态的闭集中，即在有限个非常返状态中的转移步数是有限的，从而不可约的有限马尔可夫链的所有状态都是正常返状态

【状态空间分解定理】

对于马尔可夫链 $\{X_n,n\geq0\}$，其状态空间 $S$ 可唯一分解为有限个或可列无限个互不相交的状态子集 $D,C_1,C_2,\cdots$ 的并，即

$$S=D\cup C_1\cup C_2 \cup \cdots$$

其中，$D$ 是所有非常返状态构成的状态子集，$C_n$ 是由常返状态构成的不可约闭集，每个状态子集中的状态有着相同的状态类型，且对任意 $i,j\in S$，有 $f_{ij}=1$

---

例如：设状态空间 $S=\{0,1,2\}$ 的马尔可夫链的一步转移概率为

$$P=\begin{bmatrix} \frac{1}{2} & \frac{1}{2} & 0 \\ \frac{1}{2} & \frac{1}{4} & \frac{1}{4} \\ 0 & \frac{1}{3} & \frac{2}{3} \\ \end{bmatrix}$$

首先根据一步转移概率画出状态转移图

由于 $p_{00}=\frac{1}{2}$，根据周期的定义可知，状态 $0$ 是非周期状态，而从状态转移图可以看出，三个状态是互通的，故状态 $1$ 和状态 $2$ 也是非周期状态

根据状态空间分解定理可知，该马尔可夫链是不可约的，且三个状态都是正常返状态

进而三个状态都是遍历状态