马尔可夫链的状态判定

【Doeblin 公式】

设马尔可夫链 $\{X_n,n\geq0\}$，对任意 $i,j\in S$，有

$$f_{ij}=\lim_{N\rightarrow \infty} \frac{\sum\limits_{n=1}^{N} p_{ij}^{(n)}}{1+\sum\limits_{n=1}^{N}p_{jj}^{(n)}}$$

进一步，可推得

$$f_{ii}=1-\lim_{N\rightarrow \infty} \frac{1}{1+\sum\limits_{n=1}^{N}p_{ii}^{(n)}}$$

那么，有

$$\begin{align*} \sum_{n=1}^{\infty} p_{ii}^{(n)} = +\infty \Leftrightarrow f_{ii}=1 \\ \sum_{n=1}^{\infty} p_{ii}^{(n)} < +\infty \Leftrightarrow f_{ii}<1 \\ \end{align*}$$

【常返与非常返状态的判定】

设马尔可夫链 $\{X_n,n\geq0\}$，$i\in S$ 是常返状态的充要条件是以下三个条件之一成立：

$$\begin{array}{c} f_{ii}=1 \\ \sum\limits_{n=1}^{\infty} p_{ii}^{(n)}=+\infty \\ P(T_i<+\infty|X_0=i)=1 \end{array}$$

$i\in S$ 是非常返状态的充要条件是以下三个条件之一成立：

$$\begin{array}{c} f_{ii}<1\\ \sum\limits_{n=1}^{\infty} p_{ii}^{(n)}<+\infty\\ P(T_i<+\infty|X_0=i)<1\\ \end{array}$$

【正常返状态的判定】

设马尔可夫链 $\{X_n,n\geq0\}$，$i\in S$ 是常返状态，则：

1）$i$ 是零常返状态的充要条件是

$$\lim\limits_{n\rightarrow \infty} p_{ii}^{(n)}=0$$

2）$i$ 是遍历状态的充要条件是

$$\lim\limits_{n\rightarrow \infty} p_{ii}^{(n)}=\frac{1}{\mu_{ii}}>0$$

3）$i$ 是正常返周期状态的充要条件是：

$$\lim\limits_{n\rightarrow \infty} p_{ii}^{(n)} 不存在$$

根据零常返状态的充要条件可知：设 $j\in S$ 是非常返状态或零常返状态，那么对任意 $i\in S$，有

$$\lim\limits_{n\rightarrow \infty} p_{ij}^{(n)}=0$$

【周期与非周期状态的判定】

设马尔可夫链 $\{X_n,n\geq0\}$，对任意 $i,j\in S$，有：

1）若存在正整数 $n$，使得

$$p_{ii}^{(n)}>0,\quad p_{ii}^{(n+1)}>0$$

则 $i$ 为非周期状态

2）若存在正整数 $m$，使得 $m$ 步转移概率矩阵 $P^{(m)}$ 中相应于状态 $j$ 的那列元素全不为零，则 $j$ 为非周期状态

3）设状态 $i$ 的周期为 $d$，则必定存在正整数 $N_0$，使得 $N\geq N_0$ 时，有

$$p_{ii}^{(Nd)}>0$$