可逆马尔可夫链与细致平衡方程

【可逆马尔可夫链】

设马尔可夫链 $\{X_n,n\geq0\}$ 的转移概率矩阵为 $P$，若有状态分布 $\pi=(\pi_1,\pi_1,\cdots)^T$，对任意状态 $i,j\in S$，对任意一个时刻 $t$ 满足：

$$P(X_t=i|X_{t-1}=j) \pi_j = P(X_{t-1}=j|X_t=i)\pi_i,\quad i,j=1,2,\cdots$$

则称该马尔可夫链为可逆马尔可夫链（Reversible Markov Chain）

直观上，如果有可逆马尔可夫链，那么以该马尔可夫链的平稳分布作为初始分布，进行随机状态转移，无论是面向未来还是面向过去，任何一个时刻的状态分布都是该平稳分布

【细致平衡方程】

设马尔可夫链 $\{X_n,n\geq0\}$ 的转移概率矩阵为 $P$，$p_{ij}=P(X_t=j|X_{t-1}=i)$ 是概率转移矩阵 $P$ 的元素

若有状态分布 $\pi=(\pi_1,\pi_1,\cdots)^T$，对任意状态 $i,j\in S$，对任意一个时刻 $t$ 满足：

$$p_{ij}\pi_j = p_{ji}\pi_i,\quad i,j=1,2,\cdots$$

那么，该状态分布 $\pi=(\pi_1,\pi_1,\cdots)^T$ 是马尔可夫链的平稳分布

上式被称为可逆马尔可夫链的细致平衡方程（Detailed Balance Equation）

可以发现，细致平衡方程即可逆马尔可夫链需要满足的条件

根据细致平衡方程，有：

$$(P\pi)_i = \sum_{j}p_{ij}\pi_j = \pi_i\sum_{j}p_{ji}=\pi_i,\quad i=1,2,\cdots$$

即：

$$P\pi = \pi$$

也就是说，可逆马尔可夫链一定有唯一平稳分布，即其满足遍历定理