【状态的基本属性】
首达概率与迟早概率
设马尔可夫链
为
为
为
对于首达概率和迟早概率,其与马尔可夫链的转移概率有如下关系:
首达时刻
设马尔可夫链
为
当
即系统在有限时间内,不可到达状态
首达时刻与首达概率和迟早概率有如下关系:
平均转移步数与平均返回时间
设马尔可夫链
为从状态
为从状态
周期
设马尔可夫链
为状态
对于
1)若
2)若
3)若
【状态】
可约与不可约
设马尔可夫链
即在
直观上,一个不可约的马尔可夫链,从任意状态出发,当经过充分长时间后,可以到达任意状态
如下马尔可夫链状态转移图所示,其转移概率矩阵
其平稳分布
周期与非周期
设马尔可夫链
- 若状态
的周期 ,则称状态 为周期为 的周期状态,称该马尔可夫链为周期的 - 若状态
的周期 ,则称状态 为非周期状态,称该马尔可夫为非周期的
直观上,一个非周期性的马尔可夫链,不存在一个状态,从这个状态出发,再返回到这个状态时所经历的时间呈周期性
如下马尔可夫链状态转移图所示,其转移概率矩阵
其平稳分布
常返与非常返
设马尔可夫链
- 若从状态
到状态 的首达概率 ,则称状态 为常返状态或返回状态,称该马尔可夫链为常返的 - 若从状态
到状态 的首达概率 ,则称状态 为非常返状态或滑过状态,称该马尔可夫链为非常返的
正常返与零常返
设马尔可夫链
- 若状态
为常返状态,且状态 的平均返回时间 ,则称状态 为正常返状态,称该马尔可夫链为正常返的 - 若状态
为常返状态,且状态 的平均返回时间 ,则称状态 为零常返状态或消极常返状态,称该马尔可夫链为零常返的
直观上,一个正常返的马尔可夫链,其中任意一个状态,从其他任意一个状态出发,当时间趋于无穷时,首次转移到这个状态的概率不为
对于不可约、非周期且正常返的马尔可夫链,有唯一平稳分布存在
如下马尔可夫链状态转移图所示,其转移概率矩阵
当
当
遍历与非遍历
设马尔可夫链
- 若状态
为不可约、正常返,且是非周期的,则称状态 为正常返非周期状态或遍历状态,称该马尔可夫链为遍历的 - 若状态
为不可约、正常返,且是周期的,则称状态 为正常返周期状态或非遍历状态,称该马尔可夫链为非遍历的
不可约、正常返、非周期保证了当时间趋于无穷时,到达任一状态的概率不为
【遍历定理】
对于马尔可夫链的遍历状态,有如下的遍历定理
设马尔可夫链
若
遍历定理的直观解释是:满足不可约、非周期、正常返的马尔可夫链,当时间趋于无穷时,马尔可夫链的状态分布趋于平稳分布,随机变量的函数的样本均值以概率
遍历定理实际上表达了马尔可夫链遍历性的含义:样本均值可以认为是时间均值,数学期望可以认为是空间均值,当时间趋于无穷时,时间均值等同于空间均值
实际应用时,通常是取一个足够大的整数
【状态的可达与互通】
设马尔可夫链
则称状态
若状态
则称状态
对于状态的可达与互通,有:
- 可达的传递性:若
,则 - 互通的传递性:若
,则 - 互通的对称性:若
,则
此外,对于互通的两个状态
- 两者同为非常返状态
- 两者同为零常返状态
- 两者同为遍历状态
- 两者同为非遍历状态且周期相同
Be the first person to leave a comment!