【概述】

概率无向图模型（Probabilistic Undirected Graphical Model）又称马尔可夫随机场（Markov Random Field），其是由无向图 $G=(V,E)$ 来表示的联合概率分布 $P(Y)$，其中 $Y\in\mathcal{Y}$ 是一组随机变量，用结点 $v\in V$ 表示随机变量，边 $e\in E$ 表示随机变量间的依赖关系

直观来看，马尔可夫链是下一结点的状态只与当前结点有关系，与过去的结点没有关系，而马尔可夫随机场，是当前结点只与该结点直接连接的结点有关系，与随机场中其他的结点没有关系

Reference：

• EM算法原理及推导
• 【机器学习】EM——期望最大（非常详细）
• EM算法详解
• 【机器学习基础】EM算法详解及其收敛性证明

【概述】

如果概率模型的变量都是观测变量（Observable Variable），又称显变量，即可以直接观测到的变量，那么当给定数据时，可以直接使用极大似然估计，或使用贝叶斯估计来估计模型的参数

【概述】

变分推断（Variational Inference）是贝叶斯统计中常用的、含有隐变量模型的推理方法，其与马尔可夫链蒙特卡罗法属于不同的技巧

MCMC 通过随机抽样的方法近似计算后验概率，变分推断通过解析的方法计算后验概率的近似值

References：

• 浅谈「Gibbs采样」
• 走进贝叶斯统计（六）—— 吉布斯抽样 （Gibbs Sampling）
• 满条件分布
• 贝叶斯统计 | 第六章第二部分 二阶段吉布斯抽样
• 贝叶斯统计 | 第六章第三部分 多阶段吉布斯抽样

【概述】

当随机变量 $X$ 服从多维目标分布的情况下，对这个多维目标分布抽样，一种方法是 单分量 Metropolis Hasting 算法 中介绍的单分量 MH 算法

【瑞利商】

定义

对于 $n\times n$ 的 Hermitian 矩阵 $A$ 和非零向量 $\mathbf{x}$，瑞利商（Rayleigh quotient）定义为：

【概述】

在 Metropolis Hasting 算法 中介绍了 MH 算法，其保证能够从一维随机变量的分布中抽取样本

那么当随机变量 $X$ 服从多维目标分布的情况下，该如何对这个多维目标分布抽样？

References：

• 马尔可夫链蒙特卡罗算法（MCMC）
• 走进贝叶斯统计（五）—— Metropolis-Hasting 算法

【引入】

假设参数 $\theta$ 的先验分布 $P(\theta)$ 为某定义域 $\theta\in[0,1]$，均值 $\mu=\frac{1}{2}$，正则化系数为 $\alpha$ 的截尾正态分布，后验分布 $P(\theta|X)$ 具备如下形式：

References：

• 马尔可夫蒙特卡罗 MCMC 原理及经典实现
• 马尔可夫链蒙特卡罗算法（MCMC）

【概述】

对于对某概率分布进行随机抽样，或求函数关于该概率分布的数学期望等问题，使用蒙特卡罗法即可解决

References：

• 马尔可夫链蒙特卡罗算法（MCMC）
• 走进贝叶斯统计（四）—— 蒙特卡洛方法
• 蒙特卡罗方法详解

【概述】

虽然共轭先验能够极大地简化贝叶斯统计推断过程中的计算难度，但它不一定能够很好地描绘对目标参数 $\theta$ 的经验判断

References：

• 走进贝叶斯统计（三）—— 后验预测分布
• 贝叶斯统计（2）——进阶

【概述】

贝叶斯统计的核心思想在于给定模型参数 $\theta$ 的一个先验分布 $p(\theta)$，这个分布某种程度上能够描绘对 $\theta$ 的经验判断，然后使用样本数据去不断更新这个分布，并在这个分布中研究模型参数 $\theta$ 的各种性质