【概述】

变分推断（Variational Inference）是贝叶斯统计中常用的、含有隐变量模型的推理方法，其与马尔可夫链蒙特卡罗法属于不同的技巧

MCMC 通过随机抽样的方法近似计算后验概率，变分推断通过解析的方法计算后验概率的近似值

References：

• 浅谈「Gibbs采样」
• 走进贝叶斯统计（六）—— 吉布斯抽样 （Gibbs Sampling）
• 满条件分布
• 贝叶斯统计 | 第六章第二部分 二阶段吉布斯抽样
• 贝叶斯统计 | 第六章第三部分 多阶段吉布斯抽样

【概述】

当随机变量 $X$ 服从多维目标分布的情况下，对这个多维目标分布抽样，一种方法是 单分量 Metropolis Hasting 算法 中介绍的单分量 MH 算法

【瑞利商】

定义

对于 $n\times n$ 的 Hermitian 矩阵 $A$ 和非零向量 $\mathbf{x}$，瑞利商（Rayleigh quotient）定义为：

【概述】

在 Metropolis Hasting 算法 中介绍了 MH 算法，其保证能够从一维随机变量的分布中抽取样本

那么当随机变量 $X$ 服从多维目标分布的情况下，该如何对这个多维目标分布抽样？

References：

• 马尔可夫链蒙特卡罗算法（MCMC）
• 走进贝叶斯统计（五）—— Metropolis-Hasting 算法

【引入】

假设参数 $\theta$ 的先验分布 $P(\theta)$ 为某定义域 $\theta\in[0,1]$，均值 $\mu=\frac{1}{2}$，正则化系数为 $\alpha$ 的截尾正态分布，后验分布 $P(\theta|X)$ 具备如下形式：

References：

• 马尔可夫蒙特卡罗 MCMC 原理及经典实现
• 马尔可夫链蒙特卡罗算法（MCMC）

【概述】

对于对某概率分布进行随机抽样，或求函数关于该概率分布的数学期望等问题，使用蒙特卡罗法即可解决

References：

• 马尔可夫链蒙特卡罗算法（MCMC）
• 走进贝叶斯统计（四）—— 蒙特卡洛方法
• 蒙特卡罗方法详解

【概述】

虽然共轭先验能够极大地简化贝叶斯统计推断过程中的计算难度，但它不一定能够很好地描绘对目标参数 $\theta$ 的经验判断

References：

• 走进贝叶斯统计（三）—— 后验预测分布
• 贝叶斯统计（2）——进阶

【概述】

贝叶斯统计的核心思想在于给定模型参数 $\theta$ 的一个先验分布 $p(\theta)$，这个分布某种程度上能够描绘对 $\theta$ 的经验判断，然后使用样本数据去不断更新这个分布，并在这个分布中研究模型参数 $\theta$ 的各种性质

References：

• 贝叶斯统计
• 走进贝叶斯统计（二）—— 共轭先验分布
• 贝叶斯统计（2）——进阶

【共轭先验分布】

贝叶斯统计的一个核心特点在于，能够设定一个描绘对目标参数经验判断的先验分布，然后将经验判断加入到后续的推理与预测中

References：

• 贝叶斯统计
• 贝叶斯统计（2）——进阶
• 走进贝叶斯统计（一）—— 先验分布与后验分布

【概述】

统计学领域中有两大学派，古典统计学（Classical）与贝叶斯统计学（Bayesian），古典统计学又称频率论（Frequentist），贝叶斯统计学以英国数学家托马斯•贝叶斯命名