References:
【概述】
贝叶斯统计的核心思想在于给定模型参数
而在先验分布中,共轭先验分布是一种能够极大提升计算便利程度的先验分布,当用样本数据更新共轭先验分布时,能够得到同样分布族的后验分布
例如,在使用先验分布为共轭先验分布
在贝叶斯统计中,经常会用后验分布分析参数的性质,此外后验分布其一大重要用途是统计预测,即利用现有数据对未来数据预测
【后验预测分布】
后验预测分布(Posterior Predictive Distribution)与后验分布是两个截然不同的分布:
- 后验分布
:用已有数据对参数 的先验分布 进行更新得到的分布 - 后验预测分布
:在给定已知样本数据下,预测新数据所使用的分布
简单的来说,后验预测分布是关于数据而非参数的分布,即结合先验分布
在使用机器学习方法进行预测的过程之中,会使用训练集拟合一个模型,然后利用模型去预测测试集中的数据,这就是后验预测分布一大经典应用
后验分布与后验预测分布两者的含义虽然不同,但它们之间存在紧密的联系,通过全概率公式,有:
对于上式,若假设训练集的数据与测试集的数据在给定参数
此时,即成功将后验预测分布的形式转换为了似然函数与后验分布乘积的积分
也就是说,后验预测分布是通过后验分布得到的
【先验预测分布】
当仔细审视上述的推导过程时可以发现,使用
事实上,在贝叶斯统计中并不一定需要严格区分前验分布与后验分布,这是因为在对参数
因此,先验分布与后验分布总是相对来说的
【实例】
下面以一个关于伯努利分布的例子来展现后验预测分布是如何工作的
假设已知:
- 抛掷硬币正面朝上的结果服从
- 拥有一个抛掷结果为正面朝上的数据记录
的共轭先验分布
根据这些已知的信息,可以得到了参数
可以发现,这个式子积分内的项可看作
例如,当
那么有:
这便是利用先验分布
Gitalking ...