References：

• 马尔可夫蒙特卡罗 MCMC 原理及经典实现
• 马尔可夫链蒙特卡罗算法（MCMC）

【概述】

对于对某概率分布进行随机抽样，或求函数关于该概率分布的数学期望等问题，使用蒙特卡罗法即可解决

References：

• 马尔可夫链蒙特卡罗算法（MCMC）
• 走进贝叶斯统计（四）—— 蒙特卡洛方法
• 蒙特卡罗方法详解

【概述】

虽然共轭先验能够极大地简化贝叶斯统计推断过程中的计算难度，但它不一定能够很好地描绘对目标参数 $\theta$ 的经验判断

References：

• 走进贝叶斯统计（三）—— 后验预测分布
• 贝叶斯统计（2）——进阶

【概述】

贝叶斯统计的核心思想在于给定模型参数 $\theta$ 的一个先验分布 $p(\theta)$，这个分布某种程度上能够描绘对 $\theta$ 的经验判断，然后使用样本数据去不断更新这个分布，并在这个分布中研究模型参数 $\theta$ 的各种性质

References：

• 贝叶斯统计
• 走进贝叶斯统计（二）—— 共轭先验分布
• 贝叶斯统计（2）——进阶

【共轭先验分布】

贝叶斯统计的一个核心特点在于，能够设定一个描绘对目标参数经验判断的先验分布，然后将经验判断加入到后续的推理与预测中

References：

• 贝叶斯统计
• 贝叶斯统计（2）——进阶
• 走进贝叶斯统计（一）—— 先验分布与后验分布

【概述】

统计学领域中有两大学派，古典统计学（Classical）与贝叶斯统计学（Bayesian），古典统计学又称频率论（Frequentist），贝叶斯统计学以英国数学家托马斯•贝叶斯命名

【概述】

统计推断的两大基本问题，一类是估计问题，另一类即假设检验问题

在总体的分布函数完全未知或只知其形式，但不知其参数的情况下，为推断总体的某些未知特性，提出某些关于总体的假设，例如提出总体服从泊松分布的假设，又如正态总体提出数学期望等于 $\mu_0$ 的假设等

【单个总体 $N(\mu,\sigma^2)$ 】

设 $X_1,X_2,\cdots,X_n$ 为总体 $N(\mu,\sigma^2)$ 的样本，$\overline{X},S^2$ 分别是样本均值和方差，在已给定置信水平为 $1-\alpha$ 的情况下

$\sigma^2$ 已知，估计 $\mu$ 置信区间

【似然函数】

离散型

若总体 $X$ 是离散型，其分布律 $P(X=x)=p(x;\theta),\theta\in\Theta$ 的形式已知，$\theta$ 为待估参数，$\Theta$ 是 $\theta$ 可能取值的范围

【矩估计法的理论依据】

矩估计法是参数的点估计问题中构造估计量的方法，其理论依据如下

设 $X_1,X_2,\cdots,X_n$ 是总体 $X$ 的一个样本，由于 $X_1,X_2,\cdots,X_n$ 独立且与 $X$ 同分布，故若总体 $X$ 的 $k$ 阶矩 $E(X^k)\overset{def}{=}μ_k$ 存在

【点估计】

引入

设总体 $X$ 的分布函数的形式已知，但它的一个或多个参数未知，借助于总体 $X$ 的一个样本来估计总体未知参数的值，这种问题被称为参数的点估计问题