Reference

• CUDA 官方文档
• 【CUDA教程】二、主存与显存
• CUDA共享内存操作(shared关键字)
• 【CUDA】学习记录（7）- Global Memory
• cudaMemcpyToSymbol使用
• Unified Memory Programming

CUDA 存储单元架构

CUDA 各存储单元架构如下

Reference

• 我的CUDA学习之旅——启程
• CUDA线程索引计算

线程层次结构

核函数在 device 端执行时，会启动若干线程，一个核函数所启动的所有线程被称为一个线程网格（Thread Grid），同一个线程网格上的线程共享相同的全局内存空间，每个线程网格又可分为若干线程块（Thread Block），每个线程块中又包含若干线程

Reference

• CUDA之同步函数详解
• cuda同步编程
• GPU与cuda
• 【CUDA教程】二、主存与显存

函数执行环境标识符

由于 GPU 是异构模型，所以需要区分 host 端和 device 端上的代码，在 CUDA 中是通过函数类型限定词开区别 host 和 device 上的函数，主要的三个函数类型限定词如下：

GPU

在 GPU 出现之前，对于各种绘制计算机图形所需的运算，包括顶点设置、光影、像素操作等，都是由 CPU 配合特定软件实现的

图形处理器（Graphic Processing Unit，GPU）本质上是一组图形函数的集合，专门用于处理绘制计算机图形所需的运算，而这些函数由硬件实现，因此，GPU 从某种意义上讲就是为了在图形处理过程中充当主角而出现的

【概述】

概率无向图模型（Probabilistic Undirected Graphical Model）又称马尔可夫随机场（Markov Random Field），其是由无向图 $G=(V,E)$ 来表示的联合概率分布 $P(Y)$，其中 $Y\in\mathcal{Y}$ 是一组随机变量，用结点 $v\in V$ 表示随机变量，边 $e\in E$ 表示随机变量间的依赖关系

直观来看，马尔可夫链是下一结点的状态只与当前结点有关系，与过去的结点没有关系，而马尔可夫随机场，是当前结点只与该结点直接连接的结点有关系，与随机场中其他的结点没有关系

Reference：

• EM算法原理及推导
• 【机器学习】EM——期望最大（非常详细）
• EM算法详解
• 【机器学习基础】EM算法详解及其收敛性证明

【概述】

如果概率模型的变量都是观测变量（Observable Variable），又称显变量，即可以直接观测到的变量，那么当给定数据时，可以直接使用极大似然估计，或使用贝叶斯估计来估计模型的参数

【概述】

变分推断（Variational Inference）是贝叶斯统计中常用的、含有隐变量模型的推理方法，其与马尔可夫链蒙特卡罗法属于不同的技巧

MCMC 通过随机抽样的方法近似计算后验概率，变分推断通过解析的方法计算后验概率的近似值

References：

• 浅谈「Gibbs采样」
• 走进贝叶斯统计（六）—— 吉布斯抽样 （Gibbs Sampling）
• 满条件分布
• 贝叶斯统计 | 第六章第二部分 二阶段吉布斯抽样
• 贝叶斯统计 | 第六章第三部分 多阶段吉布斯抽样

【概述】

当随机变量 $X$ 服从多维目标分布的情况下，对这个多维目标分布抽样，一种方法是 单分量 Metropolis Hasting 算法 中介绍的单分量 MH 算法

【瑞利商】

定义

对于 $n\times n$ 的 Hermitian 矩阵 $A$ 和非零向量 $\mathbf{x}$，瑞利商（Rayleigh quotient）定义为：

【概述】

在 Metropolis Hasting 算法 中介绍了 MH 算法，其保证能够从一维随机变量的分布中抽取样本

那么当随机变量 $X$ 服从多维目标分布的情况下，该如何对这个多维目标分布抽样？