Alex_McAvoy

想要成为渔夫的猎手

发表于 分类于 ， ，
本文字数： 5.5k 阅读时长 ≈ 5 分钟

【概述】

随着机器学习、深度学习的发展，语音、图像、自然语言处理逐渐取得了很大的突破，语音、图像、文本都是简单的序列或网格数据，深度学习很擅长处理该类的结构化数据

但现实世界中并非所有事物都是结构化数据，即并非都可以表示为一个序列或者一个网络，例如社交网络、知识图谱、复杂的文件系统等

阅读全文 »

发表于 分类于 ， ，
本文字数： 5.2k 阅读时长 ≈ 5 分钟

【概述】

对于 DDPM 来说，一个最大的缺点是需要设置较长的扩散步数才能得到好的效果，这导致了生成样本的速度较慢，比如扩散步数为 $1000$ 的话，那么生成一个样本就要模型推理 $1000$ 次

为此 Jiaming Song 等学者在《Denoising Diffusion Implicit Models》 中针对 DDPM 进行了改进，提出了去噪扩散隐式模型（Denoising Diffusion Implicit Models，DDIM），不再限制前向和反向过程必须是马尔卡夫链，在不牺牲质量的情况下，允许更少的采样步数来加速反向生成过程

阅读全文 »

发表于 分类于 ， ，
本文字数： 24k 阅读时长 ≈ 22 分钟

【概述】

2020 年 6 月，Jonathan Ho 等学者在《Denoising Diffusion Probabilistic Models》中对之前的扩散概率模型进行了简化，并通过变分推断，将后验问题转为优化问题进行建模，提出了经典的去噪扩散概率模型（Denoising Diffusion Probabilistic Model，DDPM），将扩散概率模型的思想用于图像生成，目前所说的扩散模型，大多是基于该模型进行改进

简单来说，DDPM 包含两个过程：

阅读全文 »

发表于 分类于 ， ，
本文字数： 8.6k 阅读时长 ≈ 8 分钟

【概述】

扩散概率模型（Diffusion Probabilistic Models，DPM）于 2015 年 《Deep Unsupervised Learning using Nonequilibrium Thermodynamics》提出，其目的是消除对训练图像连续应用的高斯噪声，可以将其视为一系列去噪自编码器，是扩散模型的起源，但是没有真正应用于 CV，NLP 任务

其基本思想是使用马尔可夫链利用扩散过程将一个简单的已知分布（例如高斯分布）逐渐转换为目标分布（例如数据分布）

阅读全文 »

发表于 分类于 ， ，
本文字数： 1.9k 阅读时长 ≈ 2 分钟

【发展历史】

在扩散模型（Diffusion Model）之前，深度生成模型领域的研究方向大多是对抗生成网络 GAN、变分自编码器 VAE 等，随着 DDPM 的发展，一些改进的方法被不断涌现，扩散模型也在生成模型领域缓缓地迈向成熟

扩散模型起源于 2015 年 《Deep Unsupervised Learning using Nonequilibrium Thermodynamics》，Jascha Sohl-Dickstein 等学者该文中提出了扩散概率模型（Diffusion Probabilistic Models）基本概念与整体框架，目的是消除对训练图像连续应用的高斯噪声，可以将其视为一系列去噪自编码器，但是没有真正应用于 CV，NLP 任务

阅读全文 »

发表于 分类于 ， ，
本文字数： 3.6k 阅读时长 ≈ 3 分钟

【概述】

变分自编码器（Variational Auto-Encoders，VAE）是深度生成模型的一种形式，是由 Kingma 等人于 2014 年提出的基于变分贝叶斯（Variational Bayes，VB）推断的生成式网络结构

与传统的自编码器 AE 通过数值的方式描述潜在空间不同，它以概率的方式描述对潜在空间的观察，在数据生成方面表现出了巨大的应用价值

阅读全文 »

发表于 分类于 ， ，
本文字数： 1.4k 阅读时长 ≈ 1 分钟

【概述】

自编码器（Auto-Encoder，AE）是一种无监督式深度学习模型，属于前馈神经网络的一种，最开始主要用于数据的降维以及特征的抽取，随着技术的不断发展，现在也被广泛应用于生成模型中，可用来生成图片等

其基于反向传播算法与最优化方法，利用输入数据 $x$ 本身作为监督，来指导神经网络尝试学习一个映射关系，从而得到一个重构输出 $\tilde{x}$​，其可以简单理解为一个试图去还原其原始输入的系统

阅读全文 »

发表于 分类于 ， ，
本文字数： 641 阅读时长 ≈ 1 分钟

【概述】

原始 GAN 过于自由，训练会很容易失去方向，从而导致不稳定又效果差

Mehdi Mirza 于 2014 年提出了条件生成对抗网络（Conditional Generative Adversarial Networks，Conditional GAN），其在生成器和判别器的输入中增加了额外的先验条件信息，生成器生成的图片只有足够真实且与条件相符，才能够通过判别器，从而使得生成器更加可控

阅读全文 »