Alex_McAvoy

想要成为渔夫的猎手

【概述】

对于 DDPM 来说,一个最大的缺点是需要设置较长的扩散步数才能得到好的效果,这导致了生成样本的速度较慢,比如扩散步数为 $1000$ 的话,那么生成一个样本就要模型推理 $1000$ 次

为此 Jiaming Song 等学者在《Denoising Diffusion Implicit Models》 中针对 DDPM 进行了改进,提出了去噪扩散隐式模型(Denoising Diffusion Implicit Models,DDIM),不再限制前向和反向过程必须是马尔卡夫链,在不牺牲质量的情况下,允许更少的采样步数来加速反向生成过程

阅读全文 »

【概述】

2020 年 6 月,Jonathan Ho 等学者在《Denoising Diffusion Probabilistic Models》中对之前的扩散概率模型进行了简化,并通过变分推断,将后验问题转为优化问题进行建模,提出了经典的去噪扩散概率模型(Denoising Diffusion Probabilistic Model,DDPM),将扩散概率模型的思想用于图像生成,目前所说的扩散模型,大多是基于该模型进行改进

简单来说,DDPM 包含两个过程:

阅读全文 »

【概述】

扩散概率模型(Diffusion Probabilistic Models,DPM)于 2015 年 《Deep Unsupervised Learning using Nonequilibrium Thermodynamics》提出,其目的是消除对训练图像连续应用的高斯噪声,可以将其视为一系列去噪自编码器,是扩散模型的起源,但是没有真正应用于 CV,NLP 任务

其基本思想是使用马尔可夫链利用扩散过程将一个简单的已知分布(例如高斯分布)逐渐转换为目标分布(例如数据分布)

阅读全文 »

【发展历史】

扩散模型(Diffusion Model)之前,深度生成模型领域的研究方向大多是对抗生成网络 GAN、变分自编码器 VAE 等,随着 DDPM 的发展,一些改进的方法被不断涌现,扩散模型也在生成模型领域缓缓地迈向成熟

扩散模型起源于 2015 年 《Deep Unsupervised Learning using Nonequilibrium Thermodynamics》,Jascha Sohl-Dickstein 等学者该文中提出了扩散概率模型(Diffusion Probabilistic Models)基本概念与整体框架,目的是消除对训练图像连续应用的高斯噪声,可以将其视为一系列去噪自编码器,但是没有真正应用于 CV,NLP 任务

阅读全文 »

【概述】

变分自编码器(Variational Auto-Encoders,VAE)是深度生成模型的一种形式,是由 Kingma 等人于 2014 年提出的基于变分贝叶斯(Variational Bayes,VB)推断的生成式网络结构

与传统的自编码器 AE 通过数值的方式描述潜在空间不同,它以概率的方式描述对潜在空间的观察,在数据生成方面表现出了巨大的应用价值

阅读全文 »

【概述】

自编码器(Auto-Encoder,AE)是一种无监督式深度学习模型,属于前馈神经网络的一种,最开始主要用于数据的降维以及特征的抽取,随着技术的不断发展,现在也被广泛应用于生成模型中,可用来生成图片等

其基于反向传播算法与最优化方法,利用输入数据 $x$ 本身作为监督,来指导神经网络尝试学习一个映射关系,从而得到一个重构输出 $\tilde{x}$​,其可以简单理解为一个试图去还原其原始输入的系统

阅读全文 »

【概述】

原始 GAN 过于自由,训练会很容易失去方向,从而导致不稳定又效果差

Mehdi Mirza 于 2014 年提出了条件生成对抗网络(Conditional Generative Adversarial Networks,Conditional GAN),其在生成器和判别器的输入中增加了额外的先验条件信息,生成器生成的图片只有足够真实且与条件相符,才能够通过判别器,从而使得生成器更加可控

阅读全文 »

【概述】

自 2014 年 Ian Goodfellow 提出以来 GAN 以来,GAN 就面临着训练困难、生成器和判别器的 Loss 无法指示训练进程、生成样本缺乏多样性等问题

从那时起,很多论文都在尝试解决,但是效果不尽人意,例如最有名的一个改进 DCGAN 本质上依靠的是对生成器和判别器的架构进行实验枚举,最终找到一组比较好的网络架构设置,但是实际上是治标不治本,没有彻底解决问题

阅读全文 »

【概述】

深度卷积生成对抗网络(Deep Convolution Generative Adversarial Networks,DCGAN)是 Alec Radfor 等人于 2015 年提出的一种深度生成模型

该模型在原始 GAN 的理论基础上,开创性地将 CNN 和 GAN 进行结合,以实现对图像的处理,并提出了一系列对网络结构的限制以提高网络的稳定性

阅读全文 »

【概述】

机器学习的模型可分为判别式模型和生成式模型两大类,由于反向传播、Dropout 等算法的出现,基于深度学习的判别式模型得到迅速发展,而由于生成式模型建模较为困难,因此发展缓慢,直到生成对抗网络(Generative Adversarial Network,GAN)的出现,这一领域才重新开始焕发生机

GAN 模型的主要结构包括一个生成器(Generator)和一个判别器(Discriminator),通过两者的互相博弈学习产生输出,具体来说,生成器 G 的任务是生成看起来自然真实的、与原始数据相似的样本,判别器 D 的任务是判定给定的样本是来源于真实数据集的,还是来源于生成模型伪造的

阅读全文 »