Alex_McAvoy

想要成为渔夫的猎手

发表于 分类于 ， ，
本文字数： 1.9k 阅读时长 ≈ 2 分钟

【发展历史】

在扩散模型（Diffusion Model）之前，深度生成模型领域的研究方向大多是对抗生成网络 GAN、变分自编码器 VAE 等，随着 DDPM 的发展，一些改进的方法被不断涌现，扩散模型也在生成模型领域缓缓地迈向成熟

扩散模型起源于 2015 年 《Deep Unsupervised Learning using Nonequilibrium Thermodynamics》，Jascha Sohl-Dickstein 等学者该文中提出了扩散概率模型（Diffusion Probabilistic Models）基本概念与整体框架，目的是消除对训练图像连续应用的高斯噪声，可以将其视为一系列去噪自编码器，但是没有真正应用于 CV，NLP 任务

阅读全文 »

发表于 分类于 ， ，
本文字数： 3.6k 阅读时长 ≈ 3 分钟

【概述】

变分自编码器（Variational Auto-Encoders，VAE）是深度生成模型的一种形式，是由 Kingma 等人于 2014 年提出的基于变分贝叶斯（Variational Bayes，VB）推断的生成式网络结构

与传统的自编码器 AE 通过数值的方式描述潜在空间不同，它以概率的方式描述对潜在空间的观察，在数据生成方面表现出了巨大的应用价值

阅读全文 »

发表于 分类于 ， ，
本文字数： 1.4k 阅读时长 ≈ 1 分钟

【概述】

自编码器（Auto-Encoder，AE）是一种无监督式深度学习模型，属于前馈神经网络的一种，最开始主要用于数据的降维以及特征的抽取，随着技术的不断发展，现在也被广泛应用于生成模型中，可用来生成图片等

其基于反向传播算法与最优化方法，利用输入数据 $x$ 本身作为监督，来指导神经网络尝试学习一个映射关系，从而得到一个重构输出 $\tilde{x}$​，其可以简单理解为一个试图去还原其原始输入的系统

阅读全文 »

发表于 分类于 ， ，
本文字数： 641 阅读时长 ≈ 1 分钟

【概述】

原始 GAN 过于自由，训练会很容易失去方向，从而导致不稳定又效果差

Mehdi Mirza 于 2014 年提出了条件生成对抗网络（Conditional Generative Adversarial Networks，Conditional GAN），其在生成器和判别器的输入中增加了额外的先验条件信息，生成器生成的图片只有足够真实且与条件相符，才能够通过判别器，从而使得生成器更加可控

阅读全文 »

发表于 分类于 ， ，
本文字数： 956 阅读时长 ≈ 1 分钟

【概述】

自 2014 年 Ian Goodfellow 提出以来 GAN 以来，GAN 就面临着训练困难、生成器和判别器的 Loss 无法指示训练进程、生成样本缺乏多样性等问题

从那时起，很多论文都在尝试解决，但是效果不尽人意，例如最有名的一个改进 DCGAN 本质上依靠的是对生成器和判别器的架构进行实验枚举，最终找到一组比较好的网络架构设置，但是实际上是治标不治本，没有彻底解决问题

阅读全文 »

发表于 分类于 ， ，
本文字数： 2.8k 阅读时长 ≈ 3 分钟

【概述】

深度卷积生成对抗网络（Deep Convolution Generative Adversarial Networks，DCGAN）是 Alec Radfor 等人于 2015 年提出的一种深度生成模型

该模型在原始 GAN 的理论基础上，开创性地将 CNN 和 GAN 进行结合，以实现对图像的处理，并提出了一系列对网络结构的限制以提高网络的稳定性

阅读全文 »

发表于 分类于 ， ，
本文字数： 3.3k 阅读时长 ≈ 3 分钟

【概述】

机器学习的模型可分为判别式模型和生成式模型两大类，由于反向传播、Dropout 等算法的出现，基于深度学习的判别式模型得到迅速发展，而由于生成式模型建模较为困难，因此发展缓慢，直到生成对抗网络（Generative Adversarial Network，GAN）的出现，这一领域才重新开始焕发生机

GAN 模型的主要结构包括一个生成器（Generator）和一个判别器（Discriminator），通过两者的互相博弈学习产生输出，具体来说，生成器 G 的任务是生成看起来自然真实的、与原始数据相似的样本，判别器 D 的任务是判定给定的样本是来源于真实数据集的，还是来源于生成模型伪造的

阅读全文 »

发表于 分类于 ， ，
本文字数： 2.7k 阅读时长 ≈ 2 分钟

【概述】

序列到序列（Sequence to Sequence，Seq2Seq）模型，是一种根据给定的序列，通过特定的生成方法生成另一个序列的方法，其是 RNN 的一个变种，解决了 RNN 要求序列等长的问题，其常用于机器翻译、聊天机器人、文本摘要生成等领域中

其属于编码-解码（Encoder-Decoder）结构的一种，编码器 Encoder 和解码器 Encoder 中的每一个 Cell 都是一个 RNN，Encoder 通过学习，将输入序列 $x_1,x_2,\cdots,x_n$ 编码成一个固定大小的状态向量 $C$ 作为解码器的输入，Decoder 则是对这个固定大小的状态向量 $C$ 进行学习，将其解码为可变长度的目标序列进行输出

阅读全文 »

发表于 分类于 ， ，
本文字数： 2.9k 阅读时长 ≈ 3 分钟

【概述】

注意力机制（Attention）是人类大脑的一种天生的能力，当人们看到一幅图片时，先是快速扫过图片，然后锁定需要重点关注的目标区域

例如，当观察下面的图片时，注意力很容易就集中在了人脸、文章标题和文章首句等位置

阅读全文 »