Alex_McAvoy

想要成为渔夫的猎手

发表于 分类于 ， ，
本文字数： 956 阅读时长 ≈ 1 分钟

【概述】

自 2014 年 Ian Goodfellow 提出以来 GAN 以来，GAN 就面临着训练困难、生成器和判别器的 Loss 无法指示训练进程、生成样本缺乏多样性等问题

从那时起，很多论文都在尝试解决，但是效果不尽人意，例如最有名的一个改进 DCGAN 本质上依靠的是对生成器和判别器的架构进行实验枚举，最终找到一组比较好的网络架构设置，但是实际上是治标不治本，没有彻底解决问题

阅读全文 »

发表于 分类于 ， ，
本文字数： 2.7k 阅读时长 ≈ 2 分钟

【概述】

深度卷积生成对抗网络（Deep Convolution Generative Adversarial Networks，DCGAN）是 Alec Radfor 等人于 2015 年提出的一种深度生成模型

该模型在原始 GAN 的理论基础上，开创性地将 CNN 和 GAN 进行结合，以实现对图像的处理，并提出了一系列对网络结构的限制以提高网络的稳定性

阅读全文 »

发表于 分类于 ， ，
本文字数： 3.3k 阅读时长 ≈ 3 分钟

【概述】

机器学习的模型可分为判别式模型和生成式模型两大类，由于反向传播、Dropout 等算法的出现，基于深度学习的判别式模型得到迅速发展，而由于生成式模型建模较为困难，因此发展缓慢，直到生成对抗网络（Generative Adversarial Network，GAN）的出现，这一领域才重新开始焕发生机

GAN 模型的主要结构包括一个生成器（Generator）和一个判别器（Discriminator），通过两者的互相博弈学习产生输出，具体来说，生成器 G 的任务是生成看起来自然真实的、与原始数据相似的样本，判别器 D 的任务是判定给定的样本是来源于真实数据集的，还是来源于生成模型伪造的

阅读全文 »

发表于 分类于 ， ，
本文字数： 2.7k 阅读时长 ≈ 2 分钟

【概述】

序列到序列（Sequence to Sequence，Seq2Seq）模型，是一种根据给定的序列，通过特定的生成方法生成另一个序列的方法，其是 RNN 的一个变种，解决了 RNN 要求序列等长的问题，其常用于机器翻译、聊天机器人、文本摘要生成等领域中

其属于编码-解码（Encoder-Decoder）结构的一种，编码器 Encoder 和解码器 Encoder 中的每一个 Cell 都是一个 RNN，Encoder 通过学习，将输入序列 $x_1,x_2,\cdots,x_n$ 编码成一个固定大小的状态向量 $C$ 作为解码器的输入，Decoder 则是对这个固定大小的状态向量 $C$ 进行学习，将其解码为可变长度的目标序列进行输出

阅读全文 »

发表于 分类于 ， ，
本文字数： 2.9k 阅读时长 ≈ 3 分钟

【概述】

注意力机制（Attention）是人类大脑的一种天生的能力，当人们看到一幅图片时，先是快速扫过图片，然后锁定需要重点关注的目标区域

例如，当观察下面的图片时，注意力很容易就集中在了人脸、文章标题和文章首句等位置

阅读全文 »

发表于 分类于 ，
本文字数： 2.4k 阅读时长 ≈ 2 分钟

【概述】

Word2Vec 模型，是由谷歌提出的一套新的词嵌入（Word Embedding）方法，其实质上是一个简单的神经网络

该模型能够学习一个从高维稀疏离散向量到低维稠密连续向量的映射，该映射具有近义词向量的欧氏距离小，词向量之间的加减法有实际物理意义等特点

阅读全文 »

发表于 分类于 ，
本文字数： 3.5k 阅读时长 ≈ 3 分钟

【概述】

N-Gram 模型是一种基于统计语言模型的算法，常用于预测一个文本中下一个单词出现的概率

其基本思想是将文本内容按词进行大小为 $N$ 的滑动窗口操作，形成长度是 $N$ 的词片段序列，每一个词片段被称为 gram，通过这种序列信息，来预测下一个项的出现概率

阅读全文 »

发表于 分类于 ，
本文字数： 9.5k 阅读时长 ≈ 9 分钟

【概述】

潜在狄利克雷分配 LDA 模型的学习是一个复杂的最优化问题，难以精确求解，只能近似求解，常用的求解方法有吉布斯抽样和变分推理，本文仅介绍使用吉布斯抽样进行 LDA 模型的学习

对于给定文本的集合 $D=\{\mathbf{w}_1,\mathbf{w}_2,\cdots,\mathbf{w}_M\}$，其中 $\mathbf{w}_m=(w_{m1},w_{m2},\cdots,w_{mN_m})$ 是第 $m$ 个文本，以 $\mathbf{w}$ 表示文本集合的单词序列，即：

阅读全文 »

发表于 分类于 ，
本文字数： 6.9k 阅读时长 ≈ 6 分钟

【概述】

潜在狄利克雷分配（Latent Dirichlet Allocation，LDA）是文本集合的生成概率模型，其假设话题由单词的多项分布表示，文本由话题的多项分布表示，单词分布和话题分布的先验分布都是狄利克雷分布，文本内容不同是由于它们的话题分布不同

LDA 模型表示了文本集合自动生成过程：首先，基于单词分布的先验分布（狄利克雷分布）生成多个单词分布，即决定多个话题内容；之后，基于话题分布的先验分布（狄利克雷分布）生成多个话题分布，即决定多个文本内容；最后，基于每一个话题分布生成话题序列，针对每一个话题，基于话题的单词分布生成单词，整体构成一个单词序列，即生成文本，重复这个过程生成所有文本

阅读全文 »