【概述】

词袋模型（Bag of Words，BOW）最早用于文本分类，其将每个句子看成一个袋子，袋子中装的都是单词，每个单词都是独立的，然后看这个袋子里装的都是些什么词汇，将其进行分类

如果猪、马、牛、羊、山谷、土地、拖拉机这样的词汇多些，而银行、大厦、汽车、公园这样的词汇少些，我们就倾向于判断它是一篇描绘乡村的文档，而不是描述城镇的

【概述】

在 NLP 的任务中，独热编码（One-Hot Encoding）是最简单的词嵌入方式，其能将文本转化为向量形式表示，并且不局限于语言种类

同时，在机器学习与深度学习的任务中，One-Hot 编码也能够来表征离散特征取值没有大小意义的特征

【概述】

在自然语言处理（Natural Language Processing，NLP）中，一个核心问题是对文本的语义内容进行表示，并进行文本间的语义相似度计算

最简单的一种方法是利用单词向量空间模型（Word Vector Space Model，WVSM），对于给定的文本集合，将其中的每一个文本的语义信息用一个向量来表示，向量的每一维对应一个单词，其数值为该单词在该文本中出现的频数或权值，这样一来，文本集合中的每个文本都表示为一个向量，存在于一个向量空间中，向量空间的度量就表示为文本间的语义相似度

【概述】

幂法（Power Method）主要用于近似计算矩阵的主特征值和主特征向量，即绝对值最大的特征值与其对应的特征向量，其是一种迭代方法，适用于大型稀疏矩阵

【原理】

References：

• Empirical Evaluation of Gated Recurrent Neural Networks on Sequence Modeling
• Understanding LSTM Networks
• 认认真真学一下LSTM
• 机器学习笔记 ：LSTM 变体 （conv-LSTM、Peephole LSTM、 coupled LSTM、conv-GRU，TPA-LSTM）
• 人人都能看懂的GRU
• 深度学习：长短期记忆模型LSTM的变体和拓展（GRU模型等）

【概述】

门控循环单元（Gated Recurrent Unit，GRU）是 2014 年 Cho 提出的 LSTM 的一种变体，其在保持了 LSTM 效果同时又简化了结构，使得计算量更小

References：

• LSTM Recurrent Networks Learn Simple Context-Free and Context-Sensitive Languages
• LSTM: A Search Space Odyssey
• Understanding LSTM Networks
• 深度学习：长短期记忆模型LSTM的变体和拓展（GRU模型等）
• 机器学习笔记 ：LSTM 变体 （conv-LSTM、Peephole LSTM、 coupled LSTM、conv-GRU，TPA-LSTM）

【窥视孔连接】

在 LSTM 中，当前时间步的状态不能影响到三个门在下一时间步的输出，这使得整个单元状态对上一单元模块的序列处理中丢失了部分信息

References：

• Long short-term memory
• Learning to Forget: Continual Prediction with LSTM
• 史上最详细循环神经网络讲解（RNN/LSTM/GRU）
• 循环神经网络(RNN)知识入门
• LSTM原理
• 人人都能看懂的LSTM
• 人人都能看懂的LSTM介绍及反向传播算法推导（非常详细）
• 认认真真学一下LSTM

【概述】

长短期记忆（Long Short-Term Memory，LSTM）单元是 RNN 存储单元的一种变体，使用 LSTM 单元的 RNN 可以解决长序列数据训练过程中的梯度爆炸与梯度消失问题

References：

• Learning Longer Memory in Recurrent Neural Networks
• Learning long-term dependencies with gradient descent is difficult
• RNN 的梯度消失问题
• RNN梯度消失与梯度爆炸推导
• 理论推导RNN梯度消失和梯度爆炸的原因
• RNN梯度消失和爆炸的原因

【概述】

在深度学习中，梯度对 BP 网络的训练起到了十分重要的作用，而梯度爆炸和梯度消失，是十分常见的两个问题

References：

• Backpropagation Through Time: What It Does and How to Do It
• 详解循环神经网络(Recurrent Neural Network
• 时序反向传播算法(BPTT)
• BPTT算法推导

【概述】

RNN 是一种基于时序数据的神经网络模型，根据其前向传播公式可知，优化的目标是计算损失函数关于参数 $U$、$V$、$W$ 以及两个偏置 $\mathbf{b}_o$、$\mathbf{b}_h$ 的梯度，然后使用梯度下降法学习出好的参数

References：

• SERIAL ORDER: A PARALLEL DISTRIBUTED PROCESSING APPROACH
• Finding Structure in Time
• 一文搞懂RNN（循环神经网络）基础篇
• 详解循环神经网络(Recurrent Neural Network)
• 循环神经网络(RNN)知识入门
• 史上最详细循环神经网络讲解（RNN/LSTM/GRU）
• RNN两种网络类型（Jordan network和Elman network）区别

【单元结构】

在传统的神经网络中，假设所有输入彼此独立，但对于某些任务来说，需要处理序列信息，即前面的输入和后面的输入是有关系的