References：

• LSTM Recurrent Networks Learn Simple Context-Free and Context-Sensitive Languages
• LSTM: A Search Space Odyssey
• Understanding LSTM Networks
• 深度学习：长短期记忆模型LSTM的变体和拓展（GRU模型等）
• 机器学习笔记 ：LSTM 变体 （conv-LSTM、Peephole LSTM、 coupled LSTM、conv-GRU，TPA-LSTM）

【窥视孔连接】

在 LSTM 中，当前时间步的状态不能影响到三个门在下一时间步的输出，这使得整个单元状态对上一单元模块的序列处理中丢失了部分信息

References：

• Long short-term memory
• Learning to Forget: Continual Prediction with LSTM
• 史上最详细循环神经网络讲解（RNN/LSTM/GRU）
• 循环神经网络(RNN)知识入门
• LSTM原理
• 人人都能看懂的LSTM
• 人人都能看懂的LSTM介绍及反向传播算法推导（非常详细）
• 认认真真学一下LSTM

【概述】

长短期记忆（Long Short-Term Memory，LSTM）单元是 RNN 存储单元的一种变体，使用 LSTM 单元的 RNN 可以解决长序列数据训练过程中的梯度爆炸与梯度消失问题

References：

• Learning Longer Memory in Recurrent Neural Networks
• Learning long-term dependencies with gradient descent is difficult
• RNN 的梯度消失问题
• RNN梯度消失与梯度爆炸推导
• 理论推导RNN梯度消失和梯度爆炸的原因
• RNN梯度消失和爆炸的原因

【概述】

在深度学习中，梯度对 BP 网络的训练起到了十分重要的作用，而梯度爆炸和梯度消失，是十分常见的两个问题

References：

• Backpropagation Through Time: What It Does and How to Do It
• 详解循环神经网络(Recurrent Neural Network
• 时序反向传播算法(BPTT)
• BPTT算法推导

【概述】

RNN 是一种基于时序数据的神经网络模型，根据其前向传播公式可知，优化的目标是计算损失函数关于参数 $U$、$V$、$W$ 以及两个偏置 $\mathbf{b}_o$、$\mathbf{b}_h$ 的梯度，然后使用梯度下降法学习出好的参数

References：

• SERIAL ORDER: A PARALLEL DISTRIBUTED PROCESSING APPROACH
• Finding Structure in Time
• 一文搞懂RNN（循环神经网络）基础篇
• 详解循环神经网络(Recurrent Neural Network)
• 循环神经网络(RNN)知识入门
• 史上最详细循环神经网络讲解（RNN/LSTM/GRU）
• RNN两种网络类型（Jordan network和Elman network）区别

【单元结构】

在传统的神经网络中，假设所有输入彼此独立，但对于某些任务来说，需要处理序列信息，即前面的输入和后面的输入是有关系的

References：

• Recent Advances in Recurrent Neural Networks

【引入】

使用全连接神经网络，都只能单独的去处理一个个的输入，前一个输入和后一个输入之间没有任何联系的，即输入之间是彼此独立的

【概述】

迁移学习（Transfer Learning）是利用数据、任务或模型之间的相似性，将在旧领域训练好的模型，应用于新的领域这样的过程，要求两个任务的输入属于同一性质，即要么同是图像、要么同是语音或其他

当有海量的数据资源时，能够很容易从海量数据中学习到一个鲁棒性很强的模型，可以不需要迁移学习

References：

• Deep Residual Learning for Image Recognition
• （二十七）通俗易懂理解——Resnet残差网络
• ResNet 详解
• 残差神经网络（ResNet）
• 深度学习之残差神经网络（ResNet）
• 你必须要知道CNN模型：ResNet
• 经典CNN结构简析：AlexNet、VGG、NIN、GoogLeNet、ResNet etc.
• 一文读懂LeNet、AlexNet、VGG、GoogleNet、ResNet到底是什么？

【概述】

ResNet 残差神经网络是由微软研究院的何恺明等人提出的，获得了 2015 年 ImageNet 比赛的冠军，其将图像分类识别错误率降低到了 $3.6\%$，这个结果甚至超出了正常人眼识别的精度

References：

• Going Deeper with Convolutions
• 【深度学习】论文导读：GoogLeNet模型，Inception结构网络简化（Going deeper with convolutions）
• 深度学习|经典网络：GoogLeNet（一）
• GoogLeNet的心路历程（二）
• GoogLeNet学习心得
• 深入理解GoogLeNet结构
• 经典CNN结构简析：AlexNet、VGG、NIN、GoogLeNet、ResNet etc.
• 一文读懂LeNet、AlexNet、VGG、GoogleNet、ResNet到底是什么？

【概述】

GoogLeNet 是 2014 年 ImageNet 比赛的冠军，与 VGG 是该年 ImageNet 的双雄，这两类模型结构有一个共同特点，即加深网络深度

References：

• Network In Network
• 经典论文之NIN
• （NIN网络）Network in Network论文阅读笔记
• 经典CNN结构简析：AlexNet、VGG、NIN、GoogLeNet、ResNet etc.
• 一文读懂LeNet、AlexNet、VGG、GoogleNet、ResNet到底是什么？

【概述】

AlexNet 的绝大多数参数都集中在最后几个全连接层上，但全连接层不仅参数多，还具有强线性性，同时还容易发生过拟合