References：

• Backpropagation Through Time: What It Does and How to Do It
• 详解循环神经网络(Recurrent Neural Network
• 时序反向传播算法(BPTT)
• BPTT算法推导

【概述】

RNN 是一种基于时序数据的神经网络模型，根据其前向传播公式可知，优化的目标是计算损失函数关于参数 $U$、$V$、$W$ 以及两个偏置 $\mathbf{b}_o$、$\mathbf{b}_h$ 的梯度，然后使用梯度下降法学习出好的参数

References：

• SERIAL ORDER: A PARALLEL DISTRIBUTED PROCESSING APPROACH
• Finding Structure in Time
• 一文搞懂RNN（循环神经网络）基础篇
• 详解循环神经网络(Recurrent Neural Network)
• 循环神经网络(RNN)知识入门
• 史上最详细循环神经网络讲解（RNN/LSTM/GRU）
• RNN两种网络类型（Jordan network和Elman network）区别

【单元结构】

在传统的神经网络中，假设所有输入彼此独立，但对于某些任务来说，需要处理序列信息，即前面的输入和后面的输入是有关系的

References：

• Recent Advances in Recurrent Neural Networks

【引入】

使用全连接神经网络，都只能单独的去处理一个个的输入，前一个输入和后一个输入之间没有任何联系的，即输入之间是彼此独立的

【概述】

迁移学习（Transfer Learning）是利用数据、任务或模型之间的相似性，将在旧领域训练好的模型，应用于新的领域这样的过程，要求两个任务的输入属于同一性质，即要么同是图像、要么同是语音或其他

当有海量的数据资源时，能够很容易从海量数据中学习到一个鲁棒性很强的模型，可以不需要迁移学习

References：

• Deep Residual Learning for Image Recognition
• （二十七）通俗易懂理解——Resnet残差网络
• ResNet 详解
• 残差神经网络（ResNet）
• 深度学习之残差神经网络（ResNet）
• 你必须要知道CNN模型：ResNet
• 经典CNN结构简析：AlexNet、VGG、NIN、GoogLeNet、ResNet etc.
• 一文读懂LeNet、AlexNet、VGG、GoogleNet、ResNet到底是什么？

【概述】

ResNet 残差神经网络是由微软研究院的何恺明等人提出的，获得了 2015 年 ImageNet 比赛的冠军，其将图像分类识别错误率降低到了 $3.6\%$，这个结果甚至超出了正常人眼识别的精度

References：

• Going Deeper with Convolutions
• 【深度学习】论文导读：GoogLeNet模型，Inception结构网络简化（Going deeper with convolutions）
• 深度学习|经典网络：GoogLeNet（一）
• GoogLeNet的心路历程（二）
• GoogLeNet学习心得
• 深入理解GoogLeNet结构
• 经典CNN结构简析：AlexNet、VGG、NIN、GoogLeNet、ResNet etc.
• 一文读懂LeNet、AlexNet、VGG、GoogleNet、ResNet到底是什么？

【概述】

GoogLeNet 是 2014 年 ImageNet 比赛的冠军，与 VGG 是该年 ImageNet 的双雄，这两类模型结构有一个共同特点，即加深网络深度

References：

• Network In Network
• 经典论文之NIN
• （NIN网络）Network in Network论文阅读笔记
• 经典CNN结构简析：AlexNet、VGG、NIN、GoogLeNet、ResNet etc.
• 一文读懂LeNet、AlexNet、VGG、GoogleNet、ResNet到底是什么？

【概述】

AlexNet 的绝大多数参数都集中在最后几个全连接层上，但全连接层不仅参数多，还具有强线性性，同时还容易发生过拟合

References：

• Very Deep Convolutional Networks for Large-Scale Image Recognition
• 卷积神经网络之VGG
• 一文读懂VGG网络
• 经典CNN结构简析：AlexNet、VGG、NIN、GoogLeNet、ResNet etc.
• 一文读懂LeNet、AlexNet、VGG、GoogleNet、ResNet到底是什么？

【概述】

VGG 网络是牛津大学的视觉几何小组（Visual Geometry Group）提出的，该网络也由此得名，他们以 $7.32\%$ 的错误率赢得了 2014 年 ILSVRC 分类任务的亚军（冠军由 GoogLeNet 以 6.65% 的错误率夺得），同时以 $25.32\%$ 的错误率夺得定位任务的第一名（GoogLeNet 错误率为 $26.44\%$）

References：

• ImageNet Classification with Deep Convolutional Neural Networks
• 手撕 CNN 经典网络之 AlexNet（理论篇）
• 卷积神经网络之Alexnet
• LeNet5 and AlexNet
• 深度学习饱受争议的局部响应归一化(LRN)详解
• 经典CNN结构简析：AlexNet、VGG、NIN、GoogLeNet、ResNet etc.
• 一文读懂LeNet、AlexNet、VGG、GoogleNet、ResNet到底是什么？

【概述】

2012 年，Alex Krizhevsky、Ilya Sutskever 设计出了一个深层的卷积神经网络 AlexNet，夺得了2012年 ImageNet LSVRC 的冠军，且准确率远超第二名（top5 错误率为 $15.3\%$，第二名为 $26.2\%$），引起了很大的轰动，可以说是具有历史意义的一个网络结构

AlexNet 取得成功的原因是其使网络的宽度和深度达到了前所未有的高度，而整个网络的可学参数达到了 $58,322,314$ 个，为了学习该网络，AlexNet 并行使用了两块 GTX 580，大幅提升了训练速度

References：

• Gradient-Based Learning Applied to Document Recognition
• 卷积神经网络之Lenet
• 卷积神经网络经典回顾之LeNet-5
• 经典CNN结构简析：AlexNet、VGG、NIN、GoogLeNet、ResNet etc.
• 一文读懂LeNet、AlexNet、VGG、GoogleNet、ResNet到底是什么？

【概述】

LeNet-5 是一个经典的深度卷积神经网络，由 Yann LeCun 在 1998 年提出，旨在解决手写数字识别问题，被认为是卷积神经网络的开创性工作之一