References：

• ImageNet Classification with Deep Convolutional Neural Networks
• 手撕 CNN 经典网络之 AlexNet（理论篇）
• 卷积神经网络之Alexnet
• LeNet5 and AlexNet
• 深度学习饱受争议的局部响应归一化(LRN)详解
• 经典CNN结构简析：AlexNet、VGG、NIN、GoogLeNet、ResNet etc.
• 一文读懂LeNet、AlexNet、VGG、GoogleNet、ResNet到底是什么？

【概述】

2012 年，Alex Krizhevsky、Ilya Sutskever 设计出了一个深层的卷积神经网络 AlexNet，夺得了2012年 ImageNet LSVRC 的冠军，且准确率远超第二名（top5 错误率为 $15.3\%$，第二名为 $26.2\%$），引起了很大的轰动，可以说是具有历史意义的一个网络结构

AlexNet 取得成功的原因是其使网络的宽度和深度达到了前所未有的高度，而整个网络的可学参数达到了 $58,322,314$ 个，为了学习该网络，AlexNet 并行使用了两块 GTX 580，大幅提升了训练速度

References：

• Gradient-Based Learning Applied to Document Recognition
• 卷积神经网络之Lenet
• 卷积神经网络经典回顾之LeNet-5
• 经典CNN结构简析：AlexNet、VGG、NIN、GoogLeNet、ResNet etc.
• 一文读懂LeNet、AlexNet、VGG、GoogleNet、ResNet到底是什么？

【概述】

LeNet-5 是一个经典的深度卷积神经网络，由 Yann LeCun 在 1998 年提出，旨在解决手写数字识别问题，被认为是卷积神经网络的开创性工作之一

Reference：

• 一文入门卷积神经网络：CNN通俗解析
• 卷积神经网络（CNN）详解
• 深度学习系列6：卷积神经网络的反向传播
• 反向传播之六：CNN 卷积层反向传播
• 卷积神经网络(CNN)反向传播算法推导
• Convolutional Neural Networks backpropagation: from intuition to derivation

【概述】

如下图所示，卷积神经网络由若干个卷积层和池化层进行局部特征识别和降维，之后再利用生成的特征图用全连接层去处理

Reference：

• 一文入门卷积神经网络：CNN通俗解析
• 卷积神经网络（CNN）详解
• 【综述】神经网络中不同类型的卷积层
• 感受野(Receptive Field)的理解与计算
• 【技术观点】CNN卷积层与激活函数
• 卷积神经网络CNN、感受野、边缘检测、卷积层(零填充padding、步长、多通道卷积、多卷积核)、池化层Pooling、全连接层

【网络结构】

卷积神经网络由一个或多个卷积层、池化层以及全连接层等组成，其也可以使用反向传播算法进行训练，其架构如下

Reference：

• CNN基础知识——卷积（Convolution）、填充（Padding）、步长(Stride)
• 一文看懂卷积运算（convolution）与互相关运算（cross-correlation）的区别
• 卷积核（kernels）与滤波器（filters）的关系
• 卷积神经网络CNN、感受野、边缘检测、卷积层(零填充padding、步长、多通道卷积、多卷积核)、池化层Pooling、全连接层

【卷积核】

卷积核（Convolutional Kernel）是一个大小为 $n\times n$ 的矩阵，用于检测图像中特定的特征，在某一个卷积核对图像进行卷积运算（Convolution）时，就是将卷积核分别与图像的同大小区域进行点乘求和，依次从左到右从上到下滑过图像的所有区域，最终得到特征图（Feature Map）

【引入】

假设下图是一张大小为 $28\times28$ 的黑白图片（单通道），将每一个像素点视为一个特征值，那么该图有 $28\times28=784$ 个特征值

【概述】

在神经网络中，对于图片数据集中的数据，不仅要求数据相关，而且要求有尽可能大的数据量，但要想得到大量的数据，不仅要收集各种情景下、各种角度、各个位置的照片，还要确保数据的多样性，只有这样才能确保神经网络学到的特征更加全面

在现实中，若想达到以上的目的要付出巨大的代价，并且还要对照片上出现的东西进行准确标注，另外对于一些稀有的物种信息收集更是十分困难

References：

• 【深度学习理论】一文搞透Dropout、L1L2正则化/权重衰减
• 深度学习之11——正则化
• Improving neural networks by preventing co-adaptation of feature detectors
• 神经网络中的随机失活方法
• 深度学习技巧之Early Stopping（早停法）
• Data Augmentation—数据增强解决你有限的数据集
• 数据增强(Data Augmentation)

【概述】

在 机器学习的模型评估 中，介绍了偏差、方差、噪声、偏差-方差分解以及偏差-方差窘境

【指数加权平均】

指数加权平均（Exponentially Weight Average）是一种常用的序列数据处理方式，通常用于序列分析，例如金融序列分析、温度变化序列分析等

其过程如下：

【局部最优问题】

在求解最优化问题时，凸优化问题有全局最优解与局部最优解的区别

全局最优是指求一个问题在全值域范围内最优，局部最优是指一个问题的解在一定范围或区域内最优，或者说解决问题或达成目标的手段在一定范围或限制内最优