Reference

• 如何理解最小二乘法？
• 最小二乘法（least sqaure method）
• Ordinary Least Square(OLS) 普通最小二乘
• 普通最小二乘法的推导证明
• 最小二乘法和梯度下降法的区别？
• 非线性拟合怎么转化为线性拟合？

【引入】

假设使用五把尺子，分别测量一个线段的长度，测量的结果如下：

Reference

• 牛顿法与拟牛顿法学习笔记（五）L-BFGS 算法
• Limited-memory BFGS
• 一文读懂L-BFGS算法
• L-BFGS算法介绍
• 【技术分享】L-BFGS算法

【概述】

在 Sherman-Morrison 公式下的 BFGS 算法中，需要用到一个 $N\times N$ 的矩阵 $G_k$，当 $N$ 很大时，存储这个矩阵将十分消耗计算机的资源

Reference

• 最优化方法复习笔记（四）拟牛顿法与SR1,DFP,BFGS三种拟牛顿算法的推导与代码实现
• Broyden类算法

【DFP 与 BFGS 的关系】

对于 DFP 算法来说，其迭代式为：

Reference

• Broyden–Fletcher–Goldfarb–Shanno algorithm
• Sherman–Morrison formula
• Woodbury matrix identitty
• 牛顿法与拟牛顿法学习笔记（四）BFGS 算法
• Broyden类算法：BFGS算法的迭代公式推导（应用两次Sherman-Morrison公式）
• Sherman-Morrison公式在BFGS算法的应用
• BFGS算法中Sherman-Morrison-Woodbury公式的使用

【概述】

BFCS 算法是建立在阻尼牛顿法之上的，其以发明者 Broyden、Fletcher、Goldfarb、Shanno 四人姓名的首字母命名的，与 DFP 算法相比，其性能更佳，目前已成为求解无约束非线性优化问题的常用方法

Reference

• 牛顿法与拟牛顿法学习笔记（三）DFP 算法
• 优化算法——拟牛顿法之DFP算法
• Davidon–Fletcher–Powell formula

  【概述】

DFP 算法是建立在阻尼牛顿法之上的，由 Davidon 提出，后经 Fletcher 和 Powell 加以发展和完善，因此以三人的姓名的首字母命名，是最早的拟牛顿法

对于阻尼牛顿法的搜索方向 $\mathbf{d_k}=-H_k^{-1}\cdot \mathbf{g_k}$，根据拟牛顿条件，DFP 选用 $D_k$ 作为 $H_k^{-1}$ 的近似，其迭代格式为：

Reference

• 牛顿法与拟牛顿法
• 梯度下降法、牛顿法和拟牛顿法
• 牛顿法与拟牛顿法学习笔记（二）拟牛顿条件
• 拟牛顿法

【概述】

在 牛顿迭代法 中，介绍了海森矩阵（Hessian Matrix），以及原始牛顿迭代法、阻尼牛顿迭代法

Reference

• 多元变量函数，泰勒如何展开？（泰勒展开）
• 多元函数判断是否为函数值下降方向的直观理解
• 牛顿法与拟牛顿法学习笔记（一）牛顿法
• 机器学习笔记-牛顿法
• 机器学习笔记-牛顿法搜索方向的相关证明
• 【最优化】无约束优化方法-牛顿法
• 【最优化】无约束优化方法-阻尼牛顿法
• 梯度下降法、牛顿法和拟牛顿法
• 牛顿法与拟牛顿法

【概述】

牛顿法（Newton Method）又称牛顿迭代法，其是梯度下降法的进一步发展，是求解非线性优化问题的常用方法

Reference

• 梯度下降法 —— 经典的优化方法
• 梯度下降算法（Gradient Descent)的原理和实现步骤
• 详解梯度下降法（干货篇）
• 什么是梯度下降
• 梯度下降算法原理讲解——机器学习
• 随机梯度下降（stochastic gradient descent，SGD）
• 梯度下降法(Gradient Descent)优化函数的详解（3）小批量随机梯度下降法（mini-batch SGD ）

【概述】

梯度下降法（Gradient Descent）不是一个机器学习算法，而是一种基于搜索的最优化方法，其目的是通过迭代来最小化一个效用函数，是求解无约束优化问题最简单、最经典的方法之一

【概述】

评价指标可以说明模型的性能，辨别模型的结果，在建立一个模型后，计算指标，从指标获取反馈，再继续改进模型，直到达到理想的效果，因此，在预测之前检查模型的评估指标至关重要，不应在建立一个模型后，就直接将模型应用到看不见的数据上

对于分类问题来说，其根据所分类别的个数，可分为二分类问题、多分类问题

Reference

• Explicitly Representing Expected Cost
• Cost curves: An improved method for visualizing
  classifier performance
• 机器学习模型性能评估二：代价曲线与性能评估方法总结
• 模型评估与选择（后篇）-代价曲线
• 西瓜书《机器学习》阅读笔记4——Chapter2_代价曲线

【概述】

评价指标可以说明模型的性能，辨别模型的结果，在建立一个模型后，计算指标，从指标获取反馈，再继续改进模型，直到达到理想的效果，因此，在预测之前检查模型的评估指标至关重要，不应在建立一个模型后，就直接将模型应用到看不见的数据上