Reference

• 梯度下降法 —— 经典的优化方法
• 梯度下降算法（Gradient Descent)的原理和实现步骤
• 详解梯度下降法（干货篇）
• 什么是梯度下降
• 梯度下降算法原理讲解——机器学习
• 随机梯度下降（stochastic gradient descent，SGD）
• 梯度下降法(Gradient Descent)优化函数的详解（3）小批量随机梯度下降法（mini-batch SGD ）

【概述】

梯度下降法（Gradient Descent）不是一个机器学习算法，而是一种基于搜索的最优化方法，其目的是通过迭代来最小化一个效用函数，是求解无约束优化问题最简单、最经典的方法之一

【概述】

评价指标可以说明模型的性能，辨别模型的结果，在建立一个模型后，计算指标，从指标获取反馈，再继续改进模型，直到达到理想的效果，因此，在预测之前检查模型的评估指标至关重要，不应在建立一个模型后，就直接将模型应用到看不见的数据上

对于分类问题来说，其根据所分类别的个数，可分为二分类问题、多分类问题

Reference

• Explicitly Representing Expected Cost
• Cost curves: An improved method for visualizing
  classifier performance
• 机器学习模型性能评估二：代价曲线与性能评估方法总结
• 模型评估与选择（后篇）-代价曲线
• 西瓜书《机器学习》阅读笔记4——Chapter2_代价曲线

【概述】

评价指标可以说明模型的性能，辨别模型的结果，在建立一个模型后，计算指标，从指标获取反馈，再继续改进模型，直到达到理想的效果，因此，在预测之前检查模型的评估指标至关重要，不应在建立一个模型后，就直接将模型应用到看不见的数据上

Reference

• ROC曲线和AUC值
• 机器学习之分类性能度量指标 : ROC曲线、AUC值、正确率、召回率
• 模型评估与选择（中篇）-ROC曲线与AUC曲线
• 西瓜书《机器学习》阅读笔记3——Chapter2_ROC曲线

【概述】

评价指标可以说明模型的性能，辨别模型的结果，在建立一个模型后，计算指标，从指标获取反馈，再继续改进模型，直到达到理想的效果，因此，在预测之前检查模型的评估指标至关重要，不应在建立一个模型后，就直接将模型应用到看不见的数据上

【概述】

评价指标可以说明模型的性能，辨别模型的结果，在建立一个模型后，计算指标，从指标获取反馈，再继续改进模型，直到达到理想的效果，因此，在预测之前检查模型的评估指标至关重要，不应在建立一个模型后，就直接将模型应用到看不见的数据上

对于分类问题来说，其根据所分类别的个数，可分为二分类问题、多分类问题

Reference

• 回归评价指标MSE、RMSE、MAE、R-Squared
• R方的理解与用法
• Wikipedia entry on the Coefficient of determination
• 统计学——线性回归决定系数R2
• mse、rmse、mae、r2指标的总结以及局限性
• 可决系数

【概述】

在 回归问题的评价指标（一） 中，介绍了回归问题考虑经验风险 $R_{emp}(f)$ 时的评价指标 MSE、RMSE、MAE

【概述】

在 监督学习三要素 中介绍过损失函数（Loss Function）、期望风险（Expected Risk）、经验风险（Empirical Risk）

损失函数是定义在单个样本上的，计算的是一个样本的误差，即：

【概述】

激活函数（Activation Function），是用于将权值结果转换为分类结果的一类函数，目前常用激活函数的地方有两个：

• 逻辑回归（Logistic Regression）
• 神经网络（Neural Network）

Reference

• 距离计算方法总结
• 几种距离度量方法比较
• 欧几里得距离、曼哈顿距离和切比雪夫距离
• 向量相似度匹配之“闵可夫斯基距离”
• 标准化欧式距离
• 马氏距离
• 马氏距离和欧式距离详解

【概述】

在机器学习中的分类、聚类问题中，常常需要估算不同样本之间的相似性度量（Similarity Measurement），这时会计算样本间的距离（Distance）来作为度量的标准

【欠拟合与过拟合】

当假设空间中含有不同复杂度的模型时，就面临模型选择问题，即假设假设空间中存在符合问题的真模型，那么选择的模型应该逼近该真模型，从而提高预测能力

如果模型复杂度低，在训练集中无法获得足够低的误差，使得模型在训练集上就表现的很差，无法学习到数据背后的规律，这种现象称为欠拟合（Under-fitting）