Reference

• ROC曲线和AUC值
• 机器学习之分类性能度量指标 : ROC曲线、AUC值、正确率、召回率
• 模型评估与选择（中篇）-ROC曲线与AUC曲线
• 西瓜书《机器学习》阅读笔记3——Chapter2_ROC曲线

【概述】

评价指标可以说明模型的性能，辨别模型的结果，在建立一个模型后，计算指标，从指标获取反馈，再继续改进模型，直到达到理想的效果，因此，在预测之前检查模型的评估指标至关重要，不应在建立一个模型后，就直接将模型应用到看不见的数据上

【概述】

评价指标可以说明模型的性能，辨别模型的结果，在建立一个模型后，计算指标，从指标获取反馈，再继续改进模型，直到达到理想的效果，因此，在预测之前检查模型的评估指标至关重要，不应在建立一个模型后，就直接将模型应用到看不见的数据上

对于分类问题来说，其根据所分类别的个数，可分为二分类问题、多分类问题

Reference

• 回归评价指标MSE、RMSE、MAE、R-Squared
• R方的理解与用法
• Wikipedia entry on the Coefficient of determination
• 统计学——线性回归决定系数R2
• mse、rmse、mae、r2指标的总结以及局限性
• 可决系数

【概述】

在 回归问题的评价指标（一） 中，介绍了回归问题考虑经验风险 $R_{emp}(f)$ 时的评价指标 MSE、RMSE、MAE

【概述】

在 监督学习三要素 中介绍过损失函数（Loss Function）、期望风险（Expected Risk）、经验风险（Empirical Risk）

损失函数是定义在单个样本上的，计算的是一个样本的误差，即：

【概述】

激活函数（Activation Function），是用于将权值结果转换为分类结果的一类函数，目前常用激活函数的地方有两个：

• 逻辑回归（Logistic Regression）
• 神经网络（Neural Network）

Reference

• 距离计算方法总结
• 几种距离度量方法比较
• 欧几里得距离、曼哈顿距离和切比雪夫距离
• 向量相似度匹配之“闵可夫斯基距离”
• 标准化欧式距离
• 马氏距离
• 马氏距离和欧式距离详解

【概述】

在机器学习中的分类、聚类问题中，常常需要估算不同样本之间的相似性度量（Similarity Measurement），这时会计算样本间的距离（Distance）来作为度量的标准

【欠拟合与过拟合】

当假设空间中含有不同复杂度的模型时，就面临模型选择问题，即假设假设空间中存在符合问题的真模型，那么选择的模型应该逼近该真模型，从而提高预测能力

如果模型复杂度低，在训练集中无法获得足够低的误差，使得模型在训练集上就表现的很差，无法学习到数据背后的规律，这种现象称为欠拟合（Under-fitting）

Reference

• 统计学习方法（一）：泛化误差上界
• 关于Hoeffding不等式及泛化误差上界
• 偏差方差分解
• 偏置方差分解Bias-variance Decomposition
• 机器学习中的方差和偏差

【训练误差与测试误差】

对于任何一个模型来说，具体采用的损失函数，未必是评估模型时所用的损失函数

【0-1 损失函数】

0-1 损失函数（0-1 Loss Function）常用于分类问题，当真实值 $y$ 与预测值 $f(\mathbf{x};\boldsymbol{\theta})$ 不相等为 $1$，否则为 $0$，其标准形式如下：

由于相等条件过于严格，因此可以放宽条件，设置一个阈值 $T$，即满足 $|y-f(\mathbf{x};\boldsymbol{\theta})|<T$ 时认为相等，否则认为不相等

【AOE 网】

日常生活中，一项大的工程可以看作是由若干个子工程组成的集合，这些子工程之间必定存在一定的先后顺序，即某些子工程必须在其他的一些子工程完成后才能开始

用结点表示活动，用弧表示活动间优先关系，形成的无权 DAG 图，被称为顶点活动网络