【概述】

在 监督学习三要素 中介绍过损失函数（Loss Function）、期望风险（Expected Risk）、经验风险（Empirical Risk）

损失函数是定义在单个样本上的，计算的是一个样本的误差，即：

【概述】

激活函数（Activation Function），是用于将权值结果转换为分类结果的一类函数，目前常用激活函数的地方有两个：

• 逻辑回归（Logistic Regression）
• 神经网络（Neural Network）

Reference

• 距离计算方法总结
• 几种距离度量方法比较
• 欧几里得距离、曼哈顿距离和切比雪夫距离
• 向量相似度匹配之“闵可夫斯基距离”
• 标准化欧式距离
• 马氏距离
• 马氏距离和欧式距离详解

【概述】

在机器学习中的分类、聚类问题中，常常需要估算不同样本之间的相似性度量（Similarity Measurement），这时会计算样本间的距离（Distance）来作为度量的标准

【欠拟合与过拟合】

当假设空间中含有不同复杂度的模型时，就面临模型选择问题，即假设假设空间中存在符合问题的真模型，那么选择的模型应该逼近该真模型，从而提高预测能力

如果模型复杂度低，在训练集中无法获得足够低的误差，使得模型在训练集上就表现的很差，无法学习到数据背后的规律，这种现象称为欠拟合（Under-fitting）

Reference

• 统计学习方法（一）：泛化误差上界
• 关于Hoeffding不等式及泛化误差上界
• 偏差方差分解
• 偏置方差分解Bias-variance Decomposition
• 机器学习中的方差和偏差

【训练误差与测试误差】

对于任何一个模型来说，具体采用的损失函数，未必是评估模型时所用的损失函数

【0-1 损失函数】

0-1 损失函数（0-1 Loss Function）常用于分类问题，当真实值 $y$ 与预测值 $f(\mathbf{x};\boldsymbol{\theta})$ 不相等为 $1$，否则为 $0$，其标准形式如下：

由于相等条件过于严格，因此可以放宽条件，设置一个阈值 $T$，即满足 $|y-f(\mathbf{x};\boldsymbol{\theta})|<T$ 时认为相等，否则认为不相等

【AOE 网】

日常生活中，一项大的工程可以看作是由若干个子工程组成的集合，这些子工程之间必定存在一定的先后顺序，即某些子工程必须在其他的一些子工程完成后才能开始

用结点表示活动，用弧表示活动间优先关系，形成的无权 DAG 图，被称为顶点活动网络

【概述】

在 机器学习 中，对机器学习进行了简单的介绍，即机器学习是由模型、策略、算法构成的，可以表示为：方法 = 模型 + 策略 + 算法

【监督学习】

监督学习（Supervised Learning）的任务是学习一个模型，使得模型能够对任意给定的输入，对其相应的输出做出一个好的预测，简单来说，就是利用训练数据集学习一个模型，再用模型对测试样本集进行预测

监督学习是从已标注好数据输入输出对应关系的标注数据中进行学习，本质是学习从输入到输出的映射的统计规律

【概述】

当提及机器学习时，一般指的是统计机器学习（Statistical Machine Learning），其也被称为统计学习（Statistical Learning），即利用数据来构建统计模型，并运用模型对数据进行预测和分析的学科

【形式化】