【0-1 损失函数】
0-1 损失函数（0-1 Loss Function）常用于分类问题，当真实值 $y$ 与预测值 $f(\mathbf{x};\boldsymbol{\theta})$ 不相等为 $1$，否则为 $0$，其标准形式如下：
由于相等条件过于严格，因此可以放宽条件，设置一个阈值 $T$，即满足 $|y-f(\mathbf{x};\boldsymbol{\theta})|<T$ 时认为相等，否则认为不相等
【平方损失函数】
平方损失函数（Quadratic Loss Function）常用于回归问题，是取真实值 $y$ 与预测值 $f(\mathbf{x};\boldsymbol{\theta})$ 差值的平方，其标准形式如下：
从概率理解上，平方损失函数意味着模型的输出是以预测值为均值的高斯分布，而在最小化平方损失函数时，其本质上等同于在误差服从高斯分布的假设下的极大似然估计
【绝对值损失函数】
绝对值损失函数（Absolute Loss Function）常用于回归问题，是取真实值 $y$ 与预测值 $f(\mathbf{x};\boldsymbol{\theta})$ 差值的绝对值，其标准形式如下：
由于此处仅是取了绝对值，并不像平方损失函数那样，差会被平方缩放
【对数损失函数】
对数损失函数（Logarithmic Loss Function）常用于多分类问题，其用到了极大似然估计的思想，能够较好的表征概率分布，标准形式如下：
其中，$P_{\boldsymbol{\theta}}(y|\mathbf{x})$ 是指在当前模型上，对于样本 $\mathbf{x}$，其预测值为 $y$ 的概率
由于概率之间的同时满足需要使用乘法，为了将其转化为加法，通常将其取对数，最后由于是损失函数，所以预测正确的概率越高，其损失值应该是越小，因此要加负号取反
【交叉熵损失函数】
交叉熵损失函数（Cross-entropy Loss Function）本质上是一种对数似然函数，常用于二分类和多分类任务中，其标准形式如下：
当使用 sigmoid 作为激活函数时，常用交叉熵损失函数而不用均方误差损失函数，因为它可以完美解决平方损失函数权重更新过慢的问题，具有误差大时，权重更新快；误差小时，权重更新慢的良好性质
【感知损失函数】
感知损失函数（Perceptron Loss Function）常用于感知机中，其标准形式如下：
其中，$y$ 是真实值，$f(\mathbf{x};\boldsymbol{\theta})$ 是预测值
对于感知损失函数来说，只要样本的判定类别正确就满意，不管判定边界的距离
【合页损失函数】
合页损失函数（Hinge Loss Function）常用于支持向量机中，其标准形式如下：
如果分类正确，损失为 $0$，否则损失 $1-yf(\mathbf{x};\boldsymbol{\theta})$，其中，$y$ 是真实值，其值为 $-1$ 或 $1$；$f(\mathbf{x};\boldsymbol{\theta})$ 是预测值，其值在 $-1$ 到 $1$ 之间
【指数损失函数】
指数损失函数（Exponential Loss Function）常用于 AdaBoost 算法中，其目标函数就是指数损失函数，标准形式如下：
其中，$\exp(*)$ 为指数函数，$y$ 是真实值，$f(\mathbf{x};\boldsymbol{\theta})$ 是预测值
