【对数线性回归】

对于给定的容量为 $n$ 的训练集 $D=\{(\mathbf{x_1},y_1),(\mathbf{x_2},y_2),…,(\mathbf{x_n},y_n)\}$，第 $i$ 组样本中的输入 $\mathbf{x_i}$ 具有 $m$ 个特征值，即：$\mathbf{x_i}=(x_i^{(1)},x_i^{(2)},…,x_i^{(m)})\in \mathbb{R}^m$，输出为 $y_i$，多元线性回归学习到的模型为 $f(\mathbf{x_i};\boldsymbol{\theta})$，使得 $f(x_i;\boldsymbol{\theta})\simeq y_i$

假设函数 $f(\mathbf{x_i};\boldsymbol{\theta})$ 形式如下：

Reference

• Multinomial logistic regression
• [机器学习算法系列（九）-多分类对数几率回归算法（Multinomial Logistic Regression）
• 机器学习小憩（二）：多分类Logistic回归的目标函数
• 逻辑回归算法原理及用于解决多分类问题

【概述】

对数几率回归（Logistic regression）即 Logistic 回归，虽然名为回归，但其实际上是一种解决分类问题的分类学习方法，在现实中应用十分广泛，比如垃圾邮件识别，手写数字识别，人脸识别，语音识别等

Reference

• Logistic regression
• 周志华机器学习（西瓜书）学习笔记（持续更新）
• 西瓜书学习笔记(3)—线性模型
• 最大似然估计
• 机器学习算法系列（七）-对数几率回归算法（一）（Logistic Regression Algorithm）

【概述】

对数几率回归（Logistic regression）即 Logistic 回归，虽然名为回归，但其实际上是一种解决分类问题的分类学习方法，在现实中应用十分广泛，比如垃圾邮件识别，手写数字识别，人脸识别，语音识别等

Reference

• 最小角回归详解
• 最小角回归（Least Angle Regression）
• 机器学习方法：回归（三）：最小角回归Least Angle Regression（LARS），forward stagewise selection
• 最小角回归算法（LARS）
• 对LARS(Least Angle Regression)的简单理解
• Least-angle regression

【概述】

最小角回归法（Least Angle Regression，LAR），是一种针对于线性回归问题，快速进行特征选择和回归系数计算的迭代算法，其被广泛推广用于求解线性回归以及 Lasso 回归问题

Reference

• 【机器学习】坐标下降法（Coordinate descent）
• 优化算法——坐标下降法(Coordinate Descent)
• 坐标下降法
• Coordinate descent

【概述】

坐标下降法（Coordinate Descent）是一种非梯度优化算法，常用于不可微的凸函数优化问题中

Reference

• 弹性网络回归算法（Elastic Net Regression Algorithm）
• 机器学习算法系列（六）- 弹性网络回归算法（Elastic Net Regression Algorithm）
• Elastic net regularization

【概述】

在 Lasso 回归与 Ridge 回归 中，介绍了 Lasso 回归与岭回归两种正则化的方法

Reference

• Lasso回归
• Lasso—原理及最优解
• 机器学习算法系列（五）- Lasso回归算法（Lasso Regression Algorithm）
• 岭回归
• 岭回归详解 从零开始 从理论到实践
• Tikhonov regularization 吉洪诺夫正则化（L2正则化）
• 机器学习算法系列（四）- 岭回归算法（Ridge Regression Algorithm）
• Lasso (statistics))
• Tikhonov regularization

【概述】

对于线性回归来说，其损失函数的解析解为：

Reference

• 一看就懂的多重共线性
• 如何理解方差膨胀因子（Variance Inflation Factor，VIF）？
• 使用方差膨胀因子(Variance Inflation Factor)来特征选择
• Multicollinearity
• Variance inflation factor

【概述】

对于线性回归来说，其代价函数的解析解为：

【假设形式】

在回归分析中，如果有两个及以上的自变量，且因变量和自变量之间是线性关系，则称为多元线性回归（Multivariate Linear Regression）

其假设形式如下：

【假设形式】

在回归分析中，只有一个自变量和因变量，且因变量和自变量之间是线性关系，一般称为一元线性回归（Unary Linear Regression）

通过线性回归算法，会得到很多的线性回归模型，但是不同的模型对于数据的拟合（描述能力）是不一样的，我们的目的是找到一个能够最精确描述数据之间关系的线性回归模型