朴素贝叶斯 发表于 2019-07-22 分类于 人工智能 ， 机器学习 ， 监督学习 本文字数： 3.7k 阅读时长 ≈ 3 分钟 Reference 【辨析】先验概率、后验概率、似然概率 带你理解朴素贝叶斯分类算法 算法杂货铺——分类算法之朴素贝叶斯分类(Naive Bayesian classification) 贝叶斯估计 平滑处理—拉普拉斯（Laplace Smoothing） Naive Bayes classifier Additive smoothing 【概述】贝叶斯分类模型是基于贝叶斯定理与特征条件独立假设的分类模型，朴素贝叶斯（Naive Bayes）是贝叶斯分类模型中最简单、最常见的一种分类方法，该方法从概率论的角度来进行分类预测，实现简单，预测效率高 阅读全文 »
最大熵模型学习的最优化算法 发表于 2019-07-21 分类于 人工智能 ， 机器学习 ， 监督学习 本文字数： 8.9k 阅读时长 ≈ 8 分钟 Reference 详解最大熵模型 最大熵模型原理 深入机器学习系列21-最大熵模型 二十一.最大熵模型原理 最大熵模型中的对数似然函数表示法解释 最大熵模型中的对数似然函数的解释 【最大熵模型学习的最优化算法】由于在最大熵模型中，对偶函数的极大化等价于最大熵模型的极大似然估计，那么最大熵模型的学习问题就转换为具体求解对偶函数 $\psi(\boldsymbol{\omega})$ 极大化或对数似然函数 $L_{\tilde{p}}(p_{\boldsymbol{\omega}})$ 极大化的问题，即： 阅读全文 »
改进的迭代尺度法 IIS 发表于 2019-07-21 分类于 人工智能 ， 优化算法 本文字数： 6k 阅读时长 ≈ 5 分钟 【概述】改进的迭代尺度法（Improve Iterative Scaling，IIS）是一种专用于最大熵模型学习的最优化算法，其是在通用迭代尺度法（Generalized Iterative Scaling，GIS）的基础上改进得来的 已知最大熵模型为： 阅读全文 »
最大熵模型的学习 发表于 2019-07-20 分类于 人工智能 ， 机器学习 ， 监督学习 本文字数： 4.8k 阅读时长 ≈ 4 分钟 Reference 详解最大熵模型 最大熵模型原理 深入机器学习系列21-最大熵模型 二十一.最大熵模型原理 最大熵模型中的对数似然函数表示法解释 最大熵模型中的对数似然函数的解释 【对偶函数的极大化】对于最大熵模型的约束最优化问题，内部的极小化问题的求解得到了关于 $\boldsymbol{\omega}$ 的对偶函数 阅读全文 »
最大熵模型 发表于 2019-07-19 分类于 人工智能 ， 机器学习 ， 监督学习 本文字数： 3.7k 阅读时长 ≈ 3 分钟 Reference 详解最大熵模型 最大熵模型原理 深入机器学习系列21-最大熵模型 二十一.最大熵模型原理 最大熵模型中的对数似然函数表示法解释 最大熵模型中的对数似然函数的解释 【约束最优化问题】最大熵模型的学习过程，即求解最大熵模型的过程，其可以形式化为约束最优化问题 阅读全文 »
最大熵模型的导出 发表于 2019-07-19 分类于 人工智能 ， 机器学习 ， 监督学习 本文字数： 2k 阅读时长 ≈ 2 分钟 Reference 详解最大熵模型 最大熵模型原理 深入机器学习系列21-最大熵模型 二十一.最大熵模型原理 最大熵模型中的对数似然函数表示法解释 最大熵模型中的对数似然函数的解释 【判别分类模型】假设分类模型为一判别模型，选用条件概率分布 $P(Y|X)$ 作为预测模型，$X\in\mathcal{X}\subseteq \mathbb{R}^n $ 为输入，$Y\in\mathcal{Y}\subseteq \mathbb{R}^n $ 为输出 阅读全文 »
最大熵原理 发表于 2019-07-18 分类于 数学 ， 信息论 本文字数： 1.3k 阅读时长 ≈ 1 分钟 【最大熵原理】在 信息熵与互信息 中对信息熵进行了介绍，而最大熵原理，就是认为：在所有可能的概率分布中，熵最大的模型是最好的模型 对于来自参数空间 $\mathcal{X}$ 的离散随机变量 $X$，其概率分布为： 阅读全文 »
拉格朗日乘子法与对偶性 发表于 2019-07-14 分类于 人工智能 ， 优化算法 本文字数： 6.9k 阅读时长 ≈ 6 分钟 Reference 拉格朗日乘数 拉格朗日乘数法 —— 通俗理解 真正理解拉格朗日乘子法和 KKT 条件 支持向量机原理详解(二): 拉格朗日对偶函数，SVM的对偶问题 拉格朗日乘子法与对偶问题 拉格朗日乘子法与拉格朗日对偶性 约束优化&拉格朗日乘子法&拉格朗日对偶解法的关系 机器学习算法系列（二）：拉格朗日对偶性 对偶和KKT条件 凸优化（slater条件探讨） Slater与KKT条件 Slater条件理解和证明 【概述】拉格朗日乘子法（Lagrange Multipliers）是一种寻找多元函数在一组约束下的极值的方法，将含有 $d$ 个变量与 $k$ 个约束条件的最优化问题，转换为具有 $d+k$ 个变量的无约束最优化问题来求解 阅读全文 »
信息熵与互信息 发表于 2019-07-13 分类于 数学 ， 信息论 本文字数： 3.4k 阅读时长 ≈ 3 分钟 Reference 信息熵是什么？ - D.Han的回答 - 知乎 信息熵公式的由来 互信息(Mutual Information) 详解机器学习中的熵、条件熵、相对熵和交叉熵 一文搞懂交叉熵在机器学习中的使用，透彻理解交叉熵背后的直觉 条件互信息的理解(Conditional Mutual Information) 条件互信息 【信息熵】信息熵 阅读全文 »
KD 树 发表于 2019-07-11 分类于 人工智能 ， 机器学习 ， 监督学习 本文字数： 3.6k 阅读时长 ≈ 3 分钟 【概述】在实现 K 近邻时，主要考虑的是如何对训练数据进行 K 近邻搜索，最简单的实现方式是线性扫描（Linear Scan），此时要计算输入样本与每一个训练样本的距离，这在维度大的特征空间以及大容量的训练数据集中非常耗时 为提高 K 近邻搜索的效率，可以使用特殊的数据结构来存储训练数据，通过以空间换时间来快速查询样本的近邻 阅读全文 »