【概述】

半监督支持向量机（Semi-Supervised Support Vector Machine，S3VM）是支持向量机在半监督学习上的推广，在不考虑未标记样本时，支持向量机试图找到最大间隔划分超平面，而在考虑未标记样本后，S3VM 试图找到能将两类有标记样本分开，且穿过数据低密度区域的划分超平面

如图下图所示，这里的基本假设是低密度分隔（Low-density Separation），显然，这是聚类假设在考虑线性超平面划分后的推广

【概述】

生成式半监督方法（Generative semi-supervised methods）是直接基于生成式模型的方法，该类方法假设所有数据都是由同一个潜在的模型生成的

这个假设能够通过潜在模型的参数将未标记数据与学习目标联系起来，而未标记数据的标记则可看作模型的缺失参数，通常可基于 EM 算法进行极大似然估计求解

【未标记样本】

假设训练集 $D_l=\{ (\mathbf{x}_1,y_1),(\mathbf{x}_2,y_2), \cdots, (\mathbf{x}_l,y_l)\}$ 的 $l$ 个样本的标签已知，称为有标记样本（Labeled sample）

还有 $D_u=\{ \mathbf{x}_{l+1},\mathbf{x}_{l+2},\cdots,\mathbf{x}_{l+u} \},l\leq u$ 个样本的标签未知，称为无标记样本（Unlabeled Sample）

【概述】

PageRank 算法于 1996 年由 Page 和 Brin 提出，最初用于谷歌搜索引擎的网页排序，其是定义在网页集合上的一个函数，其对每个网页给出一个正实数，表示网页的重要程度，整体构成一个向量，PageRank 值越高，网页越重要，在互联网搜索的排序中可能就被排在前面

PageRank 假设互联网是一个有向图，每个网页是图中的一个结点，浏览者在每个网页依照连接出去的超链接以等概率跳转到下一个网页，并持续不断进行这样的随机跳转，整个沿着有向图随机访问各网页结点的过程，被定义成一个随机游走模型，即一阶马尔可夫链

【概述】

流形学习（Manifold Learning）是一类借鉴拓扑流形概念的降维方法

流形是指在局部与欧氏空间同胚的空间，即其在局部具有欧氏空间的性质，能用欧氏距离来进行距离计算

【概述】

线性降维方法假设从高维空间到低维空间的函数映射是线性的，但在实际应用中，可能需要非线性映射才能找到合适的低维嵌入

如下图所示，样本点从二维空间中的矩形区域采样后，以 S 形曲面嵌入到三维空间，若直接使用线性降维方法对三维空间观察到的样本点进行降维，则将丢失原本的低维结构

References：

• 线性判别分析LDA原理及推导过程（非常详细）
• 线性判别分析LDA原理总结 - 刘建平Pinard - 博客园
• 六种常见数据降维方法简介及代码实现

【概述】

线性判别分析（Linear Discriminant Analysis，LDA）也是一种常用的降维技术，但与 PCA 不同的是，其是一种监督学习的降维技术，当具有 $K$ 类别时，最多降到 $K-1$ 维，此外，其还可用于分类

【概述】

统计分析中，数据的变量之间可能存在相关性，以致增加了分析的难度。那么，考虑用少数不相关的变量来代替相关的变量，以表示数据，并且要求能够保留数据中的大部分信息

主成分分析（Principal Component Analysis，PCA）的基本思想，具体来说，首先对给定数据进行规范化，使得数据每一变量的均值为 $0$，方差为 $1$，之后对数据进行正交变换，将原来由线性相关变量表示的数据，变换成由若干个线性无关的新变量表示的数据，其中，新变量是正交变换中变量的方差和最大的，方差表示了新变量上信息的大小，这些新变量依次被称为第一主成分、第二主成分等

References：

• 机器学习——特征工程之数据降维
• 【数据降维-第4篇】多维尺度变换（MDS）快速理解，及MATLAB实现
• 机器学习-降维
• 六种常见数据降维方法简介及代码实现

【基本思想】

约束条件

References：

• 怎样理解 Curse of Dimensionality（维数灾难）?
• 六种常见数据降维方法简介及代码实现
• 机器学习——特征工程之数据降维
• 机器学习-降维

【维数灾难】

维数灾难（Curse of Dimensionality）最初是由 Richard E Bellman 研究动态规划时提出的，是指当维度升高时，会遇到低维场景下察觉不到的困难，对于机器学习来说，维度升高，带来的一个明显的灾难是样本稀疏