【稀疏表示】
将数据集 $D$ 考虑成一个矩阵,其每行对应于一个样本,每列对应于一个特征,特征选择所考虑的问题是特征具有稀疏性,即矩阵中的诸多列与当前学习任务无关,通过特征选择去除这些列,则模型训练过程仅需在较小的矩阵上进行,训练的难度可能会有所降低,涉及的计算和存储开销也会减少,学习到的模型的可解释性也会提高
考虑另一种稀疏性,即 $D$ 所对应的矩阵中存在诸多零元素,但这些零元素并非以整行、整列的形式存在,当数据集具有这样稀疏表达形式时,与特征选择去除某些特征类似,对于训练过程来说会有不少好处,同时稀疏样本并不会造成存储上的巨大负担