【瑞利商】
定义
对于 $n\times n$ 的 Hermitian 矩阵 $A$ 和非零向量 $\mathbf{x}$，瑞利商（Rayleigh quotient）定义为：
瑞利定理
当向量 $\mathbf{x}$ 为标准正交基时，即满足
瑞利商退化为：
在约束 $\mathbf{x}^H\mathbf{x} = 1$ 的基础上，利用拉格朗日乘子法构造拉格朗日函数
对 $\mathbf{x}$ 求导并令导数为 $0$，有：
即：
假设 $\lambda_i$ 是 $A$ 的第 $i$ 个特征值，$\mathbf{x}_i$ 是其对应的特征向量，带入瑞利商的定义，可得：
在最大的特征值处，瑞利商有最大值 $\lambda_{\max}$，在最小的特征值处，瑞利商有最小值 $\lambda_{\min}$，即瑞利定理（Rayleigh Theorem）：
【广义瑞利商】
定义
广义瑞利商（Generalized Rayleigh Quotient）的瑞利商的推广
对于 $n\times n$ 的 Hermitian 矩阵 $A,B$ 和非零向量 $\mathbf{x}$，若 $B$ 为正定矩阵，则广义瑞利商为：
在线性判别分析 LDA 中，优化目标即广义瑞利商
广义瑞利定理
对非零向量 $\mathbf{x}$，有：
若对正定 Hermitian 矩阵 $B$ 进行 Cholesky 分解，即令
同时，令 $\mathbf{x}=(C^T)^{-1}\mathbf{y}$，则可将广义瑞利商转为瑞利商的形式
也就是说，广义瑞利商的最大值和最小值由矩阵 $C^{-1}A(C^T)^{-1}$ 的最大特征值和最小特征值决定
在约束 $\mathbf{y}^H\mathbf{y} = 1$ 即 $\mathbf{x}^HB\mathbf{x}=1$ 的基础上，广义瑞利商退化为
利用拉格朗日乘子法构造拉格朗日函数
对 $\mathbf{x}$ 求导并令导数为 $0$，有：
即：
可以发现，这是一个广义特征值问题，若 $B$ 可逆，该问题等价于：
因此广义瑞利商的所有极值在广义特征值处取得
假设 $\lambda_i$ 是第 $i$ 个广义特征值，$\mathbf{x}_i$ 是其对应的广义特征向量，带入广义瑞利商的定义，可得：
在最大的特征值处，广义瑞利商有最大值 $\lambda_{\max}$，在最小的特征值处，广义瑞利商有最小值 $\lambda_{\min}$，即广义瑞利定理（Generalized Rayleigh Theorem）：
