【内积空间】

欧式空间

设 $V^n$ 是 $\mathbb{R}$ 上的 $n$ 维实线性空间，若 $\forall \alpha,\beta\in V$，有一实数 $<\alpha,\beta>$ 与之对应，且满足

1. 对称性：$<\alpha,\beta>=<\beta,\alpha>$
2. 可加性：$<\alpha+\beta,\gamma>=<\alpha,\gamma>+<\beta,\gamma>$
3. 齐次性：$<k\alpha,\beta>=k<\alpha,\beta>,k\in \mathbb{R}$
4. 正定性：$<\alpha,\alpha>\geq 0$，当且仅当 $\alpha=0$ 时 $<\alpha,\alpha>=0$

则称 $<\alpha,\beta>$ 为 $\alpha,\beta$ 的内积，称定义有这样内积的 $n$ 维线性空间 $V$ 为 $n$ 维欧式空间

酉空间

设 $V^n$ 是 $\mathbb{R}$ 上的 $n$ 维复线性空间，若 $\forall \alpha,\beta\in V$，有一复数 $<\alpha,\beta>$ 与之对应，且满足

1. 共轭对称性：$<\alpha,\beta>=\overline{<\beta,\alpha>}$
2. 第一变元可加性：$<\alpha+\beta,\gamma>=<\alpha,\gamma>+<\beta,\gamma>$
3. 第一变元齐次性：$<k\alpha,\beta>=k<\alpha,\beta>,k\in \mathbb{C}$
4. 正定性：$<\alpha,\alpha>\geq 0$，当且仅当 $\alpha=0$ 时 $<\alpha,\alpha>=0$

则称 $<\alpha,\beta>$ 为 $\alpha,\beta$ 的内积，称定义有这样内积的 $n$ 维复线性空间 $V$ 为 $n$ 维酉空间

【度量矩阵】

设 $\{\alpha_1,\alpha_2,\cdots,\alpha_n\}$ 为 $V^n$ 的一个基，对 $\forall\alpha=\sum\limits_{i=1}^nx_i\alpha_i,\forall\beta=\sum\limits_{j=1}^ny_j\alpha_j$，有

$$\begin{align*} <\alpha,\beta>=& <\sum_{i=1}^nx_i\alpha_i,\sum_{j=1}^ny_i\alpha_j> \\ =& \sum_{i=1}^n\sum_{j=1}^nx_i<\alpha_i,\alpha_j>y_j \end{align*}$$

称

$$G(\alpha_1,\alpha_2,\cdots,\alpha_n)=\begin{bmatrix} <\alpha_1,\alpha_1> & <\alpha_1,\alpha_2> & \cdots & <\alpha_1,\alpha_n> \\ <\alpha_2,\alpha_1> & <\alpha_2,\alpha_2> & \cdots & <\alpha_2,\alpha_n> \\ \vdots & \vdots & \ddots & \vdots \\ <\alpha_n,\alpha_1> & <\alpha_n,\alpha_2> & \cdots & <\alpha_n,\alpha_n> \\ \end{bmatrix}$$

为基 $\{\alpha_1,\alpha_2,\cdots,\alpha_n\}$ 的度量矩阵

故有

$$<\alpha,\beta>=\mathbf{x}^TG(\alpha_1,\alpha_2,\cdots,\alpha_n)\mathbf{y}$$

其中，$\mathbf{x},\mathbf{y}$ 分别为 $\alpha,\beta$ 的坐标向量

【向量运算】

向量长度

对向量 $\alpha\in V$ 称 $\sqrt{<\alpha,\alpha>}$ 为 $\alpha$ 的长度，记为 $|\alpha|$，长度为 $1$ 的向量称为单位向量

向量长度具有如下性质：

1. $|\alpha|\geq 0$，当且仅当 $\alpha=0$ 时，$|\alpha|=0$
2. 对 $\forall k$，有 $|k\alpha|=|k||\alpha|$
3. 三角不等式：$|\alpha+\beta|\leq |\alpha| + |\beta|$
4. Cauchy-Schwartz 不等式：$|<\alpha,\beta>|\leq |\alpha||\beta|$

向量的距离与夹角

Cauchy-Schwartz 不等式在 $n$ 维欧氏空间 $\mathbb{R}^n$ 中，变为

$$|\sum_{i=1}^n x_iy_i|\leq \sqrt{\sum_{i=1}^n x_i^2} \sqrt{\sum_{i=1}^n y_i^2}$$

同时，在 $\mathbb{R}^n$ 中，可定义两向量 $\alpha$ 与 $\beta$ 的距离

$$d(\alpha,\beta)=|\alpha-\beta|$$

且两向量 $\alpha$ 与 $\beta$ 的夹角满足下式

$$\cos(\alpha,\beta)=\frac{<\alpha,\beta>}{|\alpha||\beta|}$$

向量单位化

对于 $\forall \alpha\neq 0$，有

$$\Big|\frac{\alpha}{|\alpha|}\Big| = \frac{1}{|\alpha|} |\alpha|=1$$

即 $\frac{\alpha}{|\alpha|}$ 为单位向量，称这种方法为向量的单位化

Schmidt 标准正交化

若 $<\alpha,\beta>=0$，则称向量 $\alpha$ 和 $\beta$ 正交，记为 $\alpha\perp\beta$，进一步，若向量组 $\{\alpha_1,\alpha_2,\cdots,\alpha_n\}$ 中的向量两两正交，则称该向量组为正交向量组，对于不含零向量的正交向量组，是线性无关的

称 $V^n$ 中有顺序的 $n$ 个非零向量所组成的正交向量组为正交基，称由单位向量组成的正交基为标准正交基，显然，$B=\{\varepsilon_1,\varepsilon_2,\cdots,\varepsilon_n\}$ 为 $V^n$ 的一个标准正交基的充要条件为

$$<\varepsilon_i,\varepsilon_j> =\delta_{ij} \triangleq \left\{ \begin{array}{c} 1,&i=j\\ 0,&i\neq j \end{array}\right. \quad i,j=1,2,\cdots,n$$

对于线性无关向量组来说，若想将其构造成一个标准正交基，可采用 Schmidt 标准正交化

设 $\{ \alpha_1,\alpha_2,\cdots,\alpha_n \}$ 是 $n$ 维内积空间中的线性无关向量组，那么正交向量组 $\{\beta_1,\beta_2,\cdots,\beta_n\}$ 为

$$\begin{array}{l} \beta_1= \alpha_1 \\ \beta_2= \alpha_2-\frac{<\alpha_2,\beta_1>}{<\beta_1,\beta_1>}\beta_1 \\ \beta_3 = \alpha_3-\frac{<\alpha_3,\beta_1>}{<\beta_1,\beta_1>}\beta_1 - \frac{<\alpha_3,\beta_2>}{<\beta_2,\beta_2>}\beta_2\\ \cdots \\ \beta_n = \alpha_n - \sum\limits_{i=1}^{n-1}\frac{<\alpha_n,\beta_i>}{<\beta_i,\beta_i>}\beta_i \end{array}$$

其中，$\frac{<\alpha_n,\beta_i>}{<\beta_i,\beta_i>}\beta_i$ 称为向量 $\alpha_n$ 在向量 $\beta_i$ 上的投影

将正交向量组 $\{\beta_1,\beta_2,\cdots,\beta_n\}$ 再进行标准化，即可得到一标准正交基 $\{\varepsilon_1,\varepsilon_2,\cdots,\varepsilon_n\}$，即

$$\begin{align*} \varepsilon_1 =& \frac{\beta_1}{|\beta_1|} \\ \varepsilon_2 =& \frac{\beta_2}{|\beta_2|} \\ \vdots \\ \varepsilon_n =& \frac{\beta_n}{|\beta_n|} \end{align*}$$

由于 $\frac{<\alpha_n,\beta_i>}{<\beta_i,\beta_i>}\beta_n=<\alpha_n,\varepsilon_n>$，故由标准正交基 $\{\varepsilon_1,\varepsilon_2,\cdots,\varepsilon_n\}$ 到线性无关向量组 $\{ \alpha_1,\alpha_2,\cdots,\alpha_n \}$ 的变换的矩阵表示为

$$[\alpha_1,\alpha_2,\cdots,\alpha_n] = [\varepsilon_1,\varepsilon_2,\cdots,\varepsilon_n] \begin{bmatrix} |\beta_1| & <\alpha_2,\varepsilon_1> & \cdots & <\alpha_n,\varepsilon_1> \\ 0 & |\beta_2| & \cdots & <\alpha_n,\varepsilon_2> \\ \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & \cdots & |\beta_n| \\ \end{bmatrix}$$

【正交变换】

定义

首先，给出以下三种矩阵的定义：

1. 正交矩阵：$A^TA=I$
2. 酉矩阵：$A^HA=I$，其中 $A^H=\overline{A^T}$
3. Hermite 矩阵：$A^H=A$

对于 $n$ 维欧氏空间（酉空间）$V^n$ 的线性变换 $T$，若 $\forall \alpha,\beta\in V^n$，有

$$<T\alpha,T\beta>=<\alpha,\beta>$$

则线性变换 $T$ 称为正交变换（酉变换）

判别线性变换 $T$ 是正交变换（酉变换）的充要条件是下列条件之一成立：

1. $T$ 保持向量长度不变，即 $\forall \alpha\in V^{n}$，有 $|T\alpha|=|\alpha|$
2. $T$ 将标准正交基映射为标准正交基
3. $T$ 在任何标准正交基下的矩阵，均为正交阵或酉矩阵

初等旋转变换

在二维平面上，绕原点逆时针旋转 $\theta$ 角的线性变换 $T$ 在标准正交基 $\{e_1,e_2\}$ 下的矩阵为

$$\begin{bmatrix} \cos\theta & -\sin\theta \\ \sin\theta & \cos\theta \end{bmatrix}$$

由于旋转不改变向量的长度，故 $T$ 为正交变换

一般地，在 $\mathbb{R}^n$ 中取一个标准正交基 $\{\varepsilon_1,\varepsilon_2,\cdots,\varepsilon_n\}$ 后，在平面 $\text{span}\{\varepsilon_i,\varepsilon_j\}$ 中逆时针旋转 $\theta$ 角的线性变换 $T$ 是一正交变换，称为初等旋转变换，其在 $\{\varepsilon_1,\varepsilon_2,\cdots,\varepsilon_n\}$ 下的矩阵称为初等旋转矩阵，有

$$T_{ij}(\theta)=\left[\begin{array}{ccc:ccccc:ccc} 1 & & & & & & & & & & \\ & \ddots & & & & & & & & & \\ & & 1 & & & & & & & & \\ \hdashline & & & \cos\theta & & & & -\sin\theta & & & \\ & & & & 1 & & & & & & \\ & & & & & \ddots & & & & & \\ & & & & & & 1 & & & & \\ & & & \sin\theta & & & & \cos\theta & & & \\ \hdashline & & & & & & & & 1 & & \\ & & & & & & & & & \ddots & \\ & & & & & & & & & & 1 \end{array}\right]$$

其中，$\cos\theta,-\sin\theta$ 所在行为第 $i$ 行，$\sin\theta,\cos\theta$ 所在行为第 $j$ 行

镜像变换

在平面上给定以单位向量 $\omega$ 以及它正交且过原点的直线 $l$，将任一向量 $\alpha$ 映射为与 $l$ 对称的向量 $\beta$ 的变换 $T$，称为关于 $l$ 的镜像变换，由于映射不改变向量的长度，故 $T$ 为正交变换

一般地，在 $\mathbb{R}^n$ 中定义线性变换 $H_{\omega}$ 为

$$H_{\omega}\alpha = (I-2\omega\omega^T)\alpha$$

称 $H_{\omega}$ 为镜像变换，或 Householder 变换，其可将任何向量映射为任意方向的同长度向量

变换矩阵 $H$ 被称为 Householde 矩阵，其具有如下性质：

1. 变换矩阵为酉矩阵：$H^HH=I_n$
2. 变换矩阵为 Hermite 阵：$H^H=H$
3. 变换矩阵为对合阵：$H^2=I_n$

【对称变换】

定义

对于 $n$ 维欧氏空间（酉空间）$V^n$ 的线性变换 $T$，若 $\forall \alpha,\beta\in V^n$，有

$$<T\alpha,\beta>=<\alpha,T\beta>$$

则线性变换 $T$ 称为对称变换（酉对称变换）

判别线性变换 $T$ 是对称变换（酉对称变换）的充要条件是：$T$ 在标准正交基下的矩阵，是对称矩阵（Hermite 矩阵）

对角化

对于 $n$ 阶方阵 $A$，其不一定总能化成对角阵，但可以退而求其次，根据 Schur 定理，一定可化为三角阵，即：

设 $A$ 为 $n$ 阶方阵，$\lambda_1,\lambda_2,\cdots,\lambda_n$ 为其特征值，无论它们是实数还是复数，总存在相似酉矩阵 $U$，将 $A$ 化为三角阵，即

$$U^{-1}AU=B$$

其中，$B$ 为三角阵，且对角线元素为 $\lambda_1,\lambda_2,\cdots,\lambda_n$

进一步，若 $A$ 为 Hermite 矩阵，那么则存在酉矩阵 $U$，使得

$$U^HAU=\text{diag}(\lambda_1,\lambda_2,\cdots,\lambda_n)$$

若 $A$ 为实对称矩阵，那么则存在正交矩阵 $Q$，使得

$$Q^TAQ=\text{diag}(\lambda_1,\lambda_2,\cdots,\lambda_n)$$

综上，$n$ 维欧氏空间（酉空间）的对称变换（酉对称变换）一定可对角化