矩阵微分与矩阵积分

【矩阵微分】

引入

根据下表，微分可分为标量对标量 $\frac{\partial y}{\partial x}$、向量对标量 $\frac{\partial \mathbf{y}}{\partial x}$、标量对向量 $\frac{\partial y}{\partial \mathbf{x}}$、矩阵对标量 $\frac{\partial Y}{\partial x}$、标量对矩阵 $\frac{\partial y}{\partial X}$、向量对向量 $\frac{\partial \mathbf{y}}{\partial \mathbf{x}}$ 六种形式

	标量	向量	矩阵
标量	$\frac{\partial y}{\partial x}$	$\frac{\partial \mathbf{y}}{\partial x}$	$\frac{\partial Y}{\partial x}$
向量	$\frac{\partial y}{\partial \mathbf{x}}$	$\frac{\partial \mathbf{y}}{\partial \mathbf{x}}$	\
矩阵	$\frac{\partial y}{\partial X}$	\	\

其中，$x,y$ 为标量，$\mathbf{x},\mathbf{y}$ 是向量，$X,Y$ 是矩阵

---

标量对标量形式 $\frac{\partial y}{\partial x}$ 即微积分中的一元函数微分，例如

$$y=x^2\Rightarrow \frac{\partial y}{\partial x}=2x$$

向量对标量形式 $\frac{\partial \mathbf{y}}{\partial x}$ 即对向量元素逐项微分，例如

$$\mathbf{y}=\begin{bmatrix}2x\\3x\\x^2\end{bmatrix} \Rightarrow \frac{\partial \mathbf{y}}{\partial x}= \begin{bmatrix} 2 \\ 3 \\ 2x \end{bmatrix}$$

标量对向量形式 $\frac{\partial y}{\partial \mathbf{x}}$ 即微积分中的多元函数偏导，即函数 $y$ 对向量 $\mathbf{x}$ 的梯度 $\text{grad }y$，例如

$$\left\{\begin{array}{l} y=2x_1+x_2^3+5x_3 \\ \mathbf{x}=[x_1,x_2,x_3]^T \end{array}\right. \Rightarrow \frac{\partial y}{\partial \mathbf{x}}=\triangledown y=\begin{bmatrix} 2 \\ 3x_2^2\\ 10x_3 \end{bmatrix}$$

下面，逐一介绍剩余的矩阵对标量 $\frac{\partial Y}{\partial x}$、标量对矩阵 $\frac{\partial y}{\partial X}$、向量对向量 $\frac{\partial \mathbf{y}}{\partial \mathbf{x}}$ 三种形式

矩阵对标量

设 $m\times n$ 阶函数矩阵 $A(t)=[a_{ij}(t)]$，定义函数矩阵 $A(t)$ 关于标量 $t$ 的微分为

$$\frac{dA(t)}{dt}=\Big[\frac{da_{ij}(t)}{dt}\Big]$$

简记为

$$A'(t)=[a_{ij}'(t)]$$

其有如下的求导法则：

1）若 $A(t),B(t)$ 是同阶可微矩阵，则

$$(A(t)+B(t))'=A'(t)+B'(t)$$

2）若 $A(t),B(t)$ 分别是 $m\times n$ 阶、$n\times l$ 阶可微矩阵，则

$$(A(t)B(t))'=A'(t)B(t)+A(t)B'(t)$$

3）若 $A(u)$ 可微且 $u=f(t)$ 关于 $t$ 可微，则

$$\frac{d}{dt} A(f(t))=f'(t)\frac{d}{du}A(u)$$

4）若 $A(t),A^{-1}(t)$ 均可微，则

$$\frac{d}{dt}A^{-1}(t)=-A^{-1}(t)A'(t)A^{-1}(t)$$

---

可以发现，矩阵对标量形式的微分，本质就是对矩阵内的元素逐一求导，例如

$$A(t)=\begin{bmatrix} \sin t & \cos t & t \\ t\sin t & e^t & t^2 \\ 1 & 0 & t^3 \end{bmatrix} \Rightarrow \frac{dA(t)}{dt}=\begin{bmatrix} \cos t & -\sin t & 1 \\ \sin t+t\cos t & e^t & 2t \\ 0 & 0 & 3t^2 \end{bmatrix}$$

标量对矩阵

设 $X=[x_{ij}]$ 是 $m\times n$ 阶的标量矩阵，且

$$f(X)=f(x_{11},\cdots,x_{1n},x_{21},\cdots,x_{2n},\cdots,x_{m1},\cdots,x_{mn})$$

是 $mn$ 元可微的标量函数，那么函数 $f(X)$ 关于矩阵 $X$ 的导数为

$$\frac{df}{dX} =\Big[\frac{\partial f}{\partial x_{ij}}\Big] =\begin{bmatrix} \frac{\partial f}{\partial x_{11}} & \frac{\partial f}{\partial x_{12}} & \cdots & \frac{\partial f}{\partial x_{1n}} \\ \frac{\partial f}{\partial x_{21}} & \frac{\partial f}{\partial x_{22}} & \cdots & \frac{\partial f}{\partial x_{2n}} \\ \vdots & \vdots & \ddots & \vdots \\ \frac{\partial f}{\partial x_{m1}} & \frac{\partial f}{\partial x_{m2}} & \cdots & \frac{\partial f}{\partial x_{mn}} \\ \end{bmatrix}$$

特别地，当 $X$ 是 $m\times 1$ 阶矩阵，即 $m$ 维向量时，此时标量对矩阵形式即为标量对向量形式，函数 $f(X)$ 关于 $X$ 的微分，即 $f$ 对 $X$ 的梯度

$$\text{grad }f=\triangledown f=\begin{bmatrix} \frac{\partial f}{\partial x_1} \\ \frac{\partial f}{\partial x_2} \\ \vdots\\ \frac{\partial f}{\partial x_m} \end{bmatrix}$$

标量对矩阵形式有如下的求导法则：

$$\begin{align*} &\frac{d}{dX}(f(X)+g(X))=\frac{d}{dX}f(X)+\frac{d}{dX}g(X) \\ &\frac{d}{dX}(f(X)g(X))=f(X)\frac{d}{dX}g(X)+g(X)\frac{d}{dX}f(X) \end{align*}$$

向量对向量

设 $\mathbf{x}=[x_1,x_2,\cdots,x_n]^T$ 为 $n$ 维列向量，$a_1(\mathbf{x}),a_2(\mathbf{x}),\cdots,a_m(\mathbf{x})$ 是 $m$ 个 $n$ 元可微函数，记向量函数

$$\mathbf{a}^T(\mathbf{x})=[a_1(\mathbf{x}),a_2(\mathbf{x}),\cdots,a_m(\mathbf{x})]$$

则向量函数 $\mathbf{a}^T(\mathbf{x})$ 关于向量 $\mathbf{x}$ 的微分为

$$\frac{d\mathbf{a}^T(\mathbf{x})}{d\mathbf{x}} =\begin{bmatrix} \frac{\partial a_1(\mathbf{x})}{\partial x_1} & \frac{\partial a_2(\mathbf{x})}{\partial x_1} & \cdots & \frac{\partial a_m(\mathbf{x})}{\partial x_1} \\ \frac{\partial a_1(\mathbf{x})}{\partial x_2} & \frac{\partial a_2(\mathbf{x})}{\partial x_2} & \cdots & \frac{\partial a_m(\mathbf{x})}{\partial x_2} \\ \vdots & \vdots & \ddots & \vdots \\ \frac{\partial a_1(\mathbf{x})}{\partial x_n} & \frac{\partial a_2(\mathbf{x})}{\partial x_n} & \cdots & \frac{\partial a_m(\mathbf{x})}{\partial x_n} \end{bmatrix}_{n\times m}$$

同理，定义向量函数 $\mathbf{a}(\mathbf{x})$ 关于向量 $\mathbf{x}^T$ 的导数为

$$\frac{d\mathbf{a}(\mathbf{x})}{d\mathbf{x}^T} =\begin{bmatrix} \frac{\partial a_1(\mathbf{x})}{\partial x_1} & \frac{\partial a_1(\mathbf{x})}{\partial x_2} & \cdots & \frac{\partial a_1(\mathbf{x})}{\partial x_n} \\ \frac{\partial a_2(\mathbf{x})}{\partial x_1} & \frac{\partial a_2(\mathbf{x})}{\partial x_2} & \cdots & \frac{\partial a_2(\mathbf{x})}{\partial x_n} \\ \vdots & \vdots & \ddots & \vdots \\ \frac{\partial a_m(\mathbf{x})}{\partial x_1} & \frac{\partial a_m(\mathbf{x})}{\partial x_2} & \cdots & \frac{\partial a_m(\mathbf{x})}{\partial x_n} \end{bmatrix}_{m\times n}$$

显然有

$$\frac{d\mathbf{a}^T(\mathbf{x})}{d\mathbf{x}}=\Big( \frac{d\mathbf{a}(\mathbf{x})}{d\mathbf{x}^T} \Big)^T,\quad \frac{d\mathbf{x}}{d\mathbf{x}^T}=\frac{d\mathbf{x}^T}{d\mathbf{x}}=I$$

标量对矩阵形式有如下的求导法则：

$$\begin{align*} \frac{d}{d\mathbf{x}}(\mathbf{a}^T(\mathbf{x})+\mathbf{b}^T(\mathbf{x})) &= \frac{d}{d\mathbf{x}}\mathbf{a}^T(\mathbf{x}) + \frac{d}{d\mathbf{x}}\mathbf{b}^T(\mathbf{x})\\ \frac{d}{d\mathbf{x}}(f(\mathbf{x})\mathbf{a}^T(\mathbf{x})) &= \frac{df(\mathbf{x})}{d\mathbf{x}}\mathbf{a}^T(\mathbf{x})+f(\mathbf{x})\frac{d\mathbf{a}^T(\mathbf{x})}{d\mathbf{x}}\\ \frac{d}{d\mathbf{x}}\big(A\mathbf{a}(\mathbf{x})\big) &= A\frac{d}{d\mathbf{x}^T}\mathbf{a}(\mathbf{x})\\ \frac{d}{d\mathbf{x}}\big(\mathbf{a}^T(\mathbf{x})\mathbf{b}(\mathbf{x})\big) &= \frac{d\mathbf{a}^T(\mathbf{x})}{d\mathbf{x}}\mathbf{b}(\mathbf{x})+\frac{d\mathbf{b}^T(\mathbf{x})}{d\mathbf{x}}\mathbf{a}(\mathbf{x})\\ \end{align*}$$

其中，$A$ 为常数矩阵，$f(\mathbf{x})$ 为向量 $\mathbf{x}$ 的数量函数，$\mathbf{a}(\mathbf{x}),\mathbf{b}(\mathbf{x})$ 为向量 $\mathbf{x}$ 的向量函数

【矩阵积分】

设 $m\times n$ 阶函数矩阵 $A(t)=[a_{ij}(t)]$ 中的每个元素 $a_{ij}(t)$ 在 $[a,b]$ 上可积，则称 $A(t)$ 在 $[a,b]$ 上是可积的，且定义

$$\int_{a}^bA(t)dt=\Big[\int_a^b a_{ij}(t)dt\Big]_{m\times n}$$

根据矩阵积分定义与微积分的知识，易知矩阵积分有如下性质：

1）若 $A(t)$ 在 $[a,b]$ 上连续，则 $\forall t\in(a,b)$，$\int_a^t A(s)ds$ 可微，且

$$\frac{d}{dt}\int_a^tA(s)ds=A(t)$$

2）若 $A(t)$ 在 $[a,b]$ 上连续可微，则

$$\int_{a}^b \frac{dA(t)}{dt}dt=A(b)-A(a)$$