Revision | 线性代数 A（期末）
分块矩阵
本章一个重点是基于构造分块矩阵证明的秩不等式。
定理 1(Sylvester 秩不等式) $\mathbf{A}, \mathbf{B}$ 分别为 $s\times n, n\times m$ 矩阵，则
$$
\mathrm{rank}(\mathbf{AB}) \geq \mathrm{rank}(\mathbf{A}) + \mathrm{rank}(\mathbf{B}) - n
$$
证明 构造分块矩阵
$$
\mathbf{R} = \begin{pmatrix} \mathbf{I} & \mathbf{B} \\ \mathbf{A} & \mathbf{O} \end{pmatrix}
$$
可以发现 $\mathrm{rank}(\mathbf{R}) \geq \mathrm{rank}(\mathbf{A}) + \mathrm{rank}(\mathbf{B})$。用 $I$ 消掉 $A, B$ 得
$$
\begin{pmatrix} \mathbf{I} & \mathbf{O} \\ \mathbf{O} & -\mathbf{AB} \end{pmatrix}
$$
因此 $\mathrm{rank}(\mathbf{R}) = \mathrm{rank}(\mathbf{AB}) + n$，即得到该不等式。$\square$
称 $\mathbf{A}$ 为幂等矩阵，若 $\mathbf{A} = \mathbf{A}^2$。证明矩阵幂等当且仅当
$$
\mathrm{rank}(\mathbf{A}) + \mathrm{rank}(\mathbf{I} - \mathbf{A}) = n
$$
solution
有
$$
\begin{align*}
&\mathbf{A} = \mathbf{A}^2 \\
\Leftrightarrow &\mathbf{A}(\mathbf{I} - \mathbf{A}) = 0 \\
\Leftrightarrow &\mathrm{rank}(\mathbf{A}(\mathbf{I} - \mathbf{A})) = 0
\end{align*}
$$
如果只是证明必要性那么可以直接用 Sylvester 不等式，但是现在要证明充要性，我们继续构造分块矩阵。
$$
\mathbf{R} = \begin{pmatrix} \mathbf{A} & \\ & \mathbf{\mathbf{I} - \mathbf{A}} \end{pmatrix}
$$
做初等变换
$$
\begin{pmatrix} \mathbf{A} & \\ & \mathbf{\mathbf{I} - \mathbf{A}} \end{pmatrix}
\rightarrow \begin{pmatrix} \mathbf{A} & \mathbf{A} \\ \mathbf{A} & \mathbf{I} \end{pmatrix}
\rightarrow \begin{pmatrix} \mathbf{A} - \mathbf{A}^2 & \\ & I \end{pmatrix}
$$
可知 $\mathrm{rank}(\mathbf{A}) + \mathrm{rank}(\mathbf{A} - \mathbf{I}) = \mathrm{rank}(\mathbf{A}(\mathbf{A} - \mathbf{I})) + n$，于是 $\mathrm{rank}(\mathbf{A}) + \mathrm{rank}(\mathbf{A} - \mathbf{I}) = n \Leftrightarrow \mathrm{rank}(\mathbf{A}(\mathbf{A} - \mathbf{I})) = 0$。$\square$
证明线性方程组 $\mathbf{A}^T\mathbf{A}x = \mathbf{A}^T\beta$ 必然有解。
Solution.
只需证明 $\mathrm{rank}(\mathbf{A}^T\mathbf{A}, \mathbf{A}^T\beta) = \mathrm{rank}(\mathbf{A}^T\mathbf{A})$。而
$$
\mathrm{rank}(\mathbf{A}^T\mathbf{A}, \mathbf{A}^T\beta) = \mathrm{rank}(\mathbf{A}^T(\mathbf{A}, \beta))\leq \mathrm{rank}(\mathbf{A}^T) = \mathbf{rank}(\mathbf{A}^T\mathbf{A})
$$
$\geq$ 是显然的。
证明 $|\mathbf{A}^*| = |\mathbf{A}|^{n - 1}$
Solution.
若 $|\mathbf{A}|\ne 0$，$\mathbf{AA}^* = |\mathbf{A}|\mathbf{I}$，两边取行列式即得结论。
若 $\mathbf{A} = 0$ 结论显然成立。由于 $\mathbf{AA}^* = |A|I = 0$，根据 Sylvester 不等式
$$
\mathrm{\mathbf{A}}^* + \mathrm{rank}(\mathbf{A}) \leq n \Rightarrow \mathrm{rank}(\mathbf{A}) < n
$$
等式仍然成立。
还有一个弱智的做法是，如果 $|\mathbf{A}| = 0$，如果 $\mathrm{rank}(\mathbf{A})\leq n - 2$，那么 $|\mathbf{A}^*| = 0$（有空行），否则经典结论是 $\mathbf{A}^*$ 的每一行都是 $\mathbf{A}x = 0$ 的解，解空间维数为 $1$，所以行成比例，行列式为 $0$。
与此类似可以证明
$$
\mathrm{rank}(\mathbf{A}^*) = \begin{cases}
n, & \mathrm{rank}(\mathbf{A}) = n \\
1, & \mathrm{rank}(\mathbf{A}) = n - 1 \\
0, & \mathrm{otherwise.}
\end{cases}
$$
根据这个结论可以简单地推出
$$
(\mathbf{A}^*)^* = \begin{cases}
|\mathbf{A}|^{n - 2}\mathbf{A}, &n > 2 \\
\mathbf{A}, & n = 2
\end{cases}
$$
命题 1 $(\mathbf{AB})^* = \mathbf{B}^*\mathbf{A}^*$。
用 Binet-Cauchy 公式拆开 $AB$_{ij} 即可。
命题 2 $\mathbf{AX} = \mathbf{B}$ 有解的充要条件是 $\mathrm{rank}(\mathbf{A}) = \mathrm{rank(A, B)}$。
视为 $(\alpha_1, …, \alpha_n)\mathbf{X} = (\beta_1, …, \beta_n)$ 有解，拆开发现是 $\beta$ 可以被 $\alpha$ 线性表出，也就是 $\mathrm{rank}(\mathbf{A}) = \mathrm{rank(A, B)}$。
求由 $(1, 2, …, n)$ 生成的循环矩阵的逆。
Hint.
我们看作解矩阵方程 $\mathbf{AX} = \mathbf{I}$，也就是 $\mathbf{A}(x_1, …, x_n) = (\varepsilon_1, …, \varepsilon_n)$，而 $\mathbf{A}x_i = \varepsilon_\i$ 这样的方程是好解的。
实际上你只需要解一个出来，因为是循环矩阵。这个东西简化了计算。
接下来一些重点是分块矩阵的逆和行列式。我们记录一些结论。
命题 3 若 $\mathbf{A}$ 可逆，$\begin{pmatrix} \mathbf{A} & \mathbf{B} \\ \mathbf{C} & \mathbf{D} \end{pmatrix}$ 可逆的充分必要条件是 $\mathbf{D} - \mathbf{CA}^{-1}\mathbf{B}$ 可逆。
消元消至上三角，可逆等价于行列式非零。
命题 4 若 $\mathbf{AC} = \mathbf{CA}$，则
$$
\begin{vmatrix} \mathbf{A} & \mathbf{B} \\ \mathbf{C} & \mathbf{D} \end{vmatrix} = |\mathbf{AD} - \mathbf{BC}|
$$
证明
如果 $\mathbf{A}$ 可逆，那么有
$$
\begin{vmatrix} \mathbf{A} & \mathbf{B} \\ \mathbf{C} & \mathbf{D} \end{vmatrix} = |\mathbf{A}||\mathbf{D} - \mathbf{CA}^{-1}\mathbf{B}| = |\mathbf{AD} - \mathbf{ACA}^{-1}B| = |\mathbf{AD}-\mathbf{CB}|
$$
最后一步用到了交换性。
否则我们构造 $\mathbf{A}(t) = \mathbf{A} - t\mathbf{I}$，则可以推出
$$
\mathbf{A}(t)\mathbf{C} = \mathbf{AC} - t\mathbf{C} = \mathbf{CA} - t\mathbf{C} = \mathbf{CA}(t)
$$
而且有 $|\mathbf{A}(0)| = 0$，并且 $\mathbf{A}(t)$ 是一个多项式，所以在 $0$ 附近连续，且存在一个去心邻域 $U(0, \delta) \setminus \{0\}$ 内非零。套用可逆的结论得到
$$
\begin{vmatrix} \mathbf{A}(t) & \mathbf{B} \\ \mathbf{C} & \mathbf{D} \end{vmatrix} = |\mathbf{A}(t)\mathbf{D} - \mathbf{BC}|
$$
两边取 $\lim\limits_{x\rightarrow 0}$，可以得到原结论。
命题 5
$$
\begin{vmatrix} \mathbf{I}_n & \mathbf{A} \\ \mathbf{B} & \mathbf{I}_m \end{vmatrix} = |\mathbf{I_n} - \mathbf{AB}| = |\mathbf{I_m} - \mathbf{BA}|
$$
$\mathbf{A}$ 可逆，证明 $|\mathbf{A} - aa^T| = |\mathbf{A}||1 - a^T\mathbf{A}^{-1}a|$
Hint.
提出一个 $\mathbf{A}$ 之后用命题 5 即可。
接下来是一些利用分块矩阵做归纳，一个比较重要的东西是：
定义.(LU 分解) $A$ 可以被写成一个主对角线全是 $1$ 的下三角矩阵 $L$ 和一个可逆上三角矩阵 $U$ 的乘积。
$A$ 可 LU 分解当且仅当 $A$ 的所有顺序主子式均非 $0$，且分解方案唯一。
Solution.
$\Leftarrow$ 分块矩阵归纳，非常容易。
$\Rightarrow$ 设
$$
A = LU = \begin{pmatrix} L_{11} & \\ L_{21} & L_{22} \end{pmatrix} \begin{pmatrix} U_{11} & U_{12} \\ & U_{22} \end{pmatrix}
$$
其中 $L_{11}$ 是 $k$ 阶方阵，那么 $L_{11}U_{11}$ 就是 $k$ 阶主子式（Binet Cauchy 公式）。
唯一性. 考虑 $A = L_1U_1 = L_2U_2$，那么
$$
L_1L_2^{-1} = U_1U_2^{-1}
$$
下三角等于上三角，那么只可能是对焦，而且主对角元全是 $1$，所以 $L_1 = L_2, U_1 = U_2$。
这里是一个重要的结论。
矩阵方程 $ABX = A$ 有解的充要条件是 $\mathrm{rank}(AB) = \mathrm{rank}(A)$
Solution.
等价于 $\mathrm{rank}(AB) = \mathrm{rank}(AB, A)$。
等价于两个矩阵列向量组等价。而 $AB$ 的列向量组可以被 $A$ 的列向量组表出，因此等价于 $AB$ 和 $A$ 的列向量组等价，即 $\mathrm{rank}(A) = \mathrm{rank}(AB)$。$\square$
Remark. 这个结论可以用于做非常规分块矩阵消元。将式子转置得到 $XBA = A$ 有解，因此行变换和列变换都可以做。
这里有三个非常阴间的秩不等式。
证明 $\mathrm{rank}(I-AB) \leq \mathrm{rank}(I - A) + \mathrm{rank}(I - B)$。
Solution.
$$
\begin{aligned}
\mathrm{RHS} &= \mathrm{rank}\begin{pmatrix} I-A & \\ & I-B \end{pmatrix} = \mathrm{rank}\begin{pmatrix} I-A & I-B \\ & I-B \end{pmatrix} \\
&= \mathrm{rank}\begin{pmatrix} I-A - A(I-B) & I-B \\ A-AB & I-B \end{pmatrix} = \mathrm{rank}\begin{pmatrix} I-AB & I-B \\ A-AB & I-B \end{pmatrix} \\
&\geq \mathrm{LHS}.\square
\end{aligned}
$$
若 $\mathrm{rank}(A) = \mathrm{rank}(A^2), AB = BA = 0$，求证 $\mathrm{rank}(A + B) = \mathrm{rank}(A) + \mathrm{rank}(B)$。
Solution.
考虑上一道题的结论，$A^2X = A$ 和 $XA^2 = A$ 有解，接下来的过程中应该看得出来哪里用了结论。
$$
\begin{aligned}
\mathrm{rank}\begin{pmatrix} A+B & \\ & O \end{pmatrix} =& \mathrm{rank}\begin{pmatrix} A+B & XA(A+B) \\ & O \end{pmatrix} = \mathrm{rank}\begin{pmatrix} A+B & A \\ & O \end{pmatrix} \\
=& \mathrm{rank}\begin{pmatrix} A+B & A \\ (A+B)AX & A^2X \end{pmatrix} = \mathrm{rank}\begin{pmatrix} A+B & A \\ A & A \end{pmatrix} \\
=& \mathrm{rank}\begin{pmatrix} B & \\ A & A \end{pmatrix} = \mathrm{rank}\begin{pmatrix} B & \\ & A \end{pmatrix} .\square
\end{aligned}
$$
好像位置全写错了，反正就是这个意思。
习题
摘录一些没做出来的。
若 $\mathrm{rank}(\mathbf{A}) = 1$，那么 $\mathbf{A}^2 = k\mathbf{A}$。
Solution.
有 $\mathrm{rank}(\mathbf{A}) = 1$ 则 $A = \alpha\beta^T$。
于是 $\mathbf{A}^2 = \alpha(\beta^T\alpha)\beta^T = \langle\beta, \alpha\rangle \mathbf{A}$。$\square$
求
$$
\begin{vmatrix}
0 & 1 & \cdots & 1 \\
1 & 0 & \cdots & 1 \\
\vdots & \vdots & \ddots & \vdots \\
1 & 1 & \cdots & 0
\end{vmatrix}
$$
这个其实做出来了，但是答案做法比较好。
Solution.
即
$$
(\begin{pmatrix} 1 \\ \vdots \\ 1\end{pmatrix}\begin{pmatrix}1 & \vdots & 1\end{pmatrix} - I)
$$
用命题 5。
求证（$\mathbf{B}, \mathbf{C}$ 分别为 $n\times s, n\times (n - s)$ 矩阵）
$$
\begin{vmatrix} \mathbf{B}^T\mathbf{B} & \mathbf{B}^T\mathbf{C} \\ \mathbf{C}^T\mathbf{B} & \mathbf{C}^T\mathbf{C} \end{vmatrix} \leq |\mathbf{B}^T\mathbf{B}||\mathbf{C}^T\mathbf{C}|
$$
Solution.
$$
\mathrm{LHS} = \left|(\mathbf{B}, \mathbf{C})^T(\mathbf{B}, \mathbf{C})\right| = |\mathbf{B}, \mathbf{C}|^2
$$
左边拉普拉斯展开，右边用 Binet-Cauchy 公式，发现是个柯西不等式。$\square$
后面懒得加粗了。
正交空间相关
定义.(QR 分解) 对于一个 $m\times n(m\geq n)$ 阶列满秩矩阵 $A$，如果可以写成 $A = QR$，其中 $Q$ 列向量组正交，$R$ 上三角，则称 $QR$ 是 $A$ 的 QR 分解。
命题 1. 一个满秩方阵矩阵可以做 $QR$ 分解，且唯一。
Proof.
考虑将 $A$ 的列向量组 Schmidt 正交化并单位化，就得到了一个正交矩阵。
显然这个逆变换的矩阵是上三角的，所以完成了 QR 分解。
假设有两组分解 $A = QR = Q_1R_1$，那么有
$$
Q = Q_1R_1R^{-1}
$$
其中 $R_1R^{-1}$ 上三角，记为 $R_2$。于是 $Q = Q_1R_2$。考虑列向量。
$$
(q_1, q_2, …, q_n) = (r_{11}q’_1, r_{12}q’_1 + r_{22}q’_2, …, \sum r_{in}q’_i)
$$
因为 $||q’1|| = ||q_1|| = 1$，$r{11} = 1, q_{1} = q’_1$。
$\langle r_{11}q’_1, r_{12}q’_1 + r_{22}q’_2\rangle = 0$ 推出 $r_{12} = 0, r_{22} = 1, q_2 = q’_2$。
…
可知 $Q_1 = Q_2$，$R_1R^{-1} = I$ 即 $R_1 = R$。$\square$
命题 2. $A$ 列满秩，则方程 $A^TAx = A^T\beta$ 有唯一解 $R^{-1}Q^T\beta$。
显然。
需要注意正交矩阵的行列式只能是 $\pm 1$。
命题 3. $n$ 阶（$n\geq 3$）非零实矩阵 $A$ 正交当且仅当 $A(i, j) = \pm A_{ij}$，这里 $A_{ij}$ 是代数余子式。
Proof.
$\Rightarrow$. 有 $A^* = \frac{1}{|A|}A^{-1} = \frac{1}{|A|}A’$。拆开即可得到结论。
$\Rightarrow$ 以 $A(i, j) = \pm A_{ij}$ 的情况为例。
先证明 $A$ 可逆。找到 $A$ 的一个非零行
$$
|A| = \sum_{i=1}^n a_{ki}A_{ki} = \sum_{i=1}^n a_{ki}^2 > 0
$$
根据条件可以得到 $A’ = A^*$。根据经典结论 $|A^*| = |A|^{n - 1}$，于是
$$
|A’| = |A|^{n - 1} \Rightarrow |A|^{n - 2} = 1
$$
结合 $|A| > 0$ 可知实数域下只可能是 $|A| = 1$。于是 $A^{*} = A^{-1} = A’$，$A$ 正交。
负的情况同理。$\square$
然后有一些重要结论。
定理 4. $\mathcal{N}(A^T) = \mathcal{C}(A)^\perp$
Proof.
首先有维数关系
$$
\dim\mathcal{N}(A^T) + \dim\mathcal{C}(A) = n
$$
若 $u\in \mathcal{N}(A^T), v\in \mathcal{C}(A)$，即 $A^Tu = 0, v = Ax$， 则
$$
\langle u, v\rangle = \langle u, Ax\rangle = \langle A^Tu, x\rangle = 0
$$
因此 $\mathcal{N}(A^T) = \mathcal{C}(A)^\perp$。$\square$
定理 5.(最小二乘法) $Ax = \beta$ 的最小二乘解 $\Leftrightarrow$ $A^TAx = A^T\beta$ 的解。
Proof.
考虑 $\mathbb{R}^n = \mathcal{N}(A^T) \oplus \mathcal{C}(A)$，可知 $\beta = \beta_c + \beta_n$。其中 $Ax = \beta_c$ 有解。
然后有
$$
A^T\beta_n = A^T(\beta - \beta_c) = A^T(\beta - Ax) = 0 \
\Leftrightarrow A^T\beta = A^TAx
$$
想要证明最小，只需考虑
$$
||Ax’ - \beta|| = ||\beta_n + (\beta_c - Ax)||\geq ||\beta_n||
$$
这是因为 $(\beta_c - Ax’)\in \mathcal{N}(A^T)\perp$，因此和 $\langle\beta_c - Ax’, \beta_n\rangle = 0$。于是上面的解就是最小的解。$\square$
习题
若 $A, B$ 正交，且 $|A| + |B| = 0$，求证 $A + B$ 不可逆。
Solution.
不妨设 $|A| = 1, |B| = -1$。
那么
$$
\begin{aligned}
|A^T||A+B| = |I + A^TB| \\
|B^T||A+B| = |B^TA + I| = |I + A^TB| = |A^T||A+B|
\end{aligned}
$$
因此 $|A + B| = -|A+B|$，可知 $|A+B| = 0$，不可逆。$\square$
矩阵的相抵与相似
相似变换下有一些不变量，比如中所周知的行列式。还有一个是矩阵的迹。
定义(Trace) $\mathrm{tr}(A) = \sum a_{ii}$。
引理 1. $\mathrm{tr}(AB) = \mathrm{tr}(BA)$。
Proof.
$$
\begin{aligned}
\mathrm{tr}(AB) &= \sum_{t=1}^n AB_{tt} \\
&= \sum_{t=1}^n \sum_{i=1}^n A_{ti} B_{it} \\
&= \sum_{i=1}^n \sum_{t=1}^n B_{it} A_{ti} \\
&= \mathrm{tr}(BA)
\end{aligned}
$$
定理 2. 相似变换保迹。
Proof.
$$
\mathrm{tr}(P^{-1}AP) = \mathrm{tr}((AP)P^{-1}) = \mathrm{tr}(A)
$$
注意只能交换前后两部分。
利用迹可以做一些简单的推导。
若 $AB - BA = A$，那么 $A$ 不可逆。
Solution.
反证，若 $A$ 可逆，那么
$$
B - A^{-1}BA = I
$$
两边取 $\mathrm{tr}$ 导出矛盾。
注意这里我们引入迹还有一个作用是计算特征多项式。
关于矩阵相似我们有如下结论：
命题 3. 若 $A, B$ 在实数域下不相似，那么其在复数域下也不相似。
Solution.
若 $(P+iQ)A = B(P+iQ)$，可以推出 $PA = BP, QA = BQ$。问题是 $P, Q$ 不一定可逆。
考虑 $F(\lambda) = |P - \lambda Q|$，因为 $Q$ 非零，此多项式非零。所以必然存在一个 $\lambda$ 使得 $P + \lambda Q$ 可逆，此时 $A, B$ 通过这个实矩阵相似，矛盾。
Remark. 注意这个把逆矩阵乘过去的操作，这个操作在证明相似性的时候似乎比较有用。
命题 4. $A$ 的相似等价类中只有自己当且仅当 $A = xI$。
Proof.
任取一可逆矩阵都有 $AP = PA$，因此 $A = xI$。这个结论在上半学期证明过了。
接下来是一些特征值、特征向量的结论。上课的时候的视角比较偏几何，这里我们再用一般的观点讨论一次。
定理 5. 代数重数小于等于几何重数。
Proof.
取 $V_\lambda$ 的一组基 $a_1, …, a_r$，将其扩充成整个子空间的基 $a_1, …, a_r, a_{r+1}, …, a_n$。
取 $P = (a_1, …, a_r, a_{r+1}, …, a_n)$，有
$$
P^{-1}AP = \begin{pmatrix} \lambda I & B \\ & C \end{pmatrix}
$$
矩阵相似保特征多项式，而上面这个矩阵显然可以看出来 $\lambda$ 至少有 $r$ 重。
命题 6. 矩阵特征多项式的 $n-i$ 次项为 $(-1)^i$ 乘上所有的 $i$ 阶主子式之和。特别的 $[\lambda^{n-1}]F(\lambda) = \mathrm{tr}(A)$。
若 $\mathrm{rank}(A) = 1$ 且 $A^2\ne 0$，求证 $A$ 有一个非零特征值。
Solution.
显然 $0$ 是至少 $n-1$ 重根。
设 $A = (\lambda - a)\lambda^{n - 1}$，那么 $a$ = $\mathrm{tr}(A)$。
由于 $\mathrm{rank}(A) = 1$，$A$ 可以写成 $\alpha \beta^T$，$A^2\ne 0\Rightarrow \alpha (\beta^T\alpha)\beta^T = \langle\alpha, \beta\rangle A\ne 0$，因此 $\mathrm{tr}(A) = \mathrm{\beta^T\alpha}\ne 0$，该特征值非零。
这个结论本来是习题，但是看起来非常重要，所以端到前面来。
若复数域下，$\lambda_1, …, \lambda_n$ 是 $A$ 的特征根，$f$ 是一个多项式。
证明 $|f(A)| = \prod f(\lambda_i)$
Solution.
设
$$
f(x) = c\prod(x - a_i)
$$
且有
$$
F(x) = \prod(x - \lambda_i) = |\lambda I - A|
$$
那么
$$
|f(A)| = c_1^n\prod|A - a_iI| = c_1\prod (-1)^n F(a_i) = c_1^n\prod \prod (\lambda_j - a_i) = \prod f(\lambda_j)
$$
等式成立。
证明 $f(\lambda_1), …, f(\lambda_n)$ 是 $f(A)$ 的特征根。
Solution.
令
$$
g(x) = \lambda - f(x)
$$
那么
$$
|\lambda I - f(A)| = |g(A)| = \prod g(\lambda_i) = \prod (\lambda - f(\lambda_i))
$$
于是得证。
命题 7. 幂等矩阵可对角化。
Proof.
假设 $v$ 是特征向量，那么
$$
Av^2 = Av \rightarrow \lambda^2 = \lambda
$$
特征值只有 $0, 1$。而幂等矩阵满足 $\mathrm{rank}(A) + \mathrm{rank}(I - A) = n$，所以 $\mathbb{R}^n = \mathcal{N}(A) \oplus \mathcal{N}(I - A) = V_0\oplus V_1$，可对角化。
Remark. 这种满足某一多项式的矩阵可对角化的证明一般是：特征值是多项式的根，然后用 Sylvester 不等式的各种推论可以得到 $\mathbb{R}^n = \bigoplus V_{\lambda_i}$
这也意味着对于幂等矩阵，$\mathrm{tr}(A) = \mathrm{rank}(A)$。
同理可以推出非零幂零矩阵不可对角化，因为其特征值只有 $0$，且解空间不是 $\mathbb{R}^n$。
全 $1$ 矩阵可对角化，其特征值只有 $1, n$（不难自行计算）。且解空间维数加起来恰好是 $n$。
对合矩阵可对角化，其特征值只有 $\pm 1$。
定理 8. 复数域下任意循环矩阵可以被同一个矩阵对角化。
Proof.
设 $A$ 由 $a_0, …, a_{n - 1}$ 生成，令
$$
f(x) = a_0 + a_1x + a_2x^2 + … + a_{n - 1}x^{n - 1}
$$
令 $E$ 为 $n$ 阶循环位移矩阵 $(\varepsilon_n, \varepsilon_1, …, \varepsilon_{n - 1})$。则有
$$
A = f(E)
$$
那么有 $f(\omega_n^0), f(\omega_n^1), …, f(\omega_n^{n - 1})$ 是 $A$ 的特征值。且注意到
$$
A\begin{pmatrix}
1 \\
\omega_n^{i} \\
\vdots \\
\omega_n^{i(n - 1)}
\end{pmatrix} = \begin{pmatrix}
f(\omega_n^i) \\
\omega_n^{i} f(\omega_n^i) \\
\vdots \\
\omega_{n}^{i(n - 1)}f(\omega_n^i)
\end{pmatrix}
$$
这样我们找到了一组向量，拼起来之后得到的 $P$ 是范德蒙德矩阵（傅里叶矩阵）。因此复数域下所有循环矩阵都可以被傅里叶矩阵对角化。
Remark. 这个是 FFT 的原理。
实对称矩阵的对角化
这是接下来的一个重点。
定理 1. 实对称矩阵的特征值都是实数。
Proof.
取一个特征值 $\lambda$ 和它对应的特征向量 $v$，有
$$
(\lambda I - A)v = 0
$$
复数域下，一个向量为零向量当且仅当 $\langle\bar v, v\rangle = 0$。因此
$$
\begin{aligned}
\overline{(\lambda I - A)v}^T(\lambda I - A)v &= 0 \\
\bar v^T(\bar \lambda I - A)(\lambda I - A)v &= 0 \\
\bar v^T(\lambda I - A)(\bar \lambda I - A)v &= 0
\end{aligned}
$$
这推出 $Av = \bar \lambda v$，也就是 $\lambda = \bar \lambda$，必为实数。
Remark. 上面的这个证明手法可以套到其他正规矩阵上面去，证明一些有用的结论比如：
- 斜对称矩阵的特征值为 0 或者纯虚数。$\lambda + \bar\lambda = 0$。
- 如果 $\lambda$ 是正规矩阵 $H$ 的特征值，那么 $\bar \lambda$ 是 $H^*$（共轭转置）的特征值。
定理 2. 实矩阵正交相似于上三角矩阵的充分必要条件是其特征值均为实数。
Proof.
必要性 相似变换保特征值，上三角矩阵特征值为对角元，均为实数。
必要性 对矩阵大小归纳，取一个特征根和对应的特征向量 $v_1$，将 $v_1$ 扩充成一组基，Schmidt 正交化并单位化得到 $\eta_1, …, \eta_n$。
令 $P = (\eta_1, …, \eta_n)$，那么
$$
P^{-1}AP = \begin{pmatrix}
\lambda & \alpha \\
& B
\end{pmatrix}
$$
$B$ 的特征值仍然全是实数，由归纳假设其可正交上三角化。那么取
$$
T = \begin{pmatrix} 1 & \\ & P’ \end{pmatrix}P
$$
$A$ 可被 $T$ 上三角化，显然 $T$ 正交。
定理 3. 实对称矩阵可以正交对角化。
Proof.
套用定理 2 的证明。对称性可以直接得到 $\alpha = 0$。
事实上可以实数域上正交对角化的矩阵都是对称的。
可以用对角化来放一些行列式相关的不等式。
$A$ 为斜对称矩阵，求证
$$
\det \begin{pmatrix} 2I & A \\ A & 2I \end{pmatrix}\geq 2^{2n}
$$
Solution.
$2I$ 和 $A$ 可交换，于是
$$
\mathrm{LHS} = |4I - A^2| = 4^n |I - \frac 14 A^2|
$$
先考虑求后面的行列式的所有特征值。只需要求 $A$ 的特征值。可以证明，斜对称矩阵的特征值为纯虚数（或 0）。
于是
$$
\mathrm{LHS} = 4^n \prod (1 + ib_i)(1 - ib_i) = 4^n \prod (1 + b_i^2) \geq 4^n
$$
取等当且仅当特征值全是 0，即 $A = 0$。
矩阵 $A$ 的特征值均为非负实数，且 $A$ 的主对角元均为 1。求证 $|A| \leq 1$
Solution.
有
$$
\begin{aligned}
|A| &= \prod \lambda_i \\
&\leq \left(\frac{1}n\left(\sum \lambda_i\right)\right)^n \\
&= \left(\frac 1n\mathrm{tr}(A)\right)^n \\
&= 1
\end{aligned}
$$
习题
求证 $A_{s\times n}$ 的秩为 $r$ 当且仅当存在 $s\times r$ 的列满秩矩阵 $B$ 和 $r\times n$ 的行满秩矩阵使得 $A = BC$。
Solution.
充分性. 求 $A$ 的合同标准型。
$$
A = P\mathrm{diag}(1, …, 1, 0, …, 0) Q
$$
将 $P$ 前 $r$ 列分块出来，$Q$ 的前 $r$ 行分块出来，得到
$$
A = (P_1 ~ P_2) \mathrm{diag}(1, …, 1, 0, …, 0)\begin{pmatrix}Q_1\\Q_2\end{pmatrix} = P_1Q_1
$$
显然 $P_1$ 列满秩，$Q_1$ 行满秩，因为 $P, Q$ 可逆。
必要性. 用 Sylvester 不等式证明即可。
$A$ 是一个秩为 $r$ 实对称矩阵，求证 $A$ 的每一个 $r$ 阶主子式都同号（若非 $0$）。
Solution.
做合同消元，得到
$$
A = P\mathrm{diag}(a_1, …, a_r, 0, …, 0)P^{T}
$$
用 Binet Cauchy 公式提取主子式，发现是 $\prod a_i \times C^2$，其中 $C$ 是 $P$ 的某一个 $r$ 阶子式，这里懒得写了。$\square$
Remark. 想要分析主子式，有一个好用的东西是 Binet Cauchy。这需要我们把矩阵拆开。一个非常好用的拆法式合同消元，因为这样你拆成了三项，中间那一项形式很简单，在 Binet Cauchy 的时候中间的子式只能是第 $r$ 个顺序主子式。
另外我感觉方阵下面合同消元严格优于矩阵相抵。
若 $A$ 的特征值为 $\lambda_1, …, \lambda_n$，求 $A^*$（伴随矩阵）的特征值。
Solution.
三类情况，可逆、$\mathrm{rank}$ 为 $n - 1$，其他。第一个和第三个 trivial，只考虑第二个。
首先 $A^*$ 解空间维数为 $n - 1$，因此 $0$ 是一个 $n-1$ 重根。假设
$$
F(\lambda) = \lambda^{n-1}(\lambda - a)
$$
那么（不妨设 $\lambda_n = 0$）
$$
a = \mathrm{tr}(A^*) = \sum A_{ii} = [x](-1)^{n-1}|\lambda I - A| = \prod_{i=1}^{n-1}\lambda_i
$$
求下列矩阵的特征根：
$$
\begin{pmatrix}
A & A^m \\
A^m & A
\end{pmatrix}
$$
Solution.
显然 $\lambda I - A$ 和 $A^m$ 可交换，于是上述矩阵的特征多项式实际上是
$$
|(\lambda I - A)^2 - A^{2m}| = |\lambda I - A - A^m||\lambda I - A + A^m|
$$
用上一题结论，可以知道其特征值为 $\lambda_i \pm \lambda_i^m$。
(Gersgorin 圆盘定理) 定义 $D_i(A) = \{z\in \mathbb{C} | |z - a_{ii}| \leq \sum\limits_{j\ne i} |a_{ij}|\}$
求证 $A$ 的每个特征值都属于某一个 Gersgorin 圆盘。
Solution.
取一个特征值 $\lambda$ 和其对应的特征向量 $v$。有 $Av = \lambda v$，单独观察分量有
$$
\lambda v_i = \sum_{j=1}^n a_{ij}v_j
$$
若令 $v_i$ 为模长最大的分量，则有
$$
|\lambda - a_{ii}| = \left|\sum_{j\ne i} a_{ij}\frac{v_i}{v_j}\right|\leq \sum_{j\ne i} |a_{ij}|
$$
得证。
这个定理可以用来估计特征值的范围。
证明：可交换的实对称矩阵矩阵可以同时对角化。
Solution.
$A$ 为数量矩阵的情况是平凡的。先考虑 $A$ 不是数量矩阵，即 $A$ 有不同特征值。
假设 $P^{-1}AP$ 对角。那么 $P^{-1}AP$ 和 $P^{-1}BP$ 可交换。那么此时必然有
$$
P^{-1}BP = \mathrm{diag}(B_1, …, B_k)
$$
而且 $B_1, …, B_k$ 均为实对称矩阵。假设 $B_i$ 可以被 $P_i$ 对角化，那么 $A, B$ 可以被 $P\mathrm{diag(P_1, …, P_k)}$ 对角化。
矩阵的合同
定理 1.(惯性定理) 合同规范型唯一。
Proof.
关键是证明正惯性指数相同。也就是若两个满秩矩阵的正惯性指数不相同，那么他们不合同。
考虑二次型
$$
\begin{aligned}
Y = y_1^2 + \cdots + y_p^2 - y_{p + 1}^2 - \cdots - y_r^2 \\
Z = z_1^2 + \cdots + z_q^2 - z_{q + 1}^2 - \cdots - z_r^2 \\
\end{aligned}
$$
若 $p > q$，我们证明不存在一个正交替换使得这两个东西相等。
反证。若存在正交替换，那么有
$$
\begin{cases}
z_1 = \sum a_{1i}y_i \\
z_2 = \sum a_{2i}y_i \\
\vdots
z_q = \sum a_{qi}y_i \\
\end{cases}
$$
取 $z_1, …, z_q = 0$ 由于 $p > q$，原方程有非零解，设为 $b_1, …, b_p$。
取 $(y_1, …, y_r) = (b_1, …, b_p, 0, …, 0)$，那么 $Y > 0$，而 $Z \leq 0$，不相等，矛盾。
正定矩阵
矩阵正定的几个条件
定理 1-1. 矩阵正定当且仅当其合同于 $I$。
显然。
定理 1-2. 矩阵正定当且仅当其所有特征值均为正数。
显然。
从这里可以推出正定矩阵的行列式 $> 0$
定理 1-3. 矩阵正定当且仅当其所有顺序主子式均 $> 0$。
Proof.
必要性. 取 $(v_1, …, v_k, …)$ 可以提取左上角。因此每个左上角的行列式即顺序主子式大于 $0$。
充分性. 对矩阵大小归纳。有
$$
\begin{pmatrix} A & \beta \\ \beta^T & a_{nn} \end{pmatrix} \simeq \begin{pmatrix} A & \\ & a_{nn}-\beta A^{-1}\beta^T \end{pmatrix}
$$
顺序主子式均大于 $0$ 可以推出 $A$ 正定，$a_{nn}-\beta^T A^{-1}\beta > 0$，然后任取一个 $v$ 代入，显然你会达到 $v^TAv + v_n^2(a_{nn}-\beta^T A^{-1}\beta) > 0$。因此这个 $n+1$ 阶矩阵也正定。
命题 2. 若 $A$ 正定，那么存在唯一的正定矩阵 $C$ 使得 $A = C^2$。
Proof.
存在性. 将 $A$ 对角化，所有特征值开根就得到了 $C$。
唯一性. 懒得写了。显然 $C_1^2, C_2^2$ 有相同的特征值，而 $C_1, C_2$ 都正定，所以 $C_1, C_2$ 有相同的特征值。然后随便说两句就可以知道 $C_1 = C_2$。
命题 3. $A$ 半正定当且仅当存在实对称矩阵 $C$ 使得 $A = C^2$。
命题 4. $A$ 正定，$B$ 实对称，则存在 $C$ 使得 $C^TAC$ 和 $C^TBC$ 都是对角矩阵。
Proof(Sketch).
首先将 $A$ 合同消元成 $I$，然后将 $C^TBC$ 对角化，两个矩阵乘起来。
习题
求证一个二次型可以因式分解为两个齐次线性多项式的乘积当且仅当：
- 其秩为 $1$。
- 其秩为 $2$ 且正惯性指数为 $1$。（符号差为 $0$）
Solution.
必要性.
- 秩为 $1$，那么存在一个变量替换 $y_1 = \sum a_ix_i$ 使得原二次型变成 $\pm y_1^2$，那么分解方案是显然的。
- 若秩为 $2$，且正惯性指数为 $1$，那么存在变量替换使得二次型变成 $y_1^2 - y_2^2$，也就是 $(y_1 + y_2)(y_1 - y_2)$，于是得到了分解方案。
充分性.
假设原二次型被分解为 $(\sum a_ix_i)(\sum b_ix_i)$，那么
- 若 $(a_1, …, a_n)$ 和 $(b_1, …, b_n)$ 线性相关，那么原二次型合同于 $y_1^2 - y_2^2$。
Remark. 在考虑这种题的时候除了从矩阵观点，可以直接从原来的二次型出发来看。实际上惯性定理的证明也体现了这一点。
$A$ 正定，$B$ 半正定，求证 $|A+B|\geq |A| + |B|$，取等当且仅当 $B = 0$
Solution.
若 $A = I$，$B$ 对角，那么显然成立。
否则可以用命题 $4$ 转化成上述情况。
若 $A$ 正定，那么 $|A|\leq \prod a_{ii}$
Solution(Sketch)_.
对矩阵大小归纳。
对于任意实矩阵，证明
$$
|C|^2 \leq \prod_{i=1}^n \sum_{j=1}^n (c_{ij}^2)
$$
Solution.
如果 $|C| = 0$ 那么就非常弱智。
令 $A = C^TC$，$A$ 正定，发现乘积式里面的东西刚好是 $A$ 的对角线。套用上题结论即可证明。
(极分解定理) 对于任意可逆矩阵 $A$ 证明存在唯一的正交矩阵 $T$ 和正交矩阵 $S_1, S_2$ 使得 $A = TS_1 = S_2T$。
Solution.
显然 $A^TA$ 正定，那么存在 $S_1^2 = A^TA$。令 $T = (A^T)^{-1}S_1$，不难验证 $T$ 正交。