矩阵分析 2014&2016 题解

雁栖湖

---

2016 秋季的试卷基本是原题哈~
祝各位明天伴随着雪花考试愉快！
有兴趣可以与本人交流～

成绩出来了...

日志

• 2017.1.9 号 9:19 成绩出来了，一般是 80 多或接近 80 [笑脸]
• 更新 2016 秋季 2016.11.21 日考试的题目
• 更新该书的下载地址（with solution）
• 更新 2016 年题目的答案(判断题大部分与2014年一致，计算题 slides 有)
• 提供 2016 年试题第三题第三问，见底部
• 第七题仍然为 F,$R(A) \neq R(A^T)$
• 第三题还是为 T 吧 ==，就 1 分没所谓的

说明

这是自己的笔记，侧重点不在于题目的答案，而在于过程。做题是次要的，重要的是是否真的 get 到了线代的一些核心概念与思想？

书指的是这本 Matrix Analysis and Applied Linear Algebra by CD Meyer，下载地址

2014&2016&2016秋季 年的题目

1. 判断题

1.1 Solution

$FTTTT \quad FFTFF \quad TFFFT$

1.2 评注

第一题
乘法和除法的次数应该是 $n^3/3 + n^2 - n/3$，加法和减法的次数是 $n^3/3 + n^2/2 - 5n/6$。Gauss-Jordan 乘法和除法次数是 $n^3/2 + n^2/2$，很自然的比高斯消元法复杂度高。

第二题
证明：考察 $A, B, A+B$ 列向量张成的向量空间，$\forall x \in R(A+B)$，令 $x = (A+B)u$，有 $x = Au + Bu$，根据向量空间和的定义，有 $x \in span\{A\} + span\{B\}$，即有 $rank(A+B) \leq rank(A) + rank(B)$

第三题
[更正]对称矩阵默认为在 $R$ 上的矩阵，此题还是为 T 吧。
正确表述：Hermitian 矩阵不一定是对称矩阵，实对称矩阵一定是 Hermitian 矩阵。
Notes：
实对称矩阵：$A^T = A, A \in R^{n \times n}$
Hermitian matrix：$A^* = A, A \in C^{n \times n}$

第四题
考察 $a_{ii}$，有 $a_{ii} + \overline{a_{ii}} = 0$，如果默认对称矩阵是定义在 $R$ 上的，则有 $a_{ii} = 0$。
Notes:
Skew sysmetric matrix: $A^T = -A$
Skew hermitian matrix: $A^* = -A$

第五题
只要验证 $U^*U = I$ 就好了，证明见 P117 $AX = I \rightarrow XA = I$，一点值得注意：matlab 中的 ' 是共轭转置，即 $A' = A^*$，转置和共轭分别为 transpose 和 conj
Notes：
Unitary matrix(酉矩阵)：$U^* = U^{-1}$，此矩阵性质很好，列向量集合是 orthonormal set，可以构成 $C^{n}$ 的一组标准正交基。将酉矩阵作为一个线性变换，它不改变向量的长度，只改变方向：$||Ux||^2 = x^*U^*Ux = x^*x = ||x||^2$

此处插入一段子，来自知乎：
小波和傅里叶变换异同？ 都是搞基，只是基不一样。

(p.s. 然而我还是没懂)

关于傅里叶变换与基，P300-303 写的非常漂亮。

第六题
证明：从迹的性质及矩阵乘法性质来推导
有 $trace(AB) = trace(BA)$
有结合律：$A(BC) = (AB)C$
故 $trace((AB)C) = trace(C(AB))$，但 $AB \neq BA$，故 $trace((AB)C) \neq trace((BA)C)$

第七题
应该是 $R(A^TA) = R(A^T)$ 或者 $R(AA^T) = R(A)$
证明：
有 $rank(AA^T) = rank(A^TA) = rank(A) = rank(A^T)$ 和 $R(A^TA) \subseteq R(A^T)$
可以证明 $R(A^TA) = R(A^T)$，用 $A^T$ 代替 $A$，即 $R(AA^T) = R(A)$

整个证明有点繁琐，略。

更深刻一点的性质是这个：

$$Nul(A^T)^\perp = Col(A)\\ Nul(A)^\perp = Col(A^T)$$

第八题
证明：
定义内积 $<A,B> = trace(A^TB)$，则有 $||A|| = 0$ iff $A = 0$

第九题
正交矩阵是在 $R$ 上的酉矩阵，验证 $A^TA = I$ 是否成立。很明显，第三列不满足要求。

第十题
右边表达式明显错误，应该为

$$\begin{pmatrix} A&B \\ C&D \end{pmatrix} = det(A)det(D-CA^{-1}B) \quad or \quad det(D)det(A-BD^{-1}C)$$
经津旭提醒，这就是随机过程课上讲高斯过程算协方差矩阵时的打洞法

第十一题
证明：$||A||_F = \sqrt{ \sum_{ij} a^2_{ij} }$，故 $||A||_F = ||A^*||_F$

第十二题
举一个反例：$(\lambda-1)^2$ 和 $\lambda - 1$，其特征多项式不一致。

第十三题
对称矩阵没这个性质，考察 $c_{ij} = dot(A_{i*} B_{*j})$，$c_{ji} = dot(A_{j*} B_{*i})$，可以构造反例

第十四题
如果 $A$ 非奇异，则成立。看这张图

第十五题
Normal Matrix：$A^*A = AA^*$

2. 解答题

2.1 第二题

(1)

依次为绕 $X,Y,Z$ 轴的旋转矩阵

$$\begin{pmatrix} 1&0&0 \\ 0&cos\theta&-sin\theta \\ 0&sin\theta&cos\theta \end{pmatrix}$$
$$\begin{pmatrix} cos\theta&0&sin\theta \\ 0&1&0 \\ -sin\theta&0&cos\theta \end{pmatrix}$$
$$\begin{pmatrix} cos\theta&-sin\theta&0 \\ sin\theta&cos\theta&0 \\ 0&0&1 \end{pmatrix}$$

(2)

$||A|| = \max_{||x|| = 1} ||Ax||, A \in C^{m\times n}, x \in C^{n \times 1}$

1-norm: $||A||_1 = \max_{||x||_1 = 1} ||Ax||_1 = \max_j \sum_i|a_{ij}|$，即列的绝对值和 的最大值

2-norm: $||A||_2 = \max_{||x||_2 = 1} ||Ax||_2 = \sqrt{\lambda_{max}}$，即 $A^*A$ 最大的特征值

$\infty$ norm: $||A||_\infty = \max_{||x||_\infty = 1} ||Ax||_\infty = \max_i \sum_j|a_{ij}|$，即行的绝对值和 的最大值

2.2 第三题

(1)

这道题十分那就应该答十个点 A5 和 M5
(A1) $x+y \in \mathcal{V}, \forall x,y \in \mathcal{V}$ (加法封闭性)
(A2) $(x+y) + z = x + (y+z), \forall x,y,z \in \mathcal{V}$ (加法结合)
(A3) $x + y = y + x, \forall x,y \in \mathcal{V}$ (加法交换)
(A4) $\exists 0 \in \mathcal{V}, 满足 x+0 = x \forall x \in \mathcal{V}$ (加法单位元)
(A5) $\forall x \in \mathcal{V}, \exists (-x) \in \mathcal{V}, 满足 x + (-x) = 0$ (加法逆)

(M1) $\alpha x \in \mathcal{V} \forall \alpha \in \mathcal{F}, x \in \mathcal{V}$ (乘法封闭性)
(M2) $(\alpha \beta)x = \alpha(\beta x), \forall \alpha, \beta \in \mathcal{F}, x \in \mathcal{V}$ (乘法结合)
(M3) $\alpha(x+y) = \alpha x + \alpha y, \forall \alpha \in \mathcal{F}, x,y \in \mathcal{V}$ (乘法分配)
(M4) $(\alpha + \beta)x = \alpha x + \beta x, \forall \alpha, \beta \in \mathcal{F}, x \in \mathcal{V}$ (乘法分配)
(M5) $1x = x, \forall x \in \mathcal{V}$ (乘法单位元)

(2)

看看是如何利用上面列出的十条性质中的某些性质证明的。
假设存在两个零元素 $0$ 和 $0'$，根据加法单位元和加法交换的性质有 $0 = 0+0' = 0'+0 = 0'$，假设存在 $n(n>2)$ 个零元素，根据加法结合性和加法交换性，同样可以证明 $0 = 0' = 0'' = ...$

随机过程上讲泊松过程，只根据四个基本的前提，就可以严格推导出泊松过程的表达式，这是一个训练数学严密思维的很好的例子。其中从正整数域推广到实数域的演绎更是巧妙，虽然对学过实分析的人来说这不算什么。自己随机过程学的很渣（要挂了==），但还是有所感悟的。

关于计算

关于线性代数，有一个观点：研究的东西最后都可以转化为算法；即输入 $\rightarrow$ 输出，箭头上方是算法。

2.3 第四题

2.4 第五题

2.5 第六题

2.6 第七题

(1)

证明：所有的 $A_{n\times n}$ 构成一个向量空间，定义内积 $<A,B> = trace(A^*B)$，应当证明这确实是一个向量空间，以及证明内积确实满足定义内积的要求，此处忽略。

有了内积就有了膜 $||A|| = \sqrt{<A,A>} = \sqrt{trace(A^*A)}$
在这个内积空间，有 CBS 不等式：$|<A,B>| \leq ||A|| ||B||$，有

$$|trace(A)|=|<A,I>|\leq \sqrt{n} ||A|| = \sqrt{n} \sqrt{trace(A^*A)}$$
两边平方即得要证的式子。

(2)

证明：对于非奇异矩阵 $A$，$index(A) = 0$；现证明奇异对称阵 $A$ 有 $index(A) = 1$

$R(A) \cap N(A) = 0$ 等价于 $R(A) \bigoplus N(A) = R^n$ (默认对称矩阵为实矩阵)，现证明前者。

若 $x \in R(A) \cap N(A)$，有 $Ax = 0$ 和 $\exists y \in R^n, x = Ay$，有

$$x^T x = (Ay)^T x = y^T A^T x = y^T Ax = y^T (Ax) = 0$$
即 $||x|| = 0 \rightarrow x = 0$ $\blacksquare$

2016 年部分试题解答

判断题

$FTTTT \quad TTFTF \quad FTFTF \quad TFFFF$

评注

第八题
此时 $index(A) = 1$

第九题
$det(A) = det(A^T) =det(-A) = (-1)^ndet(A)$，若$n$ 为奇数，则 $det(A) = 0$，则 $A$奇异

第十题
Gauss: $n^3/3$
Gauss Jordan: $n^3/2$
Gram-Schmidt: $n^3$
Householder: $2n^3/3$
Givens: $4n^3/3$

第十六题
算 $A^*A$ 的特征值

第二题第一问

(1) 行最简形的非零行
(2) 行最简形的主元(pivot)个数
(3) 基本列的个数
(4) 极大线性无关列的个数
(5) 极大线性无关行的个数
(6) $dimR(A)$
(7) $dimR(A^T)$
(8) $n - dimN(A)$
(9) $m - dimN(A^T)$

第三题第三问

$S_n^\perp = \{A \in \mathcal{V} | A = -A^T\}$

证明：$trace$ 是一个线性变换(函数)，且有 $trace(M) = trace(M^T)$
令矩阵 $E_{ij} = e_ie_j^T$，有 $[E]_{ij} = 1$，其它元素均为 $0$；取 $S = E_{ij} + E_{ji}$，则 $S$ 属于对称矩阵。 $\forall A \in S_n^\perp$，有 $<A,S> =0 \rightarrow AE_{ij} + AE_{ji} = 0 \rightarrow [A]_{ij} = -[A]_{ji}$。这说明 $S_n^\perp$ 中的任意一个元素一定是反对称矩阵。
现证明$\forall A \in \{A|A=-A^T\}$，$\forall S \in \{A|A=A^T\}$ 有 $<A, S> = 0$。
对称矩阵 $S$ 可以写成 $S = U^T + \Lambda + U$，$\Lambda$ 是对角矩阵，有 $<A, \Lambda> = 0, <A,U^T> = <U^T,A> = <A^T, U> = -<A, U>$，故 $<A,S> = 0$。这说明，所有的反对称矩阵构成的集合与 $S_n$ 正交。

故 $S_n^\perp = \{A \in \mathcal{V} | A = -A^T\}$ $\blacksquare$

第四题

注意 3-digit floating-point，这题的 rank 应该为 2

致谢

学霸室友们~