3.1 向量范数及矩阵范数

高等工程数学 讲义 2024AU

---

---

3.1.1 向量范数

设 $V$ 是数域 $F$ 上的线性空间，对 $\forall\boldsymbol{\alpha}\in V$ ，都有唯一的一个实数 $\|\boldsymbol{\alpha}\|$ 与之对应，且满足：

1. 非负性： $\|\boldsymbol{\alpha}\|\geq0$ ，且 $\|\boldsymbol{\alpha}\|=0\Leftrightarrow\boldsymbol{\alpha}=0$
2. 齐次性： $\|k\boldsymbol{\alpha}\|=|k|\cdot\|\boldsymbol{\alpha}\|$
3. 三角不等式： $\|\boldsymbol{\alpha}+\boldsymbol{\beta}\|\leq\|\boldsymbol{\alpha}\|+\|\boldsymbol{\beta}\|$ 或 $\left|\|\boldsymbol{\alpha}\|-\|\boldsymbol{\beta}\|\right|\leq\|\boldsymbol{\alpha}-\boldsymbol{\beta}\|$

则称 $\|\boldsymbol{\alpha}\|$ 为向量 $\boldsymbol{\alpha}$ 的 范数 (Norm)；定义了范数的线性空间称为 赋范线性空间 (Normed Linear Space).

---

欧式空间中常用的范数

对任意 $\forall \boldsymbol{x}=\left[x_1\;\;x_2\;...\;x_n\right]^{\mathrm{T}} \in \mathbb{R}^{n}$

• 2-范数 $\|\boldsymbol{x}\|_{2} = \sqrt{\left|x_{1}\right|^{2}+\left|x_{2}\right|^{2}+\cdots+\left|x_{n}\right|^{2}}$
• 1-范数 $\|\boldsymbol{x}\|_{1} =\left|x_{1}\right|+\left|x_{2}\right|+\cdots+\left|x_{n}\right|$

• 无穷范数： $\|\boldsymbol{x}\|_{\infty} = \max \left\{\left|x_{1}\right|,\left|x_{2}\right|, \cdots,\left|x_{n}\right|\right\}$

• 同一个线性空间可以定义不同的范数

• 以上的范数可以统一为一种形式
  
  • p-范数：$\|\boldsymbol{x}\|_{p} =\left(\sum\limits_{i=1}^n|x_i|^p\right)^{1/p}$

---

例 不同范数下的“单位圆盘”

• $A=\left\{\boldsymbol{x} \in \mathbb{R}^{2} \big| \|\boldsymbol{x}\|_{2}\leq 1\right\}$
  
  • 单位圆
• $B=\left\{\boldsymbol{x} \in \mathbb{R}^{2} \big| \|\boldsymbol{x}\|_{1}\leq 1\right\}$
  
  • 菱形
• $C=\left\{\boldsymbol{x} \in \mathbb{R}^{2} \big| \|\boldsymbol{x}\|_{\infty}\leq 1\right\}$
  
  • 正方形
• 以上均为有界区域，但“外形”有所不同

---

例 $C_{[a,b]}$ 表示区间 $[a,b]$ 上连续函数的全体，对任意 $f \in C_{[a,b]}$，定义

$$\|f\|_{2} = \sqrt{\int_{a}^{b}|f(x)|^{2} d x},$$

则 $\left(C_{[a,b]},\|\cdot\|_2\right)$ 是赋范线性空间.

---

• 思考
  
  • 范数和内积有何联系与区别？
  • 赋范线性空间空间和内积空间是什么关系？
• 范数是关于一个向量的函数，内积是关于两个不同向量的函数
• 内积可以导出范数，范数不一定能导出内积
  
  • 内积既可以用来刻画距离（长度）又可以用来刻画夹角
  • 范数只能刻画长度
• 赋范线性空间和内积空间都是定义在线性空间之上的

---

例 已知 $n$ 维线性空间 $V$ ， 其中任意的向量 $\boldsymbol{\alpha}\in V$ 在基 $\boldsymbol{B}=\{\boldsymbol{\alpha}_1,\boldsymbol{\alpha}_2,\ldots,\boldsymbol{\alpha}_n\}$ 下的坐标为

$$\boldsymbol{x}=[x_1\;x_2\;\ldots\;x_n]^{\mathrm{T}}$$

• 定义 $\|\boldsymbol{\alpha}\|_{2} = \sqrt{\sum_{i=1}^{n}\left|x_{i}\right|^{2}}$
• 则 $(V,\|\cdot\|_2)$ 为赋范线性空间.

---

范数的等价性

设 $\|\cdot\|_a$ 和 $\|\cdot\|_b$ 是 $V$ 上的两个范数，若存在大于零的常数 $M,m$ ，使对 $\forall\boldsymbol{\alpha}\in V$ ，有

$${m}\|{\boldsymbol{\alpha}}\|_{a} \leq\|{\boldsymbol{\alpha}}\|_{b} \leq {M}\|{\boldsymbol{\alpha}}\|_{a}$$

则称范数 $\|\cdot\|_a$ 和 $\|\cdot\|_b$ 等价.

• 例 $\mathbb{R}^n$ 中的范数 $\|\cdot\|_1$ 、 $\|\cdot\|_2$ 和 $\|\cdot\|_{\infty}$ 两两相互等价
• 范数的等价具有传递性

---

提示： 证明 $\mathbb{R}^n$ 中的范数 $\|\cdot\|_1$, $\|\cdot\|_2$ 和 $\|\cdot\|_{\infty}$ 两两等价.

• 以 $\mathbb{R}^2$ 中的 $\|\cdot\|_1$ 和 $\|\cdot\|_2$ 等价为例.
• 结合几何图形，可以看出：对任意的正数 $a$，总有
  
  • $\{\boldsymbol{x}:\|\boldsymbol{x}\|_1\leq a\}\subset\{\boldsymbol{x}:\|\boldsymbol{x}\|_2\leq a\}\subset\{\boldsymbol{x}:\|\boldsymbol{x}\|_1\leq \sqrt{2}a\}$.
• 上式等价于：$\forall a>0$，由 $\|\boldsymbol{x}\|_1\leq a$ 可推出 $\|\boldsymbol{x}\|_2\leq a$；由 $\|\boldsymbol{x}\|_2\leq a$ 可推出 $\dfrac{1}{\sqrt{2}}\|\boldsymbol{x}\|_1\leq a$.
• 因为上述关系对任意 $a>0$ 成立，故必有 $\dfrac{1}{\sqrt{2}}\|\boldsymbol{x}\|_1\leq \|\boldsymbol{x}\|_2\leq\|\boldsymbol{x}\|_1$.
• 同理可证明：$\|\boldsymbol{x}\|_{\infty}\leq \|\boldsymbol{x}\|_2\leq\sqrt{2}\|\boldsymbol{x}\|_{\infty}$. (自行验证)

---

范数的连续型

引理 设 $(V^n,\|\cdot\|)$ 为赋范线性空间， 向量 $\boldsymbol{\alpha}\in V^n$ 在基 $\boldsymbol{B}=\{\boldsymbol{e}_1,\boldsymbol{e}_2,\ldots,\boldsymbol{e}_n\}$ 下的坐标可表示为

$$\boldsymbol{x}=[x_1\;x_2\;\ldots\;x_n]^{\mathrm{T}},$$

则函数 $\varphi\left(\boldsymbol{x}\right)=\|\boldsymbol{\alpha}\|$ 是关于 $\boldsymbol{x}$ 的连续函数.

• 即：对任意 $\boldsymbol{x}\in F^n$，有$\lim\limits_{\Delta\boldsymbol{x}\to\boldsymbol{0}}\varphi\left(\boldsymbol{x}+\Delta\boldsymbol{x}\right)=\varphi(\boldsymbol{x})$

---

证明：

• 设 $\boldsymbol{\alpha}=\boldsymbol{B}\boldsymbol{x}=\sum_{i=1}^nx_i\boldsymbol{e}_i$，$\boldsymbol{\beta}=\boldsymbol{B}(\boldsymbol{x}+\Delta\boldsymbol{x})=\sum_{i=1}^n(x_i+\Delta x_i)\boldsymbol{e}_i$
• 记 $C=\max \left\{\left\|\boldsymbol{e}_{1}\right\|,\left\|\boldsymbol{e}_{2}\right\|, \cdots,\left\|\boldsymbol{e}_{n}\right\|\right\}$
• $\left|\varphi\left(\boldsymbol{x}+\Delta\boldsymbol{x}\right)-\varphi\left(\boldsymbol{x}\right)\right| =|\|\boldsymbol{\alpha}\|-\|\boldsymbol{\beta}\|| \leq\|\boldsymbol{\alpha}-\boldsymbol{\beta}\|$
  
  • $=\left\|\Delta x_{1} \boldsymbol{e}_{1}+\Delta x_{2} \boldsymbol{e}_{2}+\cdots+\Delta x_{n} \boldsymbol{e}_{n}\right\|$
  • $\leq\left|\Delta x_{1}\right| \cdot\left\|\boldsymbol{e}_{1}\right\|+\left|\Delta x_{2}\right| \cdot\left\|\boldsymbol{e}_{2}\right\|+\cdots+\left|\Delta x_{n}\right| \cdot\left\|\boldsymbol{e}_{n}\right\|$
  • $\leq C\left(\left|\Delta x_{1}\right|+\left|\Delta x_{2}\right|+\cdots+\left|\Delta x_{n}\right|\right)$
• 由此可知 $\Delta\boldsymbol{x}\to \boldsymbol{0}$ 时，必有 $\left|\varphi\left(\boldsymbol{x}+\Delta\boldsymbol{x}\right)-\varphi\left(\boldsymbol{x}\right)\right|\to 0$，即证.

---

范数的等价性

定理 有限维线性空间上的任意范数都是等价的.

• 证明：
  
  • 设 $V$ 是 $n$ 维线性空间， $\|\cdot\|_a,\|\cdot\|_b$ 是其上的两个范数，$\boldsymbol{B}=\{\boldsymbol{e}_1,\boldsymbol{e}_2,\ldots,\boldsymbol{e}_n\}$ 是 $V$ 的基
  • 对任意 $\boldsymbol{\alpha}=\boldsymbol{Bx}\in V$，$\boldsymbol{\alpha}\ne0$
    
    • 令 $f\left(\boldsymbol{x}\right) = \dfrac{\|\boldsymbol{\alpha}\|_{a}}{\|\boldsymbol{\alpha}\|_{b}}$
  • 由范数的连续性可知，$f$ 关于 $\boldsymbol{x}$ 连续

---

• 定义 $S=\left\{\boldsymbol{x}\in F^n\bigg| \|\boldsymbol{x}\|_2=1\right\}$
  
  • $S$ 为有界闭区域，$f$ 在 $S$ 上连续
  • 故 $f$ 在 $S$ 上有上、下界，记为 $M,m$
• 令 $\boldsymbol{\beta}=\dfrac{1}{\|\boldsymbol{x}\|_2}\boldsymbol{\alpha}=\boldsymbol{By}$，则 $\boldsymbol{y}=\dfrac{\boldsymbol{x}}{\|\boldsymbol{x}\|_2}\in S$
  
  • 于是 $\dfrac{\|\boldsymbol{\beta}\|_{a}}{\|\boldsymbol{\beta}\|_{b}}=f(\boldsymbol{y})\in[m,M]$
• 进而 $\dfrac{\|\boldsymbol{\alpha}\|_a}{\|\boldsymbol{\alpha}\|_b}=\dfrac{\|\|\boldsymbol{x}\|_2\boldsymbol{\beta}\|_{a}}{\|\|\boldsymbol{x}\|_2\boldsymbol{\beta}\|_{b}}=\dfrac{\|\boldsymbol{x}\|_2\|\boldsymbol{\beta}\|_{a}}{\|\boldsymbol{x}\|_2\|\boldsymbol{\beta}\|_{b}}=\dfrac{\|\boldsymbol{\beta}\|_{a}}{\|\boldsymbol{\beta}\|_{b}}\in[m,M]$

---

3.1.2 矩阵范数

若对 $\forall \boldsymbol{A} \in \mathbb{C}^{n \times n}$ ，存在一个实数 $\|\boldsymbol{A}\|$ 与之对应，满足：

（1）$\|\boldsymbol{A}\|$ 是范数;

（2）相容性： $\|\boldsymbol{A B}\| \leq\|\boldsymbol{A}\| \cdot\|\boldsymbol{B}\|$,

则称 $\|\boldsymbol{A}\|$ 为 $\boldsymbol{A}$ 的 矩阵范数 (Matrix Norm)

---

例 对 $\boldsymbol{A} \in \mathbb{C}^{n \times n}$，可定义：

• $M_1$ 范数： $\displaystyle\|\boldsymbol{A}\|_{M_{1}} = \sum_{i,j=1}^{n}\left|a_{i j}\right|$
• Frobenius范数 （简称 F-范数）： $\displaystyle\|\boldsymbol{A}\|_{F} = \sqrt{\operatorname{tr}\left(\boldsymbol{A}^{\mathrm{H}} \boldsymbol{A}\right)}=\left(\sum_{i=1}^{n}\sum_{j=1}^{n}\left|a_{i j}\right|^{2}\right)^{\frac{1}{2}}$

---

验证Frobenius范数是矩阵范数

• 记 $\boldsymbol{A}=\left[a_{i j}\right] \in \mathbb{C}^{n \times n}, \boldsymbol{B}=\left[b_{i j}\right] \in \mathbb{C}^{n \times n}$
  
  • 记 $\displaystyle \boldsymbol{A B}=\left[c_{i j}\right]\quad \left(c_{i j}=\sum_{k=1}^{n} a_{i k} b_{k j}\right)$
• 正定性、 齐次性：略
• 三角不等式 (参考向量内积的三角不等式)
  
  • $\displaystyle \|\boldsymbol{A}+\boldsymbol{B}\|_{F} = \sqrt{\sum_{i,j=1}^{n}\left|a_{i j}+b_{i j}\right|^{2}}$
    
    • $\displaystyle \leq \sqrt{\sum_{i,j=1}^{n}\left|a_{i j}\right|^{2}}+\sqrt{\sum_{i,j=1}^{n}\left|b_{i j}\right|^{2}}=\|\boldsymbol{A}\|_{F}+\|\boldsymbol{B}\|_{F}$

---

• 相容性 (由 Cauchy-Schwarz 不等式)
  
  • $\displaystyle \|\boldsymbol{A B}\|_{F}^{2}=\sum_{i,j=1}^{n}\left|c_{i j}\right|^{2}$
  • $\displaystyle \left|c_{i j}\right|^{2}=\left|\sum_{k=1}^{n} a_{i k} b_{k j}\right|^{2} \leq\left(\sum_{k=1}^{n}\left|a_{i k} b_{k j}\right|\right)^{2}$
    
    • $\displaystyle\leq\left(\sum_{k=1}^{n}\left|a_{i k}\right|^{2}\right)\left(\sum_{k=1}^{n}\left|b_{k j}\right|^{2}\right)$
  • $\displaystyle \|\boldsymbol{A B}\|_{F}^{2} \leq \sum_{i=1}^{n} \sum_{j=1}^{n}\left[\left(\sum_{k=1}^{n}\left|a_{i k}\right|^{2}\right)\left(\sum_{k=1}^{n}\left|b_{k j}\right|^{2}\right)\right]$
    
    • $=\|\boldsymbol{A}\|_{F}^{2} \cdot\|\boldsymbol{B}\|_{F}^{2}$

---

3.1.3 诱导范数

设 $\|\cdot\|_a$ 是向量范数， $\|\cdot\|$ 是矩阵范数，若对任意 $\boldsymbol{x}\in \mathbb{C}^{n}$ 和 $\boldsymbol{A} \in \mathbb{C}^{n \times n}$ ，有

$$\|\boldsymbol{A}\boldsymbol{x}\|_a \leq\|\boldsymbol{A}\| \cdot\|\boldsymbol{x}\|_a$$

则称矩阵范数 $\|\cdot\|$ 和向量范数 $\|\cdot\|_a$ 相容 (Compatible)

---

诱导的算子范数

设 $\|\boldsymbol{x}\|_a\left(\boldsymbol{x} \in \mathbb{C}^{n}\right)$ 是向量范数，对 $\forall \boldsymbol{A} \in \mathbb{C}^{n \times n}$ ，令

$$\|\boldsymbol{A}\|= \max _{\|\boldsymbol{x}\|_a=1}\|\boldsymbol{A} \boldsymbol{x}\|_a$$

称 $\|\boldsymbol{A}\|$ 为由向量范数 $\|\cdot\|_a$ 诱导的算子范数 （Induced Operator Norm, 简称 诱导范数）

• 定理 由向量范数诱导的算子范数是矩阵范数且与该向量范数相容，并有 $\displaystyle\|\boldsymbol{A}\|=\sup _{\|\boldsymbol{x}\|_a \neq 0} \frac{\|\boldsymbol{A} \boldsymbol{x}\|_a}{\|\boldsymbol{x}\|_a}$

---

证明思路

• 先证： $\displaystyle\max _{\|\boldsymbol{x}\|_a=1}\|\boldsymbol{A} \boldsymbol{x}\|_a=\sup _{\|\boldsymbol{x}\|_a\neq 0} \frac{\|\boldsymbol{A} \boldsymbol{x}\|_a}{\|\boldsymbol{x}\|_a}$
• 再证：诱导范数与向量范数 $\|\cdot\|_a$ 相容
• 最后证明：诱导范数是矩阵范数

---

证明：$\displaystyle\max _{\|\boldsymbol{x}\|_a=1}\|\boldsymbol{A} \boldsymbol{x}\|_a=\sup _{\|\boldsymbol{x}\|_a\neq 0} \frac{\|\boldsymbol{A} \boldsymbol{x}\|_a}{\|\boldsymbol{x}\|_a}$

• 等式左端显然不超过等式右端，故只需证明 $\displaystyle\max _{\|\boldsymbol{x}\|_a=1}\|\boldsymbol{A} \boldsymbol{x}\|_a\geq\sup _{\|\boldsymbol{x}\|_a\neq 0} \frac{\|\boldsymbol{A} \boldsymbol{x}\|_a}{\|\boldsymbol{x}\|_a}$ 即可.
• 事实上，对任意 $\boldsymbol{x}\ne\boldsymbol{0}$ ，记 $\boldsymbol{x}^{*}=\frac{\boldsymbol{x}}{\|\boldsymbol{x}\|_a}$.
• $\displaystyle \frac{\|\boldsymbol{A} \boldsymbol{x}\|_a}{\|\boldsymbol{x}\|_a}=\left\|\boldsymbol{A} \frac{\boldsymbol{x}}{\|\boldsymbol{x}\|_a}\right\|_a=\left\|\boldsymbol{A} \boldsymbol{x}^{*}\right\|_a \leq \max _{\|\boldsymbol{x}\|_a=1}\|\boldsymbol{A} \boldsymbol{x}\|_a=\|\boldsymbol{A}\|$.
• 这说明 $\displaystyle \sup _{\|\boldsymbol{x}\|_a \neq 0} \frac{\|\boldsymbol{A} \boldsymbol{x}\|_a}{\|\boldsymbol{x}\|_a} \leq \max _{\|\boldsymbol{x}\|_a=1}\|\boldsymbol{A} \boldsymbol{x}\|_a$.

---

证明：诱导范数与向量范数 $\|\cdot\|_a$ 相容

• 对任意 $\boldsymbol{x}\ne\boldsymbol{0}$
  
  • $\displaystyle \frac{\|\boldsymbol{A} \boldsymbol{x}\|_a}{\|\boldsymbol{x}\|_a} \leq \sup _{\|\boldsymbol{x}\|_a \neq 0} \frac{\|\boldsymbol{A} \boldsymbol{x}\|_a}{\|\boldsymbol{x}\|_a}=\|\boldsymbol{A}\|$
  • 即 $\|\boldsymbol{A} \boldsymbol{x}\|_a \leq\|\boldsymbol{A}\| \cdot\|\boldsymbol{x}\|_a$

---

证明：诱导范数是矩阵范数

• 正定性
  
  • 任意 $\displaystyle \boldsymbol{A} \in \mathbb{C}^{n \times n}$ ， $\displaystyle \|\boldsymbol{A}\| = \max _{\|\boldsymbol{x}\|_a=1}\|\boldsymbol{A} \boldsymbol{x}\|_a \geq 0$
  • $\displaystyle\|\boldsymbol{A}\| = \max _{\|\boldsymbol{x}\|_a=1}\|A \boldsymbol{x}\|_a=0$
    
    • $\Leftrightarrow \forall \boldsymbol{x}\in\mathbb{C}^n,\;\|\boldsymbol{x}\|_a=1$，有 $\boldsymbol{A} \boldsymbol{x}=\boldsymbol{0}$
    • $\Leftrightarrow \forall \boldsymbol{x}\in\mathbb{C}^n$，有 $\boldsymbol{A} \boldsymbol{x}=\boldsymbol{0}$.
    • $\Leftrightarrow \boldsymbol{A}=\boldsymbol{O}$

---

• 齐次性
  
  • 任意 $\boldsymbol{A} \in \mathbb{C}^{n \times n}$ ，以及 $k\in\mathbb{C}$
  • $\displaystyle\|k \boldsymbol{A}\| = \max _{\|\boldsymbol{x}\|_a=1}\|k \boldsymbol{A} \boldsymbol{x}\|_a=\max _{\|\boldsymbol{x}\|_a=1}|k| \cdot\|\boldsymbol{A} \boldsymbol{x}\|_a$
    
    • $=|k| \cdot\left(\max _{\|\boldsymbol{x}\|_a=1}\|\boldsymbol{A} \boldsymbol{x}\|_a\right)=|k|\cdot\|\boldsymbol{A}\|$

---

• 三角不等式
  
  • 任意 $\displaystyle \boldsymbol{A},\boldsymbol{B} \in \mathbb{C}^{n \times n}$
    
    • $\displaystyle \|\boldsymbol{A}+\boldsymbol{B}\| =\max _{\|\boldsymbol{x}\|_a=1}\|(\boldsymbol{A}+\boldsymbol{B}) \boldsymbol{x}\|_a$
    • $=\max _{\|x\|_a=1}\|(\boldsymbol{A} \boldsymbol{x})+(\boldsymbol{B} \boldsymbol{x})\|_a$
    • $\displaystyle \leq \max _{\|\boldsymbol{x}\|_a=1}(\|\boldsymbol{A} \boldsymbol{x}\|_a+\|\boldsymbol{B} \boldsymbol{x}\|_a)$
    • $\displaystyle \leq \max _{\|\boldsymbol{x}\|_a=1} \| \boldsymbol{A} \boldsymbol{x}\|_a+\max _{\|\boldsymbol{x}\|_a=1}\| \boldsymbol{B} \boldsymbol{x}\|_a$
    • $=\| \boldsymbol{A}\|+\| \boldsymbol{B} \|$

---

• 相容性
  
  • 任意 $\displaystyle \boldsymbol{A},\boldsymbol{B} \in \mathbb{C}^{n \times n}$
  • $\displaystyle \|\boldsymbol{A} \cdot \boldsymbol{B}\|= \max_{\|\boldsymbol{x}\|_a=1}\|(\boldsymbol{A} \cdot \boldsymbol{B}) \boldsymbol{x}\|_a$
    
    • $=\max _{\|\boldsymbol{x}\|_a=1}\|\boldsymbol{A} \cdot(\boldsymbol{B} \boldsymbol{x})\|_a$
    • $\displaystyle \leq \max _{\|\boldsymbol{x}\|_a=1} \|\boldsymbol{A}\| \cdot \| \boldsymbol{B} \boldsymbol{x}\|_a$
    • $\leq\| \boldsymbol{A}\|\cdot\| \boldsymbol{B} \|$

---

3.1.4 常用的诱导范数

向量 $1$ -范数， $2$ -范数和 $\infty$ -范数诱导的矩阵范数，分别称为矩阵的 1-范数，2-范数 和 无穷范数

• $\displaystyle \|\boldsymbol{x}\|_{1} = \sum_{i=1}^{n}\left|x_{i}\right|\quad\to\quad\|\boldsymbol{A}\|_{1} = \max _{\|\boldsymbol{x}\|_{1}=1}\|\boldsymbol{A} \boldsymbol{x}\|_{1}$
• $\displaystyle \|\boldsymbol{x}\|_{2} = \sqrt{\sum_{i=1}^{n}\left|x_{i}\right|^{2}}\quad\to\quad\|\boldsymbol{A}\|_{2} = \max _{\|\boldsymbol{x}\|_{2}=1}\|\boldsymbol{A} \boldsymbol{x}\|_{2}$
• $\displaystyle \|\boldsymbol{x}\|_{\infty} = \max _{1 \leq i \leq n}\left|x_{i}\right|\quad\to\quad\|\boldsymbol{A}\|_{\infty} = \max _{\|\boldsymbol{x}\|_{\infty}=1}\|\boldsymbol{A} \boldsymbol{x}\|_{\infty}$

---

定理 任意 $\boldsymbol{A} \in \mathbb{C}^{m \times n}$

• $\displaystyle \|\boldsymbol{A}\|_{1}=\max _{1 \leq j \leq n} \sum_{i=1}^{m}\left|a_{i j}\right|$
• $\displaystyle \|\boldsymbol{A}\|_{\infty}=\max _{1 \leq i \leq m} \sum_{j=1}^{n}| a_{i j} |$
• $\displaystyle \|\boldsymbol{A}\|_{2}=\sqrt{\lambda_{1}}$
  
  • $\lambda_1$ 是 $\boldsymbol{A}^{\mathrm{H}}\boldsymbol{A}$ 的最大特征值

---

1-范数 $\displaystyle \|\boldsymbol{A}\|_{1}=\max _{1 \leq j \leq n} \sum_{i=1}^{m}\left|a_{i j}\right|$ 证明思路：

• 先证明 对任意 $\boldsymbol{x}\in \mathbb{C}^{n}$，$\|\boldsymbol{x}\|_{1}=1$ ，总有 $\displaystyle\|\boldsymbol{A} \boldsymbol{x}\|_{1}\leq\max _{1 \leq j \leq n} \sum_{i=1}^{m}\left|a_{i j}\right|$
  
  • 由此推出 $\displaystyle\|\boldsymbol{A}\|_1\leq \max _{1 \leq j \leq n} \sum_{i=1}^{m}\left|a_{i j}\right|$
• 再证明 存在 $\boldsymbol{x}^*\in\mathbb{C}^n$，$\|\boldsymbol{x}^*\|_1=1$，使得 $\displaystyle\max _{1 \leq j \leq n} \sum_{i=1}^{m}\left|a_{i j}\right|=\left\|\boldsymbol{A} \boldsymbol{x}^{*}\right\|_{1}$
  
  • 进而推出 $\displaystyle\|\boldsymbol{A}\|_1\geq \max _{1 \leq j \leq n} \sum_{i=1}^{m}\left|a_{i j}\right|$

---

1. 任取 $\boldsymbol{x}\in \mathbb{C}^{n}$，$\|\boldsymbol{x}\|_{1}=1$ ，证明 $\displaystyle\|\boldsymbol{A} \boldsymbol{x}\|_{1}\leq\max _{1 \leq j \leq n} \sum_{i=1}^{m}\left|a_{i j}\right|$

• 记 $\boldsymbol{A}=\left[\boldsymbol{A}_{1}\; \boldsymbol{A}_{2}\cdots\boldsymbol{A}_{n}\right]$，则 $\displaystyle\|\boldsymbol{A}_{j}\|_1=\sum_{i=1}^{m}\left|a_{i j}\right|, j=1,2, \cdots, n$
• $\displaystyle \|\boldsymbol{A} \boldsymbol{x}\|_{1}=\left\|\sum_{j=1}^{n}\boldsymbol{A}_{j} x_{j}\right\|_{1} \quad\quad \left(\text{记 }\boldsymbol{x}=[x_1\;x_2\;...x_n]^{\mathrm{T}}\right)$
  
  • $\displaystyle\leq\sum_{j=1}^n\|\boldsymbol{A}_jx_j\|_1=\sum_{j=1}^n|x_j|\cdot\|\boldsymbol{A}_j\|_1$
  • $\displaystyle\leq\left(\max _{1 \leq j \leq n}\left\|\boldsymbol{A}_{j}\right\|_{1}\right)\sum_{j=1}^{n}|x_j|$
  • $\displaystyle =\max _{1 \leq j \leq n}\left\|\boldsymbol{A}_{j}\right\|_{1}=\max _{1 \leq j \leq n} \sum_{i=1}^{m}\left|a_{i j}\right|$

---

2. 存在某个 $\boldsymbol{x}^*$，使得 $\max _{1 \leq j \leq n} \sum_{i=1}^{m}\left|a_{i j}\right|=\left\|\boldsymbol{A} \boldsymbol{x}^{*}\right\|_{1}$

• 设 $\left\|\boldsymbol{A}_{j_{0}}\right\|_{1}=\max _{1<j<n}\left\{\left\|\boldsymbol{A}_{j}\right\|_{1}\right\}$
• 令 $\boldsymbol{x}^{*}=[0\cdots 0\;1\;0\cdots 0]^{\mathrm{T}} \in \mathbb{C}^{n}$
  
  • 其中 $1$ 位于第 $j_0$ 个位置，于是 $\boldsymbol{Ax}^*=\boldsymbol{A}_{j_0}$
  • 显然 $\|\boldsymbol{x}^*\|_1=1$
• $\displaystyle\max _{1 \leq j \leq n} \sum_{i=1}^{m}\left|a_{i j}\right|=\max _{1<j<n}\left\{\left\|\boldsymbol{A}_{j}\right\|_{1}\right\}=\left\|\boldsymbol{A}_{j_{0}}\right\|_{1}=\left\|\boldsymbol{A} \boldsymbol{x}^{*}\right\|_{1}$
  
  • $\leq\|\boldsymbol{A}\|_{1} \cdot\left\|\boldsymbol{x}^{*}\right\|_{1}=\|\boldsymbol{A}\|_{1}$

---

$\infty$-范数 $\displaystyle\|\boldsymbol{A}\|_{\infty}=\max_{1 \leq i \leq m} \sum_{j=1}^{n}\left|a_{i j}\right|$ 证明思路：

• 先证明 $\forall\boldsymbol{x}\in\mathbb{C}^n$，$\|\boldsymbol{x}\|_{\infty}=1$，总有 $\displaystyle \|\boldsymbol{Ax}\|_{\infty}\leq \max _{1 \leq i \leq m} \sum_{j=1}^{n}\left|a_{i j}\right|$
  
  • 由此推出 $\displaystyle \|\boldsymbol{A}\|_{\infty}\leq \max _{1 \leq i \leq m} \sum_{j=1}^{n}\left|a_{i j}\right|$
• 再证明 $\exists\boldsymbol{x}^*\in\mathbb{C}^n$，$\|\boldsymbol{x}^*\|_{\infty}=1$，$\displaystyle \max _{1 \leq i \leq m} \sum_{j=1}^{n}\left|a_{i j}\right|=\left\|\boldsymbol{A} \boldsymbol{x}^{*}\right\|_{\infty}$
  
  • 由此推出 $\displaystyle \left\|\boldsymbol{A}\right\|_{\infty}\geq \max _{1 \leq i \leq m} \sum_{j=1}^{n}\left|a_{i j}\right|$

---

1. 证明 $\forall\boldsymbol{x}\in\mathbb{C}^n$，$\|\boldsymbol{x}\|_{\infty}=1$，$\displaystyle \|\boldsymbol{Ax}\|_{\infty}\leq \max _{1 \leq i \leq m} \sum_{j=1}^{n}\left|a_{i j}\right|$

• $\displaystyle \|\boldsymbol{Ax}\|_{\infty}=\max _{1 \leq i \leq m} \left|\sum_{j=1}^{n}a_{i j}x_j\right|\leq= \max _{1 \leq i \leq m} \sum_{j=1}^{n}\left|a_{i j}x_j\right|= \max _{1 \leq i \leq m} \sum_{j=1}^{n}\left|a_{i j}\right|\cdot\left|x_j\right|$
  
  • $\displaystyle \leq \max _{1 \leq i \leq m} \sum_{j=1}^{n}\left(\left|a_{i j}\right|\cdot\max_{1\leq j\leq n}|x_j|\right)= \left(\max _{1 \leq i \leq m} \sum_{j=1}^{n}\left|a_{i j}\right|\right)\cdot\left(\max_{1\leq j\leq n}|x_j|\right)$
  • $\displaystyle =\left(\max _{1 \leq i \leq m} \sum_{j=1}^{n}\left|a_{i j}\right|\right)\cdot\|\boldsymbol{x}\|_{\infty}=\max _{1 \leq i \leq m} \sum_{j=1}^{n}\left|a_{i j}\right|$

---

2. 证明 $\exists\boldsymbol{x}^*\in\mathbb{C}^n$，$\|\boldsymbol{x}^*\|_{\infty}=1$，$\displaystyle \max _{1 \leq i \leq m} \sum_{j=1}^{n}\left|a_{i j}\right|=\left\|\boldsymbol{A} \boldsymbol{x}^{*}\right\|_{\infty}$

• 设 $\displaystyle \sum_{j=1}^{n}\left|a_{\bbox[lightgreen]{k} j}\right|=\max _{1 \leq i \leq m} \sum_{j=1}^{n}\left|a_{i j}\right|$
• 令 $\boldsymbol{x}^*=[x_1\;x_2...x_n]^{\mathrm{T}}\in\mathbb{C}^n$
  
  • 其中 $x_j=\left\{\begin{array}{cc} \frac{|a_{kj}|}{a_{kj}} & a_{kj}\ne 0 \\ 0 & a_{kj}=0 \end{array}\right.,\;j=1,2,...,n$
  • 显然 $\|\boldsymbol{x}^*\|_{\infty}=1$
  • $\displaystyle \sum_{j=1}^{n}a_{k j}x_j=\sum_{j=1}^{n}\left|a_{k j}\right|=\max _{1 \leq i \leq m} \sum_{j=1}^{n}\left|a_{i j}\right|$

---

• 若 $i\ne k$，则
  
  • $\displaystyle \bbox[lightgreen]{\left|\sum_{j=1}^{n}a_{i j}x_j\right|}\leq \sum_{j=1}^{n}\left|a_{i j}x_j\right|= \sum_{j=1}^{n}\left|a_{i j}\right||x_j|\leq \sum_{j=1}^{n}\left|a_{i j}\right|$
    
    • $\displaystyle \leq\sum_{j=1}^{n}\left|a_{k j}\right|=\sum_{j=1}^{n}\left|a_{k j}\right||x_{j}|=\sum_{j=1}^{n}\left|a_{k j}x_{j}\right|=\bbox[lightgreen]{\sum_{j=1}^{n}a_{k j}x_{j}}$
• $\|\boldsymbol{Ax}^*\|_{\infty}$
  
  • $\displaystyle =\bigg\|\left[\sum_{j=1}^{n}a_{1 j}x_j\;\;\sum_{j=1}^{n}a_{2 j}x_j\;...\;\sum_{j=1}^{n}a_{m j}x_j\right]^{\mathrm{T}}\bigg\|_{\infty}$
  • $\displaystyle =\bbox[lightgreen]{\max_{1\leq i\leq m}\left|\sum_{j=1}^{n}a_{i j}x_j\right|=\left|\sum_{j=1}^{n}a_{k j}x_j\right|}=\sum_{j=1}^{n}\left|a_{k j}\right|=\max _{1 \leq i \leq m} \sum_{j=1}^{n}\left|a_{i j}\right|$

---

2-范数 $\displaystyle \|\boldsymbol{A}\|_{2}=\sqrt{\lambda_{1}}$（$\lambda_1$ 是 $\boldsymbol{A}^{\mathrm{H}}\boldsymbol{A}$ 的最大特征值）证明思路

• $\boldsymbol{A}^{\mathrm{H}}\boldsymbol{A}$ 是半正定的 Hermite 阵，故特征值均非负实数
• 记 $\boldsymbol{A}^{\mathrm{H}}\boldsymbol{A}$ 的全部特征值为 $\lambda_1\geq\lambda_2\geq...\geq\lambda_n\geq 0$
• 先证明 $\forall \boldsymbol{x}\in\mathbb{C}^n$，$\|\boldsymbol{x}\|_2=1$，则 $\|\boldsymbol{Ax}\|_2\leq\sqrt{\lambda_1}$
  
  • 由此推出 $\|\boldsymbol{A}\|_2\leq\sqrt{\lambda_1}$
• 再证明 $\exists\boldsymbol{x}^*\in\mathbb{C}^n$，$\|\boldsymbol{x}^*\|_2=1$，$\|\boldsymbol{Ax}^*\|_2=\sqrt{\lambda_1}$
  
  • 由此推出 $\|\boldsymbol{A}\|_2\geq\sqrt{\lambda_1}$

---

1. 证明 $\forall \boldsymbol{x}\in\mathbb{C}^n$，$\|\boldsymbol{x}\|_2=1$，则 $\|\boldsymbol{Ax}\|_2\leq\sqrt{\lambda_1}$

• $\boldsymbol{A}^{\mathrm{H}}\boldsymbol{A}$ 是 Hermite 阵，可相似对角化，故存在酉矩阵 $\boldsymbol{U}$，使得
  
  • $\boldsymbol{A}^{\mathrm{H}}\boldsymbol{A}=\boldsymbol{U}^{\mathrm{H}}\mathrm{diag}(\lambda_1,\lambda_2,...,\lambda_n)\boldsymbol{U}$
  • 记 $\boldsymbol{y}=\boldsymbol{Ux}=[y_1\;y_2...y_n]^{\mathrm{T}}$，则 $\|\boldsymbol{y}\|_2=\|\boldsymbol{x}\|_2=1$
• $\|\boldsymbol{Ax}\|_2=\sqrt{(\boldsymbol{Ax})^{\mathrm{H}}\boldsymbol{Ax}}=\sqrt{\boldsymbol{x}^{\mathrm{H}}\boldsymbol{A}^{\mathrm{H}}\boldsymbol{Ax}}$
  
  • $=\sqrt{\boldsymbol{x}^{\mathrm{H}}\boldsymbol{U}^{\mathrm{H}}\mathrm{diag}(\lambda_1,\lambda_2,...,\lambda_n)\boldsymbol{U}\boldsymbol{x}}=\sqrt{\boldsymbol{y}^{\mathrm{H}}\mathrm{diag}(\lambda_1,\lambda_2,...,\lambda_n)\boldsymbol{y}}$
  • $=\sqrt{\sum\limits_{i=1}^n\lambda_i|y_i|^2}\leq\sqrt{\lambda_1}\sqrt{\sum\limits_{i=1}^n|y_i|^2}=\sqrt{\lambda_1}\|\boldsymbol{y}\|_2=\sqrt{\lambda_1}$

---

2. 证明 $\exists\boldsymbol{x}^*\in\mathbb{C}^n$，$\|\boldsymbol{x}^*\|_2=1$，$\|\boldsymbol{Ax}^*\|_2=\sqrt{\lambda_1}$

• 取 $\boldsymbol{x}^*$ 为 $\lambda_1$ 对应的一个特征向量，且 $\|\boldsymbol{x}^*\|_2=1$
• $\|\boldsymbol{Ax}^*\|_2=\sqrt{(\boldsymbol{x}^*)^{\mathrm{H}}\boldsymbol{A}^{\mathrm{H}}\boldsymbol{A}\boldsymbol{x}^*}=\sqrt{(\boldsymbol{x}^*)^{\mathrm{H}}\lambda_1\boldsymbol{x}^*}$
  
  • $=\sqrt{\lambda_1}\sqrt{(\boldsymbol{x}^*)^{\mathrm{H}}\boldsymbol{x}^*}=\sqrt{\lambda_1}\|\boldsymbol{x}^*\|_2=\sqrt{\lambda_1}$

---

例 设 $\boldsymbol{A}=\left[\begin{array}{cc}{1} & {2} \\ {3+2 \mathrm{i}} & {1} \\ {0} & {3}\end{array}\right]$ ，则

• $\|\boldsymbol{A}\|_{1}=\max \{1+\sqrt{13}, 6\}=6$
• $\|\boldsymbol{A}\|_{\infty}=\max \{3, 1+\sqrt{13}, 3\}=1+\sqrt{13}$
• $\boldsymbol{A}^{\mathrm{H}} \boldsymbol{A}=\left[\begin{array}{ccc}{1} & {3-2 \mathrm{i}} & {0} \\ {2} & {1} & {3}\end{array}\right]\left[\begin{array}{cc}{1} & {2} \\ {3+2 \mathrm{i}} & {1} \\ {0} & {3}\end{array}\right]=\left[\begin{array}{cc}{14} & {5-2 \mathrm{i}} \\ {5+2 \mathrm{i}} & {14}\end{array}\right]$
  
  • $\left|\lambda \boldsymbol{I}-\boldsymbol{A}^{\mathrm{H}} \boldsymbol{A}\right|=\left|\begin{array}{cc}{\lambda-14} & {-5+2 \mathrm{i}} \\ {-5-2 \mathrm{i}} & {\lambda-14}\end{array}\right|=\lambda^{2}-28 \lambda+167=0$
  • $\lambda_{1}=14+\sqrt{29}, \quad \lambda_{2}=14-\sqrt{29}$
• $\|\boldsymbol{A}\|_{2}=\sqrt{14+\sqrt{29}}$

---

3.1.5 谱与谱半径

设 $\boldsymbol{A} \in \mathbb{C}^{n \times n}$ ，则

$$S_p(\boldsymbol{A})=\left\{\lambda\;|\;\lambda\text{是}\boldsymbol{A}\text{的特征值}\right\}$$

称为 $\boldsymbol{A}$ 的 谱 (Spectrum)

• $\rho(\boldsymbol{A})=\max_{\lambda \in S_{p}(A)} \left\{|\lambda| \right\}$ 称为 $\boldsymbol{A}$ 的 谱半径.

---

例 $\boldsymbol{A}=\left[\begin{array}{ccc}{3} & {0} & {0} \\ {1} & {1} & {-1} \\ {2} & {-2} & {0}\end{array}\right]$ ，求 $\|\boldsymbol{A}\|_{1},\|\boldsymbol{A}\|_{\infty}$ 以及 $\boldsymbol{A}$ 的谱和谱半径.

• $\|\boldsymbol{A}\|_{1}=\max \{6,3,1\}=6$
• $\|\boldsymbol{A}\|_{\infty}=\max \{3,3,4\}=4$
• $|\lambda \boldsymbol{I}-\boldsymbol{A}|=\left|\begin{array}{ccc}{\lambda-3} & {0} & {0} \\ {-1} & {\lambda-1} & {1} \\ {-2} & {2} & {\lambda}\end{array}\right|=(\lambda-3)(\lambda-2)(\lambda+1)$
• $S_{p}(\boldsymbol{A})=\{3,2,-1\}$
• 从而可知 $\rho(\boldsymbol{A})=3$

---

谱半径与诱导范数

定理 方阵的谱半径不超过其任意一个诱导范数.

• 提示：假设 $\|\cdot\|$ 是由向量范数 $\|\cdot\|_a$ 诱导的矩阵范数
• 对任意矩阵 $\boldsymbol{A}$ 和向量 $\boldsymbol{x}$ ， $\|\boldsymbol{A} \boldsymbol{x}\|_a \leq\|\boldsymbol{A}\| \cdot\|\boldsymbol{x}\|_a$
• 设 $\boldsymbol{A}\boldsymbol{x}=\lambda \boldsymbol{x}$，$(\boldsymbol{x}\ne \boldsymbol{0})$
  
  • $\|\boldsymbol{A} \boldsymbol{x}\|_a=\|\lambda \boldsymbol{x}\|_a=|\lambda| \cdot\|\boldsymbol{x}\|_a$
  • $|\lambda| \cdot\|\boldsymbol{x}\|_a \leq\|\boldsymbol{A}\| \cdot\|\boldsymbol{x}\|_a \quad \Rightarrow\quad |\lambda| \leq\|\boldsymbol{A}\|$
• 上式对任意的特征值 $\lambda$ 均成立，故 $\rho(\boldsymbol{A}) \leq\|\boldsymbol{A}\|$

---

Hermite矩阵的谱半径

定理 若 $\boldsymbol{A}$ 是 Hermite 矩阵，则 $\|{\boldsymbol{A}}\|_{2}=\rho(\boldsymbol{A})$ .

• 设 $\lambda_1,\lambda_2,\ldots,\lambda_s$ 是 $\boldsymbol{A}$ 的所有不同的特征值
  
  • $\rho(\boldsymbol{A})=\max \left\{|\lambda_{1}|, |\lambda_{2}|, \ldots, |\lambda_{s}|\right\}$
• $\boldsymbol{A}$ 是 Hermite 矩阵， $\boldsymbol{A}^{\mathrm{H}}=\boldsymbol{A}$
  
  • $\lambda_{1}^{2}, \lambda_{2}^{2}, \ldots, \lambda_{s}^{2}$ 是 $\boldsymbol{A}^2=\boldsymbol{A}^{\mathrm{H}}\boldsymbol{A}$ 的所有特征值
  • $\rho^{2}(\boldsymbol{A})=\max \left\{|\lambda_{1}|^{2}, |\lambda_{2}|^{2}, \ldots, |\lambda_{s}|^{2}\right\}={\rho\left(\boldsymbol{A}^{\mathrm{H}} \boldsymbol{A}\right)}$
• $\|\boldsymbol{A}\|_{2}=\sqrt{\rho\left(\boldsymbol{A}^{\mathrm{H}} \boldsymbol{A}\right)}=\rho(\boldsymbol{A})$

---

矩阵范数的性质

与向量范数类似

• 设 $\boldsymbol{A}\in\mathbb{C}^{m\times n}$，则 $\boldsymbol{A}$ 的任意一种矩阵范数都是关于 $\boldsymbol{A}$ 的连续函数
• 矩阵空间 $\mathbb{C}^{m\times n}$ 上的任意两种矩阵范数都相互等价

---

小结

• 向量范数
  
  • 定义与基本性质
  • 常用的范数
• 矩阵范数
  
  • 相容性
  • 常用的诱导范数
  • 谱半径与诱导范数