基础线性代数

2018.1.11 学习笔记
数学，数论

详见基础线性代数。（标*内容就只写标题，不再整理了）（**：弃疗）

1.基本概念和符号

　　线性代数可以对一组线性方程进行简洁地表示和运算，如这个方程组：

$$\begin{aligned} 4x_1 - 5x_2 &= -13\\ -2x_1 + 3x_2 &= 9 \end{aligned}$$
　　在矩阵表达中，我们可以将这两个方程简洁地写作：
$$Ax=b$$
　　其中：
$$A= \left[ \begin{matrix} 4 & -5\\-2 & 3 \end{matrix} \right],\ b= \left[ \begin{matrix} -13\\9 \end{matrix} \right]$$
　　把方程表示成这种形式，在分析线性方程方面有很多优势（包括明显地节省空间）。
　　ps:向量的一些性质&线性代数简单理解。

对于A(i,j)元素：

• 如果i=j就叫对角元(diagonal)
• 如果i≠j就叫非对角元(off-diagonal)
• 如果i=j+1就叫次对角元(subdiagonal)
• 如果i=j-1就叫超对角元(superdiagonal)

1.1 基本符号

• $A\in R^{n\times m}$表示一个$n\times m$的矩阵，并且矩阵A中的元素都是实数。
• $x\in R^n$表示一个含有n个元素的向量。通常，我们把n维向量看成是一个n行1列的矩阵，即列向量。如果我们想表示一个行向量（1行n列矩阵），我们通常写作$x^T$，表示$x$的转置。
• 一个向量$x$的第i各元素表示为$x_i$：
  $$x= \left[ \begin{matrix} x_1\\x_2\\\vdots\\x_n \end{matrix} \right]$$
• 用$a_{ij}$（或$A_{ij},A_{i,j}$等）表示第i行第j列的元素：
  $$A= \left[ \begin{matrix} a_{11} & a_{12} & \cdots & a_{1m}\\ a_{21} & a_{22} & \cdots & a_{2m}\\ \vdots & \vdots & \ddots & \vdots\\ a_{n1} & a_{n2} & \cdots & a_{nm} \end{matrix} \right]$$
• 用$a_j$或$A_{:,j}$表示第j列元素：
  $$A= \left[ \begin{matrix} | & | & & |\\ a_1 & a_2 & \ldots & a_n\\ | & | & & | \end{matrix} \right]$$
• 用${a^T}_i$或$A_{i,:}$表示第i行元素：
  $$A= \left[ \begin{matrix} — & {a^T}_1 & —\\ — & {a^T}_2 & —\\ \ & \vdots & \ \\ — & {a^T}_m & — \end{matrix} \right]$$
• 注：这些定义都是不严格的，如$a_1$和${a_1}^T$在前面的定义中是两个不同向量。通常使用中，符号的定义应该是可以明显看出来的。

2.矩阵乘法

　　矩阵$A\in R^{n\times m}$和$B\in R^{m\times p}$的乘积为矩阵：

$$C=AB\in R^{n\times p}$$
　　其中：
$$C_{ij}=\sum_{k=0}^{m}A_{ik}B_{kj}$$

2.1 向量的乘积

　　给定两个向量$x,y\in R^n$，那么$x^Ty$的值，我们称之为向量的内积或点积.它是由下式得到的实数：

$$x^Ty\in R=\left[ x_1\ x_2\ \cdots\ x_n\right] \left[ \begin{matrix} y_1\\ y_2\\ \vdots\\ y_n \end{matrix} \right] =\sum_{i=1}^{n}x_iy_i$$
　　可以发现，内积实际上是矩阵乘法的一个特例。通常情况下$x^Ty=y^Tx$。
　　对于向量$x\in R^n,\ y\in R^m$（大小不必相同），$xy^T\in R^{n\times m}$称为向量的外积。外积是一个矩阵，其中的每一个元素，都可以由$(xy^T)_{ij}=x_iy_j$得到，也就是说，
$$xy^T\in R^{n\times m}= \left[ \begin{matrix} x_1\\ x_2\\ \vdots\\ x_n \end{matrix} \right] \left[ y_1\ y_2\ \cdots\ y_m\right]= \left[ \begin{matrix} x_1y_1 & x_1y_2 & \cdots & x_1y_m\\ x_2y_1 & x_2y_2 & \cdots & x_2y_m\\ \vdots & \vdots & \ddots & \vdots\\ x_ny_1 & x_ny_2 & \cdots & x_ny_m \end{matrix} \right]$$

2.2 矩阵与向量的乘积*

2.3 矩阵与矩阵的乘积*

3.运算和性质

3.1 单位矩阵与对角矩阵

　　单位矩阵，记作$I\in R^{n\times n}$，是一个方阵，其对角线上的元素都是1，其余元素都是0。即：

$$I_{ij}= \begin{cases} 1, & i=j\\ 0, & i\neq j \end{cases}$$
　　它具备$A\in R^{n\times m}$矩阵的所有性质
$$AI=A=IA$$
　　需注意，在某种意义上，标识矩阵的符号是有歧义的，因为它没有指定$I$的维度。一般而言，我们可以从上下文中推断出$I$的维度，这个维度使矩阵相乘成为可能。如，在上面的等式$AI=A$中，$I$是$m\times m$的矩阵，而$A=IA$中$I$是$n\times n$的矩阵。
　　对角矩阵除了对角线元素之外其他元素都是0。可以记作$D=diag(d_1,d_2,\ldots,d_n)$，其中：
$$D_{ij}= \begin{cases} d_i, & i=j\\ 0, & i\neq j \end{cases}$$
　　显然，$I=diag(1,1,\ldots,1)$。

3.2 转置

　　矩阵的转置是矩阵行和列的翻转。对于一个矩阵$A\in R^{n\times m}$，它的转置$A^T\in R^{m\times n}$，是一个$m\times n$的矩阵，其元素为

$$(A^T)_{ij}=A_{ji}$$
转置的一些性质：

• $(A^T)^T=A$
• $(AB)^T=B^TA^T$
• $(A+B)^T=A^T+B^T$

3.3 对称矩阵

　　如果一个方阵$A\in R^{n\times n}$满足条件$A=A^T$，那么他就是对称的。如果满足$A=-A^T$，则A是反对称的。易证明，任何矩阵$A\in R^{n\times n}$，$A+A^T$是对称的，而$A-A^T$是反对称的。因此，任何方阵$A\in R^{n\times n}$可以表示为一个对称矩阵和一个反对称矩阵的和，因为：

$$A=\frac{1}{2}(A+A^T)+\frac{1}{2}(A-A^T)$$
　　右式的第一个矩阵是对称的，第二个是反对称的。通常将所有大小为n的对称矩阵的集合表示为$S^n$，$A\in S^n$则表示A是$n\times n$的对称矩阵。

3.4 矩阵的迹

　　方阵$A\in R^{n\times n}$的迹，记作$tr(A)$，或省略括号表示成$trA$，是矩阵的对角线元素之和：

$$trA=\sum_{i=1}^{n}A_{ii}$$
　　矩阵的迹有如下性质：

• 对于$A\in R^{n\times n}$，$trA=trA^T$
• 对于$A,B\in R^{n\times n}$，$tr(A+B)=trA+trB$
• 对于$A\in R^{n\times n}$，$t\in R$，$tr(tA)=t trA$
• 对于方阵$A,B,C$，$trABC=trBCA=trCAB$，即使有更多矩阵相同，这个性质也不变。

3.5 范数*

　　向量的范数$||x||$是向量“长度”的非正式度量。如我们常用的欧氏或$ℓ2$范数。

$$||x||_2=\sqrt{\sum_{i=1}^{n}x_i^2}$$
　　注意$||x||_2^2=x^Tx$
　　其余略。

3.6 线性无关和秩

　　对于一组向量${x_1,x_2,\ldots,x_k}\in R^n$，如果没有向量可以表示为其余向量的线性组合，这组向量就是（线性）无关的。相反，如果一个向量属于一个集合，这个集合中的向量可以表示为其余向量的某个线性组合，那么就称其为向量（线性）相关。也就是说，对于一些标量值${a_1,\ldots,a_{k-1}}\in R$，如果

$$x_k=\sum_{i=1}^{k-1}a_ix_i$$
　　我们说向量$x_1,\ldots,x_k$是线性相关；否则，该向量线性无关。
　　矩阵$A\in R^{n\times m}$的列秩是所有线性独立的列的最大子集的大小。由于某些术语的滥用，列秩通常指矩阵A线性无关的列的数目。相似的，将A的行构成一个线性无关集，行秩是它行数的最大值。
　　对任意矩阵$A\in R^{n\times m}$，其列秩与行秩是相等的，所以我们将两个相等的秩统称为A的秩。秩的一些基本性质：

• 对于$A\in R^{n\times m}$，$rank(A)\leq min(n,m)$。如果$rank(A)=min(n,m)$，则称A满秩。
• 对于$A\in R^{n\times m}$，$rank(A)=rank(A^T)$
• 对于$A\in R^{n\times m}$，$B\in R^{m\times p}$，$rank(AB)\leq min(rank(A),rank(B))$。
• 对于$A,B\in R^{n\times m}$，$rank(A+B)\leq rank(A)+rank(B)$。

3.7 逆

　　矩阵$A\in R^{n\times n}$的逆，写作$A^{-1}$，是一个矩阵，并且是唯一的。

$$A^{-1}A=I=AA^{-1}$$
　　不是所有的矩阵都有逆。对于非方阵和某些方阵是不存在逆的。如果$A^{-1}$存在，我们称A是可逆的或非奇异的，如果不存在，则称矩阵A**不可逆或奇异**。
　　如果一个方阵A有逆$A^{-1}$，它必须满秩。除了满秩，矩阵可逆还有许多充要条件。
　　满足一下性质的矩阵可逆（一下所有叙述都假设$A,B\in R^{n\times n}$且是非奇异的）：

• $(A^{-1})^{-1}=A$
• $(AB)^{-1}=B^{-1}A^{-1}$
• $(A^{-1})T=(A^T)^{-1}$，因此这样的矩阵常写作$A^{-T}$。
  　　例：对于线性方程组$Ax=b$，其中$A\in R^{n\times n}$，且$x,b\in R^n$。如果A可逆，则$x=A^{-1}b$。

3.8 正交矩阵 归一化**

3.9 矩阵的值域与零空间**

3.10 行列式

　　方阵$A\in R^{n\times n}$的行列式是一个映射$det:R^{n\times n}\rightarrow R$，记作$|A|$或$det A$（常省略括号）。
　　代数性质：略（不懂。。。）

以下来自相关电子书

3.10.1 行列式

　　一.用双竖线表示。不能用矩阵的表示方法:()或[]。
　　二.行数=列数。
　　三.行列式本质是一个数。

3.10.2 行列式的基本计算方法

特殊行列式的计算：
　　一些定义：
　　对角线：行列式中从左上到右下的斜线。
　　反对角线：行列式中从右上到左下的斜线。
　　1.上三角行列式：对角线下侧的所有数都为0的行列式（只关注对角线下侧）。
　　2.下三角行列式：对角线上侧的所有数都为0的行列式（只关注对角线上侧）。
　　3.对角行列式：除对角线上的数以外的所有数都为0的行列式（对角线是否有0无所谓）。
　　这三种特殊行列式的计算方法：直接将对角线上的数相乘。
　　4.反对角行列式：除反对角线上的数以外的所有数都为0的行列式（反对角线是否有0无所谓）。
　　反对角行列式的计算方法：$(-1)^{\frac{n(n-1)}{2}}\lambda_1\lambda_2\cdots\lambda_n$（n为行/列数）。
一般行列式的计算：
　　1.两行两列行列式（二阶行列式）的计算：直接利用公式：$\begin{vmatrix} a & b\\c & d \end{vmatrix}=ad-bc$。
　　2.三行三列行列式（三阶行列式）的计算：直接利用公式：$\begin{vmatrix} a&b&c\\d&e&f\\g&h&i \end{vmatrix}=aei+bfg+cdh-ceg-afh-bdi$。
　　或利用降阶法。
　　3.大于三行三列的行列式计算：大于三阶的行列式没有公式（会有$n!$个不同项），只能通过降阶法（按行列展开法）。
　　降阶法有两个步骤：
　　(1)从行列式中任选一行或一列；
　　(2)设刚刚选的那一行/列的数 从左到右/从上到下 依次为$a_1,a_2,\ldots,a_n$，然后设$x_i$为$a_i$的行标，$y_i$为$a_i$的列标，$A_i$为原行列式中去掉$a_i$的所在行和所在列后剩下的数所组成的行列式。那么行列式的值为：

$$a_1(-1)^{x_1+y_1}|A_1|+a_2(-1)^{x_2+y_2}|A_2|+\cdots+a_ n(-1)^{x_n+y_n}|A_n|$$
　　例：计算行列式$D=\begin{vmatrix} 1&0&-2\\1&1&3\\-2&3&1 \end{vmatrix}$。
　　Solve：三行或三列任选一行/列，假设选第一行，则
$$\begin{aligned} D &=1\times(-1)^{1+1}\times\begin{vmatrix} 1&3\\3&1 \end{vmatrix}+0\times(-1)^{1+2}\times\begin{vmatrix} 1&3\\-2&1 \end{vmatrix}+(-2)\times(-1)^{1+3}\times\begin{vmatrix} 1&1\\-2&3 \end{vmatrix}\\ &=-8+0-10\\ &=-18 \end{aligned}$$
　　ps1.在选取行/列时，多选含0多的行/列，减少运算。
　　ps2.特殊行列式完全可以用一般行列式的方法计算。

3.10.3 行列式的性质

性质1.
　　一个行列式的转置等于它本身。
性质2.
　　互换两行，行列式变号。
推论：
　　如果行列式有两行相同，那么行列式的值一定为0.
　　（简要推导：如1.3行相同的$3\times 3$的行列式，互换后仍为它本身，但符号改变->只有0的相反数是它本身）
性质3.
　　如果行列式的某一行的数含有公因子，那么可将此公因子提到行列式之外。
推论
　　若行列式有两行对应成比例，则此行列式的值一定为0.（根据性质3显然）
性质4.
　　行列式的某一行中的每个数都可以写成两个数相加的形式，因此一个行列式可以化为两个行列式相加的形式。可以拆任意一行，每一行有无数种拆法，但其余行要保持不变。如要拆其第二行：

$$\begin{vmatrix} 1&2&3\\2&3&4\\5&6&7 \end{vmatrix}=\begin{vmatrix} 1&2&3\\a&b&c\\5&6&7 \end{vmatrix}+\begin{vmatrix} 1&2&3\\d&e&f\\5&6&7 \end{vmatrix}$$
　　只要满足$a+d=2,b+e=3,c+f=4$即可。
性质5
　　把行列式的某一行乘以k（k为任意常数）后，加到另外一行，行列式的值不变。
注：以上五条有关行的性质完全可以应用到列上。

3.10.4 克拉默法则

　　用于解特定的方程组。
判断方程是否可用克拉默法则求解：
　　(1)当所给方程中每一个方程的形式都是$a_1x_1+a_2x_2+\cdots+a_nx_n=b(a_1,a_2,\ldots,a_n,b为任意常数)$时（即x次数只能为1），进行(2)；否则不能用克拉默法则求解。
　　(2)当所给方程组包含的方程个数等于未知数个数时，进行(3)；否则不能用克拉默法则求解。
　　(3)当系数行列式（与右侧常数无关）$\neq0$时，可用克拉默法则求解；否则不能。
具体过程
　　(1)判断是否可应克拉默法则求解，并计算出系数行列式$D$的值。
　　(2)用方程右侧的常数分别代替系数行列式$D$的第一列、第二列、...、最后一列，得到行列式$D_1,D_2,\ldots,D_n$。
　　(3)$x_1=\frac{D_1}{D},x_2=\frac{D_2}{D},\ldots,x_n=\frac{D_n}{D}$。
例：直接粘图了

所有未知数系数所组成的行列式为：

$$D=\begin{vmatrix} 2&1&-5&1\\1&-3&0&-6\\0&2&-1&2\\1&4&-7&6 \end{vmatrix}=27$$

3.10.5 代数余子式

　　对于$A\in R^{n\times n}$，矩阵$A_{\backslash i,\backslash j}\in R^{(n-1)\times(n-1)}$是A删除第i行j列的结果。
　　行列式的一般（递推）定义：

$$\begin{aligned} |A| &=\sum_{i=1}^n(-1)^{i+j}a_{ij}|A_{\backslash i,\backslash j}| & (for\ any\ j\in 1,\ldots,n)\\ &=\sum_{j=1}^n(-1)^{i+j}a_{ij}|A_{\backslash i,\backslash j}| & (for\ any\ i\in 1,\ldots,n) \end{aligned}$$
　　其中首项$A\in R^{1\times 1}$的行列式，$|A|=a_{11}$。如果把公式推广到$A\in R^{n\times n}$，会有$n!$个不同的项，因此很难写出3阶以上的行列式的计算等式。

3.10.6 伴随矩阵（古典伴随矩阵）（Adjugate matrix）

　　矩阵$A\in R^{n\times n}$的伴随矩阵记作$adj(A)$或$A^*$，定义为：

$$adj(A)\in R^{n\times n},(adj(A))_{ij}=(-1)^{i+j}|A_{\backslash i,\backslash j}|$$
　　注意A系数的正负变化。
　　可以证明，对于任意非奇异矩阵$A\in R^{n\times n}$，有
$$A^{-1}=\frac{1}{|A|}adj(A)$$
　　这是求矩阵的逆的一个很好的显式公式，也是个更加高效的方法。
基本性质：

• A可逆当且仅当$A^*$可逆。
• 如果A可逆，则$A^*=|A|A^{-1}$
• $A^*$的秩
  $$rank(A^*)= \begin{cases} n,& rank(A)=n\\ 1,& rank(A)=n-1\\ 0,& rank(A)<n-1 \end{cases}$$
• $A^*=|A|^{n-1}$
• $kA^*=k^{n-1}A^*$
• 若A可逆，则$(A^{-1})^*=(A^*)^{-1}$
• $(A^T)^*=(A^*)^T$
• $(AB)^*=B^*A^*$

求解 例：

3.11 二次型和半正定矩阵**

3.12 特征值和特征向量

　　对于一个方阵$A\in R^{n\times n}$，如果：

$$Ax=\lambda x,x\neq 0$$
　　我们说$\lambda \in C$是A的特征值，$x\in C^n$是A的特征向量，特征向量所在直线包含了所有特征向量，称之为特征空间。

特征值：矩阵A乘以一个向量x，相当于是矩阵列向量的一个线性组合，组合的结果是一个新的向量x'。于是我们说x通过矩阵A变换到了x'。经过变换后，x'和x的长度、方向通常都会发生改变。若方向不变，只是长度发生了变化，我们称向量x是矩阵A的一个特征向量。其中$\lambda$称为缩放系数，也称为特征向量x的特征值。
　　特征向量也是线性无关的，也就是说向量空间中的任何一个向量都可以通过特征向量的线性组合来表示。既然这样，为什么不选用特征向量作为基来表示向量。
　　这样的话，任何一个向量在矩阵A的作用下都只是发生缩放，而没有旋转，这无疑会大大简化计算。特征值和特征向量在解微分方程中的应用就是利用了这个原理。

另一种理解：矩阵A的作用就像一个函数，在微积分中函数表示作用在变量x上得到f(x)。在线性代数中，扩展到多维上，A作用在x上得到Ax。其中，变换后方向保持一致的向量尤为特殊。多数情况下，对于给定的A，得到的Ax方向与原先不同；如果Ax与原来方向平行，就称x为特征向量。于是，有更加简单的表示方法：λX，λ就是在这个方向上的伸缩倍数。

4.矩阵微积分**

---

（另外的一些东西）

5.曼哈顿距离与切比雪夫距离的转换

　　详见曼哈顿距离与切比雪夫距离的转换。

5.1 曼哈顿距离转切比雪夫距离

　　将每个点$A(x,y)$转为$A'(x-y,x+y)$(逆时针)或$A'(x+y,x-y)$(顺时针)，则$A',B'$间的切比雪夫距离就是$A,B$间的曼哈顿距离。

5.2 切比雪夫距离转曼哈顿距离

　　将每个点$A(x,y)$转为$A'(\frac{x-y}{2},\frac{x+y}{2})$或$A'(\frac{x+y}{2},\frac{x-y}{2})$，则$A',B'$间的曼哈顿距离就是$A,B$间的切比雪夫距离。

ps:如何计算旋转后的图形的坐标点

　　1.把图形割点平移，令旋转中心平移到原点；
　　2.乘以旋转矩阵；
　　3.再平移至原来的旋转中心。
　　即（$(c_x,c_y)$为旋转中心坐标）：
　　　　
　　或是直接使用公式（证明）：假设任意点$(x,y)$，绕一个坐标点$(rx_0,ry_0)$逆时针旋转$a^\circ$后新的坐标为$(x',y')$，那么：

$$x'=(x-rx_0)\times cos(a)-(y-ry_0)\times sin(a)+rx_0\\ y'=(x-rx_0)\times sin(a)+(y-ry_0)\times cos(a)+ry_0$$