030 线性代数方程组；线性无关，特征值，特征向量 Systems of Linear Algebraic Equations; Linear Independence, Eigenvalues, Eigenvectors

这一节会复习一些对求解线性微分方程组很重要的线性代数的知识。

线性代数方程组

$n$ 元 $n$ 个方程组成的线性方程组如下 $$\begin{aligned} a_{11}x_1+a_{12}x_2+\cdots+a_{1n}x_n&=b_1\\ &\vdots\\ a_{n1}x_1+a_{n2}x_2+\cdots+a_{nn}x_n&=b_n\\ \end{aligned}\tag{1}$$ 矩阵形式是 $$\bold{A}\bold{x}=\bold{b}\tag{2}$$ 其中 $\bold{A}$ 是 $n\times n$ 的矩阵，$b$ 是给定的 $n$ 维向量，$\bold{x}$ 是要求解的 $n$ 维向量。如果 $\bold{b}=\bold{0}$，那么是齐次的，否则是非齐次的。

如果矩阵 $\bold{A}$ 是非奇异的，即行列式不为零，不管 $\bold{b}$ 是任意向量，方程组 $(2)$ 都有唯一解。由于 $\bold{A}$ 是非奇异的，那么 $\bold{A}^{-1}$ 存在，方程 $(2)$ 两边同时乘以 $\bold{A}^{-1}$ 可以得到解，即 $$\bold{x}=\bold{A}^{-1}\bold{b}\tag{3}$$ 对于齐次问题 $\bold{A}\bold{x}=\bold{0}$，即 $\bold{b}=\bold{0}$，那么 $(2)$ 只有一个解 $\bold{x}=0$。

如果 $\bold{A}$ 是奇异的，行列式为零，那么就依赖于右边的 $\bold{b}$，$(2)$ 或者无解或者存在解但是不是唯一的。由于 $\bold{A}$ 是奇异的，那么 $\bold{A}^{-1}$ 不存在，因此 $(3)$ 不再成立。

当 $\bold{A}$ 是奇异的，齐次方程 $$\bold{A}\bold{x}=\bold{0}\tag{4}$$ 有无穷多个非零解。非齐次方程 $(2)$ 的解就更复杂一些。如果 $\bold{b}$ 满足条件 $$(\bold{b},\bold{y})=\bold{0\tag{5}}$$ 其中对于所有向量 $\bold{y}$ 都满足 $\bold{A}^*\bold{y}=\bold{0}$，这里 $\bold{A}^*$ 是伴随矩阵，那么 $(2)$ 有无穷多个解。解的形式是 $$\bold{x}=\bold{x}^{(0)}+\xi\tag{6}$$ 其中 $\bold{x}^{(0)}$ 是方程 $(2)$ 的特解，$\xi$ 是齐次方程 $(4)$ 的通解。这里 $(6)$ 和之前讨论的非齐次线性微分方程有点类似。

TODO exercise 21-25

上一段的结论对于线性方程组解的分类很重要。不过在求解方程组时，通常最好的方法是利用行简化将方程组变换为更简单的形式，如果存在解的话，可以轻松得到解。为了高效做到这一点，这里使用增广矩阵 $$(\bold{A}|\bold{b})=\begin{pmatrix} a_{11}&\cdots&a_{1n}&|&b_1\\ \vdots&&\vdots&|&\vdots\\ a_{n1}&\cdots&a_{nn}&|b_n \end{pmatrix}\tag{7}$$ 执行初等行变换将矩阵 $\bold{A}$ 变成上三角矩阵（upper triangular matrix），即主对角线以下的元素都是零，完成之后很容易确定方程组是否有解，然后得到解。这里对增广矩阵 $(7)$ 的操作对应与求解方程组 $(1)$ 的有效操作。

例 1 求方程组 $$\begin{aligned} x_1-2x_2+3x_3&=7\\ -x_1+x_2-2x_3&=-5\\ 2x_1-x_2-x_3&=4 \end{aligned}\tag{8}$$ 解：增广矩阵是 $$\begin{pmatrix} 1&-2&3&7\\ -1&1&-2&-5\\ 2&-1&-1&4 \end{pmatrix}\tag{9}$$ 现在执行初等行变换将 $(9)$ 的主对角线下面的元素都变为零。

首先第二行加上第一行，第三行减去第一行的两倍 $$\begin{pmatrix} 1&-2&3&7\\ 0&-1&1&2\\ 0&3&-7&-10 \end{pmatrix}$$ 第二行乘以 -1 $$\begin{pmatrix} 1&-2&3&7\\ 0&1&-1&-2\\ 0&3&-7&-10 \end{pmatrix}$$ 第二行乘以 -3 加到第三行上 $$\begin{pmatrix} 1&-2&3&7\\ 0&1&-1&-2\\ 0&0&-4&-4 \end{pmatrix}$$ 第三行乘以 -1/4 $$\begin{pmatrix} 1&-2&3&7\\ 0&1&-1&-2\\ 0&0&1&1 \end{pmatrix}$$ 相应的方程组是 $$\begin{aligned} x_1&-&2x_2&+&3x_3&=7\\ &&x_2&-&x_3&=-2\\ &&&&x_3&=1 \end{aligned}\tag{10}$$ 这个方程组等价于方程组 $(8)$。从第三个方程可以得到 $x_3=1$，代入第二个方程得到 $x_2=-2+x_3=-1$，在代入第一个方程得到 $x_1=7-3x_3+2x_2=2$，因此 $$\bold{x}=\begin{pmatrix} 2\\-1\\1 \end{pmatrix}$$ 是方程 $(8)$ 的解。因为解释唯一的，可以得到系数矩阵是非奇异的。

例 2 讨论不同的 $b_1,b_2,b_3$ 时方程组 $$\begin{aligned} &x_1&-&2x_2&+&3x_3&=b_1\\ -&x_1&+&x_2&-&2x_3&=b_2\\ &2x_1&-&x_2&+&3x_3&=b_3\\ \end{aligned}\tag{11}$$ 的解。

解：

线性相关和线性无关