030 线性代数方程组；线性无关，特征值，特征向量 Systems of Linear Algebraic Equations; Linear Independence, Eigenvalues, Eigenvectors
这一节会复习一些对求解线性微分方程组很重要的线性代数的知识。
线性代数方程组
元 个方程组成的线性方程组如下 矩阵形式是 其中 是 的矩阵， 是给定的 维向量， 是要求解的 维向量。如果 ，那么是齐次的，否则是非齐次的。
如果矩阵 是非奇异的，即行列式不为零，不管 是任意向量，方程组 都有唯一解。由于 是非奇异的，那么 存在，方程 两边同时乘以 可以得到解，即 对于齐次问题 ，即 ，那么 只有一个解 。
如果 是奇异的，行列式为零，那么就依赖于右边的 ， 或者无解或者存在解但是不是唯一的。由于 是奇异的，那么 不存在，因此 不再成立。
当 是奇异的，齐次方程 有无穷多个非零解。非齐次方程 的解就更复杂一些。如果 满足条件 其中对于所有向量 都满足 ，这里 是伴随矩阵，那么 有无穷多个解。解的形式是 其中 是方程 的特解， 是齐次方程 的通解。这里 和之前讨论的非齐次线性微分方程有点类似。
下面给出上述结论的证明。首先证明如果给定矩阵 ，存在一个非零向量 使得 ，那么存在一个非零向量 使得 。
因为存在非零向量 使得 ，那么 ，因此 ，因此存在一个非零向量 使得 。
假定 是实数矩阵。那么 因此 类似的， 那么 如果 不一定是实数矩阵，可以换一种方式证明，也适用于上面的结论，但是没有这么直观，因为一些之前没有讨论的矩阵的性质（TODO add link for 050？）。先计算左边 然后计算右边 因此 如果 ，那么存在 使得 ，根据之前的推导，那么 如果 有解，代入上式得到 反过来，如果已知 ，根据 可以得到 有解。
如果 是方程 的特解， 是齐次方程 的通解，那么 因此 是 的解，其中 是任意常量。
上一段的结论对于线性方程组解的分类很重要。不过在求解方程组时，通常最好的方法是利用行简化将方程组变换为更简单的形式，如果存在解的话，可以轻松得到解。为了高效做到这一点，这里使用增广矩阵
执行初等行变换将矩阵 变成上三角矩阵（upper triangular matrix），即主对角线以下的元素都是零，完成之后很容易确定方程组是否有解，然后得到解。这里对增广矩阵 的操作对应与求解方程组 的有效操作。
例 1 求方程组 解：增广矩阵是 现在执行初等行变换将 的主对角线下面的元素都变为零。
首先第二行加上第一行，第三行减去第一行的两倍 第二行乘以 -1 第二行乘以 -3 加到第三行上 第三行乘以 -1/4 相应的方程组是 这个方程组等价于方程组 。从第三个方程可以得到 ，代入第二个方程得到 ，在代入第一个方程得到 ，因此 是方程 的解。因为解释唯一的，可以得到系数矩阵是非奇异的。
例 2 讨论不同的 时方程组 的解。
解：除了第三个方程的 的系数不同之外，其余系数与 一样。方程组 的增广矩阵是 根据例 1 的步骤，上面的增广矩阵转换为 第三行对应的方程是 除非 满足上述方程，否则方程组 没有解。可以证明上面的方程是条件 。
令 ，这样可以满足 ，那么矩阵 的前两行是 为了求解 ，令 ，这是一个任意选择的量，来表示其他两个未知数 写成向量形式是 很容易验证右边第二项是非齐次方程 的解，第一项是 对应的齐次方程的解。
行简化，即高斯消元法，在求解齐次方程和方程个数与未知数个数不同的方程组时也很有用。
线性相关和线性无关
如果存在一组至少一个非零的实数或复数 使得 那么这 个矢量 是线性相关的。也就说它们之间存在某种线性关系。如果唯一使得 成立的系数 是 ，那么 是线性无关的。
下面讨论 个向量的集合，每一个向量有 维，构成了一个 的矩阵 ， 的第 列是 ，因此 ，其中 ，也就是向量 的第 个分量。令 ，那么 可以写作 如果 ， 的解只有 ，那么等价于 是线性无关的。如果 ，有非零解。
比如从例 1 可以知道向量 是线性无关的。从例 2 可以知道向量 是线性相关的。
例 3 确定向量 是线性相关还是线性无关的。如果线性相关，找到它们之间的线性关系。
解：为了确定 是线性无关还是线性相关，要求使得 的常量 。
方程 可以写作形式 可以通过对下面的增广矩阵进行初等行变换求解 第一行乘以 -2 加到第二行，第一行加到第三行得到 第二行乘以 -1/3 得到 第二行乘以 5 加到第三行得到 因此得到等价的方程组 因此 是线性相关的。
为了找到 之间的线性关系，从 的第二个方程可以得到 ，代入第一个方程得到 。这里使用 来表示 ，而 可以任意选择。比如令 ，那么 ，那么 的线性关系是
另一种方法是不妨称 系数方程为 然后计算 。 因此 是线性相关的。不过为了求线性关系，还是不得不求解方程 。
将矩阵 的列或者行看做向量很有用。这些向量线性无关等价于 。如果 ，那么 ，因此 的列或者行线性无关，那么 的列或者行也线性无关。
现在将这些定义扩展到区间 上的矢量函数 。如果在存在不全是零的常量 使得在上述区间内有 那么 是线性先关的，否则是线性无关的。如果 在区间上线性相关，那么在区间内的每一点都是线性相关的。不过，如果 在区间上线性无关，或许在每一点处都是线性无关的，或许不是。还有可能是在每一点处都是线性无关的，但是不同点的常量集合不同。
特征值和特征向量
方程 可以看作是将一个矢量 转换称另一个矢量 。在许多应用中，一个矢量能转换成自身的若干倍是很重要的，包括求解常系数一阶线性微分方程组。
令 ，那么
方程有非零解等价于 使得
方程 是 的 阶多项式，称为矩阵 的特征方程（characteristic equation）。满足 的 可以是实数也可以是复数，称为 的特征值（eigenvalue）。对应某个 ，满足 或 的矢量 称为特征值对应的特征向量（eigenvector）。
例 4 求矩阵 的特征值和特征向量。
解：特征值 和特征向量 满足方程 ，即 特征值是特征方程 的根，那么 。
为了求解特征向量，将每个特征值 代回 。对于 有 那么 。如果 ，那么 ，因此特征向量 是 对于特征值 ，有无数个特征向量。一般从中选择一个作为其余的代表，这里令 ，那么 这个矢量的非零倍数也是特征向量。一般称 是特征值 的特征向量。
令 中的 ，那么得到 这里仍旧只能获得一个条件，即 。因此对应特征值 的特征向量是 或者是其非零倍。
上面的例子中，特征向量之间差一个非零的系数，如果以某种方式指定这个常数，称这个特征向量被归一化（normalized）。例 4 中我们的选择让每个分量是尽可能小的整数，选择其他值也是有效的，但是可能没有那么方便。有时选择让特征向量归一化 很方便。
的矩阵 的特征方程 是一个关于 的 阶多项式方程，那么有 个特征值 ，其中一些可能有重复。如果一个特征值出现 次，称其代数重数（algebraic multiplicity）为 。每个特征值至少有一个与之对应的特征向量，也可能有其他线性无关的特征向量。如果一个特征值有 个线性无关特征向量，称其几何重数（geometric multiplicity）是 。可以证明有如下关系
也就是说几何重数不会超过代数重数。如果 的每个特征值都是简单的（simple），即代数重数为 1，那么几何重数也是 1。
如果 是 的两个特征值，并且 ，那么相应的特征向量 是线性无关的。要证明线性无关从下面的线性方程开始 两边同时乘以矩阵 ，得到 因为两个特征值满足方程 那么 代入最开始的等式得到 由于 ，那么为了上式成立必须有 ，因此是线性无关的。
这个结果可以扩展到任意个不同的特征值 ，对应的特征向量 是线性无关的。因此一个 的矩阵的每一个特征值都是简单的，那么有 个特征值，每一个对应一个特征向量，这些特征向量是无关的。反之，如果 有一个或多个重复的特征值，可能只有少于 个线性无关的向量，这是因为对于重复特征值而言可能有 。后续章节会看到这一点会导致微分系方程组的复杂性。
例 5 求矩阵 的特征值和特征向量。
解：特征值 和特征向量 满足方程 ，那么 特征值是方程 方程有三个根 ，因此 2 是简单特征值，-1 是代数重数为 2 的特征值。
将 代入 得到 通过初等行变换（高斯消元法）得到等价方程组 得到特征方程 代入 ，方程 可以简化为 因此三个变量的其中两个值可以任意指定，第三个由上式确定。这里令 ，那么 ，那么 选择 得到特征向量 令 可以得到另一个线性无关的特征向量 这个代数重数为 2 的特征值对应两个线性无关的特征向量。
有一类特殊的矩阵，称为自伴随（self-adjoint）或埃尔米特矩阵（Hermitian）：，即 。埃尔米特矩阵包含一个子类，对称的实数矩阵，也就是说矩阵的元素是实数并且有 。埃尔米特矩阵的特征值和特征向量满足下面这些有用的属性：
- 所有的特征值是实数。
- 不管特征值的代数重数是多少，总是存在 个线性无关的特征向量。
- 如果特征向量 是不同特征值对应的特征向量，那么 。如果所有的特征值是简单的，那么对应的特征向量都是正交的。
- 一个特征值的代数重数是 ，可以选择出 个特征向量彼此正交。因此，总是可以选择 个特征向量，彼此正交，且它们是线性无关的。
下面证明属性 1。之前已经证明 而埃尔米特矩阵是 的矩阵，代入上式得到 这里 是任意向量，取值为 ，那么得到 是特征值， 是对应的特征向量，那么 代入上式得到 因此 那么 所以 是实数。
下面证明属性 3。假定 是 的两个特征值，且 ， 是与之对应的两个特征向量。
我们从 开始，这里令 ，那么 因此 所以两个特征向量正交。
例 5 是一个实数对称矩阵，满足属性 1、2、3，但是选择的两个矢量 并不满足属性 4。不过总是可以做到这一点。比如分别令 得到两个矢量 作为 对应的两个特征向量。这两个矢量彼此正交并且与 对应的特征向量 正交。