线性代数

线性代数是研究向量空间与线性映射的数学分支.

这里会主要介绍 LADR思维和量子力学下的线性代数.

向量

向量可以是任何东西 只要满足

• 定义了加法

• 定义了标量乘法

• 满足向量空间的公理

向量空间

为了泛化所有满足以下条件的空间 并讨论它们所满足的一般性性质 向量空间因此而生:

严格的定义为: 向量空间是带有加法与标量乘法的集合V 满足如下性质

• 交换性

• 结合性

• 存在加法单位元

• 存在加法逆元

• 存在乘法单位元

• 具有分配率

我们记实数域为R 复数域为C, F表示R或C.

正例太多了 我们举一个反例:

• 单位圆: \(x^2 + y^2 = 1\) 向量为(x,y). 那么标量乘法 比如10乘(1,0) 会直接逃逸出去.

• 抛物线: 向量为(x,x^2). 很多标量乘法会直接不满足.

F

我们生活的空间是 \(F^3\) 但是通过线性代数 我们可以研究n维情况.

所以我们定义 \(F^n\) , \(F^n\) 是 F上的向量空间

有

\[ \boxed{ F^n = {(x_1,..,x_n)} \]

其中 \(x_i \in F\)

运算性质

• 加法: 对应坐标相加

• 加法交换性

• 0表示所有坐标为0且长度n的组

• 加法逆元: -x

• 标量乘法: 分别乘向量的每个坐标

函数向量空间

实际上 许多函数也可以相加与相乘. 那么满足这些条件的函数的集合也是向量空间.

首先 若函数 f与g 是从 S映射到F 即\(f: S->F\), \(g: S->F\)

我们记所有的 从S到F的所有函数的集合 为 \(F^S\)

• 加性: 对于 \(f + g \in F^S\) 有 \((f+g)(x) = f(x) + g(x)\)

• 乘性: 对于 \(\lambda f \in F^S\) 有 \((\lambda f)(x) = \lambda f(x)\).

那么显然的:

• 具有交换性

\( (f+g)(x) = f(x) + g(x) \) ,而 f与g 映射到 F,F具有交换性, 故\(f(x) + g(x) = g(x) + f(x) = (g+f)(x)\)

子空间

一个向量空间中 自己也能独立自洽 即 也能独立完成所有线性运算的子集. 满足:

• 加法单位元0存在

• 加法封闭

• 标量乘法封闭

上述的条件表明: 子空间的任何运算不会 逃逸 出这个子空间. 它是封闭且自洽的.

子空间的和

子空间的和定义为: 子空间中元素所有可能的和所构成的集合.

• 子空间的和是包含这些子空间最小子空间

子空间的直和

当 子空间的和 中的元素 可以被唯一的表示为每个子空间的一个向量的和时 这样的子空间的和被称为直和.

直和揭示了: 一个向量能不能唯一地拆成来自几个子空间的向量的和

任何一个子空间里的非零向量 都不能表示成其他子空间向量的线性组合.

• 若U与W都是V的子空间,U+W为直和当且仅当\(U \cap W\) = {0}

线性组合

两个数乘向量的组合 被称为这两个向量的线性组合.

考虑向量v与向量w 线性组合为

\[ a v + b w \]

张成空间

给定向量 所有的 线性组合 的向量的集合 被称为张成空间.

\[ span(v,w) \]

对于二维向量来说

• 若不共线 则它们 张成 整个二维空间

• 若共线 则它们 长成 一条直线

线性相关/线性无关

一组向量中至少有一个向量是多余的 没有对张成空间做贡献 或者说

至少有一个向量 可以被其他向量给线性组合出来 即这个向量落入了其他向量的张成空间. 那么它们是线性相关的.

反之 若向量不是线性相关的 那它们就是线性无关的.

有限维向量空间

若 一个向量空间 可以由 该空间中的某个向量组张成 那么这个向量空间是有限维的

多项式

多项式是一个函数 P: F -> F, 其中 \(a_i \in F\)

\[ p(x) = a_0 + a_1 x + a_2 x^2 + ... + a_n x^n \]

我们发现: 多项式具有交换性(因为a和x都属于F) 结合性 单位元(0) 逆元 -p(x).

• 加法封闭: a_0 + a_1 x + a_2 x^2 + b_0 + b_1 x + b_2 x^2 = (a_0 + b_0) + (a_1 + b_1) x + (a_2 + b_2) x^2

• 标量乘法封闭: \( \lambda a_0 + a_1 x + a_2 x^2 \) 仍然是多项式

所以多项式是向量空间

• 多项式的次数定义为多项式的最高次项的次数

• \(P_m (F)\) 是次数<=m的所有多项式的集合

基

若向量空间V中的一个向量组既线性无关又张成V 那么这个向量组是V的基

线性变换(线性映射)

线性变换(线性映射)的定义为: 具有加性与齐性 的函数.

\[ T: V -> W \]

其中

• 加性: \(T(u+v) = Tu + Tv\) ,其中 u与v属于V

• 齐性: \(T(\lambda v) = \lambda (Tv)\),其中\(\lambda\)属于F,v属于V

从几何上讲: 原来在坐标系中的直线 经过线性变换后仍然是直线.

假设一条直线: \( p + tv \) 其中 p是向量 v也是向量.

那么线性变换后得到: T(p+tv) = T(p) + tT(v) 仍然为直线

线性映射与基

线性映射可以根据一组基来构造 且由在基上的取值唯一确定

• 设\(v_1,...,v_n\)是V的基,\(w_1,..,w_n \in W\) 那么存在唯一的线性映射而 T: V -> W 使得 \(T v_j = w_j\)

线性映射的集合

我们记从V到W的所有线性映射的集合为 L(V,W)

若M与N都属于L(V,W) 那么:

• (M+N)(v) = Sv + Tv

• \((\lambda M)(v) = M(\lambda v)\)

• (MN)(v) = M(Nv)

• 具有单位元

• 具有分配性

• V的基到W上的线性映射是唯一确定的.

• L(V,W)是向量空间

• 0只会被线性映射为0

null空间

被线性变换T映射为0的向量的集合称为 T的零空间 null T.

• 若Tu = Tv 当且仅当u=v 则 T是单射

• 若T是单射 那么0只能被0经过T变成0 其他的非0向量不可能被T变成0.

值域

对于V映射到W的映射T, T的值域定义为: W中 所有Tv组成的向量

• 值域是W的子空间

• 满射: T的值域等于W

线性映射基本定理

若V是有限维的, $T \in L(V,W), 那么 range T是有限维的 且 dim V = dim numm T + dim range T

维度

• 从有限维向量空间到更小的向量空间的映射 必不为单

• 从有限维向量空间到更大的向量空间的映射 必不为满

常见线性变换

根据加性与齐性 我们发现这些操作都是线性变换

• 0函数

• 微分: T(f+g) = Tf + Tg, \(T(\lambda f) = \lambda T f\)

• 积分: T(f+g) = Tf + Tg, \(T(\lambda f) = \lambda T f\)

算子

算子是将 向量空间到其 自身 的线性映射

即 T: V -> V

我们用 L(V) 表示 V映射到V的算子

由于算子总是映射到自己的空间 所以 算子的矩阵一定是方阵

算子有个非常好的特性: 算子可以自乘为幂, 因为它的运算不会逃逸出向量空间V. 换句话说, nn方阵的自乘还是nn.

矩阵

矩阵是用来表示线性变换的一个记号. 省略掉基 然后列出来 就是矩阵.

但是注意: 线性变换才是线性代数研究的本质 矩阵是线性变换选取特定基的表示.

同一个线性变换,在不同基下对应不同的矩阵.

矩阵与基

实际上线性变换可以理解为: 系数不变 改变基底.

我们来看一个2*2的矩阵:

\[\begin{split} \begin{bmatrix} 3 ,& 2 \\ -2 ,& 1 \end{bmatrix} \end{split}\]

作用于向量

\[\begin{split} \begin{bmatrix} 2 \\ 1 \end{bmatrix} \end{split}\]

实际上就等于

\[\begin{split} 2 \begin{bmatrix} 3 \\ -2 \end{bmatrix} + 1 \begin{bmatrix} 2 \\ 1 \end{bmatrix} \end{split}\]

而这两个向量就是变换后的基.

矩阵与空间

根据矩阵实际上是对基的变换 我们可以来研究矩阵的维度了.

• 2 x 2 矩阵实际上是把 1 x 2的基底 映射为 1 x 2的基底

• 3 x 2 矩阵实际上是把 1 x 3的基底 映射为 1 x 2的基底 这就造成了空间的压缩

矩阵乘法

线性变换是可以复合的.

比如线性变换T与G,先做G变换后做T变换.

\[ T(G(u)) \]

若

\[\begin{split} T = \begin{bmatrix} 1, & 1 \\ -1, & 0 \end{bmatrix} \end{split}\]

\[\begin{split} G = \begin{bmatrix} 2, & 0 \\ 1, & 1 \end{bmatrix} \end{split}\]

那么对u=(2,1)的两次线性变换可以写为

\[\begin{split} \begin{bmatrix} 1, & 1 \\ -1, & 0 \end{bmatrix} ( \begin{bmatrix} 2, & 0 \\ 1, & 1 \end{bmatrix} \begin{bmatrix} 2 \\ 1 \end{bmatrix} ) \end{split}\]

我们看出: 矩阵的线性变换是从右往左读的

现在我们通过对 基向量的变换 自然而然的可以推导出矩阵的乘法.

\[\begin{split} \begin{bmatrix} 1, & 1 \\ -1, & 0 \end{bmatrix} \begin{bmatrix} 2, & 0 \\ 1, & 1 \end{bmatrix} \end{split}\]

首先 基向量(1,0) 与 (0,1) 在经过G的变化后:

\[\begin{split} i = \begin{bmatrix} 2 \\ 1 \end{bmatrix} \\ j = \begin{bmatrix} 0 \\ 1 \end{bmatrix} \end{split}\]

那么我们再使用T对i和j做线性变换

\[\begin{split} i = 2 \begin{bmatrix} 1 \\ -1 \end{bmatrix} + 1 \begin{bmatrix} 1 \\ 0 \end{bmatrix} = \begin{bmatrix} 3 \\ -2 \end{bmatrix} \end{split}\]

\[\begin{split} j = 0 \begin{bmatrix} 1 \\ -1 \end{bmatrix} + 1 \begin{bmatrix} 1 \\ 0 \end{bmatrix} = \begin{bmatrix} 1 \\ 0 \end{bmatrix} \end{split}\]

那么i与j合并为线性变换矩阵就是

\[\begin{split} \begin{bmatrix} 3 , & 1 \\ -2 , & 0 \end{bmatrix} \end{split}\]

那么矩阵的结合律 便自然的出现了:

• ABC = A(BC)

因为矩阵是从右向左的线性变换 所以 这是自然的.

逆

我们将在线性方程组使用到矩阵的逆 但在此我们会说说矩阵的逆的性质和条件.

可逆的定义为: 若存在\(S \in L(W,V)\) 使得ST等于V上的恒等映射 且TS等于W上的恒等映射 则 \(T \in L(V,W)\) 是可逆.

即:

\[ ST = TS = I \]

• 逆是唯一的

• 可逆性等价于 这个线性映射是单且满的. 注意这个结论非常的重要.

我们可以得出

可逆可以得出很多性质: 0空间只有0;单射;满射

同构

若两个向量空间存在一个可逆的线性映射, 那么这两个向量空间是同构的.

维度

dim V为V的向量组的长度 也叫维度.

那么有以下结论

1. 若向量组中向量的数量大于n 那么一定线性相关

2. 任意n个线性无关的向量一定构成一组基

3. 任意n个张成整个空间的向量一定构成一组基

行列式

前面我们线性变换研究的是基的变换. 自然的 我们也想研究线性变换对空间的缩放效果.

考虑线性变换:

\[\begin{split} \begin{bmatrix} 3, & 0 \\ 0, & 2 \end{bmatrix} \end{split}\]

变换后的基为 (3,0) 与 (0,2). 初始面积为1 变换后为6 所以线性变换拉伸了6倍的面积.

这个线性变换的比例被称为行列式

至于行列式的计算:

二维是

\[ \begin{bmatrix} a, & b c, & d \end{bmatrix} = \]

线性方程组

大量的例子告诉我们 这类方程是极其常见的:

\[\begin{split} 6x - 3y + 2z = & 7 \\ x + 2y + 5z = & 0 \\ 2x - 8y - z = & -2 \end{split}\]

我们称之为 齐次线性方程组.

根据向量空间往大映射必不单 往小映射必不满 可以推出:

• 当变量多于方程时 方程必有非0解

• 当变量多余方程时 必有一组常数使得方程无解

求解矩阵方程

我们发现 这组方程可以写为对向量(x,y,z)的线性映射.

\[\begin{split} \begin{bmatrix} 2, & 5, & 3 \\ 4, & 0, & 8 \\ 1, & 3, & 0 \end{bmatrix} \begin{bmatrix} x \\ y \\ z \end{bmatrix} = \begin{bmatrix} -3 \\ 0 \\ 2 \end{bmatrix} \end{split}\]

简化为

\[ A v = u \]

相当于: 我们要求解向量v 它在经过A变换后变为u

那么我们可以使用逆变换 把u变到v.

\[\begin{split} A^{-1} A v = A^{-1} u \\ v = A^{-1} u \end{split}\]

其中 \(A^{-1}\)是A的逆矩阵

列空间与秩

方程的解让我们聚焦于变换和逆变换的性质.

• 从行列式的角度来说:

当行列式不等于0时: A逆存在.

因为若行列式不等于0 也就是说映射后的基的单位体积不为0 也就是说:空间没有被压到低维度

• 从映射与空间的角度来说:

若逆存在: 0空间只有0;A是单射且是满射 揭示了

\[ \boxed{可逆映射不会丢失任何方向 也不会创造新的自由度} \]

那么自然而然的 我们想研究: 一个映射到底保留了多少空间 或者能映射到多大的空间.

• 变换后的基 张成的空间称之为列空间 而这个被张成的空间的维度也就是列空间的维度就是秩. 揭示了变换后空间被压缩到的维度.

点积与叉积

内积是点积的推广 所以这里我们先引入点积.

点积

两个维数相同向量的点积 即为将相应坐标配对相乘再相加

\[\begin{split} \begin{bmatrix} 1 \\ 2 \end{bmatrix} \cdot \begin{bmatrix} 3 \\ 4 \end{bmatrix} = 1 * 3 + 2 * 4 = 11 \end{split}\]

注意 点积的结果是scalar标量.

实际上,将第一个向量转置后与第二个向量的矩阵乘积得到的1x1矩阵的结果也是点积的结果.

所以点积实际上给出了线性泛函

\[ a \cdot b = a^{T} b \]

我们可以用线性变换来理解这个点积.

原来的基底i和j 是 1*2的向量. 在经过矩阵a的线性变换后 压缩到了一维的数轴上 变换后的基底变成了一维的数.

投影

向量的点积还有一种直观的几何理解

\[ v \cdot w \]

实际上就是v在w上或者w在v上的投影向量的长度乘被投影向量的长度.

叉积

二维

二维空间的叉积定义为:

\[ v_1 \times v_2 \]

它的 几何意义是 两个向量 张成 的平行四边形的面积.

实际上我们可以看作 这两个向量是 二维空间基向量 i与j的线性变换.

\[\begin{split} i = \begin{bmatrix} 1 \\ 0 \end{bmatrix} \\ j = \begin{bmatrix} 0 \\ 1 \end{bmatrix} \end{split}\]

那么 \(v_1\) 与 \(v_2\) 张成的平行四边形的面积 实际上是 基向量 张成的 面积为1的正方形 缩放而来.

至于缩放的比例 其实就是 行列式的值.

所以: 二维叉积的值是 行列式的值.

三维

两个三维向量 \(v_1\) \(v_2\) 叉积得到的结果是: 一个新的向量 \(v_3\).

且

• \(v_3\) 垂直 于 \(v_1 和 v_2 \) 张成的 二维空间.

• \(v_3\) 的长度 等于 \(v_1\) 和 \(v_2\) 张成的 平行四边形的 面积.

向量空间的积与商

积

向量空间的积就是将 两个向量空间 打包.

两个向量空间 V与W, 那么V与W的积

\[ VxW = (v,w) \]

• 向量空间的积的维数 等于所有子空间的维数相加.

我们发现 这个概念其实和 子空间的直和 很像. 都是将两个空间 合并 在一起.

其实子空间的 积 与 直和 是同一个结构的两个描述方式.

\[ (v,w) = (v,0) + (0,w) = ( V \times {0} ) \oplus ( {0} \times W ) \]

积空间的作用 可以组合映射

\[\begin{split} T: U -> V \\ S: U -> W \end{split}\]

那么

\[ (T,S): U -> V \times W \]

商空间

商空间的作用是踢出一个子空间.

一个向量空间V关于子空间N的商是将N 坍塌 为零得到的向量空间 为商空间.

而商空间就是所有陪集的集合.

\[ V/U = {v + U: v \in V} \]

陪集

陪集是 向量 + 子空间

\[\begin{split} v \in V \\ v + U = {v + u : u \in U} \end{split}\]

对偶与线性泛函

我们在使用点积的时候, 如果使用线性变换 来看待两个向量的点积,

实际上它代表对第一个向量 转置 然后做矩阵乘.

\[ a \cdot b = a^{T} b \]

我们将这种 把一个向量映射为一个标量 的线性变换 叫做 线性泛函.

• 线性泛函: \( f: V -> F\)

也就是说: f是 L(V,F)的元素. 本质就是一个线性变换 只不过是映射到标量的线性变换.

对偶空间

V上 所有线性泛函构成的空间就是对偶空间. 记为V'

也就是说

\[ V' = L(V,F) \]

对偶空间就是对 向量点积 的抽象化， 能够为 测度 分布 希尔伯特空间 量子力学提供重要观点.

对偶基

对偶基揭示了: 向量空间的一组基 对应着对偶空间内一组专门用来读取坐标的基。

在普通向量空间的基中, 取一组基: \(e_1,e_2, ..., e_n\) 对于任意向量v 可以展开为:

\[ v = a_1 e_1 + a_2 e_2 + ... + a_n e_n \]

写为 \((a_1,a_2,...,a_n)\)

而对偶基的用处是 使用线性泛函直接读取普通基在某个方向的坐标.

比如线性泛函 \(f^1\): 有 \(f^1 (a_1 e_1 + a_2 e_2 + ...) = a_1\) 直接取出a_1的坐标

那么对偶基的定义为:

若 \(e_1 , e_2 ,..., e_n\) 都是V的基, 存在 唯一的 线性泛函 \(e^1,...,e^n\) 使得:

\[ e^i (e_j) = \delta^i_j \]

这里的Kronecker delta 用于筛选出 i和j 是否相等.

其中

\[\begin{split} \delta^i_j = \begin{cases} 1 , & i = j \\ 0 , & i != j \end{cases} \end{split}\]

对偶映射

有两个向量空间 V 与 W.

有一个线性映射T , T: V -> W

我们在W的 对偶空间 W' 中, 有一个 线性泛函 f: W-> F

那么 先作用 线性映射T 再作用 线性泛函f 就可以 将 V 映射到F.

也就是说

\[\begin{split} T: V -> W \\ f \in W', f : W -> F \\ f \circ T : V -> F \end{split}\]

那么 \(f \circ T\) 实际上就是V的 线性泛函.

所以

\[ f \circ T \in V' \]

那么 原来的映射T: V-> W , 会诱导出一个新的映射 T' : W' -> V' .

T' 就是 T 的 对偶映射

对偶映射对应的线性变换 就是 转置.

Riesz表示定理

存在一个线性泛函\(\phi\), 使得存在唯一向量 \(u \in V\) 使得对每个 向量 \(v \in V\) 都有 \(\phi(v) = \langle v,u \rangle \)

这揭示了: 内积与某个线性泛函本质上是对应的.

基变换

矩阵/向量 都是依赖于 基 的选取. 那么自然的 如何 更换基 去表示线性变换 是值得研究的.

基变换研究的是: 同一个 线性变换T 换了一组基后 矩阵变成的样子.

我们研究 原本在基A下的线性变换T 在基B的线性变换 T'

首先 在基B下的向量为 \(u_B\)

我们对它乘B的基在A下的坐标P

\[ P u_B \]

这是将 \(u_B\) 转换为了 在A下的坐标.

然后就可以运用线性变换T. 因为T也是A下描述的.

\[ T P u_B \]

目前得到的是在A下 将 \(u_B\) 线性变换得到的坐标.

最后 我们需要将这个坐标再变回B基.

\[ P^{-1} T P u_B \]

这就得到了在A的线性变换T 变到B后的线性变换 T'

\[ T' = P^{-1} T P \]

本征

在线性变换中 有一些向量经过某些线性变换后 其方向不会发生改变 这类向量称之为 本征向量 , 它们缩放的倍率 称之为 本征值.

\[ T v = \lambda v \]

不变子空间

U是V的子空间,且T是V上的算子,若对所有的 \(u \in U\) 都有

\[ T u \in U \]

则称U为V的不变子空间.

本征值

若存在 \(v \in V\) 且 \(v \ne 0\) 有 \(T v = \lambda v\)

那么\(\lambda \in F\) 是T的本征值

等价条件

如果 \(\lambda\) 是 T的本征值 那么

• \(T - \lambda I\) 不是单的 不是满的 不是可逆的

\[ T v = \lambda v \]

那么

\[\begin{split} T v = \lambda I v \\ (T - \lambda I) v = 0 \end{split}\]

若v非0 而前面的线性映射把v映射到了0

说明零空间不止有0 这个线性映射把v 降维了.

本征值的求解

我们考虑 等价条件 中的 本征方程

\[ (T - \lambda I) v = 0 \]

即: 一个线性变换 把 非0向量 v 压缩为了0.

那么这个线性变换的矩阵是 非满秩 的.

假设在二维平面 那么这样的线性变换 就会把原来的二维平面的基向量压缩到一条 直线.

那么相当于这个线性变换的面积拉伸为0 也就是说行列式的值为0.

所以求解

\[ det( T - \lambda I ) = 0 \]

就可以得到本征值与本征向量

存在性

• 复向量空间上的算子都有本征值

本征向量

刚才本征值定义中的v就是本征向量.

• 不同本征值对应的本征向量都是 线性无关 的.

因为一个方向的本征向量对应一个缩放倍率 如果两个向量同向的话 那么也应该被缩放相同倍率.

三角矩阵

上三角矩阵就是: 位于对角线下方的元素全为0.

复向量空间的每个算子都有上三角矩阵

等价条件

下列条件等价于上三角矩阵

• 对于 \(j \in [1,n]\) , \(T v_j \in span(v_1,..,v_j) \) ,也就是说: 向量v构成了一串被T 逐层保留的不变子空间

j = 1 时, \(T v_1 = \lambda_1 v_1\), 所以\(V_1\)是不变子空间

j = 2 时, \(T v_2 \in span(v_1,v_2)\), 而 \(T v_1 \in span(v_1,v_2)\) , \(V_2\)是不变子空间

这构成了一个不变子空间链条

\[ T v_j = a_1j v_1 + ... + a_jj v_j \]

可逆性与本征值

• 当且仅当 上三角矩阵的对角线非0 这个算子才可逆.

• 上三角矩阵的对角线就是本征值

本征空间

本征向量的集合 加上0向量 就是本征空间.

对角矩阵

除了对角线其他全是0的矩阵就是对角矩阵.

等价条件

T可对角化 等价于下列条件:

• V有由T的本征向量构成的基

• V有在T下不变的一维子空间 使得 V = \(\U_1 \oplus ... \oplus U_n\)

• T有dim V个不同的本征值

内积

内积是点积的 推广.

内积是一个函数, 将 两个输入向量 映射 到 标量空间.

内积主要用于讨论两个向量的方向,投影与角度.

对于V上的两个向量u,v 内积的定义为:

• 正性: 所有的 v 都有 \(\langle v , v \rangle \geq 0\)

• 定性: \(\langle v , v \rangle = 0\) 当且仅当 v = 0

• 第一个位置的加性: \(\langle u + v, w \rangle = \langle v , w \rangle + \langle u , w \rangle\)

• 第一个位置的齐性: \(\lambda \in F\) 有 \(\langle \lambda u , v \rangle = \lambda \langle u , v \rangle \)

• 共轭对称性: \(\langle u , v \rangle = \overline{\langle v,u \rangle}\)

根据内积的定义 我们可以定义一些非常有用的内积

• \(F^n\)上的 欧几里得内积:

\[ \langle u,v \rangle = \sum_{j=1}^{n} u_j \overline{v_j} \]

在实数情况下 这就是点积.

• 函数空间的\(L^2\)内积

\[ \langle f , g \rangle = \int_a^b f(x) \overline{g(x)} dx \]

内积空间就是 向量空间 + 定义的内积

内积具有以下性质:

• 0与任何向量内积都是0

• 第二个位置具有加性: \(\langle u , v + w \rangle = \langle u , v \rangle + \langle u , w \rangle\)

这是因为:

\[\begin{split} \langle u , v + w \rangle = \overline{ \langle v + w , u\rangle } \\ = \overline{ \langle v , u \rangle + \langle w , u \rangle} = \overline{ \langle v , u \rangle} + \overline{\langle w , u \rangle} = \langle u , v \rangle + \langle u , w \rangle \end{split}\]

• 第二个位置的共轭齐性: \(\langle u , \lambda v \rangle = \overline{\lambda} \langle u , v \rangle\)

范数

范数用于讨论向量的度量.

对于向量v, v的范数 记作 \(\|x\| = \sqrt{\langle v,v \rangle}\)

范数具有以下性质:

• \(\|v\| = 0 \)当且仅当 v = 0

• 对于 \(\lambda \in F \),\(\| \lambda v \| = |\lambda| \|v\| \)

正交

如果两个向量内积为0 那么称之为这两个向量正交.

勾股定理

没错 就是勾股定理.

若u与v正交, 则有

\[ \| u + v \|^2 = \| u \|^2 + \| v \|^2 \]

是不是很像三角形勾股定理:

\[ a^2 + b^2 = c^2 \]

然而 在向量里, c = a + b.

证明也很简单 用第一个位置和第二个位置的加性即可.

\[\begin{split} \| u + v \|^2 = \langle u+v , u+v \rangle \\ = \langle u , u + v \rangle + \langle v , u + v \rangle \\ = \langle u, u \rangle + \langle v, v \rangle + \langle u ,v \rangle + \langle v, u \rangle \end{split}\]

而\(\langle u , v \rangle = 0\)

正交分解

我们考虑两个不共线的非0向量 u 与 v.

我们想把u 表示为 v的标量倍 加上一个正交于v的向量w.

即

\[ u = c v + w , c \in F \]

我们给两边做v的内积.

\[ \langle u, v \rangle = c \langle v,v \rangle + \langle w , v \rangle \]

而 \(\langle v,v \rangle\) 是范数的平方, \(\langle w,v\rangle\) 是0.

\[ c = \frac{\langle u, v \rangle}{\| v \|^2} \]

而 w可以表示为 u - cv.

所以, 对于u 正交分解为:

\[ u = \frac{\langle u,v\rangle}{\|v\|^2} v + (u - \frac{\langle u,v \rangle}{\|v\|^2} v) \]

cauchy-Schwarz不等式

柯西-施瓦兹不等式 是数学里极其重要的非常重要的不等式.

\[|\langle u,v \rangle| \leq \| u \| \| v \|\]

因为由正交分解:

\[ u = \frac{\langle u,v \rangle}{\| v\|^2} v + w \]

因为v与w 正交,由勾股定理

\[\begin{split} \| u\|^2 = \| \frac{\langle u,v \rangle}{\|v\|^2}v \|^2 + \|w \|^2 \\ = \frac{| \langle u , v \rangle |^2}{\| v\|^2} + \| w \|^2 \\ \geq \frac{| \langle u , v \rangle |^2}{\| v\|^2} \end{split}\]

三角不等式

对于向量 u , v.

\[ \| u + v \| \leq \|u \| + \| v \| \]

规范正交基

规范正交基是非常重要的基.

• 若基中的每个向量的范数都是1 , 而且两两正交, 那么就是规范正交基.

任意向量都可以写为规范正交基的线性组合.

\[ v = \langle v,e_1 \rangle e_1 + \langle v, e_2 \rangle e_2 + ... + \langle v , e_n \rangle e_n \]

证明:

首先因为 \(e_n\)是基, 所以存在标量 \(a_n\) 使得:

\[ v = a_1 e_1 + ... + a_n e_n \]

两边都和 \(e_j\) 做内积.

\[ \langle v , e_j \rangle = a_j \]

Gram-Schmidt正交化

Gram-Schmidt过程是利用投影原理 在已有的正交基上构造新的正交基.

减去别的方向的向量在自己上的投影 实际上就是去除其他的方向.

首先我们取第一个向量 \(v_1\).

我们对它归一化: \(e_1 = \frac{v_1}{\|v_1 \|}\)

我们得到了范数为1的向量\(e_1\).

我们取与\(v_1\) 线性无关的向量 \(v_2\).

我们想要找到与 \(e_1\) 正交的基 \(u_2\), 那么: \(e_1 + u_2 = v_2\)

即 \(u_2 = v_2 - \langle v_2,e_1 \rangle e_1\) ,即 \(v_2\) 减去 \(v_2\)在\(e_1\)上的投影向量.

然后对\(u_2\)归一化就可以得到\(e_2\).

同理

• \(u_3 = v_3 - \langle v_3, e_1 \rangle e_1 - \langle v_3 , e_2 \rangle e_2\)

然后对\(u_3\)归一化得到\(e_3\).

重复这个过程最终得到规范正交基

Schur定理

在复向量空间,T一定存在关于某个规范正交基的上三角矩阵.

正交补与极小化

正交补

若U是V的子集, 则U的正交补 就是V中与U中每个向量都正交的向量.

\[ U^{\prep} = {v \in V : \langle v , u \rangle = 0, \forall u \in U} \]

正交投影

正交投影算子提取正交分解中的分量.

代表向量v在子空间U上的正交投影.

\[ P_U v = u \]

对于U的每个规范正交基\(e_1,...,e_m\) 均有:

\[ P_U v = \langle v,e_1 \rangle e_1 + ... + \langle v,e_m \rangle e_m \]

极小化

若U是V的有限维子空间 , \(v \in V , u \in U\)

那么

\[ \| v - P_U v \| \leq \| v - u \| \]

也就是说: 给定V的子空间U与点v, 那么想要求得u使得 \(\| v - u\|\) 最小, 通过取 \(u = P_U v\) 就可以解决这个极小化问题.

因为:

\[\begin{split} \| v - P_U v \|^2 \leq \| v - P_U v \|^2 + \| P_U v - u \|^2 \\ \end{split}\]

根据勾股定理

\[ = \| (v - P_U v) + (P_U v - u) \|^2 = \| v - u\|^2 \]

伴随与正规算子

从这里开始 线性代数与量子力学的联系会很深. 我们将引入 Dirac符号 来表示向量 更好的研究量子力学与线性代数.

共轭转置

转置+逐元素共轭 就是 共轭转置.

伴随

还记得之前说过: 转置 对应 对偶映射.

而 共轭转置 对应 伴随映射.

设 \(T \in L(V,W)\) . T的伴随 \(T^* : W -> V\) 有 \(\langle Tv,W \rangle = \langle v, T^* w \rangle\)

我们来对照一下对偶映射与伴随映射.

\(T \in L(V,W)\)

注意, W'与V'代表对偶空间 里面都是线性泛函.

• 对偶映射: \(T' \in L(W',V')\), 对于任意线性泛函 \(\phi \in W'\) 有 \(T'(\phi) = \phi \circ T\). 也就是说 T' 将作用于W上的线性泛函拉回到V上.

• 伴随映射: \(T^* \in L(W,V)\) ,有 \(\langle Tv,w \rangle = \langle v, T^* w \rangle\)

Dirac符号

Dirac符号 可以非常方便的表示: 内积 , 共轭转置, 外积 等. 会非常直观.

Bra-Ket

Dirac符号最核心的两个符号 就是 Bra-Ket.

我们定义向量 v 为: \(| v \rangle\). 叫做Ket.

我们定义向量 v 的 对偶向量(线性泛函) 为: \(\langle v |\). 叫做Bra.

在Dirac符号中 我们将T的伴随矩阵写为: \(T^{\dagger}\).

那么有: \( \langle v | = | v \rangle^{\dagger} \).

也就是说 Bra是Ket的 伴随.

复内积

Bra-Ket非常自然的给出了复内积的表示:

\[ \langle a | b \rangle \]

假设

• \( | a \rangle = \begin{bmatrix} m \\ n\end{bmatrix}\)

• \( | b \rangle = \begin{bmatrix} x \\ y\end{bmatrix}\)

那么 \(\langle a | = | a \rangle^{\dagger} = (\overline{m} \overline{n})\)

\[\begin{split} \langle a | b \rangle = (\overline{m} \overline{n}) \begin{bmatrix} x \\ y\end{bmatrix} = \overline{m} x + \overline{n} y \end{split}\]

外积

假设

• \( | a \rangle = \begin{bmatrix} m \\ n\end{bmatrix}\)

• \( | b \rangle = \begin{bmatrix} x \\ y\end{bmatrix}\)

那么 \(\langle a | = (\overline{m} \overline{n}) \)

\[\begin{split} | b \rangle \langle a | = \begin{bmatrix} x \\ y\end{bmatrix} (\overline{m} \overline{n}) \end{split}\]

自伴/厄米

如果 \(T = T^{\dagger}\) 那么T称为厄米矩阵 或者 自伴矩阵.

也就是说: \(\langle Tv,w \rangle = \langle v,Tw \rangle\)

• 厄米矩阵的本征值是实的 , 且 在C上 仅厄米算子才能使 \(\langle Tv,v \rangle\)是实数.

正因为能量必须是实数,所以哈密顿算子必须是厄米的.

设\(\lambda\) 是 T的本征值.

有

\[ T v = \lambda v \]

那么 \(\langle \lambda v , v \rangle = \lambda \|v \|^2 = \langle Tv , v \rangle = \langle v,Tv \rangle = \langle v ,\lambda v \rangle = \overline{\lambda} \|v\|^2\)

也就是说 \(\lambda = \overline{\lambda}\)

正规

正规是厄米的泛化.

• 厄米: \(T = T^{\dagger}\)

• 正规: \(T^{\dagger} T = T T^\dagger\)

也就是说, 正规要求: T 与 \(T^\dagger\) 的对易子为0. 即它们是可交换的.

正规算子还有个很重要的特点: 不同的特征向量是正交的. 这也为谱定理打下铺垫.

酉算子与正交算子

在实数空间, 若\(T^* T = I\) 那么称T为正交算子.

在复内积空间, \(T^{\dagger} T = I\) 那么称T为 酉算子.

它们有个非常好的特性: 在自己的域 使内积不变.

\[ \langle Tv,Tw\rangle = \langle v,w \rangle \]

证明为:

我们取伴随.

\[ \langle Tv , Tw \rangle = \langle v,T^{\dagger} T w \rangle \]

而

\[ \langle Tv,Tw \rangle = \langle v , w \rangle \]

所以 \( T T^\dagger = I\)

所以酉算子 也是 正规算子

辛

不同于:

• 正交算子保持 实内积

• 酉算子保持 复内积

辛算子保持 辛形式: \(S^T J S = J\).

辛形式在物理学中出现的很多, 因为辛变换保持结构不变

等距映射

保持范数的映射是等距映射.

\[ \| T v \| = \| v \| \]

显然有: 保持内积肯定也保持范数, 所以酉算子是等距映射.

谱定理

谱定理是个很有用的东西, 它揭示了 对于正规算子(实数下是厄米算子) 一定可以找到一个非常好的规范正交基 使得它有个对角矩阵.

有规范正交基的对角矩阵 意味着对角线上的元素全部都是特征值.

因为正规性有个特点: 不同的特征向量是自动正交的.

酉对角化

复空间的正规算子可以被酉对角化

\[ T = U D U^\dagger \]

D是对角矩阵

奇异值与极分解

谱定理告诉我们: 复数空间中的正规矩阵一定可以被酉对角化.

那么如果不是正规算子呢, 于是我们引入SVD奇异值分解.

任意矩阵都可以分解为:

\[ A = U \sigma V^\dagger \]

其中U是酉算子 V也是酉算子.

其实这和酉对角化很像:

• 酉对角化是: \(A = U D U^\dagger\)

• SVD是: \(A = U \sigma V^\dagger\)

而SVD矩阵的 \(\sigma\)的对角线就是奇异值.