线性代数

SVD

奇异值分解

对于任意矩阵 \(A \in \mathbb{R}^{m \times n}\)

都存在分解

\[ A = U \Sigma V^T \]

其中

• \(U \in \mathbb{R}^{m \times m}\) :左奇异向量,正交矩阵\((U^T U = I)\)

• \(\Sigma \in \mathbb{R}^{m \times n}\) : 奇异值矩阵 对角线非负

• \(V \in \mathbb{R}^{n \times n}\) :右奇异向量 正交矩阵

SVD是一个三步的线性变换

\[ x \xrightarrow{V^\top} \text{旋转} \xrightarrow{\Sigma} \text{拉伸} \xrightarrow{U} \text{再旋转} \]

• \(V^T\): 把输入坐标系旋转到主方向

• \(\Sigma\): 沿正交方向按奇异值缩放

• \(U\): 映射到输出空间

低秩近似

只保留矩阵中最重要的几个方向 其他方向当成噪声掩盖掉

SVD方法是最优的低秩近似(Eckart-Young定理): 在所有\(rank \leq k\)的矩阵中 截断SVD给出的\(A_k\) 是误差(Frobenius范数误差)最小的

Frobenius范数

对于矩阵\(A = (a_{ij})\)

\[ \| A\|_F = \sqrt{\sum_{i,j}a_{ij}^2} \]

即所有元素的平方和