SVD是提取信息的一种方法，可以把 SVD 看成是从噪声数据中抽取相关特征。从生物信息学到金融学，SVD 是提取信息的强大工具。

SVD的定义

SVD是对矩阵进行分解。假设我们的矩阵A是一个m×n的矩阵，那么我们定义矩阵A的SVD为：

𝐴=𝑈Σ𝑉𝑇

其中U是一个m×m的矩阵，Σ是一个m×n的矩阵，除了主对角线上的元素以外全为0，主对角线上的每个元素都称为奇异值，V是一个n×n的矩阵。U和V都是酉矩阵，即满足𝑈𝑇𝑈=𝐼,𝑉𝑇𝑉=𝐼。

SVD计算举例

 

SVD的一些性质

上面我们对SVD的定义和计算做了详细的描述，似乎看不出我们费这么大的力气做SVD有什么好处。那么SVD有什么重要的性质值得我们注意呢？

对于奇异值,它跟我们特征分解中的特征值类似，在奇异值矩阵中也是按照从大到小排列，而且奇异值的减少特别的快，在很多情况下，前10%甚至1%的奇异值的和就占了全部的奇异值之和的99%以上的比例。也就是说，我们也可以用最大的k个的奇异值和对应的左右奇异向量来近似描述矩阵。也就是说：

𝐴𝑚×𝑛=𝑈𝑚×𝑚Σ𝑚×𝑛𝑉𝑇𝑛×𝑛≈𝑈𝑚×𝑘Σ𝑘×𝑘𝑉𝑇𝑘×𝑛

其中k要比n小很多，也就是一个大的矩阵A可以用三个小的矩阵𝑈𝑚×𝑘,Σ𝑘×𝑘,𝑉𝑇𝑘×𝑛来表示。

由于这个重要的性质，SVD可以用于PCA降维，来做数据压缩和去噪。也可以用于推荐算法，将用户和喜好对应的矩阵做特征分解，进而得到隐含的用户需求来做推荐。同时也可以用于NLP中的算法，比如潜在语义索引（LSI）。

SVD用于PCA

PCA降维，需要找到样本协方差矩阵𝑋𝑇𝑋XTX的最大的d个特征向量，然后用这最大的d个特征向量张成的矩阵来做低维投影降维。可以看出，在这个过程中需要先求出协方差矩阵XTX，当样本数多样本特征数也多的时候，这个计算量是很大的。

注意到SVD也可以得到协方差矩阵XTX最大的d个特征向量张成的矩阵，但是SVD有个好处，有一些SVD的实现算法可以不求先求出协方差矩阵XTX，也能求出右奇异矩阵V。也就是说，PCA算法可以不用做特征分解，而是做SVD来完成。这个方法在样本量很大的时候很有效。实际上，scikit-learn的PCA算法的背后真正的实现就是用的SVD，而不是我们认为的暴力特征分解。

PCA仅仅使用了我们SVD的右奇异矩阵，没有使用左奇异矩阵。左奇异矩阵可以用于行数的压缩。相对的，右奇异矩阵可以用于列数即特征维度的压缩，也就是我们的PCA降维。