1. 前言

假設矩陣$\mathbf{A}$是一個$M\times N$大小的矩陣。對其進行奇異值分解后可以得到：
$${\mathbf{A}}_{(\mathbf{m}\times \mathbf{n})}={\mathbf{U}}_{(\mathbf{m}\times \mathbf{m})}{\mathbf{\Sigma }}_{(\mathbf{m}\times \mathbf{n})}{\mathbf{V}}_{(\mathbf{n}\times \mathbf{n})}^{\mathbf{T}}$$
其中矩陣$\mathbf{\Sigma }$是準對角矩陣，其對角元素就是奇異值。矩陣$\mathbf{U}$和$\mathbf{V}$都是酉矩陣，一條重要的性質就是，其列向量都是兩兩正交的單位向量（模為1，對應相乘等于0）.

2. 數(shù)值計算

在計算時，首先我們考慮計算矩陣$\mathbf{V}$和準對角陣$\mathbf{\Sigma }:$

1. 首先計算${\mathbf{A}}^{\mathbf{T}}\mathbf{A}$，因為已知矩陣$\mathbf{A}$大小為$M\times N$，因此${\mathbf{A}}^{\mathbf{T}}\mathbf{A}$是大小為$N\times N$的方陣，可以進行特征分解，求得$N$個特征值${\lambda }_i(i=1,...,N)$和單位化的特征向量${\mathbf{\alpha }}_{\mathbf{i}}(i=1,...,N)$.
2. 因此，矩陣$\mathbf{V}$和準對角陣$\mathbf{\Sigma }$可以得到為：
   $$\begin{array}{rl}\mathbf{V}& =({\mathbf{\alpha }}_1{\mathbf{\alpha }}_2?{\mathbf{\alpha }}_{\mathbf{N}})\\ \mathbf{\Sigma }& =?\begin{array}{cccc}\sqrt{{\lambda }_1}& 0& ?& 0\\ 0& \sqrt{{\lambda }_2}& ?& 0\\ ?& ?& ?& ?\\ 0& 0& ?& \sqrt{{\lambda }_N}\end{array}?\end{array}$$

注意：矩陣$\mathbf{\Sigma }$不一定是方陣，但是也是只有主對角線上有值，其余填0即可；
另外，矩陣$\mathbf{\Sigma }$和矩陣$\mathbf{V}$中的元素一定要以特征值-特征向量對應書寫，順序不可錯亂。

計算矩陣$\mathbf{U}$：

3. 計算$\mathbf{A}{\mathbf{A}}^{\mathbf{T}}$，因為已知矩陣$\mathbf{A}$大小為$M\times N$，因此$\mathbf{A}{\mathbf{A}}^{\mathbf{T}}$是大小為$M\times M$的方陣，可以進行特征分解，求得$M$個特征值${\gamma }_i(i=1,...,M)$和單位化的特征向量${\mathbf{\theta }}_{\mathbf{i}}(i=1,...,M)$. 由此，我們可以確定，矩陣$\mathbf{U}$是由$M$個單位特征向量組成的，但是向量的排列順序還不確定，接下來就是要確定這件事；

$$\begin{array}{r}\because \mathbf{V}是正交矩陣\\ \therefore {\mathbf{V}}^{\mathbf{T}}={\mathbf{V}}^{?1}\\ ?\mathbf{A}=\mathbf{U\Sigma }{\mathbf{V}}^{?1}\\ ?\mathbf{AV}=\mathbf{U\Sigma }\end{array}$$

5. 計算出矩陣$\mathbf{AV}$，再由于矩陣$\mathbf{\Sigma }$只有主對角線上有元素，可以根據(jù)簡單的除法，對應計算出矩陣$\mathbf{U}$中前幾列對應的元素。由此可以確定特征向量在矩陣$\mathbf{U}$中的對應位置關系，然后寫出矩陣$\mathbf{U}$.
6. $\mathbf{A}=\mathbf{U\Sigma }{\mathbf{V}}^{\mathbf{T}}$(一定要記得矩陣$\mathbf{V}$最后還有個轉置運算)

3. 奇異值分解的原理

在上述數(shù)值計算過程中有一個問題，就是為什么矩陣${\mathbf{A}}^{\mathbf{T}}\mathbf{A}$的特征向量就組成矩陣$\mathbf{V}$，特征值組成矩陣$\mathbf{\Sigma }$，而矩陣$\mathbf{A}{\mathbf{A}}^{\mathbf{T}}$的特征向量組成矩陣$\mathbf{U}$呢？接下來就解釋這個問題：

1. 為什么矩陣${\mathbf{A}}^{\mathbf{T}}\mathbf{A}$的特征向量就組成矩陣$\mathbf{V}$，特征值開根號組成矩陣$\mathbf{\Sigma }$？
   $$\begin{gathered} \mathbf{A}=\mathbf{U\Sigma }{\mathbf{V}}^{\mathbf{T}} \\ {\mathbf{A}}^{\mathbf{T}}=\mathbf{V}{\mathbf{\Sigma }}^{\mathbf{T}}{\mathbf{U}}^{\mathbf{T}}=\mathbf{V}{\mathbf{\Sigma }}^{\mathbf{T}}{\mathbf{U}}^{?1}(因為\mathbf{U}是正交陣) \\ ?{\mathbf{A}}^{\mathbf{T}}\mathbf{A}=\mathbf{V}{\mathbf{\Sigma }}^{\mathbf{T}}{\mathbf{U}}^{?1}\mathbf{U\Sigma }{\mathbf{V}}^{\mathbf{T}}=\mathbf{V}{\mathbf{\Sigma }}^2{\mathbf{V}}^{?1} \\ ?({\mathbf{A}}^{\mathbf{T}}\mathbf{A})\mathbf{V}=\mathbf{V}{\mathbf{\Sigma }}^2 \end{gathered}$$
   由此可以看到，矩陣$\mathbf{V}$中包含的列向量實際上就是矩陣$({\mathbf{A}}^{\mathbf{T}}\mathbf{A})$的特征向量，而矩陣$\mathbf{\Sigma }$中的對角值，就是矩陣$({\mathbf{A}}^{\mathbf{T}}\mathbf{A})$的$\sqrt{特征值}$.

2. 為什么矩陣$\mathbf{A}{\mathbf{A}}^{\mathbf{T}}$的特征向量組成矩陣$\mathbf{U}$呢？
   顯然，這個問題和上面同理。

4. 例題

5. 奇異值分解的幾何含義

5.1 數(shù)據(jù)的線性變換——拉伸

例如，有一組數(shù)據(jù)$\mathbf{D}$，$\mathbf{D}$表示為如下的矩陣：
$$\mathbf{D}=\left[\begin{array}{cccc}{x}_1& x_2& x_3& x_4\\ y_1& y_2& y_3& y_4\end{array}\right]$$
有一矩陣$\mathbf{S}=\left[\begin{array}{cc}2& 0\\ 0& 1\end{array}\right]$作用在該數(shù)據(jù)矩陣$\mathbf{D}$上，可以得到：
$$\mathbf{SD}=\left[\begin{array}{cc}2& 0\\ 0& 1\end{array}\right]\left[\begin{array}{cccc}{x}_1& x_2& x_3& x_4\\ y_1& y_2& y_3& y_4\end{array}\right]=\left[\begin{array}{cccc}2x_1& 2x_2& 2x_3& 2x_4\\ y_1& y_2& y_3& y_4\end{array}\right]$$

這是矩陣運算中一條重要的性質:矩陣$\mathbf{S}$是由$2\times 2$大小單位矩陣經(jīng)由初等變化而來的，當數(shù)據(jù)矩陣$\mathbf{D}$左乘上一個單位矩陣的初等變換等于對$\mathbf{D}$進行對應的行變換。

• 矩陣$\mathbf{D}$左乘一個$\mathbf{S}$相當于將基底由默認的$\left[\begin{array}{c}1\\ 0\end{array}\right]$和$\left[\begin{array}{c}0\\ 1\end{array}\right]$換為了$\left[\begin{array}{c}2\\ 0\end{array}\right]$和$\left[\begin{array}{c}0\\ 1\end{array}\right]$（即矩陣$\mathbf{S}$的列向量），所以數(shù)據(jù)進行了拉伸。

5.2 數(shù)據(jù)的線性變換——旋轉

換作一矩陣$\mathbf{R}=\left[\begin{array}{cc}cos(\theta )& ?sin(\theta )\\ sin(\theta )& cos(\theta )\end{array}\right]$ 作用與數(shù)據(jù)矩陣$\mathbf{D}$上($\mathbf{D}$左乘$\mathbf{R}$)，可得：
$$\mathbf{RD}=\left[\begin{array}{cc}cos(\theta )& ?sin(\theta )\\ sin(\theta )& cos(\theta )\end{array}\right]\left[\begin{array}{cccc}{x}_1& x_2& x_3& x_4\\ y_1& y_2& y_3& y_4\end{array}\right]$$

• 同理，矩陣$\mathbf{D}$左乘一個$\mathbf{R}$相當于將基底由默認的$\left[\begin{array}{c}1\\ 0\end{array}\right]$和$\left[\begin{array}{c}0\\ 1\end{array}\right]$換為了$\left[\begin{array}{c}cos(\theta )\\ sin(\theta )\end{array}\right]$和$\left[\begin{array}{c}?sin(\theta )\\ cos(\theta )\end{array}\right]$（即矩陣$\mathbf{R}$的列向量），顯然與原基底相比，作用后的基底逆時針旋轉了$\theta$角度。相應地，數(shù)據(jù)點也是逆時針旋轉$\theta$角度。

5.3 奇異值分解的幾何意義

觀察矩陣奇異值分解的形式：
$${\mathbf{A}}_{(\mathbf{m}\times \mathbf{n})}={\mathbf{U}}_{(\mathbf{m}\times \mathbf{m})}{\mathbf{\Sigma }}_{(\mathbf{m}\times \mathbf{n})}{\mathbf{V}}_{(\mathbf{n}\times \mathbf{n})}^{\mathbf{T}}$$
由前面的介紹可以知道，矩陣$\mathbf{U}$和矩陣$\mathbf{V}$都是酉矩陣。而酉矩陣有如下性質：

若矩陣$\mathbf{A}$為酉矩陣，則

• 性質1：${\mathbf{A}}^{\mathbf{H}}\mathbf{A}=\mathbf{E}$ 且 $\mathbf{A}{\mathbf{A}}^{\mathbf{H}}=\mathbf{E}$，即表明酉矩陣行與行、列與列之間都是正交的，且各行、各列都是單位向量；
• 性質2：${\mathbf{A}}^{\mathbf{H}}={\mathbf{A}}^{?1}$且共軛轉置矩陣和逆矩陣也都是酉矩陣

因此矩陣$\mathbf{U}$和矩陣${\mathbf{V}}^{\mathbf{T}}$的每一列都是單位向量，且列與列之間相互正交，可以代表旋轉變換的基底；矩陣$\mathbf{\Sigma }$只有主對角線上有 元素，可以代表拉伸（或收縮）變換的基底。

實際上，單位正交矩陣就可以看做是一組旋轉變換的基底；對角矩陣可以看做是拉伸變換的基底。

因此，但任意的矩陣$\mathbf{A}$作用于數(shù)據(jù)矩陣時，相當于將數(shù)據(jù)坐標點先進行旋轉變換，再進行拉伸變換，最后再進行一次旋轉變換。對于任意一個給定的變換$\mathbf{A}$，都可以拆解成一個旋轉、伸縮、再旋轉的變換。奇異值本身的數(shù)值，代表了單位超球體經(jīng)變換后成為的超橢球體的每條半軸的長度。

6. 奇異值分解的應用價值

假設矩陣$\mathbf{A}$的奇異值分解為：
$$\begin{array}{rl}{\mathbf{A}}_{(\mathbf{m}\times \mathbf{n})}& ={\mathbf{U}}_{(\mathbf{m}\times \mathbf{m})}{\mathbf{\Sigma }}_{(\mathbf{m}\times \mathbf{n})}{\mathbf{V}}_{(\mathbf{n}\times \mathbf{n})}^{\mathbf{T}}\\ & =\left[\begin{array}{cccc}{\mathbf{u}}_1& {\mathbf{u}}_2& ?& {\mathbf{u}}_{\mathbf{m}}\end{array}\right]?\begin{array}{ccc}{\lambda }_1^{\frac{1}{2}}& & \\ & {\lambda }_2^{\frac{1}{2}}& \\ & & ?\end{array}??\begin{array}{c}{\mathbf{v}}_1^{\mathbf{T}}\\ {\mathbf{v}}_2^{\mathbf{T}}\\ ?\\ {\mathbf{v}}_{\mathbf{n}}^{\mathbf{T}}\end{array}?\end{array}$$
此處${\mathbf{u}}_{\mathbf{i}}$和${\mathbf{v}}_{\mathbf{i}}$均為列向量（秩一矩陣），$\mathbf{\Sigma }$矩陣中存儲的奇異值${\lambda }_i^{\frac{1}{2}}$按照由大到小的順序對角排列:${\lambda }_1>{\lambda }_2>?>{\lambda }_{min(m\times n)}$。
如下圖運算步驟所示，我們實際上可以將矩陣$\mathbf{A}$的奇異值分解再寫為眾多的秩一矩陣積的和的形式：

即，矩陣$\mathbf{A}={\sigma }_1{\mathbf{u}}_1{\mathbf{v}}_1^{\mathbf{T}}+{\sigma }_2{\mathbf{u}}_2{\mathbf{v}}_2^{\mathbf{T}}+?+{\sigma }_r{\mathbf{u}}_{\mathbf{r}}{\mathbf{v}}_{\mathbf{r}}^{\mathbf{T}}$(r表示矩陣$\mathbf{\Sigma }$的秩)。奇異值往往代表著矩陣中隱含信息的重要程度，奇異值越大，信息越重要。因此，可以根據(jù)奇異值分解來進行數(shù)據(jù)壓縮。例如，矩陣$\mathbf{A}$代表一張高清圖片，但是礙于存儲大小的限制，需要對圖片進行壓縮，那么我們就可以對圖像矩陣$\mathbf{A}$進行奇異值分解，然后僅保留分解后奇異值大的$k$（$k<<r$）個部分，構成一個新的圖片矩陣${\mathbf{A}}^{\prime }$即：${\mathbf{A}}^{\prime }={\sigma }_1{\mathbf{u}}_1{\mathbf{v}}_1^{\mathbf{T}}+?+{\sigma }_k{\mathbf{u}}_{\mathbf{k}}{\mathbf{v}}_{\mathbf{k}}^{\mathbf{T}}$。此時即完成了對圖片的壓縮。

有趣的性質：
由于矩陣$\mathbf{U}$和$\mathbf{V}$都是滿秩的，所以原矩陣$\mathbf{A}$和對角陣$\mathbf{\Sigma }$的秩相同，因此，想要求原矩陣$\mathbf{A}$的秩，那么只要對A進行奇異值分解，然后數(shù)一數(shù)奇異值的個數(shù)就可以了。文章來源地址http://www.zghlxwxcb.cn/news/detail-784050.html

7. 相關資料

1. 相關講解視頻：
   1. 矩陣的【奇異值分解】(SVD)，圖像壓縮
   2. 【學長小課堂】什么是奇異值分解SVD–SVD如何分解時空矩陣
2. 相關講解內容專欄：
   知乎回答

到了這里，關于矩陣的奇異值分解的文章就介紹完了。如果您還想了解更多內容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關文章，希望大家以后多多支持TOY模板網(wǎng)！