深度學(xué)習(xí)
必備的數(shù)學(xué)知識
線性代數(shù)
在數(shù)學(xué)中，分解通常指的是將一個復(fù)雜的對象或結(jié)構(gòu)分解為更簡單的部件或組件。這個概念在許多數(shù)學(xué)領(lǐng)域都有應(yīng)用。在線性代數(shù)中，矩陣分解是常見的一個主題，我們通過分解矩陣來發(fā)現(xiàn)它不明顯的性質(zhì)。
矩陣有許多種的分解方式：LU分解、QR分解、特征分解、奇異值分解等
這篇文章將會講解其中的兩種分解方式：特征分解、奇異值分解。
特征分解
矩陣的特征分解是指將矩陣分解成一組特征向量和一組特征值。
滿足
A
v
=
λ
v
\mathbf{A}\mathbf{v}=\lambda\mathbf{v}
Av=λv
的向量
v
\mathbf{v}
v稱為右特征向量(right eigenvector),特征向量與矩陣相乘相當(dāng)于對于它自身進行縮放。標(biāo)量
λ
\lambda
λ稱為特征值(eigenvalue)。需要注意的是，特征向量是非零向量。
滿足
v
T
A
=
v
λ
\mathbf{v}^T\mathbf{A}=\mathbf{v}\lambda
vTA=vλ
的特征向量稱為左特征向量(left eigenvector);
在線性代數(shù)中，我們通常討論的是右特征向量。
矩陣分解的目標(biāo)是將找到一組線性無關(guān)的特征向量作為新的基（基是一個向量空間中的一組線性無關(guān)的向量，它們可以組合起來生成整個向量空間）。在這個基下，原矩陣可以被表示為一個
d
i
a
g
(
v
)
diag(\mathbf{v})
diag(v)。其中
v
\mathbf{v}
v是由特征值組成的向量。
并不是所有的矩陣都可以進行特征分解，主要是因為并不是每一個矩陣都由足夠的線性無關(guān)的特征向量來構(gòu)成一個完整的基。有些矩陣的特征分解還涉及到了復(fù)數(shù)。但是如果一個矩陣是對稱的，那么它總是可以被特征分解，這桑因為對稱矩陣總是可以找到一個由其特征向量構(gòu)成的正交基。
對于每一個實對稱矩陣，可以將它分解成實特征向量和實特征值：
A
=
Q
Λ
Q
T
\mathbf{A}=\mathbf{Q}\mathbf{\Lambda}\mathbf{Q}^T
A=QΛQT
其中矩陣
Q
\mathbf{Q}
Q是由特征向量為列向量組成的正交矩陣，矩陣
Λ
\mathbf{\Lambda}
Λ是以特征值為對角元素的對角矩陣。特征向量
Q
:
,
i
Q_{:,i}
Q:,i?對應(yīng)的特征值是
Λ
i
,
i
\Lambda_{i,i}
Λi,i?。
讓我們詳細看一下這個式子。這個式子分兩步運算：
第一步：計算
Q
Λ
\mathbf{Q}\mathbf{\Lambda}
QΛ,這一步將
A
\mathbf{A}
A 從原來的坐標(biāo)系轉(zhuǎn)換到特征向量構(gòu)成的新坐標(biāo)系中的對角矩陣。
第二步：計算(
Q
Λ
\mathbf{Q}\mathbf{\Lambda}
QΛ)
Q
T
\mathbf{Q}^T
QT 。乘以
Q
T
\mathbf{Q}^T
QT是將第一步得到的新坐標(biāo)轉(zhuǎn)換為原來的坐標(biāo)。
特征分解可以被視為一種坐標(biāo)系的轉(zhuǎn)換。在特征分解中，我們找到一組新的基向量（即特征向量），這些基向量定義了一個新的坐標(biāo)系。在這個新的坐標(biāo)系中，原矩陣被表示為一個對角矩陣，其對角線上的元素是特征值。這個對角矩陣在新的坐標(biāo)系中更容易處理，因為它只在對角線上有非零元素。所以，特征分解可以被看作是從原坐標(biāo)系到特征向量定義的新坐標(biāo)系的轉(zhuǎn)換。
通過特征分解我們可以知道很多關(guān)于矩陣的信息：
- 矩陣是奇異的，當(dāng)且僅當(dāng)它含有零特征值
- 實對稱矩陣的特征分解可以用于優(yōu)化二次方程 f ( x ) = x T A x f(x)=x^T\mathbf{A}x f(x)=xTAx,其中現(xiàn)在 ∣ ∣ x ∣ ∣ 2 = 1 ||x||_2=1 ∣∣x∣∣2?=1。如果 x \mathbf{x} x等于 A \mathbf{A} A的某個特征向量時， f f f將返回對應(yīng)的特征值。在限制條件下，函數(shù) f f f的最大值是最大特征值，最小值是最小特征值。
如果一個矩陣的所有特征值都是正數(shù)，則稱為正定（positive definite）；所有特征值都是非負數(shù)，則稱為半正定（positive semidefinite）；所有特征值都是負數(shù)，則稱為負定（negative definite）；所有特征值都是非正數(shù)，則稱為半負定（negative semidefinite）。文章來源：http://www.zghlxwxcb.cn/news/detail-787797.html
奇異值分解
奇異值分解（singular value decomposition,SVD）是將矩陣分解成奇異向量（singular）和奇異值（singular value）。每一個實數(shù)矩陣都有一個奇異值分解。奇異值分解可以讓我們得到一些與特征分解相同的信息。
我們將矩陣
A
\mathbf{A}
A分解成三個矩陣的乘積
A
=
U
D
V
T
\mathbf{A}=\mathbf{U}\mathbf{D}\mathbf{V}^T
A=UDVT
矩陣
U
\mathbf{U}
U和
V
\mathbf{V}
V被定義為正交矩陣，矩陣
V
\mathbf{V}
V是對角矩陣。
如果
A
\mathbf{A}
A是一個m行n列的矩陣，則
U
\mathbf{U}
U是一個m行m列的方陣，
D
\mathbf{D}
D是一個m行n列的矩陣，
V
\mathbf{V}
V是一個n行n列的方陣。
矩陣
U
U
U的列向量稱為左奇異向量(left singular vector),它是
A
A
T
\mathbf{A}\mathbf{A}^T
AAT的特征向量；矩陣
V
\mathbf{V}
V的列向量被稱為右奇異向量(right singular vector) ，它是
A
T
A
\mathbf{A}^T\mathbf{A}
ATA的特征向量；矩陣
D
\mathbf{D}
D的對角元素稱為矩陣
A
\mathbf{A}
A的奇異值（singular value），非零奇異值是
A
T
A
\mathbf{A}^T\mathbf{A}
ATA特征值的平方根，同時也是
A
A
T
\mathbf{A}\mathbf{A}^T
AAT的平方根。文章來源地址http://www.zghlxwxcb.cn/news/detail-787797.html
到了這里，關(guān)于深度學(xué)習(xí)-必備的數(shù)學(xué)知識-線性代數(shù)5的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！
