深度學(xué)習(xí)
必備的數(shù)學(xué)知識(shí)
線性代數(shù)
通過偽逆求解線性方程組
偽逆，又稱為Moore-Penrose逆，它是一種廣義的矩陣。我們可以找到任意一個(gè)矩陣的偽逆。矩陣
A
\mathbf{A}
A的偽逆定義為：
A
+
=
lim
?
x
→
0
(
A
T
A
+
α
I
)
?
1
A
T
\mathbf{A}^+=\lim_{x \to 0}(\mathbf{A}^T\mathbf{A}+\alpha\mathbf{I})^{-1}\mathbf{A}^T
A+=x→0lim?(ATA+αI)?1AT
這個(gè)公式被稱為Tikhonov正則化，或嶺回歸。計(jì)算矩陣偽逆的方法很多， 這是其中的一種。我們還可以通過奇異值（SVD）計(jì)算偽逆。
A
+
=
V
D
+
U
T
\mathbf{A}^+=\mathbf{V}\mathbf{D}^+\mathbf{U}^T
A+=VD+UT
其中
V
D
U
\mathbf{V} \mathbf{D} \mathbf{U}
VDU分別對(duì)應(yīng)于奇異值分解中的三個(gè)矩陣。
- V \mathbf{V} V是右奇異向量組成的矩陣
- D + \mathbf{D}^+ D+是 D \mathbf{D} D的偽逆，是一個(gè)以奇異值為對(duì)角元素的對(duì)角矩陣。對(duì)角矩陣的偽逆是通過取原矩陣的對(duì)角線上元素的倒數(shù)得到的
- U \mathbf{U} U是左奇異向量組成的矩陣
對(duì)于一個(gè) m × n m \times n m×n的矩陣 A \mathbf{A} A,其偽逆 A + \mathbf{A}^+ A+是一個(gè) n × m n \times m n×m的矩陣， A + \mathbf{A}^+ A+滿足以下四個(gè)條件：
- A A + A = A \mathbf{A}\mathbf{A}^+\mathbf{A}=\mathbf{A} AA+A=A
- A + A A + = A + \mathbf{A}^+\mathbf{A}\mathbf{A}^+=\mathbf{A}^+ A+AA+=A+
- ( A + A ) T = A + A (\mathbf{A}^+\mathbf{A})^T=\mathbf{A}^+\mathbf{A} (A+A)T=A+A
- ( A A + ) T = A A + (\mathbf{A}\mathbf{A}^+)^T=\mathbf{A}\mathbf{A}^+ (AA+)T=AA+
在求解線性方程
A
x
=
y
\mathbf{A}\mathbf{x}=\mathbf{y}
Ax=y時(shí)，如果
A
\mathbf{A}
A是可逆的，那么我們可以通過
x
=
A
?
1
b
\mathbf{x}=\mathbf{A}^{-1}\mathbf
x=A?1b
來(lái)求解，但是并不是每一個(gè)矩陣都存在逆矩陣。對(duì)于不可以使用矩陣逆求解的方程，我們可以使用偽逆進(jìn)行求解。
偽逆的一個(gè)重要性質(zhì)是
A
A
+
A
=
A
\mathbf{A}\mathbf{A}^+\mathbf{A}=\mathbf{A}
AA+A=A，
所以
A
x
=
b
A
A
+
A
x
=
A
A
+
b
A
x
=
A
A
+
b
x
=
A
+
b
\mathbf{A}\mathbf{x}=\mathbf\\ \mathbf{A}\mathbf{A}^+\mathbf{A}\mathbf{x}=\mathbf{A}\mathbf{A}^+\mathbf\\ \mathbf{A}\mathbf{x}=\mathbf{A}\mathbf{A}^+\mathbf\\ \mathbf{x}=\mathbf{A}^+\mathbf
Ax=bAA+Ax=AA+bAx=AA+bx=A+b
x
=
A
+
b
\mathbf{x}=\mathbf{A}^+\mathbf
x=A+b的解是滿足
∣
∣
A
x
?
b
∣
∣
2
||\mathbf{A}\mathbf{x}-\mathbf||_2
∣∣Ax?b∣∣2?最小的解,換句話說(shuō)
x
=
A
+
b
\mathbf{x}=\mathbf{A}^+\mathbf
x=A+b的解是方程所有可行性解中歐幾里得距離
∣
∣
x
∣
∣
2
||x||_2
∣∣x∣∣2?最小的一個(gè)
跡運(yùn)算
跡運(yùn)算是線性代數(shù)中的一種運(yùn)算， 它對(duì)應(yīng)的是一個(gè)方程所有主對(duì)角線元素的和：
T
r
(
A
)
=
∑
i
A
i
,
i
Tr({\mathbf{A}})=\sum_{i}A_{i,i}
Tr(A)=i∑?Ai,i?
跡運(yùn)算有著很多重要的性質(zhì)。
對(duì)于任意方陣
A
\mathbf{A}
A和
B
\mathbf{B}
B
T
r
(
A
+
B
)
=
T
r
(
A
)
+
T
r
(
B
)
Tr(\mathbf{A}+\mathbf{B})=Tr(\mathbf{A})+Tr(\mathbf{B})
Tr(A+B)=Tr(A)+Tr(B)
對(duì)于任意方陣
A
\mathbf{A}
A和標(biāo)量c
T
r
(
c
A
)
=
c
T
r
(
A
)
Tr(\mathbf{c\mathbf{A}})=cTr(\mathbf{A})
Tr(cA)=cTr(A)
標(biāo)量的跡運(yùn)算結(jié)果仍然是它自身
T
r
(
a
)
=
a
Tr(a)=a
Tr(a)=a
矩陣的跡運(yùn)算結(jié)果等同于矩陣逆的跡運(yùn)算結(jié)果
T
r
(
A
)
=
T
r
(
A
T
)
Tr(\mathbf{A})=Tr(\mathbf{A}^T)
Tr(A)=Tr(AT)
對(duì)一組矩陣乘積進(jìn)行跡運(yùn)算得到的跡與將這組矩陣的最后一個(gè)移至最前面之后相乘的跡是相同(要保證在移動(dòng)后，矩陣乘積仍然成立)
T
r
(
A
B
.
.
N
)
=
T
r
(
N
A
B
.
.
)
Tr(\mathbf{A}\mathbf{B}..\mathbf{N})=Tr(\mathbf{N}\mathbf{A}\mathbf{B}..)
Tr(AB..N)=Tr(NAB..)
更一般的
T
r
(
∏
i
=
1
n
F
(
i
)
)
=
T
r
(
F
(
n
)
∏
i
=
1
n
?
1
F
(
i
)
)
Tr(\prod_{i=1}^{n}\mathbf{F}^{(i)})=Tr(\mathbf{F}^{(n)}\prod_{i=1}^{n-1}\mathbf{F}^{(i)})
Tr(i=1∏n?F(i))=Tr(F(n)i=1∏n?1?F(i))
跡運(yùn)算還提供了描述矩陣Frobenius范式的方式：
∣
∣
A
∣
∣
F
=
T
r
(
A
A
T
)
||A||_{F}=\sqrt{Tr(\mathbf{A}\mathbf{A}^T)}
∣∣A∣∣F?=Tr(AAT)?
行列式
矩陣特征值的乘積稱為行列式，記作
d
e
t
(
A
)
det(A)
det(A)或
∣
A
∣
|\mathbf{A}|
∣A∣。
行列式有著許多重要的性質(zhì)和應(yīng)用：文章來(lái)源：http://www.zghlxwxcb.cn/news/detail-799980.html
- 行列式可以幫助我們判斷一個(gè)矩陣是否可逆，如果一個(gè)矩陣的行列式為0，那么這個(gè)矩陣是不可逆的，如果一個(gè)矩陣的行列式不為0，那么這個(gè)矩陣是可逆的
- 行列式可以用來(lái)計(jì)算一個(gè)矩陣的偽逆
- 等等
如有問題 懇請(qǐng)指正
持續(xù)更新中…文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-799980.html
到了這里，關(guān)于深度學(xué)習(xí)-必備的數(shù)學(xué)知識(shí)-線性代數(shù)6的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！
