分類目錄：《深入理解深度學(xué)習(xí)》總目錄
在某些情況下，為了正確定義機(jī)器學(xué)習(xí)問(wèn)題，正則化是必要的。機(jī)器學(xué)習(xí)中許多線性模型，包括線性回歸和PCA，都依賴于對(duì)矩陣 X T X X^TX XTX求逆。只要 X T X X^TX XTX是奇異的，這些方法就會(huì)失效。當(dāng)數(shù)據(jù)生成分布在一些方向上確實(shí)沒(méi)有差異時(shí)，或因?yàn)槔虞^少（即相對(duì)輸入特征的維數(shù)來(lái)說(shuō)）而在一些方向上沒(méi)有觀察到方差時(shí)，這個(gè)矩陣就是奇異的。在這種情況下，正則化的許多形式對(duì)應(yīng)求逆 X T X + α I X^TX+\alpha I XTX+αI。這個(gè)正則化矩陣可以保證是可逆的。
相關(guān)矩陣可逆時(shí)，這些線性問(wèn)題有閉式解。沒(méi)有閉式解的問(wèn)題也可能是欠定的。一個(gè)例子是應(yīng)用于線性可分問(wèn)題的邏輯回歸。如果權(quán)重向量 w w w能夠?qū)崿F(xiàn)完美分類，那么 2 w 2w 2w也會(huì)以更高似然實(shí)現(xiàn)完美分類。類似隨機(jī)梯度下降的迭代優(yōu)化算法將持續(xù)增加 w w w的大小，理論上永遠(yuǎn)不會(huì)停止。在實(shí)踐中，數(shù)值實(shí)現(xiàn)的梯度下降最終會(huì)達(dá)到導(dǎo)致數(shù)值溢出的超大權(quán)重，此時(shí)的行為將取決于程序員如何處理這些不是真正數(shù)字的值。
大多數(shù)形式的正則化能夠保證應(yīng)用于欠定問(wèn)題的迭代方法收斂。例如，當(dāng)似然的斜率等于權(quán)重衰減的系數(shù)時(shí)，權(quán)重衰減將阻止梯度下降繼續(xù)增加權(quán)重的大小。使用正則化解決欠定問(wèn)題的想法不局限于機(jī)器學(xué)習(xí)。同樣的想法在幾個(gè)基本線性代數(shù)問(wèn)題中也非常有用。
正如我們?cè)凇稒C(jī)器學(xué)習(xí)中的數(shù)學(xué)——Moore-Penrose偽逆》看到的，我們可以使用Moore-Penrose求解欠定線性方程?；叵?span id="n5n3t3z" class="katex--inline">
X
X
X偽逆
X
+
X^+
X+的一個(gè)定義：
X
+
=
lim
?
α
↘
0
(
X
T
X
+
α
I
)
?
1
X
T
X^+=\lim_{\alpha\searrow0}(X^TX+\alpha I)^{-1}X^T
X+=α↘0lim?(XTX+αI)?1XT
現(xiàn)在我們可以將《機(jī)器學(xué)習(xí)中的數(shù)學(xué)——Moore-Penrose偽逆》看作進(jìn)行具有權(quán)重衰減的線性回歸。具體來(lái)說(shuō)，當(dāng)正則化系數(shù)趨向 0 0 0時(shí)，式 X + = lim ? α ↘ 0 ( X T X + α I ) ? 1 X T X^+=\lim_{\alpha\searrow0}(X^TX+\alpha I)^{-1}X^T X+=limα↘0?(XTX+αI)?1XT是式 ( X T X + α I ) ? 1 X T y (X^TX+\alpha I)^{-1}X^Ty (XTX+αI)?1XTy的極限。因此，我們可以將偽逆解釋為使用正則化來(lái)穩(wěn)定欠定問(wèn)題。文章來(lái)源：http://www.zghlxwxcb.cn/news/detail-525653.html
參考文獻(xiàn)：
[1] Lecun Y, Bengio Y, Hinton G. Deep learning[J]. Nature, 2015
[2] Aston Zhang, Zack C. Lipton, Mu Li, Alex J. Smola. Dive Into Deep Learning[J]. arXiv preprint arXiv:2106.11342, 2021.文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-525653.html
到了這里，關(guān)于深入理解深度學(xué)習(xí)——正則化（Regularization）：正則化和欠約束問(wèn)題的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！
