1. 摘要
眾所周知，過度參數(shù)化的深度神經(jīng)網(wǎng)絡(luò)(DNNs)是一種表達能力極強的函數(shù)，它甚至可以以100%的訓(xùn)練精度記憶隨機數(shù)據(jù)。這就提出了一個問題，為什么他們不能輕易地對真實數(shù)據(jù)進行擬合呢。為了回答這個問題，研究人員使用傅里葉分析來研究深層網(wǎng)絡(luò)。他們證明了具有有限權(quán)值(或訓(xùn)練有限步長)的深度網(wǎng)絡(luò)天生偏向于表示輸入空間上的平滑函數(shù)。具體地說，深度ReLU網(wǎng)絡(luò)函數(shù)的特定頻率分量(k)的衰減速度至少與O(k^2)一樣快，寬度和深度分別以多項式和指數(shù)的方式幫助建模更高的頻率。例如，這說明了為什么DNNs不能完美地記憶峰形三角函數(shù)。他們還表明，DNNs可以利用低維數(shù)據(jù)流形的幾何形狀，用簡單函數(shù)近似流形上存在的復(fù)雜函數(shù)。因此，研究人員發(fā)現(xiàn)，所有被網(wǎng)絡(luò)分類為屬于某一類的樣本(包括對抗本)都通過一條路徑連接，這樣網(wǎng)絡(luò)沿著那條路徑的預(yù)測就不會改變。最后，一般來說高頻分量函數(shù)所對應(yīng)的神經(jīng)網(wǎng)絡(luò)參數(shù)所占比重較小，這有助于正則化與抗過擬合。
2. 引言
低頻信息指的是顏色緩慢變化，代表著連續(xù)漸變的一塊區(qū)域，這部分為低頻信息。對于一副圖像來說，除去高頻就是低頻，也就是邊緣以內(nèi)的內(nèi)容為低頻，而邊緣內(nèi)的內(nèi)容就是圖像的大部分信息，即圖像的大致概貌和輪廓，是圖像的近似信息。
反之，圖像邊緣的灰度值變化快，就對應(yīng)著高頻。圖像的細(xì)節(jié)處也就是屬于灰度值急劇變化的區(qū)域，正是因為灰度值的急劇變化，才會出現(xiàn)細(xì)節(jié)。另外對于噪聲，在一個像素所在的位置，之所以是噪點，是因為它與正常的點顏色不一樣了，也就是說該像素點灰度值明顯不一樣，所以是高頻部分。
通常，圖像的低頻是圖像中對象的大致概況內(nèi)容，高頻對應(yīng)噪聲和細(xì)節(jié)。神經(jīng)網(wǎng)絡(luò)更傾向于擬合高頻信息，而人類主要關(guān)注低頻信息，然而對低頻分量的學(xué)習(xí)，更有助于網(wǎng)絡(luò)提高在對抗干擾過程中的魯棒性。
主要貢獻：
- 利用連續(xù)分段線性結(jié)構(gòu)對ReLU網(wǎng)絡(luò)的傅里葉譜分量進行分析。
- 發(fā)現(xiàn)了譜分量偏差（Spectrum bias）的經(jīng)驗證據(jù)，來源于低頻分量，然而對低頻分量的學(xué)習(xí)，有助于網(wǎng)絡(luò)在對抗干擾過程中的魯棒性。
- 通過流形理論，給予學(xué)習(xí)理論框架分析。
3. 實驗結(jié)果
?
?
?
?
?
參考文獻
On the Spectral Bias of Neural Networks
On the Spectral Bias of Deep Neural Networks筆記 - 知乎文章來源：http://www.zghlxwxcb.cn/news/detail-835348.html
去蕪存三菁，On Spectral Bias of Deep Neural Networks精讀上 - 知乎文章來源地址http://www.zghlxwxcb.cn/news/detail-835348.html
到了這里，關(guān)于On the Spectral Bias of Neural Networks論文閱讀的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！
![[論文閱讀筆記23]Adaptive Sparse Convolutional Networks with Global Context Enhancement for ... on drone](https://imgs.yssmx.com/Uploads/2024/02/763326-1.png)
