什么是梯度
計(jì)算梯度向量其幾何意義,就是函數(shù)變化的方向,而且是變化最快的方向。對于函數(shù)f(x),在點(diǎn)(xo,yo),梯度向量的方向也就是y值增加最快的方向。也就是說,沿著梯度向量的方向 △f(xo),能找到函數(shù)的最大值。反過來說,沿著梯度向量相反的方向,也就是 -△f(xo)的方向,梯度減少最快,能找到函數(shù)的最小值。如果某一個點(diǎn)的梯度向量的值為0,那么也就是來到了導(dǎo)數(shù)為0的函數(shù)最低點(diǎn)(或局部最低點(diǎn))了。
梯度下降
下山的路上,難免會出現(xiàn)一會下坡,一會上坡,直到走到山下。
從上面的解釋中,就不難理解為何剛才我們要提到函數(shù)的凹凸性了。因?yàn)?,在非凸函?shù)中,有可能還沒走到山腳,而是到了某一個山谷就停住了。也就是說,對應(yīng)非凸函數(shù)梯度下降不一定總能夠找到全局最優(yōu)解,有可能得到的只是一個局部最優(yōu)解。然而,如果函數(shù)是凸函數(shù),那么梯度下降法理論上就能得到全局最優(yōu)解。
梯度下降有什么用
梯度下降在機(jī)器學(xué)習(xí)中非常有用。簡單地說,可以注意以下幾點(diǎn)。
- 機(jī)器學(xué)習(xí)的本質(zhì)是找到最優(yōu)的函數(shù)。
- 如何衡量函數(shù)是否最優(yōu)?其方法是盡量減小預(yù)測值和真值間的誤差(在機(jī)器學(xué)習(xí)中也叫損失值)。
- 可以建立誤差和模型參數(shù)之間的函數(shù)(最好是凸函數(shù))。
- 梯度下降能夠引導(dǎo)我們走到凸函數(shù)的全局最低點(diǎn),也就是找到誤差最小時的參數(shù)。
學(xué)習(xí)機(jī)器學(xué)習(xí)的參考資料:
(1)書籍
利用Python進(jìn)行數(shù)據(jù)分析
西瓜書
百面機(jī)器學(xué)習(xí)
機(jī)器學(xué)習(xí)實(shí)戰(zhàn)
阿里云天池大賽賽題解析(機(jī)器學(xué)習(xí)篇)
白話機(jī)器學(xué)習(xí)中的數(shù)學(xué)
零基礎(chǔ)學(xué)機(jī)器學(xué)習(xí)
圖解機(jī)器學(xué)習(xí)算法
…文章來源:http://www.zghlxwxcb.cn/news/detail-805372.html
(2)機(jī)構(gòu)
光環(huán)大數(shù)據(jù)
開課吧
極客時間
七月在線
深度之眼
貪心學(xué)院
拉勾教育
博學(xué)谷
…文章來源地址http://www.zghlxwxcb.cn/news/detail-805372.html
到了這里,關(guān)于機(jī)器學(xué)習(xí)_梯度下降的文章就介紹完了。如果您還想了解更多內(nèi)容,請?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章,希望大家以后多多支持TOY模板網(wǎng)!