本專欄是網(wǎng)易云課堂人工智能課程《神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)》的學(xué)習(xí)筆記，視頻由網(wǎng)易云課堂與 deeplearning.ai 聯(lián)合出品，主講人是吳恩達(dá) Andrew Ng 教授。感興趣的網(wǎng)友可以觀看網(wǎng)易云課堂的視頻進(jìn)行深入學(xué)習(xí)，視頻的鏈接如下：
神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí) - 網(wǎng)易云課堂
也歡迎對(duì)神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)感興趣的網(wǎng)友一起交流 ~
目錄
1 Softmax 激活函數(shù)
2 Softmax 分類器
1 Softmax 激活函數(shù)
? ? ? ? 對(duì)于分類問(wèn)題，如果有多個(gè)分類結(jié)果，那么 Logistic 回歸就不再適用了。Softmax 回歸（Softmax Regression）是 Logistic 回歸的一般形式，可以用于區(qū)分多個(gè)類別的情形，不只是兩個(gè)分類。
? ? ? ? 假設(shè)有一個(gè)圖片分類問(wèn)題，你想要區(qū)分小貓、小狗、小雞，不屬于這三種圖片的則歸于其他。
? ? ? ? ?用 C 表示類別的數(shù)量，分類器輸出層包含的神經(jīng)元數(shù)量應(yīng)該等于 C，輸出層每個(gè)神經(jīng)元的輸出表示該類別的概率值，并且所有輸出概率之和應(yīng)等于 1.
? ? ? ? 為了做到這一點(diǎn)，你需要使用 Softmax 激活函數(shù)，Softmax 激活函數(shù)首先對(duì) z 值進(jìn)行指數(shù)運(yùn)算，得到非負(fù)數(shù)，然后作歸一化處理。
?文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-614389.html
? ? ? ? 相比其他激活函數(shù)，Softmax 激活函數(shù)的特殊之處在于，它的輸入是一個(gè) Cx1 維的向量，并且它的輸出也是一個(gè) Cx1 維的向量。
2 Softmax 分類器
? ? ? ? 實(shí)際上，Softmax 回歸是 Logistic 回歸的推廣，如果分類結(jié)果恰好為 2，那么 Softmax 回歸就變回到了 Logistic 回歸（由于輸出概率之和為 1，所以 Softmax 分類有一個(gè)輸出節(jié)點(diǎn)是冗余的）。
????????
?
? ? ? ? Softmax 回歸在單個(gè)樣本上的損失函數(shù)定義為
當(dāng) yj = 1, j ∈ {0, 1, 2, ... , C-1}?時(shí)，其他分量為 0，因此最小化損失函數(shù)等價(jià)于最大化 log(\hat{y_{j}})，即最大化?\hat{y_{j}}，又由于?\hat{y_{j}} 最大值為 1，所以優(yōu)化算法會(huì)盡可能讓?\hat{y_{j}} 接近 1，也就是接近 yj .
?
?
Softmax 回歸在訓(xùn)練集上的代價(jià)函數(shù)定義為
文章來(lái)源：http://www.zghlxwxcb.cn/news/detail-614389.html
?
到了這里，關(guān)于【深度學(xué)習(xí)筆記】Softmax 回歸的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！
