深度學(xué)習(xí)與AI的關(guān)系

AI 包括 機(jī)器學(xué)習(xí) 包括 深度學(xué)習(xí)
目前深度學(xué)習(xí)的算法表現(xiàn)更好

機(jī)器學(xué)習(xí)的流程

數(shù)據(jù)獲取
特征工程
建立模型
評(píng)估與應(yīng)用

機(jī)器學(xué)習(xí)的核心以及問題

特征、算法
特征決定了模型的上限，算法和參數(shù)決定了如何去逼近這個(gè)基線

問題：傳統(tǒng)的機(jī)器學(xué)習(xí)算法，在數(shù)據(jù)規(guī)模上升時(shí)，效果無(wú)法提升

深度學(xué)習(xí)要解決的問題

模型如何搭建？

領(lǐng)域都有成型的模型，每年都有很多優(yōu)秀的論文可以參考，反而特征提取更加重要

特征如何提取？

數(shù)值特征比較好提取
但是文本和圖像 音視頻等怎么提取呢？
留到下文詳述

為什么要深度學(xué)習(xí)？

深度學(xué)習(xí)是一個(gè)黑盒子，能夠提取出來(lái)最合適的特征，且能夠自我學(xué)習(xí)更新，具備強(qiáng)大的學(xué)習(xí)能力

深度學(xué)習(xí)的應(yīng)用

視覺類和自然語(yǔ)言類

• 視覺類任務(wù)
  目標(biāo)檢測(cè)：無(wú)人駕駛汽車 怎么識(shí)別和檢測(cè)目標(biāo)
  

醫(yī)學(xué) 影像識(shí)別 基因檢測(cè)

• 自然語(yǔ)言處理
  聊天機(jī)器人，生成對(duì)話機(jī)器人

• 人臉識(shí)別 人臉替換
  

• 超分辨率重構(gòu)

深度學(xué)習(xí)的問題

計(jì)算量很大
計(jì)算中涉及的參數(shù)上千萬(wàn) 上億，計(jì)算和更新耗時(shí)很長(zhǎng)
因此移動(dòng)端不能很好的支持

計(jì)算機(jī)視覺任務(wù)

分類與檢索

分類是指：讓程序分類圖片是什么,
由斯坦福大學(xué)的李飛飛教授帶領(lǐng)創(chuàng)建IMAGENET分類數(shù)據(jù)集。該數(shù)據(jù)集包合 14,197,122張圖片和21,841個(gè)Synset索引，基本可涵蓋大部分分類了。

如何實(shí)現(xiàn)分類

• 傳統(tǒng)的算法識(shí)別圖片類別的方法：

比如K臨近算法

以上圖為例：
選擇離目標(biāo)最近的3個(gè)點(diǎn)，比如第一個(gè)圈部分，三角形居多，那這個(gè)圖片的分類就很可能是三角形。
但是這也有問題，如果選擇的K是5個(gè)呢？ 那這個(gè)類別的判定就是正方形，分類截然相反

• 以像素的近似點(diǎn)分類
  先看一下，圖像在計(jì)算中的表現(xiàn)形式，以3通道為例：RGB 3通道，一個(gè)3維 0到255的圖像（h, w, c）形式
  比如543的圖片為例，在計(jì)算機(jī)中的表示

這樣一個(gè)3維的像素?cái)?shù)據(jù)如何判定出圖片類別呢？
既然顏色的明亮程度可以用像素值類標(biāo)識(shí)，最先想到的就是找出一些分類目標(biāo)圖片，計(jì)算輸入圖片與分類圖片的像素差，哪兩個(gè)個(gè)像素差最小，就歸屬于哪一類，最終分類的效果如下：

可以看出來(lái)部分圖片的分類是正確，但是還有很大一部分是錯(cuò)誤的，比如馬被識(shí)別到了翻斗車的類別里
問題出在哪里呢？
首先無(wú)法區(qū)分背景和主題，對(duì)一幅圖片來(lái)說(shuō)，主題和背景的權(quán)重應(yīng)該是不一樣的，顯然像素值的大小無(wú)法應(yīng)對(duì)這種情況，另外還有如下所述的難點(diǎn)：

面臨的挑戰(zhàn)
比如照射的角度會(huì)導(dǎo)致像素變化
比如主體被別的東西遮蔽了

形狀改變了

被擋住了一部分

背景混子在一起：

如何解決呢？
具體實(shí)現(xiàn)方式：
學(xué)習(xí)一次就知道了，比如遮蔽的情況，找一些類似的圖片進(jìn)行標(biāo)注，進(jìn)行學(xué)習(xí)
，通過學(xué)習(xí)后的網(wǎng)絡(luò)就會(huì)記住這些特征也是屬于這種分類的

神經(jīng)網(wǎng)絡(luò)基礎(chǔ)

線性函數(shù)

（32，32，3)的圖像 ,目標(biāo)就是能計(jì)算它屬于每個(gè)分類的得分。
這個(gè)貓是由3072個(gè)像素點(diǎn)決定的，也就是所謂的特征有3072個(gè)，記為x，怎么得出分值呢？
首先我們考慮一個(gè)問題，每個(gè)像素點(diǎn)對(duì)于這個(gè)貓的重要程度一樣么？
答案是肯定不一樣，比如背景的像素點(diǎn)是不相關(guān)的，重要程度低
比如眼睛，耳朵等等的像素點(diǎn)很重要，需要一個(gè)高的權(quán)重參數(shù)
所以需要3072個(gè)權(quán)重參數(shù)，來(lái)標(biāo)注這個(gè)像素對(duì)于這個(gè)分類的重要程度

我們用一個(gè)w（3072）標(biāo)識(shí) 每個(gè)像素是貓這個(gè)分類的權(quán)重
如果是判定十分類，就需要3072組w，10*3072大小的權(quán)重矩陣，分別去表示3073個(gè)像素分別對(duì)應(yīng)10分類的權(quán)重。

矩陣中的數(shù)字的意義：
越大的權(quán)重?cái)?shù)據(jù)說(shuō)明，當(dāng)前的這個(gè)像素，對(duì)這個(gè)類別比較重要
權(quán)重中的負(fù)數(shù)表示對(duì)這個(gè)類別是抑制的作用
0表示對(duì)這個(gè)類別沒有作用

這個(gè)矩陣哪里來(lái)的？
初始是隨機(jī)值
比如現(xiàn)在判定錯(cuò)了，說(shuō)明是權(quán)重不太對(duì)，想出一種方法，不斷的去優(yōu)化權(quán)重矩陣，直至能夠區(qū)分出這個(gè)分類。那么問題來(lái)了，這個(gè)優(yōu)化方法是什么？答案是利用損失函數(shù)

損失函數(shù)

損失函數(shù)的作用是來(lái)衡量分類的結(jié)果的，神經(jīng)網(wǎng)絡(luò)可以分類可以回歸等，相同的網(wǎng)絡(luò)，配以不同的損失函數(shù)，就可以完成不同的任務(wù)。

舉個(gè)例子：經(jīng)過神經(jīng)網(wǎng)絡(luò)輸出貓 狗 飛機(jī)的分?jǐn)?shù)是22 56 48，損失函數(shù)sum(max(0, y_predict - y_true)),這樣設(shè)計(jì)的損失函數(shù)，在分類正確時(shí)，損失就為0

另一個(gè)問題，損失函數(shù)有不同的類型，如果損失函數(shù)的值相同，意味著模型相同么？如下的例子：

比如輸入數(shù)據(jù) 1，1，1，1
模型1最終w1 [1,0,0,0]
模型2最終w2 [0.25, 0.25, 0.25, 0.25]

答案肯定是否定的，這兩個(gè)模型肯定是不同的，雖然這兩個(gè)參數(shù)與輸入矩陣相乘后損失相同的。第一個(gè)模型是一種突然的變化，就容易導(dǎo)致結(jié)果過擬合

防止過擬合

通常為了防止過擬合，損失函數(shù)都設(shè)計(jì)為加上正則化的懲罰項(xiàng)：
損失函數(shù) = 數(shù)據(jù)損失 + 正則化的懲罰項(xiàng)

我們總是希望模型不要太復(fù)雜，過擬合的模型是沒用的，神經(jīng)網(wǎng)絡(luò)太強(qiáng)大了，而越強(qiáng)大的模型，過擬合就越大

前向傳播

f(w, x)計(jì)算損失的過程，就是所謂的前向傳播。

更進(jìn)一步，在神經(jīng)網(wǎng)絡(luò)中，最終到的是一個(gè)分?jǐn)?shù)值，但如果給我們一個(gè)概率的話是不是更好？

這就是通常所說(shuō)的 歸一化f，

e指數(shù)次冪可以放大變化，上述可以歸為0.1區(qū)間的概率值，也是常說(shuō)的softmax

反向傳播

由輸入一步步計(jì)算出損失,是正向傳播
那么如何更新模型呢？ 更新模型的實(shí)質(zhì)就是更新權(quán)重w， 這就是所謂的反向傳播（也叫梯度下降）

反向傳播的計(jì)算方法

當(dāng)我們得到了一個(gè)目標(biāo)損失函數(shù)后，讓損失盡可能的小，結(jié)果就越靠近真實(shí)值，那怎么去求解呢？
尋找一種方法，更新后的參數(shù)能使目標(biāo)函數(shù)達(dá)到極值點(diǎn)，極值點(diǎn)又是怎么求？數(shù)學(xué)上已經(jīng)證明了的是極值點(diǎn)導(dǎo)數(shù)為0的點(diǎn)，這就是所謂的更新的方向。

我們需要從損失出發(fā)，向前去尋找導(dǎo)數(shù)為0的點(diǎn)，這種從后向前傳播的過程就是反向傳播，具體來(lái)說(shuō)的計(jì)算方法是用了導(dǎo)數(shù)的鏈?zhǔn)椒▌t

傳播就是根據(jù)這個(gè)法則一步步往后計(jì)算的，常見的梯度下降算法：

• 批量梯度下降：
  容易得到最優(yōu)解，但是考慮所有樣本，速度很慢

• 隨機(jī)梯度下降SGD
  每次找一個(gè)樣本，迭代速度快，但不一定是朝收斂的方向

• 小批量梯度下降
  每一次更新選擇一小部分?jǐn)?shù)據(jù)來(lái)算

學(xué)習(xí)率（或步長(zhǎng)）：
梯度下降的粒度，它對(duì)結(jié)果產(chǎn)生巨大影響，一般都會(huì)選擇小一點(diǎn)

另外每次批處理的數(shù)量： 32 64 128都可以，很多時(shí)候需要考慮內(nèi)存和效率

神經(jīng)網(wǎng)絡(luò)的架構(gòu)

輸入層 輸出層 隱藏層

除了輸入和輸出，其它層叫做隱藏層

全連接層

中間這些連接線，其實(shí)就是所謂的參數(shù)，被稱為全連接層，實(shí)質(zhì)上是權(quán)重矩陣，意義是什么呢？比如上述對(duì)于10分類的權(quán)重矩陣，是對(duì)3072個(gè)像素的每個(gè)像素點(diǎn)，10個(gè)分類的不同權(quán)重。

神經(jīng)元

隱層中的特征個(gè)數(shù)

神經(jīng)元對(duì)網(wǎng)絡(luò)的影響：

1. 參數(shù)個(gè)數(shù)
   舉個(gè)例子 （800，600，3）的圖片 100萬(wàn)個(gè)像素點(diǎn)，100w輸入，增加一個(gè)神經(jīng)元，1個(gè)隱層就增加100w個(gè)參數(shù)
2. 擬合的程度
   斯坦福大學(xué)有一個(gè)網(wǎng)站，可以顯示神經(jīng)元個(gè)數(shù)對(duì)分類的影響 https://cs.stanford.edu/people/karpathy/convnetjs/demo/classify2d.html

上圖分別是2和6個(gè)神經(jīng)元的展示結(jié)果，6確實(shí)是更擬合

懲罰粒度對(duì)結(jié)果擬合的影響

顯然這里，更大的懲罰力度，可以讓模型更穩(wěn)定

激活函數(shù)

非線性函數(shù) sigmod RELU tanh 等
實(shí)際上幾乎每個(gè)隱藏層后面都還包括一些激活函數(shù)，加入一些非線性特征，常用的激活函數(shù)及其優(yōu)缺點(diǎn)：

如上所述，sigmod 一旦數(shù)值較大或者較小，sigmod函數(shù)獲取不到了，也就是所謂的梯度消失
ReLU及變種，是當(dāng)前最常用的激活函數(shù)

數(shù)據(jù)預(yù)處理

zero center 移動(dòng)中心點(diǎn) , normalized 縮小尺寸

參數(shù)初始化

一般都是隨即策略進(jìn)行參數(shù)初始化文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-599943.html

過擬合解決方法

1. 正則化
2. 懲罰力度
3. drop out 舍棄一部分神經(jīng)元
4. 其他

到了這里，關(guān)于【深度學(xué)習(xí)-神經(jīng)網(wǎng)絡(luò)架構(gòu)-通俗易懂的入門課程】的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！