1.神經(jīng)網(wǎng)絡(luò)
- 一種機器學習的算法
- 一般有輸入層-->隱藏層-->輸出層
- 隱藏層數(shù)量多于兩個的稱為深度神經(jīng)網(wǎng)絡(luò);
- 輸入的是特征向量;
- 特征向量代表的是變化的方向;
- 或者說是最能代表這個事物的特征方向;
- 權(quán)重是特征值,有正有負,加強或抑制;
- 權(quán)重的絕對值大小,代表輸入信號對神經(jīng)元的影響大小
什么是神經(jīng)網(wǎng)絡(luò)
- 人是怎么思考的?--生物神經(jīng)網(wǎng)絡(luò)
- ?由相互聯(lián)系的神經(jīng)元組成;
- 神經(jīng)元具有權(quán)重;
- 根據(jù)訓練期間的錯誤更新偏差;
- 找到一個未知函數(shù)的近似解;
感知器?
- 外部刺激通過神經(jīng)末梢,轉(zhuǎn)為電信號
- 電信號傳導到神經(jīng)細胞(又稱神經(jīng)元)
- 無數(shù)神經(jīng)元構(gòu)成神經(jīng)中樞
- 神經(jīng)中樞綜合各種信號,給出判斷
- 人體根據(jù)神經(jīng)中樞指令,對外部刺激作出反應.
生物神經(jīng)網(wǎng)絡(luò)基本工作原理
- 一個神經(jīng)元的輸入端有多個樹突;
- 樹突主要用來接收輸入信息;
- 突觸累加信息;
- 累加的信息大于特定的閾值時;
- 軸突會把信息傳輸出去;
- 此時稱為神經(jīng)元被激活;
- 相反,處理后的輸入信息小于閾值,神經(jīng)元處于抑制狀態(tài);
人工神經(jīng)網(wǎng)絡(luò)
- 接收來自其他n個神經(jīng)元傳遞的信號;
- 這些信號與相應的權(quán)重進行加權(quán)求和,并傳遞給下個階段(預激活階段);
- 加權(quán)結(jié)果(也稱為預激活的加權(quán))傳遞給激活函數(shù);
?
?
人工神經(jīng)網(wǎng)絡(luò)與生物神經(jīng)網(wǎng)絡(luò)的不同?
- 人腦中的一個神經(jīng)元可連接一定距離內(nèi)的任意神經(jīng)元;
- 人工神經(jīng)網(wǎng)絡(luò)具有離散的層\連接和數(shù)據(jù)傳播的方向
神經(jīng)元
- 組成神經(jīng)元網(wǎng)絡(luò)的最基本單位;
- 起初來源于人體,模仿人體的神經(jīng)元;
- 功能與人體的神經(jīng)元一致;
- 對得到的信號,經(jīng)數(shù)據(jù)處理;
- 給出一個結(jié)果作為輸出;
- 或者作為下一個神經(jīng)元的輸入
- 當h大于0時輸出1;
- 當h小于0時輸出0;
- 實質(zhì)是把特征空間一切兩半;
- 每一半分屬不同的類;?
- 神經(jīng)元的缺點:只能一刀切;
- 解決方法:多層神經(jīng)網(wǎng)絡(luò);
人工神經(jīng)網(wǎng)絡(luò)的實現(xiàn)
- 神經(jīng)網(wǎng)絡(luò)是一種運算模型;
- 由大量的節(jié)點(神經(jīng)元)和其間的相互連接構(gòu)成;
- 兩個節(jié)點之間的連接具有一個權(quán)重;
- 權(quán)重相當于人工神經(jīng)網(wǎng)絡(luò)的記憶;
- 輸出依賴于網(wǎng)絡(luò)的連接方式,權(quán)重和激勵函數(shù)的不同而不同;
- 網(wǎng)絡(luò)本身是對自然界某種算法或者函數(shù)的逼近;
- 也可能是對一種邏輯策略的表達
多層神經(jīng)網(wǎng)絡(luò)
- 由多個神經(jīng)元組合而成;
- 前一個神經(jīng)元的結(jié)果作為后一個神經(jīng)元的輸入;
- 任何多層網(wǎng)絡(luò)可以用三層網(wǎng)絡(luò)近似表示;
- 根據(jù)經(jīng)驗確定隱藏層應該有多少個節(jié)點;
- 根據(jù)測試的效果調(diào)整隱藏層節(jié)點數(shù)量;
前饋神經(jīng)網(wǎng)絡(luò)
- ?也稱多層感知機;
- 人工神經(jīng)網(wǎng)絡(luò)主要考慮網(wǎng)絡(luò)鏈接的拓撲結(jié)構(gòu)\神經(jīng)元特征\學習規(guī)則等;
2.激活函數(shù)
- 神經(jīng)網(wǎng)絡(luò)設(shè)計的一個核心單元;
- 處于活躍狀態(tài)的神經(jīng)元成為激活態(tài);
- 非活躍的神經(jīng)元成為抑制態(tài);
- 激活函數(shù)賦予神經(jīng)元自我學習和適應的能力;
- 激活函數(shù)的作用為了在網(wǎng)絡(luò)中引入非線性的學習和處理能力;
常用的激活函數(shù)
- sigmoid函數(shù):
- tanh函數(shù):
- ReLU函數(shù):
?
激活函數(shù)的作用
?
sigmoid的主要缺點
- ?梯度飽和,兩邊數(shù)值的梯度都為0;
- 結(jié)果的平均值不為0,會導致后層神經(jīng)元輸入非零均值信號,對梯度產(chǎn)生影響
?reLU
- 起源于神經(jīng)科學的研究;
- 從生物學角度模擬了腦神經(jīng)接受信號更精確的激活模型
激活函數(shù)比較
神經(jīng)元稀疏
- ?ReLU函數(shù)是分段線性函數(shù);
- 把所有的負值變?yōu)?,正值不變;
- 這種操作稱為單側(cè)抑制;
- 因為單側(cè)抑制,網(wǎng)絡(luò)中的神經(jīng)元具有稀疏激活性;
- 模型增加N層后,理論上ReLU神經(jīng)元的激活率降低2的N次方倍;
張量
- 算法的運行依賴數(shù)據(jù)結(jié)構(gòu);
- 張量將各種數(shù)據(jù)統(tǒng)一封裝并輸入網(wǎng)絡(luò);
- 不同情況下有不同存在形式的張量;
- 張量的一大特征是維度;
- 0維張量是一個常量;
- python中讀取ndim獲取張量維度;
- 數(shù)組等價一維張量;
- 二維數(shù)組等價一個二維張量;
- n維張量本質(zhì)是一維數(shù)組,數(shù)組中的元素都是n-1維張量
設(shè)計神經(jīng)網(wǎng)絡(luò)
- 確定網(wǎng)絡(luò)的層數(shù);
- 確定每層單元個數(shù);
- 將特征向量歸一化,加速學習過程;
- 編碼離散變量,每一個輸入單元對應一個可能特征值;
- 可以解決分類問題(classification)
- 也可解決回歸問題(regression)
- 兩分類問題的輸出表示:[0,1];
- 多分類問題的輸出表示:[1 0 0 0 0 0];
- 確定隱藏層的數(shù)量沒有規(guī)則;
- 根據(jù)實驗測試和誤差精準度不斷調(diào)整改進.
感性認識隱含層
- 輸入層的每個節(jié)點代表圖片的某一像素;
- 輸入層的節(jié)點個數(shù)為像素點的個數(shù);
- 輸出層為一個單一節(jié)點,標示0和1;
- 對人臉識別的問題;
- 問題分解:
- 上方有頭發(fā);
- 左上\右上各有一個眼睛;
- 中間有鼻子
- 下方中間有嘴巴
- 左右兩側(cè)有耳朵
- 綜合上述問題的結(jié)果:
- 大部分為1,判定為人臉;
- 子網(wǎng)絡(luò)繼續(xù)分解為解決更為簡單的問題.?
- 一層層的分解;
- 直到一個神經(jīng)元能回答一個簡單的問題;
?
3.深度學習
深度神經(jīng)網(wǎng)絡(luò)&深度學習
- 傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)發(fā)展到了多隱藏層結(jié)構(gòu)
- 具有多個隱藏層的網(wǎng)絡(luò)稱為深度神經(jīng)網(wǎng)絡(luò);
- 基于深度神經(jīng)網(wǎng)絡(luò)的機器學習稱為深度學習
機器學習
- 是人工智能的核心;
- 研究如何使用機器來模擬人類學習活動的一門學科;
- 一種實現(xiàn)人工智能的方法;
- 是一門多領(lǐng)域交叉學科;
- 涉及概率論\統(tǒng)計學\逼近論\凸分析\算法復雜度理論等多門學科
- 使計算機具有智能的根本途徑
- 應用遍及人工智能的各個領(lǐng)域
- 主要使用歸納\綜合而不是演繹
深度學習
- 多層人工神經(jīng)網(wǎng)絡(luò)
- 是機器學習的分支
- 對數(shù)據(jù)進行表征學習的方法
- 一種實現(xiàn)機器學習的技術(shù);
- 將模型處理得更加復雜;
- 使模型對數(shù)據(jù)的理解更為深入;
- 動機在于建立\模擬人腦進行分析學習的神經(jīng)網(wǎng)絡(luò)
- 模仿人腦的機制來解釋數(shù)據(jù);
- 實質(zhì)是通過構(gòu)建具有多隱藏層的機器學習模型;
- 以及海量的訓練數(shù)據(jù)
- 學習更有用的特征
- 最終提升分類或預測的準確性
- 最重要的作用是表征學習,
- 學習層級化的特征
?
- 數(shù)據(jù)規(guī)模推動深度學習進步;?
?
人工智能關(guān)系圈
文章來源：http://www.zghlxwxcb.cn/news/detail-832745.html
文章來源地址http://www.zghlxwxcb.cn/news/detail-832745.html
到了這里，關(guān)于計算機視覺基礎(chǔ)知識(十二)--神經(jīng)網(wǎng)絡(luò)與深度學習的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！
