線性模型
- 向量版本
y = ? w , x ? + b y = \langle w, x \rangle + b y=?w,x?+b
分類與回歸
- 懂得兩者區(qū)別
- 激活函數(shù)，損失函數(shù)
感知機模型
- 感知機模型的本質(zhì)是線性模型，再加上激活函數(shù)
- 訓(xùn)練數(shù)據(jù)、損失函數(shù)、梯度下降，小批量梯度下降
- 神經(jīng)網(wǎng)絡(luò)算法整體流程：
- 初始化網(wǎng)絡(luò)
- 前向傳播
- 計算損失
- 計算微分
- 梯度下降
- 反向傳播
- 多輪迭代
激活函數(shù)
- 給模型加入擬合非線性功能
- 常見激活函數(shù)：
- Sigmoid 0-1 二分類
- Tanh -1-1
- relu：公認(rèn)的最好用的激活函數(shù)之一
維度詛咒
- 神經(jīng)網(wǎng)絡(luò)可以很輕松的對隱藏層進行升降維
- 升維后密度呈現(xiàn)指數(shù)形式逐漸下降，維度太大會過擬合
過擬合和欠擬合
- 訓(xùn)練誤差：模型在訓(xùn)練集上的誤差
- 泛化誤差：模型在同樣從原始樣本的分布中抽取的無限多數(shù)據(jù)樣本時模型誤差的期望?，F(xiàn)實世界不可能有無限多數(shù)據(jù)，所以只能將模型應(yīng)用于獨立的測試集來估計泛化誤差。
- 過擬合：訓(xùn)練誤差小，泛化誤差大。
- 欠擬合：訓(xùn)練誤差大，泛化誤差大。
- 解決過擬合：
- 正則化：減少參數(shù)的大小
- 數(shù)據(jù)增強：對原始數(shù)據(jù)做變化增加數(shù)據(jù)量
- 降維：特征選擇
- 集成學(xué)習(xí)：多個模型集成在一起
- 早停法：監(jiān)控訓(xùn)練集和驗證集的錯誤率
- 解決欠擬合：
- 添加新特征
- 增加模型復(fù)雜度
- 減少正則化系數(shù)
正則
- 正則：約束模型復(fù)雜度來防止過擬合現(xiàn)象的一種手段。模型復(fù)雜度是由模型參數(shù)量大小和參數(shù)的可取值范圍共同決定的。
- 正則兩個方向：約束模型參數(shù)量(dropout)，約束模型取值范圍(weight decay)
- 利用均方范數(shù)作為硬性和軟性限制
- 衡量模型好壞可以看方差和偏差
| \ | 低方差 | 高方差 |
|---|---|---|
| 低偏差 | 預(yù)測準(zhǔn)，且較集中 | 預(yù)測準(zhǔn)，但較分散 |
| 高偏差 | 預(yù)測不準(zhǔn)，且較集中 | 預(yù)測不準(zhǔn)，且比較分散 |
-
L1正則化：使參數(shù)稀疏化
損失函數(shù) = 原始損失函數(shù) + λ 2 m ∑ i = 1 n ∣ w i ∣ \text{損失函數(shù)} = \text{原始損失函數(shù)} + \frac{\lambda}{2m}\sum_{i=1}^{n} |w_i| 損失函數(shù)=原始損失函數(shù)+2mλ?i=1∑n?∣wi?∣ -
L2正則化：降低參數(shù)范圍
損失函數(shù) = 原始損失函數(shù) + λ 2 m ∑ i = 1 n w i 2 \text{損失函數(shù)} = \text{原始損失函數(shù)} + \frac{\lambda}{2m} \sum_{i=1}^{n} w_i^2 損失函數(shù)=原始損失函數(shù)+2mλ?i=1∑n?wi2? -
Dropout 對神經(jīng)網(wǎng)絡(luò)的節(jié)點進行隨機的失活，訓(xùn)練時失活，預(yù)測是全部節(jié)點
-
集成學(xué)習(xí)是打比賽進行提點的一個很重要的方法
數(shù)據(jù)增強
- 成功的機器學(xué)習(xí)應(yīng)用不是擁有最好的算法，而是擁有最多的數(shù)據(jù)！
- 當(dāng)數(shù)據(jù)到達(dá)一定級數(shù)后，擁有相近的高準(zhǔn)確度。
數(shù)值穩(wěn)定性
- 計算機視覺，模型很大，數(shù)據(jù)集要好幾萬、好幾億。模型不大，要需要上百。
- 梯度消失
- 梯度爆炸
- 解決方法：數(shù)據(jù)歸一化
- Z-Score歸一化
- 最大最小歸一化
- 原因：提升模型精度和收斂速度
神經(jīng)網(wǎng)絡(luò)大家族
CNN
- Image Search
- Image Labeling
- Image Segmantation
- Object Detection
- Object Tracking
- OCR
- Video Annotation
- Recommendation
- Image Classification
- Robot perception
- 以上分類不及1/10
RNN
- 語法語義分析
- 信息檢索
- 自動文摘
- 文本數(shù)據(jù)挖掘
- 自動問答
- 機器翻譯
- 知識圖譜
- 情感分析
- 文本相似度
- 文本糾錯
原理：下一層的輸入不僅和原始輸入有關(guān)，還和之前的輸出有關(guān)
GNN（圖神經(jīng)網(wǎng)絡(luò)）
- 芯片設(shè)計
- 場景分析與問題推理
- 推薦系統(tǒng)
- 欺詐檢測與風(fēng)控相關(guān)
- 知識圖譜
- 道路交通的流量預(yù)測
- 自動駕駛（無人機等場景）
- 化學(xué)，醫(yī)療等場景
- 生物，制藥等場景
- 社交網(wǎng)絡(luò)
原理：圖節(jié)點，邊和整體進行訓(xùn)練文章來源：http://www.zghlxwxcb.cn/news/detail-725369.html
GAN
- 圖像超分辨率
- 藝術(shù)創(chuàng)作
- 圖像到圖像的翻譯（風(fēng)格遷移）
- 文本到圖像的翻譯
- 圖片編輯
- 服裝翻譯
- 照片表情符號
- 圖片融合
- 圖片修補
原理：生成器和判別器文章來源地址http://www.zghlxwxcb.cn/news/detail-725369.html
到了這里，關(guān)于機器學(xué)習(xí)-有監(jiān)督學(xué)習(xí)-神經(jīng)網(wǎng)絡(luò)的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！
