一、概念:

1、機(jī)器學(xué)習(xí)概念:

機(jī)器學(xué)習(xí) ≈ 訓(xùn)練生成一個(gè)函數(shù)f(.) ，這個(gè)函數(shù)相當(dāng)復(fù)雜。

例如：

2、深度學(xué)習(xí)概念：

機(jī)器學(xué)習(xí)的目的是尋找一個(gè)滿足需求的函數(shù)f(.)，但是具體使用什么方式尋找f(.)沒有說明。

深度學(xué)習(xí)為機(jī)器學(xué)習(xí)領(lǐng)域的一個(gè)子領(lǐng)域，故深度學(xué)習(xí)給出了尋找函數(shù)的方法，即通過“神經(jīng)網(wǎng)絡(luò)”來訓(xùn)練生成一個(gè)函數(shù)f(.) 。

例如：

二、深度學(xué)習(xí)中f(.)的輸入和輸出：

1、輸入：

函數(shù)f(.)的輸入可以是向量、矩陣、序列，根據(jù)不同場(chǎng)景使用不同的輸入。

• 向量
• 矩陣：圖像識(shí)別領(lǐng)域，一張圖片可以轉(zhuǎn)換成矩陣表示
• 序列：序列預(yù)測(cè)、語音辨識(shí)、文字翻譯領(lǐng)域輸入可以轉(zhuǎn)換成序列表示

2、輸出：

根據(jù)不同任務(wù)需求f(.)的輸出不同。

• 數(shù)值
• 類別：分類任務(wù)
• 句子、圖片：翻譯任務(wù)、圖片生成
  

三、三種機(jī)器學(xué)習(xí)任務(wù)：

1、Regression回歸任務(wù)介紹：

函數(shù)輸入：過往PM2.5數(shù)據(jù)以及影響PM2.5的特征值
函數(shù)輸出：預(yù)測(cè)未來PM2.5的值

2、Classification分類任務(wù)介紹：

函數(shù)輸入：棋盤中黑子白子位置
函數(shù)輸出：從19*19個(gè)選項(xiàng)中選擇下一個(gè)落子位置

3、Structured Learning創(chuàng)造性學(xué)習(xí)：

函數(shù)輸出：圖片、文檔等有結(jié)構(gòu)的文件

四、機(jī)器學(xué)習(xí)步驟（模型訓(xùn)練階段）：

這里以回歸任務(wù)為例：目標(biāo)是根據(jù)2/25日瀏覽量數(shù)據(jù)預(yù)測(cè)2/26日瀏覽量數(shù)據(jù)。

第一步：定義一個(gè)含有未知參數(shù)的函數(shù)（以線性函數(shù)為例）：

以最簡單的線性回歸函數(shù)y=b+Wx為例（當(dāng)然機(jī)器學(xué)習(xí)的函數(shù)基本上不會(huì)這么簡單）：

• 函數(shù)y=b+Wx即為平時(shí)稱呼的模型
• x為函數(shù)輸入，輸入的是2/25日瀏覽量數(shù)據(jù)
• y為函數(shù)輸出，輸出的是未來2/26日瀏覽量數(shù)據(jù)
• w和b都是超參數(shù)，初始為位置數(shù)，在模型訓(xùn)練過程中不斷更新參數(shù)使得函數(shù)的輸出值不斷精確（模型訓(xùn)練階段的最終目的是：訓(xùn)練集訓(xùn)練+驗(yàn)證集預(yù)測(cè)過程不斷更新w和b），力圖訓(xùn)練一個(gè)預(yù)測(cè)效果最優(yōu)的模型
• 其中w為x的權(quán)重，b為偏置值

第二步： 定義損失函數(shù)：

損失函數(shù)L(b,w)是一個(gè)已寫好的函數(shù)，用于模型訓(xùn)練階段每次更新超參數(shù)w和b時(shí)都會(huì)在驗(yàn)證集上使用該組w和b計(jì)算預(yù)測(cè)值，然后比較預(yù)測(cè)值和真實(shí)值的差異(損失)，從而衡量本組訓(xùn)練得到的超參數(shù)w和b是否能使得模型預(yù)測(cè)效果最優(yōu)。

• 損失函數(shù)的輸入為超參數(shù)b和w
• Loss越大，即表示當(dāng)前的一組b和w越差，Loss越小，即表示當(dāng)前的一組b和w越優(yōu)秀。

第三步： 尋找最優(yōu)的w、b使得Loss最小：

1.梯度下降：

使用梯度下降法不斷更新w和b，使得每次獲得一組新的w和b(wn和bn)。

不斷執(zhí)行第二步和第三步使得獲得最優(yōu)的w和b(w和b)。

• 其中η為學(xué)習(xí)率，用來控制梯度下降的快慢程度，也是一個(gè)超參數(shù)。

五、線性函數(shù)和復(fù)雜函數(shù)：

1、線性函數(shù)定義：

同(五)，以最簡單的線性回歸函數(shù)y=b+Wx為例（當(dāng)然機(jī)器學(xué)習(xí)的函數(shù)基本上不會(huì)這么簡單）：

• x為函數(shù)輸入，輸入的是2/25日瀏覽量數(shù)據(jù)
• y為函數(shù)輸出，輸出的是未來2/26日瀏覽量數(shù)據(jù)
• w和b都是超參數(shù)，初始為位置數(shù)，在模型訓(xùn)練過程中不斷更新參數(shù)使得函數(shù)的輸出值不斷精確（模型訓(xùn)練階段的最終目的是：訓(xùn)練集訓(xùn)練+驗(yàn)證集預(yù)測(cè)過程不斷更新w和b），力圖訓(xùn)練一個(gè)預(yù)測(cè)效果最優(yōu)的模型
• 其中w為x的權(quán)重，b為偏置值

2、非線性函數(shù)定義：

線性函數(shù)y=wx+b不管超參數(shù)w和b如何變化，函數(shù)始終是一條直線，所以線性函數(shù)在處理具有復(fù)雜關(guān)系的xy時(shí)不適用。

• 對(duì)于復(fù)雜函數(shù)，我們可以用簡單的藍(lán)色函數(shù)（Hard Sigmoid函數(shù)）疊加的方式來獲得一個(gè)復(fù)雜函數(shù)，如下圖所示：
  
• 對(duì)于曲線函數(shù)，我們可以對(duì)曲線每段取微分，每個(gè)微元看做是一個(gè)藍(lán)色函數(shù)（Hard Sigmoid函數(shù)），無數(shù)個(gè)藍(lán)色函數(shù)疊加也可以獲得任意的曲線函數(shù)。
  

3、如何表示出Hard Sigmoid函數(shù)：

各種曲線都可以通過藍(lán)色函數(shù)(Hard Sigmoid)的疊加來表示，那么Hard Sigmoid函數(shù)又要如何表示？

有一種函數(shù)叫做sigmoid函數(shù)，該函數(shù)可以逼近任何的hard sigmoid函數(shù),所以一般使用sigmoid函數(shù)來表示hard sigmoid函數(shù)。

從sigmoid函數(shù)的公式可以看出：

• 通過改變w可以改變函數(shù)的斜率
• 通過改變v可以改變函數(shù)的位置
• 通過改變c可以改變函數(shù)的高度
  
  因此，通過不同的sigmoid函數(shù)疊加我們可以獲得任意的函數(shù)曲線。

4、對(duì)(四)中案例的深入理解（以非線性函數(shù)為例）：

(四)中我們以線性函數(shù)y=wx+b為例，假設(shè)x和y是線性關(guān)系。其中x輸入為2/25日瀏覽量數(shù)據(jù)，y輸出為2/26日瀏覽量數(shù)據(jù)。而在現(xiàn)實(shí)中x和y不可能是簡單的線性關(guān)系，那么函數(shù)應(yīng)該如何表示？當(dāng)然是使用我們的sigmoid函數(shù)：

進(jìn)一步設(shè)想，案例中我們用2/25日瀏覽量數(shù)據(jù)預(yù)測(cè)2/26日瀏覽量數(shù)據(jù)，屬于單特征，此時(shí)僅有一個(gè)輸入x和一個(gè)輸出y，如果我們輸入數(shù)據(jù)為多特征，即要用2/01~2/25這25天的瀏覽量預(yù)測(cè)2/26日瀏覽量數(shù)據(jù)，函數(shù)應(yīng)如何表示？很簡單，數(shù)據(jù)中有25個(gè)特征，每個(gè)特征xi與y之間都有一個(gè)權(quán)重值wi， 因此多特征預(yù)測(cè)單變量的線性函數(shù)關(guān)系和非線性函數(shù)關(guān)系表示如下：

5.多特征預(yù)測(cè)單變量+非線性函數(shù)：

下面我們舉個(gè)例子來深度理解多特征預(yù)測(cè)單變量+非線性函數(shù)文章來源地址http://www.zghlxwxcb.cn/news/detail-834074.html

到了這里，關(guān)于機(jī)器學(xué)習(xí)基本概念（李宏毅課程）的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！