機(jī)器學(xué)習(xí)（算法篇）完整教程（附代碼資料）主要內(nèi)容講述：機(jī)器學(xué)習(xí)算法課程定位、目標(biāo)，K-近鄰算法，1.1 K-近鄰算法簡(jiǎn)介，1.2 k近鄰算法api初步使用定位,目標(biāo),學(xué)習(xí)目標(biāo),1 什么是K-近鄰算法,1 Scikit-learn工具介紹,2 K-近鄰算法API,3 案例,4 小結(jié)。K-近鄰算法，1.3 距離度量學(xué)習(xí)目標(biāo),1 歐式距離,2 ,3 切比雪夫距離 (Chebyshev Distance)：,4 閔可夫斯基距離(Minkowski Distance)：,5 標(biāo)準(zhǔn)化歐氏距離 (Standardized EuclideanDistance)：,6 余弦距離(Cosine Distance),7 漢明距離(Hamming Distance)【了解】：,9 馬氏距離(Mahalanobis Distance)【了解】。K-近鄰算法，1.4 k值的選擇學(xué)習(xí)目標(biāo)。K-近鄰算法，1.5 kd樹學(xué)習(xí)目標(biāo),1 kd樹簡(jiǎn)介,2 構(gòu)造方法,3 案例分析,4 總結(jié)。K-近鄰算法，1.6 案例：鳶尾花種類預(yù)測(cè)--數(shù)據(jù)集介紹，1.7 特征工程-特征預(yù)處理學(xué)習(xí)目標(biāo),1 案例：鳶尾花種類預(yù)測(cè),2 scikit-learn中數(shù)據(jù)集介紹,1 什么是特征預(yù)處理,2 歸一化,3 標(biāo)準(zhǔn)化。K-近鄰算法，1.8 案例：鳶尾花種類預(yù)測(cè)—流程實(shí)現(xiàn)，1.9 練一練，1.10 交叉驗(yàn)證，網(wǎng)格搜索，1.11 案例2：預(yù)測(cè)facebook簽到位置學(xué)習(xí)目標(biāo),1 再識(shí)K-近鄰算法API,2 案例：鳶尾花種類預(yù)測(cè),總結(jié),1 什么是交叉驗(yàn)證(cross validation),2 什么是網(wǎng)格搜索(Grid Search),3 交叉驗(yàn)證，網(wǎng)格搜索（模型選擇與調(diào)優(yōu)）API：,4 鳶尾花案例增加K值調(diào)優(yōu),1 數(shù)據(jù)集介紹,2 步驟分析,3 代碼過(guò)程。線性回歸，2.1 線性回歸簡(jiǎn)介，2.2 線性回歸api初步使用，2.3 數(shù)學(xué):求導(dǎo)學(xué)習(xí)目標(biāo),1 線性回歸應(yīng)用場(chǎng)景,2 什么是線性回歸,1 線性回歸API,2 舉例,1 常見函數(shù)的導(dǎo)數(shù),2 導(dǎo)數(shù)的四則運(yùn)算,3 練習(xí),4 矩陣（向量）求導(dǎo) [了解]。線性回歸，2.4 線性回歸的損失和優(yōu)化學(xué)習(xí)目標(biāo),1 損失函數(shù),2 優(yōu)化算法。線性回歸，2.6 梯度下降法介紹，2.5 線性回歸api再介紹學(xué)習(xí)目標(biāo),1 全梯度下降算法（FG）,2 隨機(jī)梯度下降算法（SG）,3 小批量梯度下降算法（mini-bantch）,4 隨機(jī)平均梯度下降算法（SAG）,5 算法比較,6 梯度下降優(yōu)化算法(拓展)。線性回歸，2.7 案例：波士頓房?jī)r(jià)預(yù)測(cè)學(xué)習(xí)目標(biāo),1 分析,2 回歸性能評(píng)估,3 代碼。線性回歸，2.8 欠擬合和過(guò)擬合學(xué)習(xí)目標(biāo),1 定義,2 原因以及解決辦法,3 正則化,4 維災(zāi)難【拓展知識(shí)】。線性回歸，2.9 正則化線性模型，2.10 線性回歸的改進(jìn)-嶺回歸，2.11 模型的保存和加載，邏輯回歸，3.1 邏輯回歸介紹，3.2 邏輯回歸api介紹，3.3 案例：癌癥分類預(yù)測(cè)-良／惡性乳腺癌腫瘤預(yù)測(cè)學(xué)習(xí)目標(biāo),1 Ridge Regression (嶺回歸，又名 Tikhonov regularization),2 Lasso Regression(Lasso 回歸),3 Elastic Net (彈性網(wǎng)絡(luò)),4 Early Stopping [了解],1 API,2 觀察正則化程度的變化，對(duì)結(jié)果的影響？,3 波士頓房?jī)r(jià)預(yù)測(cè),1 sklearn模型的保存和加載API,2 線性回歸的模型保存加載案例,學(xué)習(xí)目標(biāo),1 邏輯回歸的應(yīng)用場(chǎng)景,2 邏輯回歸的原理,3 損失以及優(yōu)化,1 分析,2 代碼。邏輯回歸，3.4 分類評(píng)估方法，3.5 ROC曲線的繪制，決策樹算法，4.1 決策樹算法簡(jiǎn)介學(xué)習(xí)目標(biāo),1.分類評(píng)估方法,2 ROC曲線與AUC指標(biāo),3 總結(jié),1 曲線繪制,2 意義解釋,學(xué)習(xí)目標(biāo)。決策樹算法，4.2 決策樹分類原理學(xué)習(xí)目標(biāo),1 熵,2 決策樹的劃分依據(jù)一------信息增益,3 決策樹的劃分依據(jù)二----信息增益率,4 決策樹的劃分依據(jù)三——基尼值和基尼指數(shù)。決策樹算法，4.3 cart剪枝學(xué)習(xí)目標(biāo),1 為什么要剪枝,2 常用的減枝方法。決策樹算法，4.4 特征工程-特征提取學(xué)習(xí)目標(biāo),1 特征提取,2 字典特征提取,3 文本特征提取。決策樹算法，4.5 決策樹算法api，4.6 案例：泰坦尼克號(hào)乘客生存預(yù)測(cè)，集成學(xué)習(xí)，5.1 集成學(xué)習(xí)算法簡(jiǎn)介，5.2 Bagging學(xué)習(xí)目標(biāo),1 泰坦尼克號(hào)數(shù)據(jù),2 步驟分析,3 代碼過(guò)程,3 決策樹可視化,學(xué)習(xí)目標(biāo),1 什么是集成學(xué)習(xí),2 ,3 集成學(xué)習(xí)中boosting和Bagging,1 Bagging集成原理,2 隨機(jī)森林構(gòu)造過(guò)程,3 隨機(jī)森林api介紹,4 隨機(jī)森林預(yù)測(cè)案例,5 bagging集成優(yōu)點(diǎn)。集成學(xué)習(xí)，5.3 Boosting，聚類算法，6.1 聚類算法簡(jiǎn)介，6.2 聚類算法api初步使用，6.3 聚類算法實(shí)現(xiàn)流程學(xué)習(xí)目標(biāo),1.boosting集成原理,2 GBDT(了解),3.XGBoost【了解】,4 什么是泰勒展開式【拓展】,學(xué)習(xí)目標(biāo),1 認(rèn)識(shí)聚類算法,1 api介紹,2 案例,1 k-means聚類步驟,2 案例練習(xí),3 小結(jié)。聚類算法，6.4 模型評(píng)估，6.5 算法優(yōu)化學(xué)習(xí)目標(biāo),1 誤差平方和(SSE \The sum of squares due to error)：,2 , — K值確定,3 輪廓系數(shù)法（Silhouette Coefficient）,4 CH系數(shù)（Calinski-Harabasz Index）,5 總結(jié),1 Canopy算法配合初始聚類,2 K-means++,3 二分k-means,4 k-medoids（k-中心聚類算法）,5 Kernel k-means（了解）,6 ISODATA（了解）,7 Mini Batch K-Means（了解）,8 總結(jié)。聚類算法，6.6 特征降維，6.7 案例：探究用戶對(duì)物品類別的喜好細(xì)分降維，6.8 算法選擇指導(dǎo)學(xué)習(xí)目標(biāo),1 降維,2 特征選擇,3 主成分分析,1 需求,2 分析,3 完整代碼。

全套筆記資料代碼移步： 前往gitee倉(cāng)庫(kù)查看

感興趣的小伙伴可以自取哦，歡迎大家點(diǎn)贊轉(zhuǎn)發(fā)~

機(jī)器學(xué)習(xí)算法課程定位、目標(biāo)

定位

• 課程以算法、案例為驅(qū)動(dòng)的學(xué)習(xí)，伴隨淺顯易懂的數(shù)學(xué)知識(shí)
• 作為人工智能領(lǐng)域的提升課程，掌握更深更有效的解決問(wèn)題技能

目標(biāo)

• 掌握機(jī)器學(xué)習(xí)常見算法原理
• 應(yīng)用Scikit-learn實(shí)現(xiàn)機(jī)器學(xué)習(xí)算法的應(yīng)用，
• 結(jié)合場(chǎng)景解決實(shí)際問(wèn)題

K-近鄰算法

學(xué)習(xí)目標(biāo)

• 掌握K-近鄰算法實(shí)現(xiàn)過(guò)程
• 知道K-近鄰算法的距離公式
• 知道K-近鄰算法的超參數(shù)K值以及取值問(wèn)題
• 知道kd樹實(shí)現(xiàn)搜索的過(guò)程
• 應(yīng)用KNeighborsClassifier實(shí)現(xiàn)分類
• 知道K-近鄰算法的優(yōu)缺點(diǎn)
• 知道交叉驗(yàn)證實(shí)現(xiàn)過(guò)程
• 知道超參數(shù)搜索過(guò)程
• 應(yīng)用GridSearchCV實(shí)現(xiàn)算法參數(shù)的調(diào)優(yōu)

1.1 K-近鄰算法簡(jiǎn)介

1 什么是K-近鄰算法

• 根據(jù)你的“鄰居”來(lái)推斷出你的類別

1.1 K-近鄰算法(KNN)概念

K Nearest Neighbor算法又叫KNN算法，這個(gè)算法是機(jī)器學(xué)習(xí)里面一個(gè)比較經(jīng)典的算法， 總體來(lái)說(shuō)KNN算法是相對(duì)比較容易理解的算法

• 定義

如果一個(gè)樣本在特征空間中的k個(gè)最相似(即特征空間中最鄰近)的樣本中的大多數(shù)屬于某一個(gè)類別，則該樣本也屬于這個(gè)類別。

來(lái)源：KNN算法最早是由Cover和Hart提出的一種分類算法

• 距離公式

兩個(gè)樣本的距離可以通過(guò)如下公式計(jì)算，又叫歐式距離 ，關(guān)于距離公式會(huì)在后面進(jìn)行討論

1.2 電影類型分析

假設(shè)我們現(xiàn)在有幾部電影

其中？ 號(hào)電影不知道類別，如何去預(yù)測(cè)？我們可以利用K近鄰算法的思想

分別計(jì)算每個(gè)電影和被預(yù)測(cè)電影的距離，然后求解

1.2 k近鄰算法api初步使用

機(jī)器學(xué)習(xí)流程復(fù)習(xí)：

• 1.獲取數(shù)據(jù)集
• 2.數(shù)據(jù)基本處理
• 3.特征工程
• 4.機(jī)器學(xué)習(xí)
• 5.模型評(píng)估

1 Scikit-learn工具介紹

• Python語(yǔ)言的機(jī)器學(xué)習(xí)工具
• Scikit-learn包括許多知名的機(jī)器學(xué)習(xí)算法的實(shí)現(xiàn)
• Scikit-learn文檔完善，容易上手，豐富的API
• 目前穩(wěn)定版本0.19.1

1.1 安裝

pip3 install scikit-learn==0.19.1

安裝好之后可以通過(guò)以下命令查看是否安裝成功

import sklearn

• 注：安裝scikit-learn需要Numpy, Scipy等庫(kù)

1.2 Scikit-learn包含的內(nèi)容

• 分類、聚類、回歸
• 特征工程
• 模型選擇、調(diào)優(yōu)

2 K-近鄰算法API

• sklearn.neighbors.KNeighborsClassifier(n_neighbors=5)

  • n_neighbors：int,可選（默認(rèn)= 5），k_neighbors查詢默認(rèn)使用的鄰居數(shù)

3 案例

3.1 步驟分析

• 1.獲取數(shù)據(jù)集
• 2.數(shù)據(jù)基本處理（該案例中省略）
• 3.特征工程（該案例中省略）
• 4.機(jī)器學(xué)習(xí)
• 5.模型評(píng)估（該案例中省略）

3.2 代碼過(guò)程

• 導(dǎo)入模塊

from sklearn.neighbors import KNeighborsClassifier

• 構(gòu)造數(shù)據(jù)集

x = [[0], [1], [2], [3]]
y = [0, 0, 1, 1]

• 機(jī)器學(xué)習(xí) -- 模型訓(xùn)練

  
  
# 實(shí)例化API
  
  
estimator = KNeighborsClassifier(n_neighbors=2)
  
  
# 使用fit方法進(jìn)行訓(xùn)練
  
  
estimator.fit(x, y)

estimator.predict([[1]])

4 小結(jié)

• 最近鄰 (k-Nearest Neighbors，KNN) 算法是一種分類算法，

• 1968年由 Cover 和 Hart 提出，應(yīng)用場(chǎng)景有字符識(shí)別、文本分類、圖像識(shí)別等領(lǐng)域。

• 該算法的思想是：一個(gè)樣本與數(shù)據(jù)集中的k個(gè)樣本最相似，如果這k個(gè)樣本中的大多數(shù)屬于某一個(gè)類別.

• 實(shí)現(xiàn)流程

1）計(jì)算已知類別數(shù)據(jù)集中的點(diǎn)與當(dāng)前點(diǎn)之間的距離

2）按距離遞增次序排序

3）選取與當(dāng)前點(diǎn)距離最小的k個(gè)點(diǎn)

4）統(tǒng)計(jì)前k個(gè)點(diǎn)所在的類別出現(xiàn)的頻率

5）返回前k個(gè)點(diǎn)出現(xiàn)頻率最高的類別作為當(dāng)前點(diǎn)的預(yù)測(cè)分類

• 問(wèn)題

1.距離公式，除了歐式距離，還有哪些距離公式可以使用？

2.選取K值的大??？

3.api中其他參數(shù)的具體含義？

K-近鄰算法

學(xué)習(xí)目標(biāo)

• 掌握K-近鄰算法實(shí)現(xiàn)過(guò)程
• 知道K-近鄰算法的距離公式
• 知道K-近鄰算法的超參數(shù)K值以及取值問(wèn)題
• 知道kd樹實(shí)現(xiàn)搜索的過(guò)程
• 應(yīng)用KNeighborsClassifier實(shí)現(xiàn)分類
• 知道K-近鄰算法的優(yōu)缺點(diǎn)
• 知道交叉驗(yàn)證實(shí)現(xiàn)過(guò)程
• 知道超參數(shù)搜索過(guò)程
• 應(yīng)用GridSearchCV實(shí)現(xiàn)算法參數(shù)的調(diào)優(yōu)

1.3 距離度量

1 歐式距離(Euclidean Distance)：

歐氏距離是最容易直觀理解的距離度量方法，我們小學(xué)、初中和高中接觸到的兩個(gè)點(diǎn)在空間中的距離一般都是指歐氏距離。

舉例:

X=[[1,1],[2,2],[3,3],[4,4]];
經(jīng)計(jì)算得:
d = 1.4142    2.8284    4.2426    1.4142    2.8284    1.4142

2 曼哈頓距離(Manhattan Distance)：

在曼哈頓街區(qū)要從一個(gè)十字路口開車到另一個(gè)十字路口，駕駛距離顯然不是兩點(diǎn)間的直線距離。這個(gè)實(shí)際駕駛距離就是“曼哈頓距離”。曼哈頓距離也稱為“城市街區(qū)距離”(City Block distance)。

舉例:

X=[[1,1],[2,2],[3,3],[4,4]];
經(jīng)計(jì)算得:
d =   2     4     6     2     4     2

3 切比雪夫距離 (Chebyshev Distance)：

國(guó)際象棋中，國(guó)王可以直行、橫行、斜行，所以國(guó)王走一步可以移動(dòng)到相鄰8個(gè)方格中的任意一個(gè)。國(guó)王從格子(x1,y1)走到格子(x2,y2)最少需要多少步？這個(gè)距離就叫切比雪夫距離。

舉例:

X=[[1,1],[2,2],[3,3],[4,4]];
經(jīng)計(jì)算得:
d =   1     2     3     1     2     1

4 閔可夫斯基距離(Minkowski Distance)：

閔氏距離不是一種距離，而是一組距離的定義，是對(duì)多個(gè)距離度量公式的概括性的表述。

兩個(gè)n維變量a(x11,x12,…,x1n)與b(x21,x22,…,x2n)間的閔可夫斯基距離定義為：

其中p是一個(gè)變參數(shù)：

當(dāng)p=1時(shí)，就是曼哈頓距離；

當(dāng)p=2時(shí)，就是歐氏距離；

當(dāng)p→∞時(shí)，就是切比雪夫距離。

根據(jù)p的不同，閔氏距離可以表示某一類/種的距離。

小結(jié)：

1 閔氏距離，包括曼哈頓距離、歐氏距離和切比雪夫距離都存在明顯的缺點(diǎn):

e.g. 二維樣本(身高[單位:cm],體重[單位:kg]),現(xiàn)有三個(gè)樣本：a(180,50)，b(190,50)，c(180,60)。

a與b的閔氏距離（無(wú)論是曼哈頓距離、歐氏距離或切比雪夫距離）等于a與c的閔氏距離。但實(shí)際上身高的10cm并不能和體重的10kg劃等號(hào)。

2 閔氏距離的缺點(diǎn)：

? (1)將各個(gè)分量的量綱(scale)，也就是“單位”相同的看待了;

? (2)未考慮各個(gè)分量的分布（期望，方差等）可能是不同的。

5 標(biāo)準(zhǔn)化歐氏距離 (Standardized EuclideanDistance)：

標(biāo)準(zhǔn)化歐氏距離是針對(duì)歐氏距離的缺點(diǎn)而作的一種改進(jìn)。

思路：既然數(shù)據(jù)各維分量的分布不一樣，那先將各個(gè)分量都“標(biāo)準(zhǔn)化”到均值、方差相等。假設(shè)樣本集X的均值(mean)為m，標(biāo)準(zhǔn)差(standard deviation)為s，X的“標(biāo)準(zhǔn)化變量”表示為：

如果將方差的倒數(shù)看成一個(gè)權(quán)重，也可稱之為加權(quán)歐氏距離(Weighted Euclidean distance)。

舉例:

X=[[1,1],[2,2],[3,3],[4,4]];（假設(shè)兩個(gè)分量的標(biāo)準(zhǔn)差分別為0.5和1）
經(jīng)計(jì)算得:
d =   2.2361    4.4721    6.7082    2.2361    4.4721    2.2361

6 余弦距離(Cosine Distance)

幾何中，夾角余弦可用來(lái)衡量?jī)蓚€(gè)向量方向的差異；機(jī)器學(xué)習(xí)中，借用這一概念來(lái)衡量樣本向量之間的差異。

• 二維空間中向量A(x1,y1)與向量B(x2,y2)的夾角余弦公式：

• 兩個(gè)n維樣本點(diǎn)a(x11,x12,…,x1n)和b(x21,x22,…,x2n)的夾角余弦為：

即：

夾角余弦取值范圍為[-1,1]。余弦越大表示兩個(gè)向量的夾角越小，余弦越小表示兩向量的夾角越大。當(dāng)兩個(gè)向量的方向重合時(shí)余弦取最大值1，當(dāng)兩個(gè)向量的方向完全相反余弦取最小值-1。

舉例:

X=[[1,1],[1,2],[2,5],[1,-4]]
經(jīng)計(jì)算得:
d =   0.9487    0.9191   -0.5145    0.9965   -0.7593   -0.8107

7 漢明距離(Hamming Distance)【了解】：

兩個(gè)等長(zhǎng)字符串s1與s2的漢明距離為：將其中一個(gè)變?yōu)榱硗庖粋€(gè)所需要作的最小字符替換次數(shù)。

例如:

The Hamming distance between "1011101" and "1001001" is 2. 
  The Hamming distance between "2143896" and "2233796" is 3. 
  The Hamming distance between "toned" and "roses" is 3.

隨堂練習(xí)：
求下列字符串的漢明距離：

  1011101與 1001001 　

  2143896與 2233796 
　
  irie與 rise

漢明重量：是字符串相對(duì)于同樣長(zhǎng)度的零字符串的漢明距離，也就是說(shuō)，它是字符串中非零的元素個(gè)數(shù)：對(duì)于二進(jìn)制字符串來(lái)說(shuō)，就是 1 的個(gè)數(shù)，所以 11101 的漢明重量是 4。因此，如果向量空間中的元素a和b之間的漢明距離等于它們漢明重量的差a-b。

應(yīng)用：漢明重量分析在包括信息論、編碼理論、密碼學(xué)等領(lǐng)域都有應(yīng)用。比如在信息編碼過(guò)程中，為了增強(qiáng)容錯(cuò)性，應(yīng)使得編碼間的最小漢明距離盡可能大。但是，如果要比較兩個(gè)不同長(zhǎng)度的字符串，不僅要進(jìn)行替換，而且要進(jìn)行插入與刪除的運(yùn)算，在這種場(chǎng)合下，通常使用更加復(fù)雜的編輯距離等算法。

舉例:

X=[[0,1,1],[1,1,2],[1,5,2]]
注：以下計(jì)算方式中，把2個(gè)向量之間的漢明距離定義為2個(gè)向量不同的分量所占的百分比。

經(jīng)計(jì)算得:
d =   0.6667    1.0000    0.3333

8 杰卡德距離(Jaccard Distance)【了解】：

杰卡德相似系數(shù)(Jaccard similarity coefficient)：兩個(gè)集合A和B的交集元素在A，B的并集中所占的比例，稱為兩個(gè)集合的杰卡德相似系數(shù)，用符號(hào)J(A,B)表示：

杰卡德距離(Jaccard Distance)：與杰卡德相似系數(shù)相反，用兩個(gè)集合中不同元素占所有元素的比例來(lái)衡量?jī)蓚€(gè)集合的區(qū)分度：

舉例:

X=[[1,1,0][1,-1,0],[-1,1,0]]
注：以下計(jì)算中，把杰卡德距離定義為不同的維度的個(gè)數(shù)占“非全零維度”的比例
經(jīng)計(jì)算得:
d =   0.5000    0.5000    1.0000

9 馬氏距離(Mahalanobis Distance)【了解】

下圖有兩個(gè)正態(tài)分布圖，它們的均值分別為a和b，但方差不一樣，則圖中的A點(diǎn)離哪個(gè)總體更近？或者說(shuō)A有更大的概率屬于誰(shuí)？顯然，A離左邊的更近，A屬于左邊總體的概率更大，盡管A與a的歐式距離遠(yuǎn)一些。這就是馬氏距離的直觀解釋。

馬氏距離是基于樣本分布的一種距離。

馬氏距離是由印度統(tǒng)計(jì)學(xué)家馬哈拉諾比斯提出的，表示數(shù)據(jù)的協(xié)方差距離。它是一種有效的計(jì)算兩個(gè)位置樣本集的相似度的方法。

與歐式距離不同的是，它考慮到各種特性之間的聯(lián)系，即獨(dú)立于測(cè)量尺度。

馬氏距離定義：設(shè)總體G為m維總體（考察m個(gè)指標(biāo)），均值向量為μ=（μ₁，μ₂，… ...，μ_m，）^`,協(xié)方差陣為∑=（σ_ij）,

則樣本X=（X₁，X₂，… …，X_m，）^`與總體G的馬氏距離定義為：

馬氏距離也可以定義為兩個(gè)服從同一分布并且其協(xié)方差矩陣為∑的隨機(jī)變量的差異程度：如果協(xié)方差矩陣為單位矩陣，馬氏距離就簡(jiǎn)化為歐式距離；如果協(xié)方差矩陣為對(duì)角矩陣，則其也可稱為正規(guī)化的歐式距離。

馬氏距離特性：

1.量綱無(wú)關(guān)，排除變量之間的相關(guān)性的干擾；

2.馬氏距離的計(jì)算是建立在總體樣本的基礎(chǔ)上的，如果拿同樣的兩個(gè)樣本，放入兩個(gè)不同的總體中，最后計(jì)算得出的兩個(gè)樣本間的馬氏距離通常是不相同的，除非這兩個(gè)總體的協(xié)方差矩陣碰巧相同；

3 .計(jì)算馬氏距離過(guò)程中，要求總體樣本數(shù)大于樣本的維數(shù)，否則得到的總體樣本協(xié)方差矩陣逆矩陣不存在，這種情況下，用歐式距離計(jì)算即可。

4.還有一種情況，滿足了條件總體樣本數(shù)大于樣本的維數(shù)，但是協(xié)方差矩陣的逆矩陣仍然不存在，比如三個(gè)樣本點(diǎn)（3，4），（5，6），（7，8），這種情況是因?yàn)檫@三個(gè)樣本在其所處的二維空間平面內(nèi)共線。這種情況下，也采用歐式距離計(jì)算。

歐式距離&馬氏距離：

舉例：

已知有兩個(gè)類G₁和G₂，比如G₁是設(shè)備A生產(chǎn)的產(chǎn)品，G₂是設(shè)備B生產(chǎn)的同類產(chǎn)品。設(shè)備A的產(chǎn)品質(zhì)量高（如考察指標(biāo)為耐磨度X），其平均耐磨度μ₁=80，反映設(shè)備精度的方差σ²(1)=0.25;設(shè)備B的產(chǎn)品質(zhì)量稍差，其平均耐磨損度μ₂=75，反映設(shè)備精度的方差σ²(2)=4.

今有一產(chǎn)品G₀，測(cè)的耐磨損度X₀=78，試判斷該產(chǎn)品是哪一臺(tái)設(shè)備生產(chǎn)的？

直觀地看，X₀與μ₁（設(shè)備A）的絕對(duì)距離近些，按距離最近的原則，是否應(yīng)把該產(chǎn)品判斷設(shè)備A生產(chǎn)的？

考慮一種相對(duì)于分散性的距離，記X₀與G₁，G₂的相對(duì)距離為d₁，d₂,則：

因?yàn)閐₂=1.5 < d₁=4，按這種距離準(zhǔn)則，應(yīng)判斷X₀為設(shè)備B生產(chǎn)的。

設(shè)備B生產(chǎn)的產(chǎn)品質(zhì)量較分散，出現(xiàn)X₀為78的可能性較大；而設(shè)備A生產(chǎn)的產(chǎn)品質(zhì)量較集中，出現(xiàn)X₀為78的可能性較小。

這種相對(duì)于分散性的距離判斷就是馬氏距離。

文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-838578.html

未完待續(xù)， 同學(xué)們請(qǐng)等待下一期

全套筆記資料代碼移步： 前往gitee倉(cāng)庫(kù)查看

感興趣的小伙伴可以自取哦，歡迎大家點(diǎn)贊轉(zhuǎn)發(fā)~

到了這里，關(guān)于【機(jī)器學(xué)習(xí)】機(jī)器學(xué)習(xí)創(chuàng)建算法第1篇：機(jī)器學(xué)習(xí)算法課程定位、目標(biāo)【附代碼文檔】的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！