一、聚類模型簡介
“物以類聚， 人以群分”，所謂的聚類，就是將樣本劃分為由類似的對象組成的多個類的過程。聚類后，我們可以更加準確的在每個類中單獨使用統(tǒng)計模型進行估計、分析或預測，也可以探究不同類之間的相關性和主要差異。
聚類和分類的區(qū)別：分類是已知類別的，聚類未知。
注：聚類模型一般有三種算法，K-means++法、系統(tǒng)層次法和DBSCAN法。
二、適用賽題
只有一對數(shù)據(jù)，要求將數(shù)據(jù)分為幾類，類數(shù)不定。如有全國34個省的關于消費水平的幾個指標，現(xiàn)要求將34個省分為幾類分析。
三、模型流程
四、流程解析
1.K-means++聚類算法
K-means++算法是由K-means算法改進而來，對于K-means算法
優(yōu)點
- 算法簡單、快速
- 對處理大數(shù)據(jù)集，該算法是相對高效率的
缺點文章來源：http://www.zghlxwxcb.cn/news/detail-849722.html
- 要求用戶必須事先給出要生成的簇的數(shù)目K
- 對初值敏感
- 對于孤立點數(shù)據(jù)敏感
而K-means++算法可解決后兩個缺點。
①確定參數(shù)
聚類個數(shù)也就是簇的個數(shù)，也就是像分為多少個類。
迭代次數(shù)是指數(shù)據(jù)每經(jīng)過一次迭代，都會有不同的數(shù)據(jù)進入不同的類，直到達到最大迭代次數(shù)，一般10次后，每次迭代后類中的數(shù)據(jù)就不會改變了。
②初始化聚類中心
這里就是優(yōu)化的地方。K-means算法在初始化的時候，只是隨機地選擇K個數(shù)據(jù)對象作為初始的聚類中心。而K-means++算法選擇初始聚類中心的基本原則是：初始的聚類中心之間的相互距離要盡可能的遠。
具體流程如下
- 隨機選取一個樣本作為第一個聚類中心
- 計算每個樣本與當前已有聚類中心的最短距離（即與最近一個聚類中心的距離），這個值越大，表示被選取作為聚類中心的概率較大。最后，用輪盤法（依據(jù)概率大小來進行抽選）選出下一個聚類中心
- 重復步驟二，直到選出K個聚類中心。選出初始點后，就繼續(xù)使用標準的K-means算法了
③分配和更新
分配數(shù)據(jù)對象是指計算其余的各個數(shù)據(jù)對象到這K個初始聚類中心的距離，把數(shù)據(jù)對象劃歸到距離它最近的那個中心所處在的簇類中變成一個新類。
更新聚類中心是指重新計算出新類的中心，新的中心就是所有數(shù)據(jù)對象的重心。
下面是K-means算法的演示圖
④輸出結果
當完成迭代次數(shù)后，得到結果。
⑤補充
聚類的個數(shù)K值怎么定？
答：分幾類主要取決于個人的經(jīng)驗與感覺，通常的做法是多嘗試幾個K值,看分成幾類的結果更好解釋，更符合分析目的等。
數(shù)據(jù)的量綱不一致怎么辦？
答：如果數(shù)據(jù)的量綱不一樣，那么算距離時就沒有意義。例如:如果X1單位是米，X2單位是噸，用距離公式計算就會出現(xiàn)“米的平方”加上“噸的平方”再開平方，最后算出的東西沒有數(shù)學意義，這就有問題了。這就需要標準化。
這里還是推薦使用SPSS軟件進行操作。
2.系統(tǒng)層次聚類
系統(tǒng)聚類的合并算法通過計算兩類數(shù)據(jù)點間的距離，對最為接近的兩類數(shù)據(jù)點進行組合，并反復迭代這一過程，直到將所有數(shù)據(jù)點合成一類，并生成聚類譜系圖。
①計算距離
這里根據(jù)問題看是求誰的距離，一般是樣品之間距離，也有可能是求指標之間的距離。數(shù)據(jù)的一般格式如下圖
樣品與樣品之間的常用距離（樣品i與樣品j）
指標與指標之間的常用“距離”（指標i與指標j）
最開始的時候，將每個數(shù)據(jù)對象看作一類，計算兩兩之間的最小距離。后面是計算類與類之間的兩兩最小距離。
類與類之間的常用距離
- 由一個樣品組成的類是最基本的類，如果每一類都由一個樣品組成，那么樣品間的距離就是類間距離
- 如果某一類包含不止一個樣品，那么就要確定類間距離，類間距離是基于樣品間距離定義的，大致有如下幾種定義方式：
- 最短距離法（Nearest Neighbor）:
- 組間平均連接法（Between-group Linkage）：
- 組內平均連接法（Within-group Linkage）：
- 重心法（Centroid clustering）：
②合成新類
將距離最小的兩個類合并成一個新類。
③迭代完成
重復計算距離、合成新類，直到最后只剩下一類也就是所有類合并成一類。
④聚類譜系圖
下面就是一個聚類譜系圖
要分成幾類只需要畫豎線即可，有幾個交點就有幾個類，如下圖
按照1分類就有兩類，按照2分類就有三類。
⑤補充
那劃成多少類才是最合適的？
肘部法則（Elbow Method）：通過圖形大致的估計出最優(yōu)的聚類數(shù)量。
首先介紹
然后得到如下圖
在下降趨勢趨緩的時候選擇，上圖就選擇K = 5。
這里還是推薦使用SPSS軟件進行操作。
3.DBSCAN法
DBSCAN（Density-based spatial clustering of applicationswith noise）是Martin Ester，Hans- PeterKriegel等人于1996年提出的一種基于密度的聚類方法，聚類前不需要預先指定聚類的個數(shù)，生成的簇的個數(shù)不定（和數(shù)據(jù)有關）。該算法利用基于密度的聚類的概念，即要求聚類空間中的一定區(qū)域內所包含對象（點或其他空間對象）的數(shù)目不小于某一給定閾值。該方法能在具有噪聲的空間數(shù)據(jù)庫中發(fā)現(xiàn)任意形狀的簇，可將密度足夠大的相鄰區(qū)域連接，能有效處理異常數(shù)據(jù)。
①確定參數(shù)
需要設置的參數(shù)
- 半徑：Eps
- 點數(shù)：MinPts
DBSCAN算法將數(shù)據(jù)點分為三類
- 核心點：在半徑Eps內含有不少于MinPts數(shù)目的點
- 邊界點：在半徑Eps內點的數(shù)量小于MinPts，但是落在核心點的鄰域內
- 噪音點：既不是核心點也不是邊界點的點
舉個例子
在這幅圖里，MinPts = 4，點A和其他紅色點是核心點，因為它們的Eps-鄰域（圖中紅色圓圈）里包含最少4個點（包括自己），由于它們之間相互相可達，它們形成了一-個聚類。點B和點C不是核心點，但它們可由A經(jīng)其他核心點可達，所以也和A屬于同一個聚類。點N是局外點，它既不是核心點，又不由其他點可達。
②調用函數(shù)
MATLAB在2019a版本中正式加入了自己的dbscan函數(shù)，內置函數(shù)的運行效率更高。具體使用方法可以查閱MATLAB官網(wǎng)。
③補充
DBSCAN法優(yōu)缺點
優(yōu)點
- 基于密度定義，能處理任意形狀和大小的簇
- 可在聚類的同時發(fā)現(xiàn)異常點
- 與K-means比較起來，不需要輸入要劃分的聚類個數(shù)
缺點
- 對輸入?yún)?shù)Eps和Minpts敏感，確定參數(shù)困難
- 由于DBSCAN算法中，變量Eps和Minpts是全局唯一的，當聚類的密度不均勻時，聚類距離相差很大時，聚類質量差
- 當數(shù)據(jù)量大時，計算密度單元的計算復雜度大
建議文章來源地址http://www.zghlxwxcb.cn/news/detail-849722.html
- 只有兩個指標，且你做出散點圖后發(fā)現(xiàn)數(shù)據(jù)表現(xiàn)得很“DBSCAN"，這時候你再用DBSCAN進行聚類
- 其他情況下，全部使用系統(tǒng)聚類吧。K-means++也可以用，不過用了的話論文上可寫的東西比較少
到了這里，關于數(shù)學建?！揪垲惸Ｐ汀康奈恼戮徒榻B完了。如果您還想了解更多內容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關文章，希望大家以后多多支持TOY模板網(wǎng)！
