本篇文章中我們將對(duì)機(jī)器學(xué)習(xí)做全面的了解與介紹，其中第一章 初識(shí)機(jī)器學(xué)習(xí)分為上下兩個(gè)小章節(jié)，對(duì)機(jī)器學(xué)習(xí)是什么、機(jī)器學(xué)習(xí)由來(lái)以及機(jī)器學(xué)習(xí)的理論等展開(kāi)說(shuō)明。目的是能讓即便完全沒(méi)接觸過(guò)機(jī)器學(xué)習(xí)的人也能在短時(shí)間對(duì)機(jī)器學(xué)習(xí)有一個(gè)全面了解。后續(xù)將推出機(jī)器學(xué)習(xí)的進(jìn)階內(nèi)容，包括經(jīng)典基礎(chǔ)篇（線性模型、決策樹(shù)、集成學(xué)習(xí)、聚類等），實(shí)戰(zhàn)進(jìn)階篇（特征工程、模型訓(xùn)練與驗(yàn)證、融合與部署等）。本篇為第一章 初識(shí)機(jī)器學(xué)習(xí)（上），我們從這里開(kāi)始，開(kāi)啟一個(gè)全新的學(xué)習(xí)旅程。

1 機(jī)器學(xué)習(xí)描述

1.1 機(jī)器學(xué)習(xí)是什么？

機(jī)器學(xué)習(xí)（Machine Learning，ML）是使用統(tǒng)計(jì)（或數(shù)學(xué)）技術(shù)從觀察到的數(shù)據(jù)中構(gòu)建模型（或系統(tǒng)）的一個(gè)計(jì)算機(jī)科學(xué)領(lǐng)域。機(jī)器學(xué)習(xí)用計(jì)算機(jī)程序模擬人的學(xué)習(xí)能力，從樣本數(shù)據(jù)中學(xué)習(xí)得到知識(shí)和規(guī)律，然后用于實(shí)際的推斷和決策。

從廣義上來(lái)說(shuō)，機(jī)器學(xué)習(xí)能夠賦予“機(jī)器”學(xué)習(xí)的能力，使其實(shí)現(xiàn)直接編程無(wú)法完成的工作。但從實(shí)踐意義上來(lái)說(shuō)，機(jī)器學(xué)習(xí)是利用數(shù)據(jù)訓(xùn)練出模型，并使用模型進(jìn)行預(yù)測(cè)的一種方法。“訓(xùn)練”與“預(yù)測(cè)”是機(jī)器學(xué)習(xí)的兩個(gè)過(guò)程，“模型”則是過(guò)程中間的輸出結(jié)果，“訓(xùn)練”產(chǎn)生“模型”，“模型”指導(dǎo) “預(yù)測(cè)”。接下來(lái)我們把機(jī)器學(xué)習(xí)的過(guò)程與人類對(duì)歷史經(jīng)驗(yàn)歸納演繹的過(guò)程做個(gè)比對(duì)。

機(jī)器學(xué)習(xí)中的“訓(xùn)練”與“預(yù)測(cè)”過(guò)程可以對(duì)應(yīng)到人類的“歸納”和“演繹”過(guò)程。通過(guò)這樣的對(duì)應(yīng)，我們可以發(fā)現(xiàn)，機(jī)器學(xué)習(xí)的思想并不復(fù)雜，僅僅是對(duì)人類在生活中學(xué)習(xí)成長(zhǎng)的一個(gè)模擬。由于機(jī)器學(xué)習(xí)不是基于編程形成的結(jié)果，因此它的處理過(guò)程不是因果的邏輯，而是通過(guò)歸納思想得出的相關(guān)性結(jié)論。

人類對(duì)歷史經(jīng)驗(yàn)歸納過(guò)程

人類在成長(zhǎng)、生活過(guò)程中積累了很多的歷史與經(jīng)驗(yàn)。人類定期地對(duì)這些經(jīng)驗(yàn)進(jìn)行“歸納”，獲得了生活的“規(guī)律”。當(dāng)人類遇到未知的問(wèn)題或者需要對(duì)未來(lái)進(jìn)行“推測(cè)”的時(shí)候，人類將使用這些“規(guī)律”，對(duì)未知問(wèn)題與未來(lái)進(jìn)行“演繹”，從而指導(dǎo)自己的生活和工作。

1.2 機(jī)器學(xué)習(xí)的應(yīng)用范圍

機(jī)器學(xué)習(xí)應(yīng)用廣泛，在各方面都有其施展的空間，包括：數(shù)據(jù)分析與挖掘、模式識(shí)別、虛擬助手和交通預(yù)測(cè)等。從行業(yè)來(lái)看，在金融領(lǐng)域（檢測(cè)信用卡欺詐、證券市場(chǎng)分析等）、互聯(lián)網(wǎng)領(lǐng)域（自然語(yǔ)言處理、語(yǔ)音識(shí)別、搜索引擎等）、醫(yī)學(xué)領(lǐng)域、自動(dòng)化及機(jī)器人領(lǐng)域（無(wú)人駕駛、信號(hào)處理等）、游戲領(lǐng)域、刑偵領(lǐng)域等也都有所涉及。

1.2.1 數(shù)據(jù)分析與挖掘

“數(shù)據(jù)挖掘”和”數(shù)據(jù)分析”通常被相提并論，但無(wú)論是數(shù)據(jù)分析還是數(shù)據(jù)挖掘，都是在幫助人們收集與分析數(shù)據(jù)，使之成為信息并做出推測(cè)與判斷。因此可以將這兩項(xiàng)合稱為數(shù)據(jù)分析與挖掘。數(shù)據(jù)分析與挖掘是機(jī)器學(xué)習(xí)技術(shù)和大數(shù)據(jù)存儲(chǔ)技術(shù)結(jié)合的產(chǎn)物，利用機(jī)器學(xué)習(xí)手段分析海量數(shù)據(jù)，同時(shí)利用數(shù)據(jù)存儲(chǔ)機(jī)制實(shí)現(xiàn)數(shù)據(jù)的高效讀寫(xiě)。機(jī)器學(xué)習(xí)在數(shù)據(jù)分析與挖掘領(lǐng)域中擁有無(wú)可取代的地位，2012年Hadoop進(jìn)軍機(jī)器學(xué)習(xí)領(lǐng)域就是一個(gè)很好的例子。

1.2.2 模式識(shí)別

模式識(shí)別的應(yīng)用領(lǐng)域廣泛，包括計(jì)算機(jī)視覺(jué)、醫(yī)學(xué)圖像分析、光學(xué)文字識(shí)別、自然語(yǔ)言處理、語(yǔ)音識(shí)別、手寫(xiě)識(shí)別、生物特征識(shí)別、文件分類、搜索引擎等，而這些領(lǐng)域也正是機(jī)器學(xué)習(xí)大展身手的舞臺(tái)，因此模式識(shí)別與機(jī)器學(xué)習(xí)的關(guān)系越來(lái)越密切。

1.2.3 虛擬助手

Siri，Alexa，Google?Now都是虛擬助手。在交互過(guò)程中，虛擬助手會(huì)協(xié)助查找信息，搜索相關(guān)歷史行為，或向其他資源（如電話應(yīng)用程序）發(fā)送命令收集更多信息，以滿足人們提出的需求。

1.2.4 交通預(yù)測(cè)

生活中我們經(jīng)常使用GPS導(dǎo)航服務(wù)，機(jī)器學(xué)習(xí)能夠幫助我們預(yù)測(cè)交通堵塞。當(dāng)前高德地圖，騰訊地圖等都應(yīng)用了機(jī)器學(xué)習(xí)技術(shù)，識(shí)別擁擠路段，規(guī)劃最優(yōu)路線。

2 機(jī)器學(xué)習(xí)發(fā)展史

2.1 淺層學(xué)習(xí)階段

1. 1957年，Rosenblatt發(fā)明了感知機(jī)（Perceptron），是神經(jīng)網(wǎng)絡(luò)的雛形，同時(shí)也是支持向量機(jī)的基礎(chǔ)，在當(dāng)時(shí)引起了不小的轟動(dòng)。
2. 1959年，IBM的寫(xiě)出了可以學(xué)習(xí)的西洋棋程序，并在 IBM Journal of Research and Development期刊上發(fā)表了一篇名為《Some Studies in Machine Learning Using the Game of Checkers》的論文中，定義并解釋了一個(gè)新詞——機(jī)器學(xué)習(xí)（Machine Learning，ML）。將機(jī)器學(xué)習(xí)非正式定義為“在不直接針對(duì)問(wèn)題進(jìn)行編程的情況下，賦予計(jì)算機(jī)學(xué)習(xí)能力的一個(gè)研究領(lǐng)域”。
3. 1960年，Widrow發(fā)明了Delta學(xué)習(xí)規(guī)則，即如今的最小二乘問(wèn)題，立刻被應(yīng)用到感知機(jī)中，并且得到了一個(gè)極好的線性分類器。
4. 1970年，Seppo Linnainmaa首次完整地?cái)⑹隽俗詣?dòng)鏈?zhǔn)角髮?dǎo)方法（Automatic Differentiation，AD），是著名的反向傳播算法（Back Propagation，BP）的雛形，但在當(dāng)時(shí)并沒(méi)有引起重視。
5. 1974年，Werbos首次提出把BP算法的思想應(yīng)用到神經(jīng)網(wǎng)絡(luò)，也就是多層感知機(jī)（Multilayer Perception，MLP），并在1982年實(shí)現(xiàn)，就是現(xiàn)在通用的BP算法，促成了第二次神經(jīng)網(wǎng)絡(luò)大發(fā)展。
6. 1985-1986年，Rumelhart，Hinton等許多神經(jīng)網(wǎng)絡(luò)學(xué)者成功實(shí)現(xiàn)了實(shí)用的BP算法來(lái)訓(xùn)練神經(jīng)網(wǎng)絡(luò)，并在很長(zhǎng)一段時(shí)間內(nèi)BP都作為神經(jīng)網(wǎng)絡(luò)訓(xùn)練的專用算法。
7. 1986年，J.R.Quinlan提出了另一個(gè)同樣著名的ML算法—決策樹(shù)算法（Iterative Dichotomiser 3，ID3），決策樹(shù)作為一個(gè)預(yù)測(cè)模型，代表的是對(duì)象屬性與對(duì)象值之間的一種映射關(guān)系，而且緊隨其后涌現(xiàn)出了很多類似或者改進(jìn)算法，如ID4，回歸樹(shù)，CART等。
8. 1995年，Yan LeCun提出了卷積神經(jīng)網(wǎng)絡(luò)（Convolution Neural Network，CNN），受生物視覺(jué)模型的啟發(fā)，通常有至少兩個(gè)非線性可訓(xùn)練的卷積層，兩個(gè)非線性的固定卷積層，模擬視覺(jué)皮層中的V1，V2，Simple cell和Complex cell，在手寫(xiě)字識(shí)別等小規(guī)模問(wèn)題上，取得了當(dāng)時(shí)世界最好結(jié)果，但是在大規(guī)模問(wèn)題上表現(xiàn)不佳。
9. 1995年，Vapnik和Cortes提出了強(qiáng)大的支持向量機(jī)（Support Vector Machine，SVM），主要思想是用一個(gè)分類超平面將樣本分開(kāi)從而達(dá)到分類效果，具有很強(qiáng)的理論論證和實(shí)驗(yàn)結(jié)果。至此，ML分為NN和SVM兩派。
10. 1997年，F(xiàn)reund和Schapire提出了另一個(gè)堅(jiān)實(shí)的ML模型AdaBoost，該算法最大的特點(diǎn)在于組合弱分類器形成強(qiáng)分類器，可以形象地表述為：“三個(gè)臭皮匠賽過(guò)諸葛亮”，分類效果比其它強(qiáng)分類器更好。
11. 2001年，隨著核方法的提出，SVM大占上風(fēng)，它的主要思想就是通過(guò)將低維數(shù)據(jù)映射到高維，從而實(shí)現(xiàn)線性可分。至此，SVM在很多領(lǐng)域超過(guò)了NN模型。除此之外，SVM還發(fā)展了一系列針對(duì)NN模型的基礎(chǔ)理論，包括凸優(yōu)化、范化間隔理論和核方法。
12. 2001年，Breiman提出了一個(gè)可以將多個(gè)決策樹(shù)組合起來(lái)的模型隨機(jī)森林（Random Forest，RF），它可以處理大量的輸入變量，有很高的準(zhǔn)確度，學(xué)習(xí)過(guò)程很快，不會(huì)產(chǎn)生過(guò)擬合問(wèn)題，具有很好的魯棒性。
13. 2001年，Hochreiter發(fā)現(xiàn)使用BP算法時(shí)，在NN單元飽和之后會(huì)發(fā)生梯度損失（梯度擴(kuò)散）。簡(jiǎn)單來(lái)說(shuō)就是訓(xùn)練NN模型時(shí)，超過(guò)一定的迭代次數(shù)后，容易過(guò)擬合。NN的發(fā)展一度陷入停滯狀態(tài)。

2.2 深度學(xué)習(xí)階段

二十一世紀(jì)初，學(xué)界掀起了以“深度學(xué)習(xí)”為名的熱潮。所謂深度學(xué)習(xí)？狹義地說(shuō)就是“很多層”的神經(jīng)網(wǎng)絡(luò)。在若干測(cè)試和競(jìng)賽上，尤其是涉及語(yǔ)音、圖像等復(fù)雜對(duì)象的應(yīng)用中，深度學(xué)習(xí)技術(shù)取得了優(yōu)越性能。以往機(jī)器學(xué)習(xí)技術(shù)在應(yīng)用中要取得好性能，對(duì)使用者的要求較高；而深度學(xué)習(xí)技術(shù)涉及的模型復(fù)雜度非常高，以至于只要下工夫“調(diào)參”，只要把參數(shù)調(diào)節(jié)好，性能往往就好。因此，深度學(xué)習(xí)雖缺乏嚴(yán)格的理論基礎(chǔ)，但它顯著降低了機(jī)器學(xué)習(xí)應(yīng)用者的門(mén)檻，為機(jī)器學(xué)習(xí)技術(shù)走向工程實(shí)踐帶來(lái)了便利。那么它為什么此時(shí)才熱起來(lái)呢？有兩個(gè)原因，一是數(shù)據(jù)量增大了，二是計(jì)算能力強(qiáng)了。深度學(xué)習(xí)模型擁有大量參數(shù)，若數(shù)據(jù)樣本少，則很容易“過(guò)擬合”。如此復(fù)雜的模型、如此大的數(shù)據(jù)樣本，若缺乏強(qiáng)力計(jì)算設(shè)備，根本無(wú)法求解。恰恰人類進(jìn)入了大數(shù)據(jù)時(shí)代，數(shù)據(jù)儲(chǔ)量與計(jì)算設(shè)備都有了大發(fā)展，才使得深度學(xué)習(xí)技術(shù)又煥發(fā)一春。

1. 2006年，Hinton和他的學(xué)生在《Nature》上發(fā)表了一篇深度置信網(wǎng)絡(luò)（Deep Belief Network，DBN）的文章，從此開(kāi)啟了深度學(xué)習(xí)（Deep Learning，DL）階段，掀起了深度神經(jīng)網(wǎng)絡(luò)即深度學(xué)習(xí)的浪潮。
2. 2009年，微軟研究院和Hinton合作研究基于深度神經(jīng)網(wǎng)絡(luò)的語(yǔ)音識(shí)別，歷時(shí)兩年取得成果，徹底改變了傳統(tǒng)的語(yǔ)音識(shí)別技術(shù)框架，使得相對(duì)誤識(shí)別率降低25%。
3. 2012年，Hinton又帶領(lǐng)學(xué)生在目前最大的圖像數(shù)據(jù)庫(kù)ImageNet上，基于深度神經(jīng)網(wǎng)絡(luò)對(duì)圖分類問(wèn)題取得了驚人的結(jié)果，將Top5錯(cuò)誤率由26%大幅降低至15%。（ImageNet 是一個(gè)計(jì)算機(jī)視覺(jué)系統(tǒng)識(shí)別項(xiàng)目，是目前世界上圖像識(shí)別最大的數(shù)據(jù)庫(kù)。是美國(guó)斯坦福的計(jì)算機(jī)科學(xué)家，模擬人類的識(shí)別系統(tǒng)建立的。能夠從圖片識(shí)別物體。）
4. 2012年，由人工智能和機(jī)器學(xué)習(xí)頂級(jí)學(xué)者Andrew Ng和分布式系統(tǒng)頂級(jí)專家Jeff Dean領(lǐng)銜的夢(mèng)幻陣容，開(kāi)始打造Google Brain項(xiàng)目，用包含16000個(gè)CPU核的并行計(jì)算平臺(tái)訓(xùn)練超過(guò)10億個(gè)神經(jīng)元的深度神經(jīng)網(wǎng)絡(luò)，在語(yǔ)音識(shí)別和圖像識(shí)別等領(lǐng)域取得了突破性的進(jìn)展。該系統(tǒng)通過(guò)分析YouTube上選取的視頻，采用無(wú)監(jiān)督的方式訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)，可將圖像自動(dòng)聚類。在系統(tǒng)中輸入“cat”后，結(jié)果在沒(méi)有外界干涉的條件下，識(shí)別出了貓臉。
5. 2012年，微軟首席研究官Rick Rashid在21世紀(jì)的計(jì)算大會(huì)上演示了一套自動(dòng)同聲傳譯系統(tǒng)，將他的英文演講實(shí)時(shí)轉(zhuǎn)換成與他音色相近、字正腔圓的中文演講。同聲傳譯需要經(jīng)歷語(yǔ)音識(shí)別、機(jī)器翻譯、語(yǔ)音合成三個(gè)步驟。該系統(tǒng)一氣呵成，流暢的效果贏得了一致認(rèn)可，深度學(xué)習(xí)則是這一系統(tǒng)中的關(guān)鍵技術(shù)。
6. 2013年，Google收購(gòu)了一家叫DNN Research的神經(jīng)網(wǎng)絡(luò)初創(chuàng)公司，這家公司只有三個(gè)人，Geoffrey Hinton和他的兩個(gè)學(xué)生。這次收購(gòu)并不涉及任何產(chǎn)品和服務(wù)，只是希望Hinton可以將深度學(xué)習(xí)打造為支持Google未來(lái)的核心技術(shù)。同年，紐約大學(xué)教授，深度學(xué)習(xí)專家Yann LeCun加盟Facebook，出任人工智能實(shí)驗(yàn)室主任，負(fù)責(zé)深度學(xué)習(xí)的研發(fā)工作，利用深度學(xué)習(xí)探尋用戶圖片等信息中蘊(yùn)含的海量信息，希望在未來(lái)能給用戶提供更智能化的產(chǎn)品使用體驗(yàn)。
7. 2013年，百度成立了百度研究院及下屬的深度學(xué)習(xí)研究所（Institute of Deep Learning，IDL），將深度學(xué)習(xí)應(yīng)用于語(yǔ)音識(shí)別和圖像識(shí)別、檢索，以及廣告CTR預(yù)估（Click-Through-Rate Prediction，CTR），其中圖片檢索達(dá)到了國(guó)際領(lǐng)先水平。
8. 2014年，谷歌宣布其首款成型的無(wú)人駕駛原型車制造完畢，將會(huì)在2015年正式進(jìn)行路測(cè)。
9. 2016年，谷歌旗下DeepMind公司開(kāi)發(fā)的人工智能程序AlphaGo擊敗圍棋職業(yè)九段選手李世石。
10. 2017年，DeepMind團(tuán)隊(duì)公布了最強(qiáng)版AlphaGo，代號(hào)AlphaGo Zero，它能在無(wú)任何人類輸入的條件下，從空白狀態(tài)學(xué)起，自我訓(xùn)練的時(shí)間僅為3天，自我對(duì)弈的棋局?jǐn)?shù)量為490萬(wàn)盤(pán)，能以100:0的戰(zhàn)績(jī)擊敗前輩。

3 易混淆領(lǐng)域梳理

3.1 機(jī)器學(xué)習(xí)與人工智能

人工智能（Artificial Intelligence，AI）是計(jì)算機(jī)科學(xué)的一個(gè)分支，它企圖了解智能的本質(zhì)，生產(chǎn)出一種能比肩人類，并做出智能反應(yīng)的機(jī)器。我們都知道機(jī)器學(xué)習(xí)是人工智能最重要的一種實(shí)現(xiàn)方法，但機(jī)器學(xué)習(xí)并不是人工智能一開(kāi)始就采用的方法。人工智能的發(fā)展主要經(jīng)歷了邏輯推理，專家系統(tǒng)，機(jī)器學(xué)習(xí)三個(gè)階段。

1. 第一階段的重點(diǎn)是邏輯推理，例如數(shù)學(xué)定理的證明，這類方法采用符號(hào)邏輯來(lái)模擬人類智能。
2. 第二階段的重點(diǎn)是專家系統(tǒng)，這類方法為各個(gè)領(lǐng)域的問(wèn)題建立專家知識(shí)庫(kù)，利用這些知識(shí)來(lái)完成推理和決策。比如將醫(yī)生的診斷經(jīng)驗(yàn)轉(zhuǎn)化成一個(gè)知識(shí)庫(kù)，然后用這些知識(shí)對(duì)病人進(jìn)行診斷。
3. 第三階段的重點(diǎn)即為機(jī)器學(xué)習(xí)，如今的人工智能主要依賴的不再是邏輯推理和專家系統(tǒng)，而是建立在機(jī)器學(xué)習(xí)的基礎(chǔ)上解決復(fù)雜問(wèn)題。無(wú)論是基于數(shù)學(xué)的機(jī)器學(xué)習(xí)模型，還是基于神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)模型，都活躍在如今大多數(shù)人工智能應(yīng)用程序之中。

3.2 機(jī)器學(xué)習(xí)與深度學(xué)習(xí)

深度學(xué)習(xí)（Deep Learning，DL）是機(jī)器學(xué)習(xí)的一個(gè)重要分支，深度學(xué)習(xí)和機(jī)器學(xué)習(xí)的關(guān)系屬于繼承和發(fā)展的關(guān)系。在很多人工智能問(wèn)題上，深度學(xué)習(xí)的方法加上大數(shù)據(jù)的出現(xiàn)以及計(jì)算機(jī)運(yùn)行速度的提高，更突出了人工智能的前景。比如，自動(dòng)駕駛汽車，足以徹底改變我們的出行方式，它的實(shí)現(xiàn)就需要深度學(xué)習(xí)的圖像識(shí)別技術(shù)，需要用到卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks, CNN）來(lái)識(shí)別馬路上的行人、紅綠燈等。
為了更清晰的認(rèn)識(shí)深度學(xué)習(xí)，我們首先介紹神經(jīng)網(wǎng)絡(luò)（Neural Networks, NN），顧名思義，它是一種模仿動(dòng)物神經(jīng)網(wǎng)絡(luò)行為特征，進(jìn)行分布式并行信息處理的算法數(shù)學(xué)模型。神經(jīng)網(wǎng)絡(luò)有輸入層、隱藏層（中間層）以及輸出層，其中輸入層負(fù)責(zé)神經(jīng)網(wǎng)絡(luò)的輸入，輸出層負(fù)責(zé)產(chǎn)生輸入的映射。機(jī)器學(xué)習(xí)中的邏輯回歸，可以看作是一層的神經(jīng)網(wǎng)絡(luò)，即除了輸入層、輸出層之外只有一個(gè)隱藏層。

而深度學(xué)習(xí)，就是指神經(jīng)網(wǎng)絡(luò)使用了很多隱藏層。

那么深度學(xué)習(xí)的每一層都在學(xué)什么？？

當(dāng)你輸入一張臉部的照片時(shí)，神經(jīng)網(wǎng)絡(luò)的第一中間層，可以看成是一個(gè)特征探測(cè)器或者邊緣探測(cè)器，它會(huì)去找這張照片的各個(gè)邊緣（第一張圖片）；第二中間層又把照片里組成邊緣的像素們放在一起看，然后它可以把被探測(cè)到的邊緣組合成面部的不同部分（第二張圖片），有眼睛、鼻子等；最后再把這些部分放在一起，比如鼻子眼睛嘴巴，就可以識(shí)別或者探測(cè)不同的人臉（第三張圖片）。

3.3 機(jī)器學(xué)習(xí)與數(shù)據(jù)挖掘

數(shù)據(jù)挖掘（Data Mining，DM）是指從大量的數(shù)據(jù)中搜索隱藏于其中信息的過(guò)程。機(jī)器學(xué)習(xí)是數(shù)據(jù)挖掘的重要工具之一，但數(shù)據(jù)挖掘不僅僅要研究、拓展、應(yīng)用一些機(jī)器學(xué)習(xí)方法，還要通過(guò)許多非機(jī)器學(xué)習(xí)技術(shù)解決大規(guī)模數(shù)據(jù)與數(shù)據(jù)噪音等實(shí)際問(wèn)題。大體上看，數(shù)據(jù)挖掘可以視為機(jī)器學(xué)習(xí)和大數(shù)據(jù)的交叉，它主要利用機(jī)器學(xué)習(xí)提供的技術(shù)來(lái)分析海量數(shù)據(jù)，利用大數(shù)據(jù)技術(shù)來(lái)管理海量數(shù)據(jù)。

3.4 機(jī)器學(xué)習(xí)與統(tǒng)計(jì)學(xué)

1.統(tǒng)計(jì)學(xué)簡(jiǎn)述

統(tǒng)計(jì)學(xué)（Statistics）是基于數(shù)據(jù)構(gòu)建概率統(tǒng)計(jì)模型并運(yùn)用模型對(duì)數(shù)據(jù)進(jìn)行分析與預(yù)測(cè)的一門(mén)學(xué)科。統(tǒng)計(jì)學(xué)依托背后的數(shù)學(xué)理論，在遠(yuǎn)早于機(jī)器學(xué)習(xí)大爆發(fā)的幾十年，率先從解釋因果的角度，努力尋找最優(yōu)函數(shù)（或模型）。統(tǒng)計(jì)學(xué)里最重要的兩個(gè)部分是回歸分析和假設(shè)檢驗(yàn)。其他的方法或者技術(shù)在統(tǒng)計(jì)學(xué)這個(gè)大框架下，最終也是為了這兩者服務(wù)的。回歸分析提供了解釋因果的武器，假設(shè)檢驗(yàn)則給這項(xiàng)武器裝上了彈藥。單純的線性回歸用最小二乘法求解逼近事實(shí)的真相，再使用顯著性檢驗(yàn)，檢測(cè)變量的顯著性、模型的顯著性、模型的擬合精度。當(dāng)然是否屬于線性，也可以使用假設(shè)檢驗(yàn)的方法檢測(cè)。非線性回歸的問(wèn)題，使用極大似然估計(jì)或者偏最小二乘回歸求解模型，后續(xù)的顯著性檢驗(yàn)仍然是一樣的思路。

2.機(jī)器學(xué)習(xí)與統(tǒng)計(jì)學(xué)對(duì)比

統(tǒng)計(jì)學(xué)是個(gè)與機(jī)器學(xué)習(xí)高度重疊的學(xué)科，統(tǒng)計(jì)學(xué)近似等于機(jī)器學(xué)習(xí)。但是在某種程度上兩者是有分別的，這個(gè)分別在于：統(tǒng)計(jì)學(xué)是理論驅(qū)動(dòng)，對(duì)數(shù)據(jù)分布進(jìn)行假設(shè)，以強(qiáng)大的數(shù)學(xué)理論解釋因果，注重參數(shù)推斷，側(cè)重統(tǒng)計(jì)模型的發(fā)展與優(yōu)化；機(jī)器學(xué)習(xí)是數(shù)據(jù)驅(qū)動(dòng)，依賴于大數(shù)據(jù)規(guī)模預(yù)測(cè)未來(lái)，弱化了收斂性問(wèn)題，注重模型預(yù)測(cè)，側(cè)重解決問(wèn)題。

3.5 機(jī)器學(xué)習(xí)算法與“普通”算法的異同

這里我們以《算法導(dǎo)論》中所詮釋的算法作為機(jī)器學(xué)習(xí)算法的比較對(duì)象。其相同點(diǎn)，兩者的目的都是通過(guò)制定目標(biāo)，增加約束，求得最優(yōu)的模型。不同點(diǎn)是《算法導(dǎo)論》里的“算法”，本質(zhì)上是如何更有效率地求解具有精確解的問(wèn)題。效率，可以是計(jì)算時(shí)間更短，也可以是計(jì)算過(guò)程所需要的空間更少。而機(jī)器學(xué)習(xí)算法要解決的問(wèn)題一般沒(méi)有精確解，也不能用窮舉或遍歷這種步驟明確的方法求解。這里需要強(qiáng)調(diào)的是“學(xué)習(xí)”這個(gè)屬性，即希望算法本身能夠根據(jù)給定的數(shù)據(jù)或變化的計(jì)算環(huán)境而動(dòng)態(tài)地發(fā)現(xiàn)新的規(guī)律，甚至改變機(jī)器學(xué)習(xí)算法的邏輯和行為。

作者：京東物流 星火團(tuán)隊(duì)

來(lái)源：京東云開(kāi)發(fā)者社區(qū)文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-511166.html

到了這里，關(guān)于從零開(kāi)始初識(shí)機(jī)器學(xué)習(xí)的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！