第一章：

1、通過本章的學(xué)習(xí)，你認(rèn)為深度學(xué)習(xí)崛起的原因有哪些？

答：(1) 計算能力的發(fā)展。深度學(xué)習(xí)的起源并不晚，但是在發(fā)展初期遭遇瓶頸的最主要原因是：當(dāng)時的計算資源無法支持我們實現(xiàn)深度學(xué)習(xí)如此龐大復(fù)雜的計算。直到我們開始使用GPU進(jìn)行計算后，深度學(xué)習(xí)才終于擺脫原本計算能力的束縛，展現(xiàn)其強大的實力；(2) 復(fù)雜數(shù)據(jù)結(jié)構(gòu)和任務(wù)的要求。深度學(xué)習(xí)處理的數(shù)據(jù)對象一般是非結(jié)構(gòu)化的數(shù)據(jù)，如圖像，聲音，文本，甚至是它們的混雜。這樣的數(shù)據(jù)越來越多的出現(xiàn)在新的業(yè)務(wù)場景中，如圖像分類、物體檢測、人臉識別、機器翻譯等。傳統(tǒng)的機器學(xué)習(xí)方法將無能為力，深度學(xué)習(xí)在處理這些問題上展現(xiàn)了更好的表現(xiàn)。

2、深度學(xué)習(xí)和機器學(xué)習(xí)的區(qū)別是什么？

答：深度學(xué)習(xí)和機器學(xué)習(xí)不能割裂開來，它們本質(zhì)上都是算法或模型，通過訓(xùn)練數(shù)據(jù)來優(yōu)化某一目標(biāo)函數(shù)，從而使得模型具有預(yù)測、分類等能力。不過，它們確實具有比較多的區(qū)別點。(1) 從數(shù)據(jù)角度來看。傳統(tǒng)的機器學(xué)習(xí)算法適合處理樣本量并不大的結(jié)構(gòu)化數(shù)據(jù)；深度學(xué)習(xí)算法能夠處理樣本量較大且非結(jié)構(gòu)化的數(shù)據(jù)。(2) 從計算來看。傳統(tǒng)的機器學(xué)習(xí)算法消耗的計算資源并不高，在CPU上也能完成，模型優(yōu)化往往較快；大多數(shù)深度學(xué)習(xí)模型需要使用GPU的資源進(jìn)行計算，CPU無法完成龐大的計算，優(yōu)化時間通常很漫長。(3) 模型結(jié)構(gòu)來看。傳統(tǒng)的機器學(xué)習(xí)算法或者模型是處理的單一任務(wù)的。如分類，優(yōu)化等等。我們可以對這些方法進(jìn)行組合，而且算法的可解釋性很強，背后的數(shù)學(xué)原理或統(tǒng)計學(xué)原理已被研究清楚；深度學(xué)習(xí)模型算法通常是一個整體，它包含了對非結(jié)構(gòu)化數(shù)據(jù)的處理(特征提取和生成)，利用特征完成預(yù)測或者分類任務(wù)，而這些部分之間的協(xié)調(diào)關(guān)系是優(yōu)化過程中自動調(diào)整的。這就使得用戶的使用體驗非常好，但是可解釋性變得很差，而且我們至今對深度學(xué)習(xí)的理論性質(zhì)沒有完整嚴(yán)謹(jǐn)?shù)慕Y(jié)論。

3．除了本章提到的深度學(xué)習(xí)擅長的領(lǐng)域，請查閱相關(guān)資料，了解深度學(xué)習(xí)還在哪些領(lǐng)域見長。

答：人臉識別，拍照查詢，拍照翻譯，自動駕駛等。

4．嘗試在 Ubuntu 系統(tǒng)環(huán)境中安裝 TensorFlow 和 Keras。 (略)5．編寫一段 Python 代碼用于計算兩個矩陣相加。（略）6．對于本章的觀點：深度學(xué)習(xí)可以看成是一種高度復(fù)雜的非線性回歸，你是如何理解的？ 可否舉 1～2 個生活中的例子加以說明？

答：如人臉識別的一系列應(yīng)用。人的面部圖像數(shù)據(jù)是X，人的性別可以作為分類變量的Y1，年齡可以作為連續(xù)性變量的Y2。深度學(xué)習(xí)模型就是研究人面部圖像數(shù)據(jù)X和我們關(guān)心的因變量Y1或者Y2的回歸分析。高度非線性體現(xiàn)在，圖像數(shù)據(jù)并不是像身高、體重這樣的數(shù)據(jù)，可以很容易的建立傳統(tǒng)統(tǒng)計學(xué)的線性回歸和邏輯回歸模型，他需要經(jīng)過非常復(fù)雜的特征提取之后再映射到我們關(guān)心的因變量。

第二章：1．多層感知機的原理是什么？一個神經(jīng)網(wǎng)絡(luò)的基本構(gòu)成有哪些？

答：(1) 在輸入層和輸出層之間加入了若干隱藏層，以形成能夠?qū)颖菊_分類的凸域，使得神經(jīng)網(wǎng)絡(luò)對非線性情況的擬合程度大大增強。(2)神經(jīng)元是神經(jīng)網(wǎng)絡(luò)的基本邏輯單元，神經(jīng)網(wǎng)絡(luò)由若干神經(jīng)元構(gòu)成。神經(jīng)元的構(gòu)成包括：輸入、權(quán)重參數(shù)、偏置參數(shù)、激活函數(shù)四部分。

2．常見的激活函數(shù)有哪些？它們的優(yōu)缺點是什么？

答：見下表：

3．根據(jù)反向傳播算法，請推導(dǎo)隱含層到輸出層的偏置（即 2 b ）的更新，以及輸入層到隱含層偏置 1 b 的更新。

答：更新值為：

更新值為：4．結(jié)合實際例子，談?wù)勀銓追N梯度下降算法的理解。

答：(1) 從使用樣本量角度來講，GD、BGD和SGD用于計算梯度的樣本量不同，用于計算梯度的樣本越大，樣本梯度越接近真實梯度。但是在深度學(xué)習(xí)的情境中，樣本量N和參數(shù)個數(shù)p通常都很大，SGD是一種可行 (feasible) 的優(yōu)化方法。(2) 從梯度改進(jìn)角度來講，動量梯度下降法考慮到了歷史的梯度信息，相當(dāng)于修改了梯度下降法中的”更新方向”；RMSprop方法利用梯度模長累計信息對學(xué)習(xí)率進(jìn)行調(diào)整，這被稱為自適應(yīng)算法。自適應(yīng)體現(xiàn)在每一步的更新步長是根據(jù)數(shù)據(jù)自動調(diào)整的；Adam方法則是前兩者的結(jié)合，更新方向使用動量梯度方向，學(xué)習(xí)率則使用自適應(yīng)學(xué)習(xí)率。實際當(dāng)中，Adam是深度學(xué)習(xí)中最常用的優(yōu)化器，但是這并不代表Adam在任何時候都是最好的選擇，同學(xué)們可以自行體驗這些算法的適用場景。

5．結(jié)合本章內(nèi)容，談?wù)勀銓ι窠?jīng)網(wǎng)絡(luò)中過擬合現(xiàn)象的理解。遇到過擬合，通?？梢圆扇?哪些技術(shù)手段進(jìn)行處理？

答：過擬合是神經(jīng)網(wǎng)絡(luò)訓(xùn)練中的常見現(xiàn)象，其最主要的原因是模型估計的參數(shù)遠(yuǎn)遠(yuǎn)大于輸入特征的維數(shù)。事實上，給定訓(xùn)練集我們總可以使得神經(jīng)網(wǎng)絡(luò)變得更加復(fù)雜以提高訓(xùn)練集的預(yù)測表現(xiàn)，但是在測試集上的預(yù)測表現(xiàn)可能會變得很差。我們本章介紹的兩個解決過擬合的方法也是從簡化模型結(jié)構(gòu)，降低模型參數(shù)角度來考慮的。主要包含：(1)正則化方法；(2) Dropout

第三章：

1．請在實際生活中，找到 3 種基于圖像的有趣應(yīng)用，并梳理出其中的 X 和Y 。 答：看圖識別APP： X：物品的圖像數(shù)據(jù)； Y：圖片的類別人臉識別閘機： X：人臉圖像數(shù)據(jù)； Y：是否與數(shù)據(jù)庫信息匹配拍照翻譯APP： X：圖像數(shù)據(jù)； Y：對應(yīng)文本

2．結(jié)合 3.3.2 節(jié)的美食圖像評分案例，你還能想到哪些其他 X ？將其放在模型中，建立一個新的線性回歸模型，并與書中模型的精度進(jìn)行對比。

答：可以考慮引入一些結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)一起分析，如食物的價格(連續(xù)型)，口味(離散型)等等。

3．除了圖像這種非結(jié)構(gòu)化的 X 變量，你還遇到過哪些其他非結(jié)構(gòu)化變量？請舉例說明。

答：聲音，文本，甚至是視頻。

4．對于 3.4 節(jié)的邏輯回歸模型，能否對代碼提出改進(jìn)意見，并實現(xiàn)更好的精度預(yù)測？

答：可以考慮對圖像數(shù)據(jù)先進(jìn)行某些預(yù)處理、卷積神經(jīng)網(wǎng)絡(luò)的卷積操作、分通道分析數(shù)據(jù)等等一些方法。

5．請思考還有哪些多分類問題可以被規(guī)范成邏輯回歸并可以在 TensorFlow 的框架下實現(xiàn)？

答：深度學(xué)習(xí)的著名數(shù)據(jù)集：CIFAR10 (10分類問題) ；CIFAR100 (100分類問題)，與之相同的圖像分類問題均可以規(guī)范到這個框架下。文章來源地址http://www.zghlxwxcb.cn/news/detail-724096.html