【筆記整理】元學(xué)習(xí)筆記

參考文章來源地址http://www.zghlxwxcb.cn/news/detail-472801.html

• 元學(xué)習(xí)——MAML論文詳細(xì)解讀
• 遷移學(xué)習(xí)概述（Transfer Learning）
• 一文入門元學(xué)習(xí)（Meta-Learning）
• 基于度量的元學(xué)習(xí)和基于優(yōu)化的元學(xué)習(xí) - 知乎 (zhihu.com)
• 元學(xué)習(xí)（Meta Learning）與遷移學(xué)習(xí)（Transfer Learning）的區(qū)別聯(lián)系是什么？ - 許鐵-巡洋艦科技的回答 - 知乎

一、元學(xué)習(xí)基礎(chǔ)概念

1、概述（“多任務(wù)，推理，快速學(xué)習(xí)”）

元學(xué)習(xí)目的：探索針對(duì)多個(gè)任務(wù)有效的學(xué)習(xí)策略。

1）Meta-learning（“學(xué)習(xí)如何學(xué)習(xí)” + “老千層餅”）

學(xué)習(xí)如何學(xué)習(xí) = 學(xué)習(xí)泛化能力 = 關(guān)注測(cè)試集 （不局限于單個(gè)任務(wù)中的訓(xùn)練集）

meta learning 俗稱元學(xué)習(xí)，目標(biāo)是 learn to learn，即學(xué)會(huì)如何學(xué)習(xí)。聽起來有點(diǎn)繞，大白話解釋就是通過之前任務(wù)的學(xué)習(xí)使得模型具備一些先驗(yàn)知識(shí)或?qū)W習(xí)技巧，從而在面對(duì)新任務(wù)的學(xué)習(xí)時(shí)，不至于一無所知。這更接近于人的學(xué)習(xí)過程，我們?nèi)嗽谶^去的經(jīng)歷中，會(huì)不斷地積累學(xué)習(xí)經(jīng)驗(yàn)，使自己的知識(shí)積累變得越來越豐富，所以在面對(duì)新問題的時(shí)候，并不是一無所知的，可以自動(dòng)借鑒之前相似問題的經(jīng)驗(yàn)來解決新問題。所以元學(xué)習(xí)也被稱為是機(jī)器實(shí)現(xiàn)通用人工智能的關(guān)鍵技術(shù)。

meta-learning 學(xué)習(xí)的對(duì)象是 Tasks，而不是 Samples 樣本點(diǎn)，因?yàn)?meta-learning 最終要解決的問題是在新的 task 上可以更好的學(xué)習(xí)，所以要遷移之前 task 上的學(xué)習(xí)經(jīng)驗(yàn)。那么在訓(xùn)練階段，輸入的就是不同的 tasks，如下圖所示，所有的 task 都是五分類任務(wù)，每個(gè) task 仍然有訓(xùn)練集和測(cè)試集，訓(xùn)練集是 5 類不同的圖片，該 task 的測(cè)試集是這 5 類中沒有出現(xiàn)過的樣本。不同的 task 對(duì)應(yīng)的 5 個(gè)類別是不一樣的，那么在若干個(gè)這樣的 task 上訓(xùn)練之后，需要在一個(gè)新的任務(wù)上進(jìn)行 meta 的測(cè)試/推理，測(cè)試任務(wù)是從未見過的 5 個(gè)類別的樣本，讓模型在這些樣本上進(jìn)行微調(diào)的訓(xùn)練，只不過這時(shí)候的模型在訓(xùn)練時(shí)就已經(jīng)具備了之前學(xué)習(xí)到的 “經(jīng)驗(yàn)”，從而可以快速適應(yīng)測(cè)試任務(wù)。

舉個(gè)現(xiàn)實(shí)的例子：老師在教課期間，如何衡量學(xué)生當(dāng)前學(xué)的好不好？ 如何衡量學(xué)生學(xué)習(xí)能力強(qiáng)不強(qiáng)？學(xué)的好不好就是通過當(dāng)前科目上的考試成績(jī)來判斷，學(xué)習(xí)能力強(qiáng)不強(qiáng)，則是通過學(xué)習(xí)時(shí)間來判斷，比如學(xué)習(xí)七天考到90分和學(xué)習(xí)一天就考到90分，是兩種不同的學(xué)習(xí)能力。

meta-learning希望教會(huì)模型學(xué)習(xí)的能力，基于過去訓(xùn)練的經(jīng)驗(yàn)提高模型的學(xué)習(xí)能力。給定一系列訓(xùn)練任務(wù)，期望模型在新任務(wù)上快速調(diào)整和學(xué)習(xí)。元學(xué)習(xí)同樣不涉及保留過去任務(wù)的知識(shí)，防止遺忘。

分享一個(gè)關(guān)于元學(xué)習(xí)的搞笑的圖。。。

2）Transfer learning（”當(dāng)下先驗(yàn)”）

transfer learning 遷移學(xué)習(xí)，同樣也是遷移之前學(xué)習(xí)到的 “經(jīng)驗(yàn)”，在新的數(shù)據(jù)上進(jìn)行微調(diào)，比如用在 ImageNet 大數(shù)據(jù)集上預(yù)訓(xùn)練的 VGG 等模型，在自己的圖片數(shù)據(jù)集上微調(diào) VGG 進(jìn)行特征提取，不過這里和 meta-learning 有本質(zhì)的區(qū)別，稍后會(huì)詳細(xì)說明。

3）Multi-task learning（”In 遷移/meta“）

multi-task learning 是多任務(wù)學(xué)習(xí)，多個(gè)任務(wù)一起進(jìn)行訓(xùn)練，以達(dá)到相互輔助訓(xùn)練的作用，這里的多任務(wù)可以是同一數(shù)據(jù)多個(gè)目標(biāo)任務(wù)，也可以是多個(gè)數(shù)據(jù)同一個(gè)目標(biāo)任務(wù)，如在人臉識(shí)別數(shù)據(jù)集上，既進(jìn)行人臉識(shí)別任務(wù)，又要預(yù)測(cè)出該人臉的性別和年齡等。

遷移學(xué)習(xí)和元學(xué)習(xí)都屬于多任務(wù)學(xué)習(xí)。

Few shot learning（meta元學(xué)習(xí)在CV中的應(yīng)用）

少樣本學(xué)習(xí)，是指一份數(shù)據(jù)中可用來訓(xùn)練的樣本很少，比如只有 10 條或者 5 條樣本，那么這時(shí)候用常規(guī)的訓(xùn)練方式，是學(xué)不出什么的，因?yàn)榭捎眯畔⑻倭?，那?strong>自然就會(huì)想到用 meta-learning 的方式來訓(xùn)練，借助之前任務(wù)的先驗(yàn)經(jīng)驗(yàn)來學(xué)習(xí)少樣本的任務(wù)。

few shot learning 可以說是 meta learning 在監(jiān)督學(xué)習(xí)中的一個(gè)典型應(yīng)用，而 meta-learning 個(gè)人覺得是一個(gè)思想框架，可以用在少樣本數(shù)據(jù)上也可以用在多樣本數(shù)據(jù)上，只不過在 few-shot 的場(chǎng)景下，更能發(fā)揮出它的威力。比如一個(gè)10條樣本的分類數(shù)據(jù)，用普通的訓(xùn)練方式，可能只取得 10% 的準(zhǔn)確率，但用 meta-learning 的方式訓(xùn)練可以取得 70% 的準(zhǔn)確率。樣本數(shù)量比較多的時(shí)候，用普通的訓(xùn)練方式就可以取得不錯(cuò)的效果，比如準(zhǔn)確率 95%，用 meta-learning 的方式可能取得 97% 的準(zhǔn)確率，但預(yù)訓(xùn)練過程就比較麻煩了。

few shot learning 中還有兩個(gè)比較特殊的場(chǎng)景，就是 one shot 和 zero shot，即只有1個(gè)樣本，甚至是零訓(xùn)練樣本的場(chǎng)景，不過不在這次的討論范圍之內(nèi)，如果大家比較感興趣可以自行查找這方面的論文，few shot learning 目前也是學(xué)術(shù)上的研究熱點(diǎn)。

2、分類 & 應(yīng)用（“優(yōu)化 + 度量 + 循環(huán)”）

參考

• 走進(jìn)元學(xué)習(xí)：概述不同類型的元學(xué)習(xí)方法_模型 (sohu.com)
• 最前沿：百家爭(zhēng)鳴的Meta Learning/Learning to learn

人類在學(xué)習(xí)時(shí)，會(huì)根據(jù)具體情況采用不同的方法。同樣，并非所有的元學(xué)習(xí)模型都采用相同的技術(shù)。一些元學(xué)習(xí)模型關(guān)注的是優(yōu)化神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)（NAS），而另一些模型（如Reptile）則更注重于尋找合適的數(shù)據(jù)集來訓(xùn)練特定的模型。

加州大學(xué)伯克利分校人工智能實(shí)驗(yàn)室最近發(fā)表了一篇研究論文，文中全面列舉了不同類型的元學(xué)習(xí)。以下是筆者最喜歡的一些類型：

1）優(yōu)化器元學(xué)習(xí)（“相似任務(wù)，公用模型，特定任務(wù)”）

論文題目[Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks]

文章開頭提到 meta-learning 的研究共有三個(gè)方向，第一個(gè)方向就是 optimization based meta-learning，而 MAML 是這個(gè)方向的開山之作，所以要想知道 MAML 是怎么做的，首先要知道這個(gè)方向是如何實(shí)現(xiàn) meta learning 的。

思考一下，我們平時(shí)普通 learn 的模式是怎樣訓(xùn)練模型的？以 DNN 網(wǎng)絡(luò)模型為例，首先是搭建一個(gè)網(wǎng)絡(luò)模型，接著對(duì)模型中每層的參數(shù)進(jìn)行初始化，然后不斷的進(jìn)行“前向計(jì)算 loss -> 反向傳播更新參數(shù)”的過程，直到 loss 收斂。這個(gè)過程中，模型初始時(shí)對(duì)當(dāng)前數(shù)據(jù)是一無所知的，所以要通過隨機(jī)初始化的方式對(duì)參數(shù)進(jìn)行賦值，盡管用多種初始化方式，但總歸都是隨機(jī)的。那么有沒有方法可以讓模型從一個(gè)給定的位置開始訓(xùn)練呢，并且這個(gè)初始位置給的好的話，比如就在全局最優(yōu)解附近，可能只需要迭代幾次模型就收斂了。答案是肯定的，這個(gè)方向的 meta-leaning 就是來做這個(gè)事情的。簡(jiǎn)單總結(jié)下就是**「optimization based meta-learning 是通過之前大量的相似任務(wù)的學(xué)習(xí)，給網(wǎng)絡(luò)模型學(xué)習(xí)到一組不錯(cuò)的/有潛力的/比較萬金油的參數(shù)，使用這組參數(shù)作為初始值，在特定任務(wù)上進(jìn)行訓(xùn)練，只需要微調(diào)幾次就可以在當(dāng)前的新任務(wù)上收斂了」**，這句話有幾個(gè)值得注意的地方或者使用要求：

• 相似任務(wù)：并不是隨便找一個(gè)數(shù)據(jù)就可以拿來進(jìn)行訓(xùn)練。
• 共用一個(gè)網(wǎng)絡(luò)模型：我們的最終目的是使用 DNN 模型在任務(wù) A 上進(jìn)行訓(xùn)練，為了避免隨機(jī)初始化的方式，故而采用 meta- learning 方式，對(duì)這個(gè) DNN 模型先進(jìn)行預(yù)訓(xùn)練，這個(gè)預(yù)訓(xùn)練的過程就是 meta 訓(xùn)練，其結(jié)果是得到一組不錯(cuò)的 DNN 參數(shù)，然后在任務(wù)A上進(jìn)行微調(diào)。所以從始至終，就只有一個(gè)相同的 DNN 模型。
• 特定任務(wù)：這個(gè)特定任務(wù)是我們實(shí)際關(guān)心的任務(wù)，也是 meta 的推理任務(wù)，所以要和 meta 訓(xùn)練階段的大量任務(wù)具有一定的相似性，如果差異性太大，那么 meta 學(xué)到的這組參數(shù)可能不起作用甚至還不如隨機(jī)初始化的參數(shù)?！刚б豢词遣皇怯X得和遷移學(xué)習(xí)有點(diǎn)像，最終形式都是從一組已知參數(shù)開始微調(diào)，但是這兩個(gè)方式是有本質(zhì)的區(qū)別的，這個(gè)后面還會(huì)再講到?！?/li>

優(yōu)化器元學(xué)習(xí)模型的重點(diǎn)是學(xué)習(xí)如何優(yōu)化神經(jīng)網(wǎng)絡(luò)從而更好地完成任務(wù)。這些模型通常包括一個(gè)神經(jīng)網(wǎng)絡(luò)，該神經(jīng)網(wǎng)絡(luò)將不同的優(yōu)化應(yīng)用于另一個(gè)神經(jīng)網(wǎng)絡(luò)的超參數(shù)，從而改進(jìn)目標(biāo)任務(wù)。那些專注于改進(jìn)梯度下降技術(shù)的模型就是優(yōu)化器元學(xué)習(xí)很好的體現(xiàn)，就像該研究中發(fā)布的那些模型。

• 模型無關(guān)：模型無關(guān)不是說任意模型都行，這個(gè)范圍太廣了，是指任意的可以通過梯度下降進(jìn)行優(yōu)化訓(xùn)練的模型，這個(gè)模型一般都是網(wǎng)絡(luò)模型，也可以是支持隨機(jī)梯度下降的機(jī)器學(xué)習(xí)模型。
• 快速適應(yīng)：意思是模型經(jīng)過較少的迭代次數(shù)就可以在當(dāng)前任務(wù)上收斂
• 多場(chǎng)景：論文的方法可以適用到分類、回歸、強(qiáng)化學(xué)習(xí)等場(chǎng)景

2）度量元學(xué)習(xí)

度量元學(xué)習(xí)的目標(biāo)是確定一個(gè)高效率學(xué)習(xí)的度量空間。該方法可以看作是小樣本元學(xué)習(xí)的一個(gè)子集，通過使用學(xué)習(xí)度量空間來評(píng)價(jià)學(xué)習(xí)質(zhì)量并舉例說明。該研究論文向讀者展示如何將度量元學(xué)習(xí)應(yīng)用于分類問題。

3）循環(huán)模型元學(xué)習(xí)

該類型的元學(xué)習(xí)模型適用于循環(huán)神經(jīng)網(wǎng)絡(luò)（RNNs），比如長(zhǎng)短期記憶網(wǎng)絡(luò)(LSTM)。在這種架構(gòu)中，元學(xué)習(xí)器算法將訓(xùn)練RNN模型依次處理數(shù)據(jù)集，然后再處理任務(wù)中新輸入的數(shù)據(jù)。在圖像分類設(shè)置中，這可能涉及到依次傳遞數(shù)據(jù)集（圖像、標(biāo)簽）對(duì)的集合，然后是必須分類的新示例。元強(qiáng)化學(xué)習(xí)就是這種方法的一個(gè)例子。

4）其他方面的應(yīng)用

參考

• learn2learn庫
• Meta-Learning in Neural Networks: A Survey

粗略認(rèn)識(shí)：
1）元學(xué)習(xí)能夠從單族多任務(wù)場(chǎng)景中學(xué)習(xí)到與任務(wù)無關(guān)的知識(shí)，用于學(xué)習(xí)該族的新的任務(wù)
2）元學(xué)習(xí)已成功應(yīng)用在少樣本的圖像檢測(cè)，無監(jiān)督學(xué)習(xí)，強(qiáng)化學(xué)習(xí)，超參數(shù)優(yōu)化，和網(wǎng)絡(luò)體系結(jié)構(gòu)探索
3）雖然元學(xué)習(xí)給出的定義是：學(xué)習(xí)如何學(xué)習(xí)（提高從指定任務(wù)中學(xué)習(xí)的能力，并應(yīng)用在部分看到的任務(wù)上），
但是這個(gè)概念包括了遷移學(xué)習(xí)，多任務(wù)學(xué)習(xí)，特征選擇和模型的集成學(xué)習(xí)，并不適合元學(xué)習(xí)

精準(zhǔn)定義：
1）內(nèi)部是傳統(tǒng)機(jī)器學(xué)習(xí)（base）,外部是元學(xué)習(xí)，內(nèi)外可以使用不同的損失函數(shù)。根據(jù)數(shù)學(xué)公式可知，通過最小化元學(xué)習(xí)Loss，則meta-learning
通過測(cè)試任務(wù)集合來學(xué)習(xí)它內(nèi)部的模型，尋找改模型的較優(yōu)參數(shù)w，其中w為元知識(shí)

分類：
元學(xué)習(xí)就是在傳統(tǒng)的學(xué)習(xí)方法上，套上一層模型（我愿稱其為“反思”模型），因此作為模型，肯定離不開如下三個(gè)方面
1）元學(xué)習(xí)的表征：關(guān)于元知識(shí)w的元學(xué)習(xí)，該知識(shí)可以是初始化模型的參數(shù)（元知識(shí)就是對(duì)整個(gè)模型的抽象，而元數(shù)據(jù)則是對(duì)集群各節(jié)點(diǎn)（工作節(jié)點(diǎn)，文件系統(tǒng)）等信息的抽象）
2）元學(xué)習(xí)的優(yōu)化器：關(guān)于在外層如何學(xué)習(xí)到元知識(shí)，這時(shí)就需要優(yōu)化器來對(duì)知識(shí)進(jìn)行優(yōu)化
3）元學(xué)習(xí)的目標(biāo)函數(shù)：根據(jù)元學(xué)習(xí)的目的，可以選擇不同的損失函數(shù)（提高少樣本學(xué)習(xí)的準(zhǔn)確率，快速多樣本的優(yōu)化，領(lǐng)域遷移到魯棒性問題研究，標(biāo)簽噪聲和對(duì)抗攻擊等）

元學(xué)習(xí)的實(shí)現(xiàn)方式可以多種多樣：可以用以往任務(wù)的學(xué)習(xí)來預(yù)測(cè)loss，或者用來預(yù)測(cè)梯度，可以對(duì)模型梯度進(jìn)行二次計(jì)算（MAML模型公式）

3、比較（“對(duì)象 + 采樣 + 目的”）

1）機(jī)器學(xué)習(xí) vs 元學(xué)習(xí)（“完成一個(gè)任務(wù)” vs “掌握學(xué)習(xí)能力”）

參考一文入門元學(xué)習(xí)（Meta-Learning）（附代碼） - 知乎 (zhihu.com)

在機(jī)器學(xué)習(xí)中，訓(xùn)練單位是一條數(shù)據(jù)，通過數(shù)據(jù)來對(duì)模型進(jìn)行優(yōu)化；數(shù)據(jù)可以分為訓(xùn)練集、測(cè)試集和驗(yàn)證集。在元學(xué)習(xí)中，訓(xùn)練單位分層級(jí)了，第一層訓(xùn)練單位是任務(wù)，也就是說，元學(xué)習(xí)中要準(zhǔn)備許多任務(wù)來進(jìn)行學(xué)習(xí)，第二層訓(xùn)練單位才是每個(gè)任務(wù)對(duì)應(yīng)的數(shù)據(jù)。

二者的目的都是找一個(gè)Function，只是兩個(gè)Function的功能不同，要做的事情不一樣。機(jī)器學(xué)習(xí)中的Function直接作用于特征和標(biāo)簽，去尋找特征與標(biāo)簽之間的關(guān)聯(lián)；而元學(xué)習(xí)中的Function是用于尋找新的f，新的f才會(huì)應(yīng)用于具體的任務(wù)。有種不同階導(dǎo)數(shù)的感覺。又有種**老千層餅的感覺，**你看到我在第二層，你把我想象成第一層，而其實(shí)我在第五層。。。

機(jī)器學(xué)習(xí)學(xué)習(xí)某個(gè)數(shù)據(jù)分布X到另一個(gè)分布Y的映射。 而元學(xué)習(xí)學(xué)習(xí)的是某個(gè)任務(wù)集合D到每個(gè)任務(wù)對(duì)應(yīng)的最優(yōu)函數(shù)$f(x)$的映射（任務(wù)到學(xué)習(xí)函數(shù)的映射）

我理解元學(xué)習(xí)輸出的f是任務(wù)與任務(wù)間的關(guān)聯(lián)關(guān)系。舉個(gè)例子，好比要學(xué)好物理，需要先掌握數(shù)學(xué)基礎(chǔ)知識(shí)。其中一個(gè)任務(wù)相當(dāng)于一個(gè)包含train，test的batch，每個(gè)任務(wù)=某個(gè)知識(shí)，任務(wù)間的關(guān)系可以理解成知識(shí)間的拓?fù)浣Y(jié)構(gòu)。

2）元學(xué)習(xí) vs 遷移學(xué)習(xí) (“任務(wù)空間 vs 任務(wù)遷移” + “關(guān)注訓(xùn)練集 vs 關(guān)注測(cè)試集”)

參考

• 元學(xué)習(xí)（Meta Learning）與遷移學(xué)習(xí)（Transfer Learning）的區(qū)別聯(lián)系是什么？ - 許鐵-巡洋艦科技的回答 - 知乎
• 一文入門元學(xué)習(xí)（Meta-Learning）

遷移關(guān)注當(dāng)下，元學(xué)習(xí)關(guān)注潛力

從目標(biāo)上看元學(xué)習(xí)和遷移學(xué)習(xí)并無本質(zhì)區(qū)分都是增加學(xué)習(xí)器在多任務(wù)的范化能力， 但元學(xué)習(xí)更偏重于任何和數(shù)據(jù)的雙重采樣， 任務(wù)和數(shù)據(jù)一樣是需要采樣的，而學(xué)習(xí)到的$F(x)$可以幫助在未見過的任務(wù)$f(x)$里迅速建立mapping。 而遷移學(xué)習(xí)更多是指從一個(gè)任務(wù)到其它任務(wù)的能力遷移，不太強(qiáng)調(diào)任務(wù)空間的概念。

機(jī)器學(xué)習(xí)圍繞一個(gè)具體的任務(wù)展開， 然而生物體及其一生， 學(xué)習(xí)的永遠(yuǎn)不只是一個(gè)任務(wù)。 與之相對(duì)應(yīng)的叫做元學(xué)習(xí)， 元學(xué)習(xí)旨在掌握一種學(xué)習(xí)的能力， 使得智能體可以掌握很多任務(wù)。 如果用數(shù)學(xué)公式表達(dá)， 這就好比先學(xué)習(xí)一個(gè)函數(shù)$F(x)$，代表一種抽象的學(xué)習(xí)能力， 再此基礎(chǔ)上學(xué)習(xí)$f(x)$對(duì)應(yīng)具體的任務(wù)， 如下圖所示 。

3）元學(xué)習(xí) vs 交叉驗(yàn)證

元學(xué)習(xí)大致可以理解了：就是通過采樣，獲得多個(gè)任務(wù)（每個(gè)任務(wù)包含train，test）的任務(wù)空間，上層學(xué)習(xí)任務(wù)間的關(guān)系，下游學(xué)習(xí)該任務(wù)下的模型參數(shù)。模型在學(xué)完這個(gè)任務(wù)的基礎(chǔ)上，通過“元學(xué)習(xí)”分配的另一個(gè)相似任務(wù)（知識(shí)拓?fù)洌岣吣Ｐ偷膶W(xué)習(xí)能力。

“交叉驗(yàn)證”參考

• 交叉驗(yàn)證–關(guān)于最終選取模型的疑問 - 簡(jiǎn)書 (jianshu.com)
• sklearn之交叉驗(yàn)證

Q：交叉驗(yàn)證是什么？

A：如果數(shù)據(jù)集很小，把數(shù)據(jù)集劃分成三部分的話，訓(xùn)練模型的數(shù)據(jù)就大大減少了，并且結(jié)果會(huì)取決于（訓(xùn)練集，驗(yàn)證集）的隨機(jī)選擇。因此就出現(xiàn)了交叉驗(yàn)證（cross-validation，簡(jiǎn)稱CV）。一般是用k-fold CV，也就是k折交叉驗(yàn)證。訓(xùn)練集被劃分成k個(gè)子集，每次訓(xùn)練的時(shí)候，用其中k-1份作為訓(xùn)練數(shù)據(jù)，剩下的1份作為驗(yàn)證，按這樣重復(fù)k次。交叉驗(yàn)證計(jì)算復(fù)雜度比較高，但是充分利用了數(shù)據(jù)，對(duì)于數(shù)據(jù)集比較小的情況會(huì)有明顯優(yōu)勢(shì)。

Q：對(duì)于交叉驗(yàn)證部分，不說K-fold的K是多少，那么最后會(huì)產(chǎn)生多（K）個(gè)模型，一般來說，每次訓(xùn)練出來的模型的參數(shù)都是不一樣的，所以最后既然已經(jīng)訓(xùn)練完成了，那么我應(yīng)該選取那個(gè)模型呢？

A：交叉驗(yàn)證并不是為了去獲取一個(gè)模型，他的主要目的是為了去評(píng)估這個(gè)模型的一些特性。交叉驗(yàn)證主要在于驗(yàn)證模型的泛化能力。

4）元學(xué)習(xí) vs 增量學(xué)習(xí)（“迅速學(xué)習(xí)能力 vs 類別增量學(xué)習(xí)”）

元學(xué)習(xí)強(qiáng)調(diào)的是掌握迅速學(xué)習(xí)的能力，類別可能是不變的；而增量學(xué)習(xí)強(qiáng)調(diào)學(xué)習(xí)更多的類別。這里要區(qū)分好兩者，弄清楚增量學(xué)習(xí)的概念即可。

參考

• 增量學(xué)習(xí)-學(xué)習(xí)總結(jié)（上） - 知乎 (zhihu.com)
• 增量學(xué)習(xí)(Incremental Learning)小綜述 - 知乎 (zhihu.com)

5）元學(xué)習(xí) vs 傳統(tǒng)機(jī)器學(xué)習(xí)（★★★★★）

參考中國計(jì)算機(jī)學(xué)會(huì)通訊-第8期:群智智能制造 - 從機(jī)器學(xué)習(xí)到元學(xué)習(xí)的方法論 演變

a）元學(xué)習(xí)術(shù)語

先補(bǔ)充一下元學(xué)習(xí)的術(shù)語：

• 訓(xùn)練任務(wù)集 ：由一組或多組訓(xùn)練集 - 測(cè)試集（驗(yàn)證集）對(duì)構(gòu)成。由于有時(shí)測(cè)試集（驗(yàn)證集）體現(xiàn)的是預(yù)期目標(biāo)域（域內(nèi)，跨域）的泛化信息，又被稱為元數(shù)據(jù)集。其中每個(gè)訓(xùn)練集與測(cè)試集均對(duì)應(yīng)一組帶標(biāo)記數(shù)據(jù)集。為了避免元學(xué)習(xí)中的**“訓(xùn)練 - 測(cè)試”任務(wù)集與這些訓(xùn)練 - 測(cè)試數(shù)據(jù)集產(chǎn)生混淆，通常也稱某個(gè)任務(wù)中的訓(xùn)練集為支撐集**（support set），測(cè)試集為查詢集（query set）。相應(yīng)地，測(cè)試任務(wù)通常由僅包含有監(jiān)督信息的支撐集構(gòu)成，用以基于元學(xué)習(xí)機(jī)產(chǎn)生對(duì)此數(shù)據(jù)集匹配的超參賦值，即制訂其合適的學(xué)習(xí)方法論。

（理解：元學(xué)習(xí)的訓(xùn)練集（每個(gè)任務(wù)包括支撐集，查詢集） 和測(cè)試集，當(dāng)前的元學(xué)習(xí)機(jī)的預(yù)測(cè)參數(shù)對(duì)下一次迭代的機(jī)器學(xué)習(xí)模型進(jìn)行超參賦值，這里我理解的超參是指可以控制模型$w$參數(shù)自動(dòng)化調(diào)整的參數(shù)，比如lr，momentum，weight-decay等。 這里理解有誤，之前理解錯(cuò)了，元學(xué)習(xí)包括支撐集和查詢集，其中查詢集起到測(cè)試集的作用，之前把查詢集誤解成驗(yàn)證集了）

• 元學(xué)習(xí)機(jī) ：具有參數(shù)化結(jié)構(gòu)的備選元決策函數(shù)， 其輸入為一個(gè)學(xué)習(xí)任務(wù)相應(yīng)的表達(dá)特征（可簡(jiǎn)單理解為訓(xùn)練數(shù)據(jù)集所傳達(dá)的特征），輸出為機(jī)器學(xué)習(xí)某個(gè)環(huán)節(jié)的超參賦值，如圖（a）所示。

（理解：輸入訓(xùn)練數(shù)據(jù)集（支撐集，查詢集）表達(dá)的特征，輸出機(jī)器學(xué)習(xí)的超參賦值（機(jī)器學(xué)習(xí)模型的初始化參數(shù)））

• 元表現(xiàn)度量 ：指導(dǎo)對(duì)元學(xué)習(xí)機(jī)參數(shù)進(jìn)行優(yōu)化學(xué)習(xí)的量化目標(biāo)函數(shù)。在元學(xué)習(xí)的層次上，元表現(xiàn)度量與傳統(tǒng)機(jī)器學(xué)習(xí)的表現(xiàn)度量具有本質(zhì)區(qū)別。傳統(tǒng)機(jī)器學(xué)習(xí)對(duì)某個(gè)學(xué)習(xí)機(jī)參數(shù)表現(xiàn)度量構(gòu)建的基本依據(jù)是該參數(shù)對(duì)應(yīng)的決策函數(shù)對(duì)測(cè)試集中數(shù)據(jù)標(biāo)記獲得的預(yù)測(cè)精度。而在元學(xué)習(xí)的框架下，其元學(xué)習(xí)機(jī)參數(shù)的表現(xiàn)度量需要相對(duì)較為復(fù)雜的運(yùn)算獲得：對(duì)于每個(gè)訓(xùn)練任務(wù)中的支撐集，可利用該元學(xué)習(xí)參數(shù)獲得相應(yīng)機(jī)器學(xué)習(xí)相關(guān)環(huán)節(jié)的超參賦值，也就是得到一個(gè)確定的機(jī)器學(xué)習(xí)執(zhí)行方法，然后將該方法應(yīng)用于查詢集中，可獲得相應(yīng)的驗(yàn)證精度。該驗(yàn)證精度即可表達(dá)該元學(xué)習(xí)機(jī)參數(shù)的表現(xiàn)度量。

（理解：傳統(tǒng)機(jī)器學(xué)習(xí)參數(shù)表現(xiàn)度量通過測(cè)試集獲得預(yù)測(cè)精度，而元表現(xiàn)度量是通過查詢集獲得驗(yàn)證精度）

• 優(yōu)化算法 ：以元學(xué)習(xí)機(jī)參數(shù)為優(yōu)化參數(shù)，以元表現(xiàn)度量為優(yōu)化目標(biāo)，運(yùn)用優(yōu)化工具獲得元學(xué)習(xí)機(jī)參數(shù)的合理估計(jì)，從而得到用以超參賦值的元學(xué)習(xí)者基本形式。

當(dāng)獲得該元學(xué)習(xí)機(jī)之后，面對(duì)新的學(xué)習(xí)任務(wù)，只需利用該元學(xué)習(xí)機(jī)對(duì)機(jī)器學(xué)習(xí)方法各環(huán)節(jié)進(jìn)行超參賦值，利用該確定性機(jī)器學(xué)習(xí)執(zhí)行模式，即可習(xí)得相應(yīng)的標(biāo)記預(yù)測(cè)函數(shù)，如圖 （b）所示。這體現(xiàn)了元學(xué)習(xí)的“學(xué)會(huì)學(xué)習(xí)”功能，即其能夠?qū)W習(xí)到學(xué)習(xí)方法論 的核心內(nèi)涵

b）本質(zhì)差異

接著簡(jiǎn)要概述元學(xué)習(xí)與傳統(tǒng)機(jī)器學(xué)習(xí)的本質(zhì)差異：

擬合對(duì)象：

• 元學(xué)習(xí)用以擬合的對(duì)象不是帶標(biāo)記的數(shù)據(jù)集， 而是成對(duì)的學(xué)習(xí)任務(wù)集，這意味著不同于傳統(tǒng)機(jī)器學(xué)習(xí)凝練數(shù)據(jù)預(yù)測(cè)共有規(guī)律的學(xué)習(xí)方式，元學(xué)習(xí)的目標(biāo)轉(zhuǎn)變?yōu)?strong>從多個(gè)任務(wù)中總結(jié)其有效執(zhí)行方法論的共有規(guī)律（理解：元學(xué)習(xí)是總結(jié)多個(gè)任務(wù)中共有的規(guī)律，即學(xué)習(xí)方法論）。

輸出參數(shù)：

• 元學(xué)習(xí)訓(xùn)練輸出的參數(shù)是用以預(yù)測(cè)機(jī)器學(xué)習(xí)超參的元學(xué)習(xí)機(jī)參數(shù)，而不是傳統(tǒng)機(jī)器學(xué)習(xí)中用以預(yù)測(cè)數(shù)據(jù)標(biāo)記的學(xué)習(xí)機(jī)參數(shù)，因而體現(xiàn)了**取代“學(xué)會(huì)標(biāo)記預(yù)測(cè)”的“學(xué)會(huì)學(xué)習(xí)方法論”**的元學(xué)習(xí)內(nèi)涵。

  (理解：元學(xué)習(xí)輸出的參數(shù)用以預(yù)測(cè)機(jī)器學(xué)習(xí)模型的超參（下一步超參賦值），而機(jī)器學(xué)習(xí)模型輸出的參數(shù)用以預(yù)測(cè)數(shù)據(jù)標(biāo)記)

元學(xué)習(xí)表現(xiàn)度量：

• 元學(xué)習(xí)表現(xiàn)度量不再是可直接算出的對(duì)訓(xùn)練數(shù)據(jù)標(biāo)記預(yù)測(cè)的準(zhǔn)確度，而是元學(xué)習(xí)機(jī)在支撐集所獲的超參賦值下，學(xué)習(xí)方法在查詢集上獲得的學(xué)習(xí)效果和表現(xiàn)。這是由于元學(xué)習(xí)的學(xué)習(xí)對(duì)象，即學(xué)習(xí)方法論的特殊性決定的，方法論的優(yōu)劣只能通過其在具體任務(wù)上的執(zhí)行結(jié)果來度量。

  （理解：元表現(xiàn)度量是在支撐集上對(duì)機(jī)器學(xué)習(xí)進(jìn)行超參賦值，并通過查詢集上的驗(yàn)證精度進(jìn)行度量。在具體任務(wù)上的執(zhí)行結(jié)果來度量方法論的優(yōu)劣）

泛化對(duì)象：

• 最為重要的，元學(xué)習(xí)用以泛化的對(duì)象是機(jī)器學(xué)習(xí)超參賦值的共有規(guī)則， 即對(duì)于具體任務(wù)的執(zhí)行方法論。在理想學(xué)習(xí)效果的前提下，這一方法論可以自然誘導(dǎo)具有不同數(shù)據(jù)模態(tài)、 數(shù)據(jù)尺寸、網(wǎng)絡(luò)模型、優(yōu)化算法等的不同學(xué)習(xí)任務(wù)之間優(yōu)質(zhì)方法論知識(shí)的折中利用與遷移借鑒，從而有望帶來比傳統(tǒng)機(jī)器學(xué)習(xí)更為強(qiáng)大的學(xué)習(xí)功能。

c）小總結(jié)

總結(jié)來說，這種超越傳統(tǒng)機(jī)器學(xué)習(xí)層次的新型學(xué)習(xí)模式有望實(shí)質(zhì)性增強(qiáng)機(jī)器學(xué)習(xí)自身的自動(dòng)化與智能化程度，在諸多應(yīng)用領(lǐng)域的多個(gè)層面取得重要進(jìn)展。其變革性特征體現(xiàn)為：

• 將傳統(tǒng)機(jī)器學(xué)習(xí)面向“數(shù)據(jù)集”進(jìn)行“數(shù)據(jù)有效預(yù)測(cè)規(guī)律”學(xué)習(xí)的基本模式，轉(zhuǎn)變?yōu)?strong>面向“任務(wù)集”進(jìn)行“任務(wù)有效執(zhí)行規(guī)律”學(xué)習(xí)的全新模式。其目標(biāo)為通過探索針對(duì)多個(gè)任務(wù)有效的學(xué)習(xí)策略， 歸納多任務(wù)預(yù)測(cè)策略的共性規(guī)律，從而將其快速遷移用于對(duì)新任務(wù)的學(xué)習(xí)過程。該元學(xué)習(xí)模式突破了傳統(tǒng)機(jī)器學(xué)習(xí)針對(duì)單個(gè)任務(wù)進(jìn)行數(shù)據(jù)預(yù)測(cè)規(guī)律學(xué)習(xí)的傳統(tǒng)思維，革新性地針對(duì)多個(gè)任務(wù)進(jìn)行其共有“學(xué)習(xí)方法論”的學(xué)習(xí)，對(duì)于進(jìn)一步深入探索機(jī)器學(xué)習(xí)理論內(nèi)涵， 挖掘機(jī)器學(xué)習(xí)潛在能力，擴(kuò)展機(jī)器學(xué)習(xí)有效應(yīng)用邊界， 均具有重要價(jià)值與作用。
• 特別地，其有望全面改善原有機(jī)器學(xué)習(xí)存在的本質(zhì)問題。如：
  • 針對(duì)“大數(shù)據(jù)”問題， 可通過學(xué)習(xí)大量小數(shù)據(jù)任務(wù)的學(xué)習(xí)規(guī)律，從而習(xí)得保證依賴于小數(shù)據(jù)進(jìn)行有效預(yù)測(cè)的共有方法論，進(jìn)而將其應(yīng)用于實(shí)際的小樣本學(xué)習(xí)任務(wù)中；
  • 針對(duì)“大算力”問題，由于理想的學(xué)習(xí)**“學(xué)習(xí)方法論”模式避免了過度的人工調(diào)參**，超參賦值轉(zhuǎn)變?yōu)樽詣?dòng)化的元學(xué)習(xí)預(yù)測(cè)問題， 因而有望大量節(jié)省盲目調(diào)參帶來的算力浪費(fèi)；
  • 針對(duì)“大模型”問題，理想的通過元學(xué)習(xí)調(diào)參而進(jìn)行自動(dòng)搭建網(wǎng)絡(luò)結(jié)構(gòu)（被稱為網(wǎng)絡(luò)結(jié)構(gòu)搜索，NAS）的想法可以減少網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)的困難，而更為先進(jìn)的方法通過在已有性能優(yōu)良的網(wǎng)絡(luò)結(jié)構(gòu)上引入超參，利用元學(xué)習(xí)進(jìn)行結(jié)構(gòu)微調(diào)，可獲得更加快速有效的網(wǎng)絡(luò)結(jié)構(gòu)調(diào)整策略。

另外需要強(qiáng)調(diào)的一點(diǎn)是，當(dāng)把訓(xùn)練任務(wù)集里的支撐集 $D^{sup}$ 設(shè)置為“源”任務(wù)，而將查詢集 $D^{que}$ 設(shè)置為“目標(biāo)”任務(wù)，執(zhí)行以上雙邊優(yōu)化過程，可以實(shí)現(xiàn)傳統(tǒng)機(jī)器學(xué)習(xí)中類似領(lǐng)域遷移的層次更高的任務(wù)遷移。其合理性在于 ：這種學(xué)習(xí)方式將在源任務(wù)上執(zhí)行的方法論規(guī)律，在目標(biāo)任務(wù)的指導(dǎo)下學(xué)習(xí)，從而將目標(biāo)任務(wù)的內(nèi)在信息實(shí)質(zhì)性嵌入源任務(wù)學(xué)習(xí)的方法論之中，從而達(dá)到減少學(xué)習(xí)結(jié)果對(duì)于目標(biāo)任務(wù)產(chǎn)生過度偏差的目的。從這種意義上講，此時(shí)的查詢集起到了更高層的指導(dǎo)作用，其信息反映了所求元學(xué)習(xí)機(jī)旨在正確泛化的方向與趨勢(shì)，因此亦常被稱為元數(shù)據(jù) 。以帶偏差數(shù)據(jù)的魯棒性機(jī)器學(xué)習(xí)問題為例，此時(shí) $D^{sup}$ 代表包含有噪聲標(biāo)記或具有顯著類不均衡性的現(xiàn)實(shí)數(shù)據(jù)，而 $D^{que}$ 代表一小部分理想條件下收集的高質(zhì)量標(biāo)記數(shù)據(jù)。則通過以上元學(xué)習(xí)的方式，可以實(shí)現(xiàn)利用元數(shù)據(jù)指導(dǎo)合理超參調(diào)整，在偏差數(shù)據(jù)上實(shí)現(xiàn)魯棒學(xué)習(xí)的目標(biāo)。該方法采用的元學(xué)習(xí)機(jī)格式，能夠使得所學(xué)習(xí)的學(xué)習(xí)方法論制定規(guī)律 直接泛化用于新的偏差數(shù)據(jù)任務(wù)的魯棒方法論設(shè)計(jì)之中。這種學(xué)習(xí)模式，對(duì)于拓寬傳統(tǒng)遷移學(xué)習(xí)的應(yīng)用范疇，實(shí)現(xiàn)更為高層的機(jī)器學(xué)習(xí)泛化目標(biāo)， 具有一定程度的啟發(fā)意義。

二、元學(xué)習(xí)具體算法

參考

• Meta-Learning: Learning to Learn Fast
• 元學(xué)習(xí)——MAML論文詳細(xì)解讀

1、MAML算法的推導(dǎo)流程

Model-Agnostic Meta-Learning（MAML，即與模型無關(guān)的元學(xué)習(xí)）

1）算法介紹

以監(jiān)督學(xué)習(xí)中少樣本分類場(chǎng)景為例，MAML算法流程如下（其中要注意支撐集和查詢集的類別空間相同，而且樣本可能存在重復(fù)，但是測(cè)試集和前面兩個(gè)集合無論是在樣本還是類別，都不重復(fù)）：

• 第一個(gè) Require 很關(guān)鍵，也往往容易忽略，就是要求所有的任務(wù)都服從一個(gè)分布 $P(T)$，每個(gè)任務(wù)是從這個(gè)分布中采樣得到的。這就說明了不能隨意拿一個(gè) Task 放到 MAML 框架里，必須滿足某種相似性。（參考正態(tài)分布采樣及Python實(shí)現(xiàn) )

  這里即反復(fù)隨機(jī)抽取task $T$ 組成的task池，作為MAML的訓(xùn)練集。有的小伙伴可能要納悶了，訓(xùn)練樣本就這么多，要組合形成那么多的task，豈不是不同task之間會(huì)存在樣本的重復(fù)？或者某些task的query set會(huì)成為其他task的support set？沒錯(cuò)！就是這樣！我們要記住，MAML的目的，在于fast adaptation，即通過對(duì)大量task的學(xué)習(xí)，獲得足夠強(qiáng)的泛化能力，從而面對(duì)新的、從未見過的task時(shí)，通過fine-tune就可以快速擬合

  這里的query set是就是測(cè)試集，之前把query Set誤解成驗(yàn)證集了。在MAML中，query集和support集可以類別相同。）

• 第二個(gè) Require，這兩個(gè)是模型超參數(shù)，我們的設(shè)置是，有一個(gè)用于多分類的網(wǎng)絡(luò)模型 DNN，現(xiàn)在要通過元學(xué)習(xí)的方式得到網(wǎng)絡(luò)模型的一組初始參數(shù)，為了得到這組參數(shù)，MAML 設(shè)計(jì)了兩層訓(xùn)練，一個(gè)是 Task 內(nèi)部的訓(xùn)練更新，更新的學(xué)習(xí)率是 $\alpha$，一個(gè)是外部的網(wǎng)絡(luò)模型的訓(xùn)練更新，更新的學(xué)習(xí)率是 $\beta$?？梢园褍?nèi)部任務(wù)的訓(xùn)練，想象成前面例子中學(xué)生在每個(gè)科目上的學(xué)習(xí)過程，而外部的更新，則是老師調(diào)整學(xué)生學(xué)習(xí)方向的過程。

1. 訓(xùn)練前首要先隨機(jī)初始化網(wǎng)絡(luò)模型所有參數(shù)$\theta$
2. 設(shè)置一個(gè)外層訓(xùn)練結(jié)束條件，例如迭代10000步等
3. 外層訓(xùn)練就是 Meta 訓(xùn)練過程，上面講過 Meta 訓(xùn)練的對(duì)象是 task，所以 meta 每一次的迭代都要從任務(wù)分布 $P(T)$中隨機(jī)抽取一個(gè) batch 的 tasks
4. 針對(duì) 3 中的每個(gè) task，執(zhí)行下面的過程：
5. 在一個(gè)具體的任務(wù)$T_i$中隨機(jī)抽取包含$K$個(gè)數(shù)據(jù)點(diǎn)的訓(xùn)練樣本集$D$
6. 使用交叉熵?fù)p失函數(shù)或者均方差損失函數(shù)，在 $D$ 上計(jì)算出損失函數(shù)$L_{t_i}$和損失函數(shù)對(duì)$\theta$的梯度。
7. 使用 6 計(jì)算出的梯度，在該任務(wù)上使用一次梯度下降更新模型參數(shù)$\theta$：${\theta }_i^{{}^{\prime }}=\theta ?a\overline{v}$
8. 從該任務(wù)$T_i$中抽樣出一個(gè)測(cè)試集$D^{\prime }$ ，用于 meta 的參數(shù)更新
9. 每個(gè) task 都執(zhí)行 6,7,8 三步，直到這一個(gè) batch 的 task 都執(zhí)行完
10. 這一步就是 meta 的更新過程， 雖然 7 也有更新模型參數(shù)，但是那是任務(wù)內(nèi)的局部更新，并沒有改變外面網(wǎng)絡(luò)模型的參數(shù)，這一步就是要改變網(wǎng)絡(luò)模型的參數(shù)了，仍然是使用梯度下降法進(jìn)行更新，只不過更新用到的梯度是每個(gè)任務(wù)$T_i$在各自的測(cè)試集$D^{\prime }$上計(jì)算出的batch 個(gè)梯度的平均梯度，更新的步長(zhǎng)是$\beta$。可以把這一步的更新，想象成上面例子中老師根據(jù)學(xué)生的平均考試成績(jī)來調(diào)整其學(xué)習(xí)方向的過程，考試題目自然是各科上沒見過的題目，這也就是第 8 步抽取測(cè)試集 $D’ \theta^{'}_i$在 $D^{\prime }$上進(jìn)行前向計(jì)算得到一個(gè) loss**，用這個(gè) loss 再對(duì)${\theta }_i^{{}^{\prime }}$進(jìn)行求導(dǎo)得到測(cè)試集$D^{\prime }$上的梯度，這個(gè)梯度就相當(dāng)于是該任務(wù)上的考試成績(jī)（用測(cè)試集loss求${\theta }_i^{{}^{\prime }}$梯度是為了更新meta階段的參數(shù)）。

這里要事先對(duì)6，7步說明一點(diǎn)：

上面的過程中有一個(gè)問題需要**「事先說明」：可以看到每個(gè)任務(wù)內(nèi)部只更新了一次參數(shù)，也就是 6,7 兩步只做了一次梯度更新**，但其實(shí)也可以進(jìn)行多次的梯度更新，就是把 6,7 兩步重復(fù)執(zhí)行幾次。那作者這里為什么只寫一次呢？這就是作者高明的地方了，那就是做了一個(gè)**「最大化假設(shè)」。我們的最終目的是希望 MAML 訓(xùn)練出的參數(shù)，在新的任務(wù)上進(jìn)行少量幾次的微調(diào)就可以收斂，那最好的結(jié)果就是只更新一次就收斂了，所以在 MAML 訓(xùn)練過程中，作者就特意設(shè)計(jì)每個(gè)任務(wù)內(nèi)部只更新一次參數(shù)，以此來訓(xùn)練這個(gè)模型 “「更新一次就可以最大化性能」**”的能力。類比到上面講的例子，那就是老師希望該學(xué)生具備強(qiáng)大的學(xué)習(xí)能力，在新的沒有見過的科目上只學(xué)習(xí)一天就可以考出好成績(jī)，為了訓(xùn)練該學(xué)生的這個(gè)能力，就讓他在訓(xùn)練的每個(gè)科目上都學(xué)習(xí)一天然后考試一次，老師根據(jù)平均考試成績(jī)調(diào)整學(xué)生的學(xué)習(xí)方向，不斷地重復(fù)這個(gè)過程，直到平均考試成績(jī)可以到 90 分以上就結(jié)束訓(xùn)練，此時(shí)老師就認(rèn)為這個(gè)學(xué)生具備了“在新科目上學(xué)習(xí)一天就能考出好成績(jī)”的能力。

算法簡(jiǎn)化版本為（在meta-update時(shí)，測(cè)試集中的樣本一定要是支撐集中沒出現(xiàn)過的（不一定是novel cls，可以是相同類別），而查詢集沒有這個(gè)約束（其樣本可以存在于支撐集中），查詢集就是測(cè)試集，下面紅字的意思是在進(jìn)行meta-update更新時(shí)query集必須是不同于support集的set，即再次采樣，但是卻沒說support集中的樣本是否可以重復(fù)存在于query集中）：

可以發(fā)現(xiàn)在更新${\theta }^{?}$時(shí)，需要計(jì)算多次梯度（對(duì)應(yīng)不同更新的模型）

2）MAML推導(dǎo)流程（“meta梯度，一階近似 FOMAML“）

參數(shù)的更新策略為：根據(jù)全局參數(shù)$?$，在進(jìn)行每一個(gè)$tas{k}_i$時(shí)進(jìn)行內(nèi)部參數(shù)${\theta }_i$的局部更新; 根據(jù)更新后的內(nèi)部參數(shù)${\theta }_i^{{}^{\prime }}$對(duì)測(cè)試集計(jì)算loss, 并逐一對(duì)全局參數(shù)$?$計(jì)算梯度，得到新的全局參數(shù)${?}^{{}^{\prime }}$。

上圖是 MAML 訓(xùn)練時(shí)模型參數(shù)的更新過程，其中$?$是網(wǎng)絡(luò)模型的初始參數(shù)，也就是偽算法中的 1， 那一步${\theta }_i^{{}^{\prime }}$是任務(wù)內(nèi)部在$?$上更新一次后的參數(shù)，也就是偽算法的第 7 步，$L(?)$是所有task 在各自測(cè)試集$D^{\prime }$上的 loss 和，用$L(?)$對(duì)模型參數(shù)進(jìn)行求導(dǎo)得出梯度，來進(jìn)行meta的參數(shù)更新，也就是真正更新網(wǎng)絡(luò)模型的參數(shù)。圖中右邊的過程就是把 meta 梯度下降更新的數(shù)學(xué)過程展開，其中最關(guān)鍵的一步是藍(lán)色彎箭頭標(biāo)出的那個(gè)變換，就是第二個(gè)等號(hào)到第三個(gè)等號(hào)的那一步，其它步驟還都比較好理解，下面來詳細(xì)看下關(guān)鍵這步的變換，其中主要是$l^i(\theta {’}_i)$對(duì)$?$求導(dǎo)不好求，如果這個(gè)可以算出來，剩下的步驟就好說了。

上圖就是計(jì)算$l^i(\theta {’}_i)$對(duì)$?$求導(dǎo)的過程，因?yàn)?span id="n5n3t3z" class="katex--inline">$\theta {’}_i$是由$?$經(jīng)過一次梯度下降更新得到的, 其實(shí)$?$是一組參數(shù)向量，代表網(wǎng)絡(luò)模型的各個(gè)參數(shù)，所以可以將求導(dǎo)展開成向量形式，向量每個(gè)元素$l^i(\theta {’}_i)$是對(duì)$?$的求導(dǎo)，也就是上圖中的紅框1，那如何計(jì)算$l^i(\theta {’}_i)$對(duì)$?$求導(dǎo)呢？我們知道是由經(jīng)過梯度下降公式得到的，那么和的關(guān)系就是下面這樣（$\theta {’}_i$是一個(gè)向量）：

也就是${?}_i$和${\theta }_{ij}^{\prime }$每個(gè)都是有關(guān)系的，${\theta }_i^{\prime }$又是由多個(gè)${\theta }_{ij}^{\prime }$組成的，所以$l({\theta }_i^{\prime })$對(duì)${?}_i$的求導(dǎo)就是對(duì)上面的鏈路求導(dǎo)的和，每個(gè)路徑的求導(dǎo)則是$l({\theta }_i^{\prime })$對(duì)${\theta }_{ij}^{\prime }$求導(dǎo)結(jié)果和${\theta }_{ij}^{\prime }$對(duì)${?}_i$的求導(dǎo)結(jié)果相乘，也就是上圖中紅框2所在的公式，其中的關(guān)鍵是紅框2的位置，也就是${\theta }_{ij}^{\prime }$對(duì)${?}_i$的求導(dǎo)，${\theta }_{ij}^{\prime }$是${?}_{ij}$經(jīng)過梯度下降公式變過來的，也就是圖中的紅色5標(biāo)記的地方， 所以${\theta }_{ij}^{\prime }$對(duì)${?}_{ij}$的求導(dǎo)就有兩種情況， $i=j$和 $i\ne j$, 時(shí)，計(jì)算結(jié)果就是紅框4所處的公式， $i=j$時(shí)就是紅框3的公式，可以看到這兩個(gè)公式中都出現(xiàn)了二階的偏導(dǎo)，二階偏導(dǎo)求起來比較麻煩會(huì)影響到計(jì)算速度，所以作者使用了一階近似的方法 first-order approximation，也就是把公式中的二階偏導(dǎo)近似為0，這樣近似后就簡(jiǎn)單很多，即${\theta }_{ij}^{\prime }$對(duì)${?}_{ij}$的求導(dǎo)在$i=j$時(shí)約等于1，在$i\ne j$時(shí)約等于0。然后順著圖中的藍(lán)色箭頭一步步帶入，最后就會(huì)得到$l({\theta }_i^{\prime })$對(duì)${?}_i$的求導(dǎo)近似等于$l({\theta }_i^{\prime })$對(duì)${\theta }_i^{\prime }$的求導(dǎo)，再回到更新 meta 參數(shù)的公式來看就簡(jiǎn)單了：

上圖紅框標(biāo)出的公式就是 meta 更新參數(shù)時(shí)實(shí)際做的事情，這個(gè)式子可以這樣看

這是什么意思呢？$g_i$是第$i$個(gè)任務(wù)在其測(cè)試集上計(jì)算出的梯度方向，從幾何上看，這個(gè)式子的更新過程是這樣的：

藍(lán)色點(diǎn)表示網(wǎng)絡(luò)模型真正的參數(shù)，綠色第一個(gè)箭頭表示在其訓(xùn)練集 D 上計(jì)算的梯度，綠色第二個(gè)箭頭表示在其測(cè)試集D’上計(jì)算出的梯度，藍(lán)色箭頭表示 meta 模型網(wǎng)絡(luò)模型參數(shù)的方向，可以看到它就是在每個(gè)任務(wù)的測(cè)試集的梯度方向上不斷的去做更新。從這個(gè)過程中可以看出來，MAML 真正更新網(wǎng)絡(luò)模型參數(shù)時(shí)，「關(guān)心的是測(cè)試集上的梯度，而不是每個(gè)任務(wù)上訓(xùn)練集的梯度」，也就是說，它更新的每一步的目標(biāo)，都是使得更新后的參數(shù)能在以后的測(cè)試集上表現(xiàn)的更好，正是因?yàn)檫@樣，才能說明 meta 停止更新時(shí)的參數(shù)具有很好的潛力/學(xué)習(xí)能力，這個(gè)能力使得這組參數(shù)在之后新的任務(wù)上微調(diào)幾次就可以在該任務(wù)上取得很好的性能，當(dāng)然理想情況還是微調(diào)一次就能取得不錯(cuò)的成績(jī)，如果一次微調(diào)更新效果不好，那還可以再繼續(xù)多次的微調(diào)更新。這也與我們最初希望的目標(biāo)，即能在新任務(wù)上快速適應(yīng)相吻合，即使該任務(wù)只有少量的訓(xùn)練樣本，比如10條或者5條，甚至是1條樣本，也能快速的學(xué)習(xí)到一些有效特征。

該圖是不是驗(yàn)證了該小章節(jié)的開頭的一句小總結(jié)：

參數(shù)的更新策略為：根據(jù)全局參數(shù)$?$，在進(jìn)行每一個(gè)$tas{k}_i$時(shí)進(jìn)行內(nèi)部參數(shù)${\theta }_i$的局部更新; 根據(jù)更新后的內(nèi)部參數(shù)${\theta }_i^{{}^{\prime }}$對(duì)測(cè)試集計(jì)算loss, 并逐一對(duì)全局參數(shù)$?$計(jì)算梯度，得到新的全局參數(shù)${?}^{{}^{\prime }}$。（這難道不和蟻群算法中局部信息素，全局信息素的更新很相似嗎？目的就是要盡快找到全局最優(yōu)解？）

基于上面的分析，可以用一個(gè)流程圖來表示通用 MAML 的訓(xùn)練更新過程：

2、MAML與Reptile的比較

下面是Reptile模型（簡(jiǎn)化版的MAML）

具體步驟：

• 1. sampling a task,
• 2. training on it by multiple gradient descent steps,
• 3. and then moving the model weights towards the new parameters.

Retitle vs MAML

共同點(diǎn)：

Reptile和MAML元學(xué)習(xí)優(yōu)化框架都要保存多個(gè)模型

不同點(diǎn)：

• MAML對(duì)于每個(gè)任務(wù)（支撐集）都需要采樣查詢集，為inner每個(gè)模型計(jì)算loss，在meta-update階段通過累加的loss求梯度，接著對(duì)meta模型的參數(shù)進(jìn)行更新。
• Reptile無需通過查詢集來計(jì)算誤差，直接通過多次在支撐集上訓(xùn)練，得到內(nèi)部每個(gè)模型的參數(shù)并保存。在meta-update階段，通過累加計(jì)算inner每個(gè)模型的參數(shù)和當(dāng)前meta-iter元模型初始化參數(shù)的差再求平均，該階段無需計(jì)算梯度，直接通過meta-lr來更新元模型初始化參數(shù)即可。

基于上面的分析，可以用一個(gè)流程圖來表示通用 MAML 的訓(xùn)練更新過程：

這個(gè)圖中是以 task 內(nèi)部更新 k 次參數(shù)為例的，當(dāng) k=1 的時(shí)候 Reptile 就和 MAML 一模一樣了。

3、與遷移學(xué)習(xí)的比較

前面講過，元學(xué)習(xí)和遷移學(xué)習(xí)有相似的地方，形式上都是在之前的任務(wù)上進(jìn)行預(yù)訓(xùn)練，然后獲得一組參數(shù)，然后用這組參數(shù)在新的任務(wù)繼續(xù)微調(diào)，但它們是有本質(zhì)的區(qū)別的。想想遷移學(xué)習(xí)的預(yù)訓(xùn)練是怎么訓(xùn)練的，比如在 ImageNet 大數(shù)據(jù)集上預(yù)訓(xùn)練的 ResNet、VGG 這些網(wǎng)絡(luò)模型，它們?cè)谟?xùn)練的時(shí)候是用在 ImageNet 訓(xùn)練集上的 loss 算出來的梯度來更新模型參數(shù)的，以訓(xùn)練集上的 loss 為準(zhǔn)，關(guān)心的是當(dāng)前模型參數(shù)在訓(xùn)練集上的性能如何。而元學(xué)習(xí) MAML 在訓(xùn)練期間是用測(cè)試集上的 loss 算出的梯度來更新模型參數(shù)的，以測(cè)試集上的 loss 為準(zhǔn)，不關(guān)心在當(dāng)前訓(xùn)練集上的性能，而是關(guān)心這組參數(shù)在之后的測(cè)試集上的性能如何，也就是這組參數(shù)的潛力。換句話說，在 MAML 這篇論文中，是看這組參數(shù)在更新一次后的模型參數(shù)在測(cè)試集上能夠表現(xiàn)多好，而不是訓(xùn)練期間能夠多好，這種潛力也與元學(xué)習(xí)的大目標(biāo)相符，即 Learn to learn 學(xué)會(huì)如何學(xué)習(xí)從而具備某種學(xué)習(xí)能力或?qū)W習(xí)技巧，可以在新的任務(wù)上快速學(xué)習(xí)。類比到上面老師和學(xué)生的例子，也很好理解，老師每次都是以學(xué)生的平均考試成績(jī)?yōu)榉较蜻M(jìn)行調(diào)整，這個(gè)考試成績(jī)自然是每門功課上沒有見過的題目，只有這樣才能訓(xùn)練出該學(xué)生的學(xué)習(xí)能力。從幾何上來看，遷移學(xué)習(xí)預(yù)訓(xùn)練模型的參數(shù)更新過程是這樣的：

這就能看出和 MAML 不一樣的地方了，遷移學(xué)習(xí)的預(yù)訓(xùn)練每次更新參數(shù)時(shí)，都是在當(dāng)前任務(wù)上訓(xùn)練集的梯度方向上進(jìn)行更新。

4、實(shí)驗(yàn)分析（”遷移 vs 元學(xué)習(xí)“）

1）回歸問題

已有預(yù)訓(xùn)練模型（學(xué)習(xí)舊曲線），在給定新曲線的少數(shù)樣本下，擬合新曲線

論文中關(guān)于回歸問題的例子是，擬合正弦函數(shù)曲線，所有任務(wù)的分布$p(T)$就是正弦函數(shù)分布 $y=a?sin(x+b)$，不同的任務(wù)只需要抽樣不同的 a 和 b 即可，按照上面講的 MAML 訓(xùn)練過程，在若干個(gè)不同a和b的正弦函數(shù)上進(jìn)行預(yù)訓(xùn)練，然后用預(yù)訓(xùn)練出的網(wǎng)絡(luò)模型在新的正弦函數(shù)樣本上進(jìn)行測(cè)試，這個(gè)新的正弦函數(shù)是訓(xùn)練期間沒有見過的一組a和b，只給出少量的訓(xùn)練樣本，如5個(gè)或10個(gè)。論文中對(duì)比了 MAML 模型和遷移學(xué)習(xí)預(yù)訓(xùn)練模型，在這個(gè)新的正弦函數(shù)上的預(yù)測(cè)性能，注意不管是哪種模型在這個(gè)新的任務(wù)上都還是要進(jìn)行訓(xùn)練的，只不過這個(gè)訓(xùn)練是在之前參數(shù)的基礎(chǔ)上微調(diào)，這個(gè)新任務(wù)對(duì)于 meta 來說就是推理任務(wù)，而在任務(wù)內(nèi)部還是需要微調(diào)更新的。下圖就是 MAML 模型和預(yù)訓(xùn)練模型在新的正弦函數(shù)上訓(xùn)練之后，在其測(cè)試集上的表現(xiàn)。

左邊兩個(gè)圖是 MAML 模型的結(jié)果，左邊第一個(gè)圖是用 MAML 的思路訓(xùn)練出的模型，在新正弦函數(shù)的 5 個(gè)樣本上微調(diào)之后，進(jìn)行預(yù)測(cè)的結(jié)果。可以看到新的正弦函數(shù)，在訓(xùn)練時(shí)只給了分布在右半部分的 5 個(gè)點(diǎn)，其中紅色線是真實(shí)分布，淺綠色線是不進(jìn)行微調(diào)直接用預(yù)訓(xùn)練參數(shù)進(jìn)行預(yù)測(cè)的結(jié)果，可以看出來預(yù)訓(xùn)練參數(shù)跑出的結(jié)果已經(jīng)有了初步的形狀。深綠色線是微調(diào)一次參數(shù)后進(jìn)行預(yù)測(cè)的結(jié)果，此時(shí)預(yù)測(cè)出的曲線已經(jīng)基本擬合真實(shí)的正弦函數(shù)了，在包含訓(xùn)練樣本的右半側(cè)可以完全擬合，在左半邊的曲線，模型雖然沒有見過這部分的樣本但也可以學(xué)習(xí)出它的周期性質(zhì)，在形狀上基本擬合。左邊第二個(gè)圖不同的是，給出了新的正弦函數(shù)的10個(gè)訓(xùn)練樣本，可以看到 MAML 在進(jìn)行一次微調(diào)后，基本就可以擬合全部曲線了，在進(jìn)行十次微調(diào)后，擬合程度更進(jìn)一步。

右邊兩個(gè)圖是同樣的設(shè)置下，遷移學(xué)習(xí)預(yù)訓(xùn)練模型的表現(xiàn)，淺藍(lán)色曲線是直接進(jìn)行預(yù)測(cè)的結(jié)果，可以看到和真實(shí)分布相差甚遠(yuǎn)，尤其是波峰的位置，完全沒對(duì)上，在微調(diào)1次和10次之后，相比于不微調(diào)，有一點(diǎn)進(jìn)步，但和真實(shí)分布相比，依然相差較大。并且模型發(fā)生了過擬合現(xiàn)象，如果樣本點(diǎn)只在右半部分，那模型在右半部分的擬合上表現(xiàn)還行，在另一半的位置上表現(xiàn)更差。如果遷移學(xué)習(xí)預(yù)訓(xùn)練的任務(wù)足夠多的話，它訓(xùn)練出的模型對(duì)應(yīng)的曲線應(yīng)該是一條接近水平的直線，因?yàn)槊總€(gè)任務(wù)都以訓(xùn)練集上的 loss 為主，這么多任務(wù)的 loss 加起來更新參數(shù)時(shí)，梯度應(yīng)該接近于0。從幾何上理解就是，很多個(gè)正弦函數(shù)疊加在一起，其趨勢(shì)就是一個(gè)水平線，同一個(gè)點(diǎn)，可能是波峰也可能是波谷，中間水平線的位置才能讓所有任務(wù)上的 loss 最小，這就是遷移學(xué)習(xí)預(yù)訓(xùn)練和元學(xué)習(xí)的質(zhì)的差別。

上面的圖可能不是很明顯，有第三方的作者復(fù)現(xiàn)了這個(gè)回歸實(shí)驗(yàn)，并且重新繪制了這部分的圖，如下所示，這個(gè)圖看起來更明顯些。

論文中也對(duì)微調(diào)次數(shù)進(jìn)行了實(shí)驗(yàn)，結(jié)果如下圖：

紅色線是 oracle 設(shè)置組的結(jié)果，oracle 就是在訓(xùn)練時(shí)加入了該任務(wù)真實(shí)的a和b作為特征，相當(dāng)于提前知道了真實(shí)分布，所以在這個(gè)設(shè)置下訓(xùn)練的模型，在新任務(wù)上的 mse loss 基本為 0 ，綠色線是 MAML 的模型，橫軸是微調(diào)次數(shù)，可以看到微調(diào)一次的模型，就可以得到很低的 mse 誤差，而隨著微調(diào)次數(shù)增加，性能也逐漸提升，不過由微調(diào)1次變?yōu)?次，提升還比較明顯，后面的提升就不明顯了，尤其是在5次微調(diào)之后，基本就沒有提升了。藍(lán)色線是遷移學(xué)習(xí)的預(yù)訓(xùn)練模型，可以看到不管是微調(diào)幾次，其 mse 值都很大，與 MAML 的模型相比，更是相差甚遠(yuǎn)。

2）分類問題

分類問題場(chǎng)景是兩個(gè)少樣本學(xué)習(xí)中常見的基準(zhǔn)數(shù)據(jù)集：MiniImagenet 和 Omniglot，下圖是在 Omniglot 數(shù)據(jù)集上的結(jié)果：

其中 5-way 是表示5分類，1-shot 表示訓(xùn)練時(shí)每個(gè)類別下只有一個(gè)樣本，5-shot就是每個(gè)類別下只有5個(gè)樣本，可以看到不管在哪個(gè)設(shè)置下，MAML 模型的表現(xiàn)都是最好的。下圖是在 MiniImagenet 數(shù)據(jù)集上的結(jié)果：

在這個(gè)數(shù)據(jù)上，作者還對(duì)比了使用一階微分近似和不使用的結(jié)果，還記得一階微分近似是啥嗎？不記得的話，請(qǐng)往上翻看數(shù)學(xué)公式部分，可以看到使用了一階微分近似，在效果上相差不大，但是作者證明在速度上可以提高 33% 左右，這可是一個(gè)性價(jià)比很高的改進(jìn)。

3）MAML代碼實(shí)現(xiàn)

參考

• Model-Agnostic Meta-Learning在少樣本上的應(yīng)用
• Model-Agnostic Meta-Learning在強(qiáng)化學(xué)習(xí)上的應(yīng)用

到了這里，關(guān)于【筆記整理】元學(xué)習(xí)筆記的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！