機(jī)器學(xué)習(xí)模仿人類如何通過經(jīng)驗(yàn)獲取知識。然而，人類也可以在不同的任務(wù)之間轉(zhuǎn)移知識。假設(shè)您知道如何彈吉他——學(xué)習(xí)如何彈奏班卓琴對您來說有多難？鋼琴呢——你需要多少進(jìn)一步的學(xué)習(xí)？
這種建立在以前經(jīng)驗(yàn)之上的理論，而不是從頭開始學(xué)習(xí)，是當(dāng)今機(jī)器學(xué)習(xí)的一個熱門話題。這種方法稱為遷移學(xué)習(xí)。 正如Andrew NG在NIPS 2019教程中評論的那樣：“在監(jiān)督學(xué)習(xí)之后 - 遷移學(xué)習(xí)將成為ML商業(yè)成功的下一個驅(qū)動力”。
What is “transfer learning”? 什么是“遷移學(xué)習(xí)”？
遷移學(xué)習(xí)是一個令人興奮的概念，它旨在重新發(fā)展機(jī)器學(xué)習(xí)模型需要從頭開始重建的傳統(tǒng)觀念，即使新的案例研究只是一個特征（領(lǐng)域變量）分布變化。通過遷移學(xué)習(xí)，您不必一次又一次地訓(xùn)練模型，而是可以使用為一項任務(wù)獲得的知識來解決相關(guān)任務(wù)。
數(shù)據(jù)科學(xué)中遷移學(xué)習(xí)背后的關(guān)鍵概念是深度學(xué)習(xí)模型。它們需要大量數(shù)據(jù)，如果你的模型也是受監(jiān)督的，這意味著你需要大量的標(biāo)記數(shù)據(jù)。參與機(jī)器學(xué)習(xí)項目的每個人都知道，標(biāo)記數(shù)據(jù)樣本非常繁瑣且耗時。由于缺乏標(biāo)記的訓(xùn)練數(shù)據(jù)，此過程會減慢您的模型開發(fā)團(tuán)隊的速度，甚至?xí)柚钩晒Φ臋C(jī)會。深度學(xué)習(xí)解決方案的另一個常見問題是，盡管最先進(jìn)的算法具有很高的準(zhǔn)確性，但它們依賴于非常具體的數(shù)據(jù)集，并且在實(shí)際操作場景中引入新的模式和案例時會遭受巨大的性能損失。
遷移學(xué)習(xí)并不是一個新概念，實(shí)際上可以追溯到NIPS 1995研討會“學(xué)習(xí)學(xué)習(xí)：歸納系統(tǒng)中的知識鞏固和轉(zhuǎn)移”。除了用于改進(jìn)深度學(xué)習(xí)模型外，遷移學(xué)習(xí)還用于構(gòu)建和訓(xùn)練機(jī)器學(xué)習(xí)模型的新方法。
航空業(yè)遷移學(xué)習(xí)的一個真實(shí)例子：預(yù)測跑道占用率
舉例來說，我們在一個名為 Safeclouds.eu 的 H2020 項目中開發(fā)了一個機(jī)器學(xué)習(xí)模型。該模型試圖準(zhǔn)確預(yù)測距離跑道閾值 2NM 處的到達(dá)跑道占用時間 (AROT)：
- 我們得到了一個龐大的數(shù)據(jù)集，該數(shù)據(jù)集由已知的 AROTs 標(biāo)示，其中包含在特定機(jī)場（維也納機(jī)場，LOWW）的特定跑道（R34）上的運(yùn)行情況。數(shù)據(jù)集由不同的數(shù)據(jù)源（雷達(dá)軌跡、飛行計劃、天氣信息等）組成。
- 我們利用這些數(shù)據(jù)訓(xùn)練了一個機(jī)器學(xué)習(xí)模型。該模型對屬于該領(lǐng)域的未見數(shù)據(jù)點(diǎn)（即 LOWW 機(jī)場的 R34）進(jìn)行了很好的泛化。我們將這項預(yù)測任務(wù)稱為 T1。
- 假設(shè)我們想將訓(xùn)練好的模型應(yīng)用到另一個機(jī)場的另一條跑道上，例如巴塞羅那機(jī)場（LEBL）的 25R 跑道。讓我們把這項新任務(wù)稱為新領(lǐng)域中的 T2。
- 從理論上講，我們應(yīng)該能夠?qū)⒔?jīng)過訓(xùn)練的模型應(yīng)用于 T1，但新的預(yù)測會觀察到巨大的性能下降。這是機(jī)器學(xué)習(xí)中一個眾所周知的問題：當(dāng)域發(fā)生變化時，我們會向模型引入偏差。
- 在這種情況下，我們也會注意到 T2 的數(shù)據(jù)比 T1 的數(shù)據(jù)少得多。在訓(xùn)練另一個模型時，我們沒有足夠的樣本來在預(yù)測方面表現(xiàn)出色。
- 因此，只剩下一種解決方案：應(yīng)用遷移學(xué)習(xí)，使用 T2 可用的新數(shù)據(jù)“重新訓(xùn)練”我們的 T1 模型。
通過遵循這種方法，我們可以將我們的預(yù)測模型推廣到全球每個機(jī)場！
遷移學(xué)習(xí)的挑戰(zhàn)以及如何應(yīng)對這些挑戰(zhàn)
事實(shí)上，將預(yù)訓(xùn)練模型用于新任務(wù)/領(lǐng)域的想法并不那么容易應(yīng)用。例如，如果兩個域不同，它們可能具有不同的特征空間或不同的邊緣分布。這意味著描述您的新研究案例的變量可能不同。
此外，當(dāng)兩個任務(wù)不同時，它們可能會呈現(xiàn)不同的標(biāo)簽空間或不同的條件分布。這可能意味著可能會出現(xiàn)新的、未見過的情況，并且您的模型可能會專注于檢測不平衡的情況（例如很少發(fā)生的新情況）。
為了事先解決這些問題，我們需要回答一些問題：
- 我們需要遷移什么？：我們需要確定模型知識的哪些方面與新案例研究相關(guān)。通常，這涉及評估源和目標(biāo)的共同點(diǎn)。功能相同嗎？目標(biāo)變量是否處于相似分布？有新課程嗎？
- 什么時候遷移是安全的？ 在某些情況下，遷移學(xué)習(xí)不僅不可行，反而會使模型變得更糟（稱為負(fù)遷移）。我們需要仔細(xì)評估這兩種情況，并與這兩種情況下的領(lǐng)域?qū)＜曳磸?fù)確認(rèn)。
- 我們應(yīng)該如何轉(zhuǎn)移？ 一旦我們確定了需要轉(zhuǎn)移的內(nèi)容以及它是否可行，我們就必須確定跨領(lǐng)域/跨任務(wù)轉(zhuǎn)移知識的正確方法。了解哪些現(xiàn)有算法和技術(shù)適用是非常重要的。別擔(dān)心，我們將在下一篇文章中介紹一些遷移學(xué)習(xí)算法。
結(jié)論和未來的帖子
遷移學(xué)習(xí)是迄今為止最有前途的機(jī)器學(xué)習(xí)主流產(chǎn)品推動者。該行業(yè)可能需要采用它，以便提供可以快速原型化的可靠解決方案。我個人認(rèn)為這將成為未來某個關(guān)鍵的方法論。例如，近年來，用于計算機(jī)視覺或語音識別的預(yù)訓(xùn)練模型庫已經(jīng)出現(xiàn)（Google BERT、PyTorch 的 torchvision、Tensorflow 模型、fastAI 等）。文章來源：http://www.zghlxwxcb.cn/news/detail-820770.html
在以后的文章中，我們將介紹現(xiàn)有的遷移學(xué)習(xí)方法和算法，以及來自知名機(jī)器學(xué)習(xí)參與者的一些遷移學(xué)習(xí)的成功用例。敬請關(guān)注！文章來源地址http://www.zghlxwxcb.cn/news/detail-820770.html
到了這里，關(guān)于【前沿技術(shù)雜談：遷移學(xué)習(xí)】遷移學(xué)習(xí)是在航空業(yè)實(shí)現(xiàn)人工智能的最后一步嗎？的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！
