作者：禪與計算機程序設(shè)計藝術(shù)
1.簡介
遷移學(xué)習(xí)（Transfer Learning）是當今深度學(xué)習(xí)中一個重要應(yīng)用領(lǐng)域。主要解決的問題是如何利用別人的經(jīng)驗教訓(xùn)來快速學(xué)習(xí)新的任務(wù)。而領(lǐng)域自適應(yīng)（Domain Adaptation）則是根據(jù)不同領(lǐng)域的特點，設(shè)計不同的模型結(jié)構(gòu)來解決同類任務(wù)上的差異性?；谶@些工作，本文從兩個方面對遷移學(xué)習(xí)、領(lǐng)域自適應(yīng)做詳細闡述，并分享常用的方法論和開源框架實現(xiàn)。
遷移學(xué)習(xí)可以從三個方面進行分類：
-
特征提取層：采用某個領(lǐng)域已經(jīng)訓(xùn)練好的網(wǎng)絡(luò)結(jié)構(gòu)（如AlexNet、VGG等），僅將最后一層卷積層的參數(shù)固定住，然后重新訓(xùn)練分類器層，用來處理新領(lǐng)域的數(shù)據(jù)。此時，通常只需要在新領(lǐng)域上微調(diào)幾層參數(shù)即可。
-
任務(wù)層：將已有的模型結(jié)構(gòu)用作分類器層，但對其中的某些層進行凍結(jié)，不更新；然后在目標領(lǐng)域上繼續(xù)微調(diào)其余的網(wǎng)絡(luò)參數(shù)。這種方式可以降低計算量、減少過擬合風(fēng)險、提升泛化能力。
-
數(shù)據(jù)集層：利用跨領(lǐng)域的數(shù)據(jù)集進行訓(xùn)練，如ImageNet、Pascal VOC、MNIST等。此時，通過預(yù)訓(xùn)練模型提取特征，再加上適配數(shù)據(jù)集的微調(diào)層，就可以得到有效的分類模型。
領(lǐng)域自適應(yīng)則是利用已有的模型結(jié)構(gòu)來針對特定領(lǐng)域的數(shù)據(jù)進行優(yōu)化。主要有以下兩種方案：
-
使用多模態(tài)數(shù)據(jù)：這是最簡單的一種方法，它可以同時考慮圖像、文本、音頻等多種輸入信息。它的原理是提前訓(xùn)練一個跨領(lǐng)域的模型，然后把各個模態(tài)的特征輸入到這個模型，最終輸出多個領(lǐng)域的分類結(jié)果。文章來源：http://www.zghlxwxcb.cn/news/detail-735684.html
利用注意力機制：目前還沒有研究透徹的自適應(yīng)方法&文章來源地址http://www.zghlxwxcb.cn/news/detail-735684.html
到了這里，關(guān)于AI架構(gòu)師必知必會系列：遷移學(xué)習(xí)與領(lǐng)域自適應(yīng)的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！
