自動化機器學(xué)習(xí),簡稱為AutoML,旨在將機器學(xué)習(xí)模型的開發(fā)中繁瑣且重復(fù)的任務(wù)自動化。這使得數(shù)據(jù)科學(xué)家、分析師以及開發(fā)人員能夠構(gòu)建高度可擴展、高效和高性能的ML模型,且不犧牲模型的質(zhì)量。Azure 機器學(xué)習(xí)的AutoML功能是基于Microsoft Research團隊的前沿技術(shù)而開發(fā)的。
關(guān)注TechLead,分享AI全維度知識。作者擁有10+年互聯(lián)網(wǎng)服務(wù)架構(gòu)、AI產(chǎn)品研發(fā)經(jīng)驗、團隊管理經(jīng)驗,同濟本復(fù)旦碩,復(fù)旦機器人智能實驗室成員,阿里云認證的資深架構(gòu)師,項目管理專業(yè)人士,上億營收AI產(chǎn)品研發(fā)負責(zé)人。文章來源地址http://www.zghlxwxcb.cn/news/detail-712743.html
一、AutoML是如何工作的?
在訓(xùn)練階段,Azure 機器學(xué)習(xí)啟動多個并行管道,分別嘗試不同的算法和參數(shù)組合。這個服務(wù)會不斷嘗試多種與特征選擇相匹配的ML算法,并為每一次迭代產(chǎn)生一個經(jīng)過評分的模型。當(dāng)模型的評分更接近優(yōu)化目標(biāo)時,該模型便會被認為更“適合”于數(shù)據(jù)。當(dāng)滿足預(yù)定的終止條件時,訓(xùn)練過程便會結(jié)束。
要在Azure機器學(xué)習(xí)中設(shè)計并執(zhí)行一個AutoML訓(xùn)練實驗,您可以按照以下步驟進行:
-
明確您要解決的ML問題類型:如分類、預(yù)測、回歸、計算機視覺或NLP。
-
決定是選擇基于代碼的體驗還是基于Web的無代碼體驗:
- 對于偏好代碼的用戶,可以利用Azure 機器學(xué)習(xí) SDKv2 或 Azure 機器學(xué)習(xí) CLIv2。例如,有一個教程指導(dǎo)如何使用AutoML與Python來訓(xùn)練物體檢測模型。
- 對于傾向于少量代碼或無代碼的用戶,可以在Azure 機器學(xué)習(xí)工作室 (https://ml.azure.com) 通過Web界面來操作。例如,有一個教程介紹如何在Azure機器學(xué)習(xí)中使用AutoML構(gòu)建分類模型。
-
指明訓(xùn)練數(shù)據(jù)的來源:Azure 機器學(xué)習(xí)支持多種數(shù)據(jù)輸入方式。
-
配置AutoML的參數(shù),包括決定模型迭代的次數(shù)、超參數(shù)設(shè)定、高級的數(shù)據(jù)預(yù)處理/特征生成策略以及用于評估模型優(yōu)劣的指標(biāo)。
-
提交您的訓(xùn)練任務(wù)。
-
分析訓(xùn)練結(jié)果。
二、何時考慮AutoML?
當(dāng)您希望通過Azure機器學(xué)習(xí)來訓(xùn)練和優(yōu)化模型,特定于多種目標(biāo)指標(biāo)時,AutoML是一個理想的選擇。它能夠規(guī)范化機器學(xué)習(xí)的開發(fā)流程,使不同背景的用戶都能夠有效地解決各種機器學(xué)習(xí)問題。
AutoML對于以下目的具有明顯優(yōu)勢:
- 為非編程背景的人員提供機器學(xué)習(xí)解決方案。
- 節(jié)約開發(fā)和訓(xùn)練時間。
- 整合數(shù)據(jù)科學(xué)的最佳實踐。
- 提供多種解決方案以適應(yīng)不同場景。
-
分類:分類是一種監(jiān)督學(xué)習(xí)方法,其中模型根據(jù)訓(xùn)練數(shù)據(jù)進行預(yù)測,以確定新數(shù)據(jù)的類別。Azure機器學(xué)習(xí)提供了專為此類任務(wù)設(shè)計的特征工程,例如深度神經(jīng)網(wǎng)絡(luò)文本特征化工具。分類的目的是基于已有的數(shù)據(jù)經(jīng)驗,預(yù)測新數(shù)據(jù)的歸屬類別。例如,手寫識別、對象分類等。
-
回歸:與分類相似,回歸也是監(jiān)督學(xué)習(xí)中的一種常見方法。但不同于分類的是,回歸旨在預(yù)測一個連續(xù)的輸出值,而不是類別標(biāo)簽。例如,根據(jù)特定的車輛特性預(yù)測汽車價格。
-
時序預(yù)測:預(yù)測未來趨勢和模式是各種業(yè)務(wù)領(lǐng)域中的關(guān)鍵組件。使用AutoML,您可以獲得高質(zhì)量的時序預(yù)測。
-
計算機視覺:AutoML為計算機視覺任務(wù)提供支持,從簡單的圖像分類到復(fù)雜的對象檢測和分割都可以應(yīng)對。您可以利用Azure機器學(xué)習(xí)的強大功能,如大規(guī)模操作、模型部署和集成。
-
自然語言處理(NLP):AutoML在NLP任務(wù)中同樣展現(xiàn)出卓越的能力。無論是文本分類還是命名實體識別,通過Azure機器學(xué)習(xí)的Python SDK,您都可以輕松地實現(xiàn)NLP模型的自動化訓(xùn)練。
總之,無論您是ML專家、開發(fā)人員,還是來自其他背景的用戶,AutoML都可以為您提供有效、高效的機器學(xué)習(xí)解決方案。
三、AutoML助力訓(xùn)練與集成過程
訓(xùn)練數(shù)據(jù)
借助自動化機器學(xué)習(xí)(AutoML),您可以提交訓(xùn)練數(shù)據(jù)以構(gòu)建模型,并指定執(zhí)行的模型驗證方式。在訓(xùn)練過程中,AutoML 通過使用驗證數(shù)據(jù)和相應(yīng)的算法來優(yōu)化超參數(shù),尋找與訓(xùn)練數(shù)據(jù)最匹配的模型配置。但由于在優(yōu)化過程中反復(fù)使用相同的驗證數(shù)據(jù),可能導(dǎo)致模型對此數(shù)據(jù)產(chǎn)生偏見。為確保最終選擇的模型未受此偏見影響,AutoML 允許使用獨立的測試數(shù)據(jù)集進行評估。
特征工程
指的是根據(jù)數(shù)據(jù)領(lǐng)域的知識創(chuàng)造能增強機器學(xué)習(xí)算法性能的特征。Azure 機器學(xué)習(xí)提供了一系列縮放和規(guī)范化的方法簡化這一過程,統(tǒng)稱為特征化。在自動機器學(xué)習(xí)實驗中,系統(tǒng)會默認進行特征化,但您也可以根據(jù)自己的數(shù)據(jù)進行調(diào)整。此外,還支持其他特征工程技術(shù),如編碼和轉(zhuǎn)換。在Azure機器學(xué)習(xí)工作室或Python SDK中,都可以選擇啟用或自定義特征化。
集成模型
在自動化機器學(xué)習(xí)中也得到了支持。系綜學(xué)習(xí)結(jié)合多個模型的優(yōu)點,通常能獲得更好的結(jié)果。AutoML 利用投票和堆疊的方法來結(jié)合模型。此外,Caruana算法用于決定系綜中的模型組合,從而確保系綜的性能是最優(yōu)的。
ONNX格式
Azure 機器學(xué)習(xí)還允許使用AutoML來創(chuàng)建Python模型并將其轉(zhuǎn)換為ONNX格式,這使得模型能在不同的平臺和設(shè)備上執(zhí)行。ONNX還提供了C#運行時,所以您可以直接在C#應(yīng)用程序中使用生成的模型,這避免了網(wǎng)絡(luò)延遲等潛在問題。
四、實戰(zhàn)案例
實戰(zhàn)案例可以參考官方案例:https://learn.microsoft.com/zh-cn/azure/machine-learning/tutorial-first-experiment-automated-ml?view=azureml-api-2
列出核心過程:
- 先決條件
- 創(chuàng)建工作區(qū)
- 創(chuàng)建自動化機器學(xué)習(xí)作業(yè)
- 創(chuàng)建數(shù)據(jù)集并將其加載為數(shù)據(jù)資產(chǎn)
- 配置作業(yè)
- 瀏覽模型
- 模型說明
- 部署最佳模型
- 清理資源
- 后續(xù)步驟
部分過程圖:
五、總結(jié)
自動化機器學(xué)習(xí)也稱為自動化 ML 或 AutoML,是將機器學(xué)習(xí)模型開發(fā)過程中耗時的反復(fù)性任務(wù)自動化的過程。 數(shù)據(jù)科學(xué)家、分析師和開發(fā)人員可以使用它來生成高度可縮放、高效且高產(chǎn)能的 ML 模型,同時保證模型的質(zhì)量。文章來源:http://www.zghlxwxcb.cn/news/detail-712743.html
關(guān)注TechLead,分享AI全維度知識。作者擁有10+年互聯(lián)網(wǎng)服務(wù)架構(gòu)、AI產(chǎn)品研發(fā)經(jīng)驗、團隊管理經(jīng)驗,同濟本復(fù)旦碩,復(fù)旦機器人智能實驗室成員,阿里云認證的資深架構(gòu)師,項目管理專業(yè)人士,上億營收AI產(chǎn)品研發(fā)負責(zé)人。
到了這里,關(guān)于Azure - 自動化機器學(xué)習(xí)AutoML Azure使用詳解的文章就介紹完了。如果您還想了解更多內(nèi)容,請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章,希望大家以后多多支持TOY模板網(wǎng)!