??作者簡(jiǎn)介：熱愛跑步的恒川，致力于C/C++、Java、Python等多編程語(yǔ)言，熱愛跑步，喜愛音樂的一位博主。
??本文收錄于恒川的日常匯報(bào)系列，大家有興趣的可以看一看
??相關(guān)專欄C語(yǔ)言初階、C語(yǔ)言進(jìn)階系列、恒川等，大家有興趣的可以看一看
??Python零基礎(chǔ)入門系列，Java入門篇系列、docker技術(shù)篇系列、Apollo的學(xué)習(xí)錄系列正在發(fā)展中，喜歡Python、Java、docker的朋友們可以關(guān)注一下哦！

1. 前言

??作為計(jì)算機(jī)科學(xué)的一個(gè)重要領(lǐng)域，機(jī)器學(xué)習(xí)也是目前人工智能領(lǐng)域非常活躍的分支之一。機(jī)器學(xué)習(xí)通過分析海量數(shù)據(jù)、總結(jié)規(guī)律，幫助人們解決眾多實(shí)際問題。隨著機(jī)器學(xué)習(xí)技術(shù)的發(fā)展，越來越多的企業(yè)將機(jī)器學(xué)習(xí)技術(shù)作為核心競(jìng)爭(zhēng)力，并運(yùn)用在實(shí)際業(yè)務(wù)中。

??但是，機(jī)器學(xué)習(xí)應(yīng)用落地并非一件輕松的事情，AI開發(fā)者往往需要面對(duì)各個(gè)環(huán)節(jié)的挑戰(zhàn)。這些環(huán)節(jié)包括目標(biāo)定義、數(shù)據(jù)收集、數(shù)據(jù)清洗、特征提取、模型選擇、模型訓(xùn)練、模型部署和模型監(jiān)控等，其中任何一個(gè)環(huán)節(jié)出現(xiàn)失誤，都可能影響算法和策略在最終業(yè)務(wù)中落地的效果，造成成倍的損失。反過來看，利用工程化技術(shù)去優(yōu)化模型的自學(xué)習(xí)能力，能讓模型保持持續(xù)更新、迭代和演進(jìn)，隨著數(shù)據(jù)和業(yè)務(wù)的變化不斷進(jìn)行自適應(yīng)，避免衰退，始終保持在最佳狀態(tài)，為業(yè)務(wù)場(chǎng)景帶來更好的效果、更多的價(jià)值。

??除了效果之外，機(jī)器學(xué)習(xí)應(yīng)用的開發(fā)效率也是阻礙落地的關(guān)鍵因素。像Google這樣的互聯(lián)網(wǎng)領(lǐng)頭羊企業(yè)，其AI科學(xué)家與AI工程師也常常會(huì)遇到“開發(fā)一周，上線三月”的情況。因此需要針對(duì)每個(gè)模型花費(fèi)數(shù)月時(shí)間進(jìn)行正確性排查，覆蓋模型魯棒性、數(shù)據(jù)時(shí)序穿越、線上線下一致性、數(shù)據(jù)完整性等各個(gè)維度。

??從團(tuán)隊(duì)協(xié)作角度來看，數(shù)據(jù)、模型、算法的開發(fā)和部署需要不同的技能和知識(shí)，需要團(tuán)隊(duì)敏捷地進(jìn)行溝通和協(xié)作。因此，建設(shè)一種可以在任何時(shí)間、任何環(huán)境被信任的團(tuán)隊(duì)合作模式、溝通渠道以及反饋機(jī)制，形成一個(gè)如敏捷迭代、Kubernetes一樣的事實(shí)標(biāo)準(zhǔn)，可方便AI工程師敏捷、快速地上線AI應(yīng)用。

??除了效果和效率兩個(gè)AI開發(fā)者所關(guān)注的維度外，成本、人才、安全也是機(jī)器學(xué)習(xí)應(yīng)用開發(fā)落地時(shí)需要權(quán)衡的。

• 成本：無論軟件、硬件成本還是人力成本，企業(yè)需要在落地AI應(yīng)用的效益和成本之間進(jìn)行權(quán)衡，確保投入產(chǎn)出比是可行的，而這要求開發(fā)者對(duì)成本和產(chǎn)出有更加精準(zhǔn)的預(yù)測(cè)和判斷。
• 人才：人才短缺是一個(gè)普遍問題，哪怕是在硅谷、中關(guān)村等科技人才聚集地，具備機(jī)器學(xué)習(xí)和軟件開發(fā)能力的人也是供不應(yīng)求的。開發(fā)者需要更好地精進(jìn)技能，規(guī)劃好AI工程化的技能樹和學(xué)習(xí)路徑，把自己變成有競(jìng)爭(zhēng)力的人才。
• 安全：幾乎所有的企業(yè)都會(huì)要求AI應(yīng)用背后的數(shù)據(jù)、算法和模型符合法規(guī)和標(biāo)準(zhǔn)。開發(fā)者需要確保AI應(yīng)用和系統(tǒng)不會(huì)向企業(yè)外部泄露數(shù)據(jù)，不讓非法的攻擊侵入并影響業(yè)務(wù)系統(tǒng)。

??正是在這樣的背景下，MLOps快速成為機(jī)器學(xué)習(xí)生產(chǎn)落地中不可或缺的關(guān)鍵能力。構(gòu)建一個(gè)靠譜、永遠(yuǎn)可以信任、從容應(yīng)對(duì)新技術(shù)演進(jìn)的機(jī)器學(xué)習(xí)系統(tǒng)，匹配讓AI開發(fā)者高效且省心省力的機(jī)器學(xué)習(xí)應(yīng)用開發(fā)流程，成為當(dāng)前機(jī)器學(xué)習(xí)領(lǐng)域面臨的極為關(guān)鍵的問題之一。

《MLOps工程實(shí)踐：工具、技術(shù)與企業(yè)級(jí)應(yīng)用》
陳雨強(qiáng) 鄭曌 譚中意 盧冕 等著
第四范式創(chuàng)始人領(lǐng)銜撰寫
騰訊、小米、百度、網(wǎng)易等分享MLOps工程經(jīng)驗(yàn)
指導(dǎo)企業(yè)構(gòu)建可靠、高效、可復(fù)用、可擴(kuò)展機(jī)器學(xué)習(xí)模型

購(gòu)買鏈接：京東官方自營(yíng)店。

??作為當(dāng)今企業(yè)和研究人員關(guān)注的熱點(diǎn)領(lǐng)域，MLOps相關(guān)的知識(shí)和實(shí)踐仍然相對(duì)分散，因此，迫切需要一本系統(tǒng)化介紹MLOps實(shí)踐方法的書籍。希望本書能夠：

• 梳理MLOps的核心概念和方法，幫助讀者全面了解MLOps的基本原理；
• 提供實(shí)用的案例分析和操作指南，使讀者能夠在實(shí)際項(xiàng)目中應(yīng)用MLOps，提高工作效率；
• 針對(duì)不同規(guī)模的企業(yè)和團(tuán)隊(duì)，給出相應(yīng)的MLOps最佳實(shí)踐，幫助它們量身定制MLOps策略；
• 探討MLOps的未來發(fā)展趨勢(shì)，以及如何將新技術(shù)方向（如人工智能倫理、可解釋性等）融入MLOps實(shí)踐。

??MLOps實(shí)踐的推廣和普及需要時(shí)間和努力，希望本書可以為研究人員提供全面、系統(tǒng)和實(shí)用的指南，以便他們?cè)趯?shí)際應(yīng)用中構(gòu)建可靠、高效和穩(wěn)健的機(jī)器學(xué)習(xí)模型，實(shí)現(xiàn)業(yè)務(wù)價(jià)值最大化。

2. 內(nèi)容簡(jiǎn)介

??這是一本能指導(dǎo)企業(yè)利用MLOps技術(shù)構(gòu)建可靠、高效、可復(fù)用、可擴(kuò)展的機(jī)器學(xué)習(xí)模型，從而實(shí)現(xiàn)AI工程化落地的著作。本書由國(guó)內(nèi)AI領(lǐng)域的獨(dú)角獸企業(yè)第四范式的聯(lián)合創(chuàng)始人領(lǐng)銜撰寫，從工具、技術(shù)、企業(yè)級(jí)應(yīng)用、成熟度評(píng)估4個(gè)維度對(duì)MLOps進(jìn)行了全面的講解。

本書的主要內(nèi)容包括如下9個(gè)方面：
（1）MLOps的核心概念和方法，可以幫助讀者全面了解MLOps的基本原理；
（2）MLOps涉及的幾種角色，以及這些角色之間如何協(xié)作；
（3）機(jī)器學(xué)習(xí)項(xiàng)目的基礎(chǔ)知識(shí)和全流程，是學(xué)習(xí)和應(yīng)用MLOps的基礎(chǔ)；
（4）MLOps中的數(shù)據(jù)處理、主要流水線工具Airflow和MLflow、特征平臺(tái)和實(shí)時(shí)特征平臺(tái)OpenMLDB、推理工具鏈Adlik，為讀者系統(tǒng)講解MLOps的技術(shù)和工具；
（5）云服務(wù)供應(yīng)商的端到端MLOps解決方案；
（6）第四范式、網(wǎng)易、小米、騰訊、眾安金融等企業(yè)的MLOps工程實(shí)踐案例和經(jīng)驗(yàn)；
（7）MLOps的成熟度模型，以及微軟、谷歌和信通院對(duì)MLOps成熟度模型的劃分；
（8）針對(duì)不同規(guī)模的企業(yè)和團(tuán)隊(duì)的MLOps最佳實(shí)踐，幫助他們量身定做MLOps策略；
（9）MLOps的未來發(fā)展趨勢(shì)，以及如何將新技術(shù)融入MLOps實(shí)踐。

??本書深入淺出、循序漸進(jìn)地講解了如何在實(shí)際項(xiàng)目中利用MLOps進(jìn)行機(jī)器學(xué)習(xí)模型的部署、監(jiān)控與優(yōu)化，以及如何利用MLOps實(shí)現(xiàn)持續(xù)集成與持續(xù)交付等高效的工作流程。同時(shí)，本書通過企業(yè)級(jí)的MLOps案例和解決方案，幫助讀者輕松掌握MLOps的設(shè)計(jì)思路以及學(xué)會(huì)應(yīng)用MLOps解決實(shí)際問題。

3. 讀者對(duì)象

??本書旨在幫助讀者掌握MLOps技術(shù)，從而構(gòu)建可靠、可重復(fù)使用和可擴(kuò)展的機(jī)器學(xué)習(xí)工作流程。我們更加強(qiáng)調(diào)實(shí)踐和操作，通過示例來幫助讀者更好地理解并應(yīng)用這些技術(shù)和工具。

本書適用的讀者對(duì)象如下。

• 數(shù)據(jù)科學(xué)家和AI研究人員：希望了解如何將自己的模型和算法更有效地部署到實(shí)際生產(chǎn)環(huán)境，提高工作效率和質(zhì)量。
• 機(jī)器學(xué)習(xí)工程師和DevOps工程師：想要掌握MLOps的最佳實(shí)踐，以便在組織內(nèi)更好地支持AI和ML項(xiàng)目的開發(fā)、部署與維護(hù)。
• 產(chǎn)品經(jīng)理和業(yè)務(wù)負(fù)責(zé)人：希望了解MLOps的概念和實(shí)踐，以便更好地推動(dòng)組織內(nèi)AI和ML項(xiàng)目的落地，提高項(xiàng)目成功率和產(chǎn)出價(jià)值。
• 教育者和學(xué)者：在教學(xué)和研究過程中需要掌握MLOps的理論和實(shí)踐知識(shí)，以便為學(xué)生和咨詢者提供指導(dǎo)。

4. 專家推薦

??本書作者根據(jù)自己多年在軟件研發(fā)、運(yùn)維、DevOps和機(jī)器學(xué)習(xí)等領(lǐng)域的從業(yè)經(jīng)驗(yàn)，對(duì)MLOps這一新生事物的原理和工具進(jìn)行了全面系統(tǒng)的介紹，并結(jié)合多家企業(yè)的實(shí)踐案例總結(jié)整理出一系列MLOps最佳實(shí)踐，覆蓋端到端機(jī)器學(xué)習(xí)全生命周期，涉及AI科學(xué)家和AI工程師在內(nèi)的多個(gè)角色，知識(shí)新穎，內(nèi)容豐富，極具參考價(jià)值。相信大部分AI從業(yè)人員會(huì)從中受益，強(qiáng)烈推薦！
—— 崔寶秋　小米集團(tuán)前副總裁

??這是一本業(yè)界真正需要的書。它全面介紹了AI工程化落地的全過程，包括面對(duì)的挑戰(zhàn)、要解決的問題、常用工具和平臺(tái)，以及企業(yè)的實(shí)踐案例。這樣一本內(nèi)容全面、翔實(shí)的工具書能讓讀者對(duì)AI技術(shù)在企業(yè)落地方面有比較深的認(rèn)識(shí)。希望它能幫助更多企業(yè)AI的應(yīng)用者、工程師跨越AI工程化的鴻溝。
—— 堵俊平　LFAI & DATA基金會(huì)前董事主席

??本書介紹了MLOps的完整流程、方法論、開源工具，并包含了網(wǎng)易云音樂、眾安保險(xiǎn)、小米商城、騰訊金融等的一手實(shí)踐案例，對(duì)行業(yè)內(nèi)外的工程師都有很高的學(xué)習(xí)和參考價(jià)值。
—— 戈君　字節(jié)跳動(dòng)架構(gòu)師
bRPC項(xiàng)目創(chuàng)始人/Apache VP

??MLOps可以使得人工智能應(yīng)用從低效能的手工制作模式，逐漸演變成自動(dòng)化的、高效的流水線生產(chǎn)模式，將有力地促進(jìn)人工智能規(guī)?；瘧?yīng)用。盼此關(guān)于MLOps的書也能為大家學(xué)習(xí)人工智能指明方向。
—— 孟偉　中興通訊開源戰(zhàn)略總監(jiān)

??本書不僅從原理上闡述了MLOps的基本概念、方法、核心技術(shù)，更從實(shí)踐角度給出了MLOps全流程搭建工具，并提供了豐富的互聯(lián)網(wǎng)大廠典型MLOps平臺(tái)搭建案例，以饗讀者。內(nèi)容專業(yè)翔實(shí)，極具可操作性。強(qiáng)烈推薦給AI算法和平臺(tái)工程師，常讀常新，大有裨益。
—— 陶陽(yáng)宇　騰訊機(jī)器學(xué)習(xí)平臺(tái)部總監(jiān)

??MLOps是現(xiàn)代軟件工程理念下的機(jī)器學(xué)習(xí)系統(tǒng)構(gòu)建方法論，指導(dǎo)企業(yè)在智能化升級(jí)中構(gòu)建AI中臺(tái)。本書全面介紹了MLOps的核心技術(shù)，結(jié)合豐富的業(yè)界實(shí)踐向讀者展示了AI原生時(shí)代下的AI中臺(tái)技術(shù)全貌！
—— 王耀　百度智能云技術(shù)委員會(huì)主席

??MLOps可以降低人工智能應(yīng)用開發(fā)和維護(hù)的技術(shù)門檻和成本，是人工智能走進(jìn)各行各業(yè)的關(guān)鍵技術(shù)。本書介紹了業(yè)界多家領(lǐng)先企業(yè)在MLOps方面的實(shí)踐經(jīng)驗(yàn)，具有非常高的參考價(jià)值。
—— 汪源　網(wǎng)易副總裁

??本書作者長(zhǎng)期工作在業(yè)務(wù)或咨詢第一線，從工程師視角介紹機(jī)器學(xué)習(xí)在企業(yè)實(shí)踐中的落地，系統(tǒng)闡述機(jī)器學(xué)習(xí)在實(shí)際工作中的困難和解決方案，是一本很好的實(shí)踐指南。
—— 于洋　眾安保險(xiǎn)首席風(fēng)險(xiǎn)官

??MLOps最重要的任務(wù)是保證機(jī)器學(xué)習(xí)應(yīng)用生命周期中各個(gè)環(huán)節(jié)緊密協(xié)作，讓應(yīng)用的智能程度不斷提高，真正解決用戶在現(xiàn)實(shí)世界中的問題。感謝譚中意等專家的長(zhǎng)期努力，讓我們?cè)贑SDN中文社區(qū)中能看到高質(zhì)量的經(jīng)驗(yàn)和智慧結(jié)晶。期待這本書能幫助我們的研究員和工程師跨越各式各樣的AI應(yīng)用大峽谷。
—— 鄒欣　CSDN副總裁

5. 目錄

目??錄

作者簡(jiǎn)介

前言

第1章　全面了解MLOps1

1.1　人工智能的趨勢(shì)和現(xiàn)狀 1

1.1.1　趨勢(shì)1：人工智能在企業(yè)中加速落地，彰顯更多業(yè)務(wù)價(jià)值 1

1.1.2　趨勢(shì)2：人工智能應(yīng)用從以模型為中心向以數(shù)據(jù)為中心轉(zhuǎn)變 3

1.1.3　現(xiàn)狀：人工智能落地成功率低，

成本高 4

1.2　人工智能的問題、挑戰(zhàn)以及應(yīng)對(duì)措施 5

1.2.1　問題1：機(jī)器學(xué)習(xí)代碼只是整個(gè)系統(tǒng)的一小部分 5

1.2.2　問題2：數(shù)據(jù)是最主要的問題 6

1.2.3　挑戰(zhàn)：人工智能系統(tǒng)

如何規(guī)?；涞?7

1.2.4　應(yīng)對(duì)措施：MLOps 8

1.3　MLOps簡(jiǎn)介 8

1.3.1　MLOps的定義 8

1.3.2　MLOps相關(guān)的工具和平臺(tái) 12

1.3.3　MLOps的優(yōu)勢(shì) 13

1.4　MLOps與DevOps 14

1.4.1　DevOps的3個(gè)優(yōu)點(diǎn) 14

1.4.2　MLOps延續(xù)了DevOps的優(yōu)點(diǎn) 17

1.4.3　MLOps和DevOps的不同之處 19

1.4.4　MLOps和DevOps的目標(biāo)與

實(shí)踐理念 20

1.5　MLOps與其他XOps的區(qū)別 20

1.5.1　MLOps與AIOps的區(qū)別 21

1.5.2　MLOps與DataOps的區(qū)別 21

1.5.3　MLOps與ModelOps的區(qū)別 22

1.5.4　XOps的相同點(diǎn)：

都基于DevOps原則 22

1.6　本章小結(jié) 22

第2章　MLOps涉及的角色23

2.1　角色類型 23

2.1.1　產(chǎn)品經(jīng)理 24

2.1.2　數(shù)據(jù)科學(xué)家 24

2.1.3　數(shù)據(jù)工程師 25

2.1.4　機(jī)器學(xué)習(xí)工程師 26

2.1.5　DevOps工程師 27

2.1.6　IT運(yùn)維工程師 27

2.2　角色劃分以及角色之間

存在的問題 28

2.2.1　角色劃分 28

2.2.2　問題1：技術(shù)棧不一致導(dǎo)致人工智能模型線上、線下效果不一致 28

2.2.3　問題2：關(guān)注點(diǎn)不同導(dǎo)致對(duì)系統(tǒng)的

需求不同 29

2.2.4　協(xié)作問題及解決辦法 30

2.3　本章小結(jié) 30

第3章　機(jī)器學(xué)習(xí)項(xiàng)目概論31

3.1　機(jī)器學(xué)習(xí)項(xiàng)目簡(jiǎn)介 31

3.1.1　機(jī)器學(xué)習(xí)的定義 31

3.1.2　機(jī)器學(xué)習(xí)相關(guān)概念 33

3.1.3　機(jī)器學(xué)習(xí)能解決的問題 37

3.1.4　機(jī)器學(xué)習(xí)項(xiàng)目度量 38

3.1.5　機(jī)器學(xué)習(xí)項(xiàng)目難以落地的

原因 41

3.2　深入理解機(jī)器學(xué)習(xí)項(xiàng)目全流程 44

3.2.1　方案調(diào)研 45

3.2.2　方案投產(chǎn) 49

3.3　本章小結(jié) 51

第4章　MLOps中的數(shù)據(jù)部分52

4.1　從以模型為中心到以數(shù)據(jù)為中心 52

4.1.1　以模型為中心的時(shí)代 52

4.1.2　以數(shù)據(jù)為中心的時(shí)代 53

4.2　MLOps中的數(shù)據(jù)生命周期管理 55

4.3　數(shù)據(jù)存儲(chǔ)架構(gòu)演進(jìn) 56

4.4　MLOps中主要的數(shù)據(jù)問題及

解決方案 57

4.4.1　常見的數(shù)據(jù)質(zhì)量問題及

解決方案 57

4.4.2　時(shí)序數(shù)據(jù)穿越問題及解決方案 59

4.4.3　離線和實(shí)時(shí)數(shù)據(jù)一致性問題及

解決方案 64

4.4.4　數(shù)據(jù)安全問題及解決方案 66

4.4.5　數(shù)據(jù)共享與復(fù)用問題及

解決方案 67

4.5　本章小結(jié) 67

第5章　流水線工具69

5.1　Airflow 69

5.1.1　Airflow的功能和應(yīng)用場(chǎng)景 69

5.1.2　Airflow的核心概念 72

5.1.3　Airflow的使用方法 72

5.2　MLflow 80

5.2.1　MLflow的功能和應(yīng)用場(chǎng)景 80

5.2.2　MLflow的核心概念 81

5.2.3　MLflow的使用方法 82

5.3　其他流水線工具 91

5.4　本章小結(jié) 93

第6章　特征平臺(tái)94

6.1　特征平臺(tái)的概念和起源 94

6.2　特征平臺(tái)的特性 96

6.3　特征平臺(tái)的現(xiàn)狀 97

6.4　主流的特征平臺(tái) 98

6.4.1　Tecton的特征平臺(tái) 99

6.4.2　AWS的SageMaker特征平臺(tái) 100

6.4.3　Databricks的特征平臺(tái) 102

6.4.4　Feast項(xiàng)目 103

6.4.5　OpenMLDB項(xiàng)目 105

6.5　特征平臺(tái)的發(fā)展趨勢(shì) 106

6.6　本章小結(jié) 107

第7章　 實(shí)時(shí)特征平臺(tái)

OpenMLDB108

7.1　實(shí)時(shí)特征平臺(tái)構(gòu)建方法論 108

7.1.1　機(jī)器學(xué)習(xí)閉環(huán) 108

7.1.2　實(shí)時(shí)特征計(jì)算 109

7.1.3　痛點(diǎn)：線上線下計(jì)算一致性

校驗(yàn)帶來的高成本 110

7.1.4　目標(biāo)：開發(fā)即上線 112

7.1.5　技術(shù)需求 112

7.1.6　抽象架構(gòu) 113

7.1.7　OpenMLDB架構(gòu)設(shè)計(jì)實(shí)踐 114

7.2　OpenMLDB項(xiàng)目介紹 116

7.2.1　設(shè)計(jì)理念 116

7.2.2　生產(chǎn)級(jí)機(jī)器學(xué)習(xí)特征平臺(tái) 116

7.2.3　核心特性 117

7.2.4　常見問題 117

7.3　核心模塊—在線引擎 118

7.3.1　概覽 118

7.3.2　Apache ZooKeeper 119

7.3.3　Nameserver 119

7.3.4　Tablet 120

7.4　核心數(shù)據(jù)結(jié)構(gòu) 122

7.4.1　背景介紹 122

7.4.2　雙層跳表索引 122

7.4.3　預(yù)聚合技術(shù) 124

7.4.4　性能表現(xiàn) 125

7.5　高級(jí)特性—主從集群部署 127

7.5.1　定義和目標(biāo) 127

7.5.2　技術(shù)方案 127

7.5.3　主從集群搭建實(shí)踐 130

7.5.4　主從集群部署常見問題 131

7.6　高級(jí)特性—雙存儲(chǔ)引擎 133

7.6.1　內(nèi)存和磁盤雙存儲(chǔ)

引擎架構(gòu) 133

7.6.2　功能支持對(duì)比 134

7.6.3　性能對(duì)比 135

7.7　執(zhí)行流程介紹 136

7.7.1　執(zhí)行流程概覽 136

7.7.2　執(zhí)行模式概覽 137

7.7.3　離線模式 137

7.7.4　在線模式 138

7.7.5　請(qǐng)求模式 138

7.8　實(shí)踐 139

7.8.1　準(zhǔn)備 140

7.8.2　使用流程 141

7.8.3　實(shí)時(shí)特征計(jì)算的結(jié)果說明 144

7.9　生態(tài)整合—在線數(shù)據(jù)源Kafka 145

7.9.1　簡(jiǎn)介 145

7.9.2　準(zhǔn)備工作 146

7.9.3　步驟1：?jiǎn)?dòng)OpenMLDB

并創(chuàng)建數(shù)據(jù)庫(kù) 146

7.9.4　步驟2：?jiǎn)?dòng)Kafka

并創(chuàng)建Topic 147

7.9.5　步驟3：?jiǎn)?dòng)Connector 147

7.9.6　步驟4：測(cè)試 148

7.10　生態(tài)整合—離線數(shù)據(jù)源Hive 149

7.10.1　配置 149

7.10.2　數(shù)據(jù)類型 149

7.10.3　通過LIKE語(yǔ)法快速建表 150

7.10.4　將Hive數(shù)據(jù)導(dǎo)入

OpenMLDB 150

7.10.5　將OpenMLDB數(shù)據(jù)

導(dǎo)出到Hive 151

7.11　案例：出租車行程時(shí)間預(yù)測(cè) 151

7.11.1　環(huán)境準(zhǔn)備和預(yù)備知識(shí) 151

7.11.2　全流程演示 152

7.12　本章小結(jié) 155

第8章　Adlik推理工具鏈156

8.1　機(jī)器學(xué)習(xí)模型落地挑戰(zhàn) 156

8.2　Adlik的優(yōu)勢(shì) 157

8.3　Adlik的架構(gòu) 158

8.3.1　模型優(yōu)化器 159

8.3.2　模型編譯器 161

8.3.3　推理引擎模塊 161

8.4　快速入門 164

8.4.1　編譯模型 164

8.4.2　部署模型 166

8.4.3　模型推理 166

8.4.4　引入自定義運(yùn)行時(shí) 167

8.5　Adlik端到端模型推理優(yōu)化實(shí)踐 168

8.5.1　模型結(jié)構(gòu)優(yōu)化 168

8.5.2　模型推理引擎 170

8.6　本章小結(jié) 171

第9章　云服務(wù)供應(yīng)商的端到端MLOps解決方案172

9.1　認(rèn)識(shí)SageMaker 173

9.1.1　SageMaker的主要組成

部分 173

9.1.2　廣泛的數(shù)據(jù)源和數(shù)據(jù)集成

支持 174

9.2　無代碼實(shí)現(xiàn)供應(yīng)鏈中到貨時(shí)間的

預(yù)測(cè) 176

9.2.1　數(shù)據(jù)準(zhǔn)備 177

9.2.2　簡(jiǎn)單的數(shù)據(jù)合并 179

9.2.3　構(gòu)建、訓(xùn)練和分析機(jī)器學(xué)習(xí)

模型 180

9.2.4　模型預(yù)測(cè) 183

9.3　應(yīng)用SageMaker Notebook進(jìn)行 MLOps 管理 183

9.3.1　數(shù)據(jù)導(dǎo)入 184

9.3.2　數(shù)據(jù)清洗和特征設(shè)計(jì) 184

9.3.3　模型訓(xùn)練 185

9.3.4　模型評(píng)估 186

9.3.5　模型上線 187

9.3.6　使用模型倉(cāng)庫(kù)和 Pipeline系統(tǒng)

管理訓(xùn)練成果 187

9.4　本章小結(jié) 194

第10章　MLOps 在反欺詐與推薦

系統(tǒng)中的應(yīng)用196

10.1　案例1：信用卡交易反欺詐系統(tǒng) 196

10.1.1　定義業(yè)務(wù)目標(biāo) 196

10.1.2　系統(tǒng)設(shè)計(jì)的挑戰(zhàn) 198

10.1.3　數(shù)據(jù)準(zhǔn)備與特征設(shè)計(jì)思路 201

10.1.4　系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn) 202

10.2　案例2：推薦系統(tǒng) 205

10.2.1　推薦系統(tǒng)介紹 205

10.2.2　定義優(yōu)化目標(biāo) 206

10.2.3　系統(tǒng)設(shè)計(jì)挑戰(zhàn)與實(shí)現(xiàn)思路 208

10.3　本章小結(jié) 210

第11章　網(wǎng)易云音樂實(shí)時(shí)模型大規(guī)模應(yīng)用之道211

11.1　從云音樂直播推薦中的實(shí)時(shí)性

說起 211

11.1.1　直播對(duì)實(shí)時(shí)性的強(qiáng)需求 213

11.1.2　推薦引擎實(shí)時(shí)性的三要素 213

11.1.3　直播精排模型的實(shí)時(shí)化演進(jìn) 216

11.2　實(shí)時(shí)增量模型的構(gòu)建 216

11.2.1　實(shí)時(shí)特征快照 217

11.2.2　實(shí)時(shí)樣本歸因 219

11.2.3　實(shí)時(shí)樣本拼接 222

11.2.4　增量訓(xùn)練和更新 223

11.2.5　線上效果 224

11.3　特征平臺(tái)將實(shí)時(shí)能力泛化到

更多場(chǎng)景 225

11.4　FeatureBox 226

11.4.1　FeatureBox解決的問題 226

11.4.2　FeatureBox整體架構(gòu) 227

11.4.3　DataHub模塊 227

11.4.4　Transform模塊 231

11.4.5　MFDL模塊 232

11.4.6　Storage模塊 233

11.4.7　Monitor模塊 234

11.5　在線預(yù)估基于FeatureBox的

構(gòu)建 236

11.5.1　特征與模型的高效迭代 236

11.5.2　高性能預(yù)估計(jì)算 242

11.5.3　預(yù)估與FeatureBox實(shí)時(shí)性

方案 246

11.6　本章小結(jié) 248

第12章　小米廣告機(jī)器學(xué)習(xí)平臺(tái)

實(shí)踐249

12.1　小米廣告一站式機(jī)器學(xué)習(xí)平臺(tái)

簡(jiǎn)介 249

12.1.1　傳統(tǒng)機(jī)器學(xué)習(xí)流程的問題 249

12.1.2　小米廣告機(jī)器學(xué)習(xí)平臺(tái)模塊

簡(jiǎn)介 251

12.2　特征工程模塊 252

12.2.1　特征工程簡(jiǎn)介 252

12.2.2　數(shù)據(jù)源管理 253

12.2.3　特征管理 253

12.2.4　樣本管理 257

12.3　模型訓(xùn)練平臺(tái) 259

12.3.1　算法管理 260

12.3.2　離線模型訓(xùn)練管理 261

12.3.3　模型更新 262

12.4　線上推理模塊 264

12.4.1　線上推理服務(wù)介紹 264

12.4.2　高性能和高可用保證 266

12.4.3　模型部署 268

12.5　本章小結(jié) 273

第13章　騰訊金融推薦中臺(tái)實(shí)踐274

13.1　業(yè)務(wù)介紹 274

13.1.1　業(yè)務(wù)優(yōu)化目標(biāo) 274

13.1.2　業(yè)務(wù)特點(diǎn) 275

13.2　現(xiàn)狀及挑戰(zhàn) 276

13.2.1　推薦系統(tǒng)復(fù)雜性 277

13.2.2　算法工程技術(shù)壁壘 278

13.3　MLOps實(shí)踐 278

13.4　推薦系統(tǒng)產(chǎn)品體系 280

13.4.1　特征系統(tǒng) 281

13.4.2　模型訓(xùn)練系統(tǒng) 281

13.4.3　模型服務(wù)系統(tǒng) 282

13.4.4　推薦運(yùn)營(yíng)系統(tǒng) 283

13.5　系統(tǒng)設(shè)計(jì) 283

13.5.1　特征系統(tǒng) 284

13.5.2　模型服務(wù)系統(tǒng) 290

13.6　本章小結(jié) 293

第14章　眾安金融實(shí)時(shí)特征平臺(tái)

實(shí)踐294

14.1　眾安金融的MLOps建設(shè)背景 294

14.2　眾安金融的MLOps建設(shè)思路 295

14.2.1　眾安金融的MLOps流程說明 295

14.2.2　眾安金融特征平臺(tái)

能力要求 297

14.3　實(shí)時(shí)特征平臺(tái)的架構(gòu)設(shè)計(jì) 297

14.3.1　實(shí)時(shí)特征平臺(tái)架構(gòu)說明 298

14.3.2　實(shí)時(shí)特征數(shù)據(jù)源層 298

14.3.3　實(shí)時(shí)特征平臺(tái)的核心功能 299

14.4　實(shí)時(shí)業(yè)務(wù)特征計(jì)算 300

14.4.1　實(shí)時(shí)業(yè)務(wù)特征計(jì)算系統(tǒng)

設(shè)計(jì) 300

14.4.2　實(shí)時(shí)業(yè)務(wù)特征核心數(shù)據(jù)

模型 301

14.4.3　實(shí)時(shí)業(yè)務(wù)特征計(jì)算引擎 302

14.5　反欺詐場(chǎng)景中的特征計(jì)算 303

14.5.1　反欺詐特征計(jì)算系統(tǒng)設(shè)計(jì) 303

14.5.2　反欺詐特征分類說明 304

14.5.3　用戶關(guān)系圖譜實(shí)現(xiàn)方案 305

14.6　本章小結(jié) 306

第15章　MLOps成熟度模型308

15.1　能力成熟度模型概述 308

15.2　谷歌的MLOps成熟度模型 309

15.2.1　谷歌對(duì)MLOps的理解和

認(rèn)識(shí) 309

15.2.2　谷歌對(duì)MLOps成熟度等級(jí)的

定義 310

15.3　微軟的MLOps成熟度模型 317

15.3.1　微軟對(duì)MLOps成熟度模型的

理解和認(rèn)識(shí) 317

15.3.2　微軟對(duì)MLOps成熟度等級(jí)的

定義 318

15.4　信通院的MLOps成熟度模型 322

15.4.1　需求管理能力子域

相關(guān)內(nèi)容 323

15.4.2　數(shù)據(jù)工程能力子域

相關(guān)內(nèi)容 325

15.5　本章小結(jié) 329

6. 直播預(yù)告

AI工程化—— 如何讓AI在企業(yè)多快好省的落地？
??AI 2.0時(shí)代，要不要學(xué)習(xí)MLOPS？MLOps推理的挑戰(zhàn)以及大模型時(shí)代的推理優(yōu)化思路如何？以及基于MLOps構(gòu)建網(wǎng)易云音樂實(shí)時(shí)模型大規(guī)模應(yīng)用實(shí)踐分享~

??10月14日19：00，第四范式平臺(tái)架構(gòu)師李瀚、中興通訊AI高級(jí)工程師袁麗雅、網(wǎng)易云音樂算法工程高級(jí)總監(jiān)吳官林、星策社區(qū)發(fā)起人及LF AI & Data TAC成員兼 Outreach主席譚中意 四位嘉賓將與您分享~

點(diǎn)擊預(yù)約觀看！

如果這份博客對(duì)大家有幫助，希望各位給恒川一個(gè)免費(fèi)的點(diǎn)贊??作為鼓勵(lì)，并評(píng)論收藏一下?，感謝大家。
這篇文章制作不易，如果大家有什么疑問或給恒川的意見，歡迎評(píng)論區(qū)留言。文章來源地址http://www.zghlxwxcb.cn/news/detail-712781.html

到了這里，關(guān)于AI工程化—— 如何讓AI在企業(yè)多快好省的落地？的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！