主頁傳送門：?? 傳送

概述

??作為計(jì)算機(jī)科學(xué)的一個(gè)重要領(lǐng)域，機(jī)器學(xué)習(xí)也是目前人工智能領(lǐng)域非?；钴S的分支之一。機(jī)器學(xué)習(xí)通過分析海量數(shù)據(jù)、總結(jié)規(guī)律，幫助人們解決眾多實(shí)際問題。隨著機(jī)器學(xué)習(xí)技術(shù)的發(fā)展，越來越多的企業(yè)將機(jī)器學(xué)習(xí)技術(shù)作為核心競爭力，并運(yùn)用在實(shí)際業(yè)務(wù)中。

面臨挑戰(zhàn)

??但是，機(jī)器學(xué)習(xí)應(yīng)用落地并非一件輕松的事情，AI開發(fā)者往往需要面對各個(gè)環(huán)節(jié)的挑戰(zhàn)。這些環(huán)節(jié)包括目標(biāo)定義、數(shù)據(jù)收集、數(shù)據(jù)清洗、特征提取、模型選擇、模型訓(xùn)練、模型部署和模型監(jiān)控等，其中任何一個(gè)環(huán)節(jié)出現(xiàn)失誤，都可能影響算法和策略在最終業(yè)務(wù)中落地的效果，造成成倍的損失。反過來看，利用工程化技術(shù)去優(yōu)化模型的自學(xué)習(xí)能力，能讓模型保持持續(xù)更新、迭代和演進(jìn)，隨著數(shù)據(jù)和業(yè)務(wù)的變化不斷進(jìn)行自適應(yīng)，避免衰退，始終保持在最佳狀態(tài)，為業(yè)務(wù)場景帶來更好的效果、更多的價(jià)值。

??除了效果之外，機(jī)器學(xué)習(xí)應(yīng)用的開發(fā)效率也是阻礙落地的關(guān)鍵因素。像Google這樣的互聯(lián)網(wǎng)領(lǐng)頭羊企業(yè)，其AI科學(xué)家與AI工程師也常常會遇到“開發(fā)一周，上線三月”的情況。因此需要針對每個(gè)模型花費(fèi)數(shù)月時(shí)間進(jìn)行正確性排查，覆蓋模型魯棒性、數(shù)據(jù)時(shí)序穿越、線上線下一致性、數(shù)據(jù)完整性等各個(gè)維度。

??從團(tuán)隊(duì)協(xié)作角度來看，數(shù)據(jù)、模型、算法的開發(fā)和部署需要不同的技能和知識，需要團(tuán)隊(duì)敏捷地進(jìn)行溝通和協(xié)作。因此，建設(shè)一種可以在任何時(shí)間、任何環(huán)境被信任的團(tuán)隊(duì)合作模式、溝通渠道以及反饋機(jī)制，形成一個(gè)如敏捷迭代、Kubernetes一樣的事實(shí)標(biāo)準(zhǔn)，可方便AI工程師敏捷、快速地上線AI應(yīng)用。

??除了效果和效率兩個(gè)AI開發(fā)者所關(guān)注的維度外，成本、人才、安全也是機(jī)器學(xué)習(xí)應(yīng)用開發(fā)落地時(shí)需要權(quán)衡的。

• 成本：無論軟件、硬件成本還是人力成本，企業(yè)需要在落地AI應(yīng)用的效益和成本之間進(jìn)行權(quán)衡，確保投入產(chǎn)出比是可行的，而這要求開發(fā)者對成本和產(chǎn)出有更加精準(zhǔn)的預(yù)測和判斷。

• 人才：人才短缺是一個(gè)普遍問題，哪怕是在硅谷、中關(guān)村等科技人才聚集地，具備機(jī)器學(xué)習(xí)和軟件開發(fā)能力的人也是供不應(yīng)求的。開發(fā)者需要更好地精進(jìn)技能，規(guī)劃好AI工程化的技能樹和學(xué)習(xí)路徑，把自己變成有競爭力的人才。

• 安全：幾乎所有的企業(yè)都會要求AI應(yīng)用背后的數(shù)據(jù)、算法和模型符合法規(guī)和標(biāo)準(zhǔn)。開發(fā)者需要確保AI應(yīng)用和系統(tǒng)不會向企業(yè)外部泄露數(shù)據(jù)，不讓非法的攻擊侵入并影響業(yè)務(wù)系統(tǒng)。

??正是在這樣的背景下，MLOps快速成為機(jī)器學(xué)習(xí)生產(chǎn)落地中不可或缺的關(guān)鍵能力。構(gòu)建一個(gè)靠譜、永遠(yuǎn)可以信任、從容應(yīng)對新技術(shù)演進(jìn)的機(jī)器學(xué)習(xí)系統(tǒng)，匹配讓AI開發(fā)者高效且省心省力的機(jī)器學(xué)習(xí)應(yīng)用開發(fā)流程，成為當(dāng)前機(jī)器學(xué)習(xí)領(lǐng)域面臨的極為關(guān)鍵的問題之一。

????????《MLOps工程實(shí)踐：工具、技術(shù)與企業(yè)級應(yīng)用》

?????????????陳雨強(qiáng) 鄭曌 譚中意 盧冕 等著

??????????????第四范式創(chuàng)始人領(lǐng)銜撰寫
??????????騰訊、小米、百度、網(wǎng)易等分享MLOps工程經(jīng)驗(yàn)
????????指導(dǎo)企業(yè)構(gòu)建可靠、高效、可復(fù)用、可擴(kuò)展機(jī)器學(xué)習(xí)模型

目的

??作為當(dāng)今企業(yè)和研究人員關(guān)注的熱點(diǎn)領(lǐng)域，MLOps相關(guān)的知識和實(shí)踐仍然相對分散，因此，迫切需要一本系統(tǒng)化介紹MLOps實(shí)踐方法的書籍。希望本書能夠：

• 梳理MLOps的核心概念和方法，幫助讀者全面了解MLOps的基本原理；

• 提供實(shí)用的案例分析和操作指南，使讀者能夠在實(shí)際項(xiàng)目中應(yīng)用MLOps，提高工作效率；

• 針對不同規(guī)模的企業(yè)和團(tuán)隊(duì)，給出相應(yīng)的MLOps最佳實(shí)踐，幫助它們量身定制MLOps策略；

• 探討MLOps的未來發(fā)展趨勢，以及如何將新技術(shù)方向（如人工智能倫理、可解釋性等）融入MLOps實(shí)踐。

??MLOps實(shí)踐的推廣和普及需要時(shí)間和努力，希望本書可以為研究人員提供全面、系統(tǒng)和實(shí)用的指南，以便他們在實(shí)際應(yīng)用中構(gòu)建可靠、高效和穩(wěn)健的機(jī)器學(xué)習(xí)模型，實(shí)現(xiàn)業(yè)務(wù)價(jià)值最大化。

內(nèi)容簡介

??這是一本能指導(dǎo)企業(yè)利用MLOps技術(shù)構(gòu)建可靠、高效、可復(fù)用、可擴(kuò)展的機(jī)器學(xué)習(xí)模型，從而實(shí)現(xiàn)AI工程化落地的著作。本書由國內(nèi)AI領(lǐng)域的獨(dú)角獸企業(yè)第四范式的聯(lián)合創(chuàng)始人領(lǐng)銜撰寫，從工具、技術(shù)、企業(yè)級應(yīng)用、成熟度評估4個(gè)維度對MLOps進(jìn)行了全面的講解。

本書的主要內(nèi)容包括如下9個(gè)方面：
（1）MLOps的核心概念和方法，可以幫助讀者全面了解MLOps的基本原理；
（2）MLOps涉及的幾種角色，以及這些角色之間如何協(xié)作；
（3）機(jī)器學(xué)習(xí)項(xiàng)目的基礎(chǔ)知識和全流程，是學(xué)習(xí)和應(yīng)用MLOps的基礎(chǔ)；
（4）MLOps中的數(shù)據(jù)處理、主要流水線工具Airflow和MLflow、特征平臺和實(shí)時(shí)特征平臺OpenMLDB、推理工具鏈Adlik，為讀者系統(tǒng)講解MLOps的技術(shù)和工具；
（5）云服務(wù)供應(yīng)商的端到端MLOps解決方案；
（6）第四范式、網(wǎng)易、小米、騰訊、眾安金融等企業(yè)的MLOps工程實(shí)踐案例和經(jīng)驗(yàn)；
（7）MLOps的成熟度模型，以及微軟、谷歌和信通院對MLOps成熟度模型的劃分；
（8）針對不同規(guī)模的企業(yè)和團(tuán)隊(duì)的MLOps最佳實(shí)踐，幫助他們量身定做MLOps策略；
（9）MLOps的未來發(fā)展趨勢，以及如何將新技術(shù)融入MLOps實(shí)踐。

??本書深入淺出、循序漸進(jìn)地講解了如何在實(shí)際項(xiàng)目中利用MLOps進(jìn)行機(jī)器學(xué)習(xí)模型的部署、監(jiān)控與優(yōu)化，以及如何利用MLOps實(shí)現(xiàn)持續(xù)集成與持續(xù)交付等高效的工作流程。同時(shí)，本書通過企業(yè)級的MLOps案例和解決方案，幫助讀者輕松掌握MLOps的設(shè)計(jì)思路以及學(xué)會應(yīng)用MLOps解決實(shí)際問題。

讀者對象

??本書旨在幫助讀者掌握MLOps技術(shù)，從而構(gòu)建可靠、可重復(fù)使用和可擴(kuò)展的機(jī)器學(xué)習(xí)工作流程。我們更加強(qiáng)調(diào)實(shí)踐和操作，通過示例來幫助讀者更好地理解并應(yīng)用這些技術(shù)和工具。

本書適用的讀者對象如下。

• 數(shù)據(jù)科學(xué)家和AI研究人員：希望了解如何將自己的模型和算法更有效地部署到實(shí)際生產(chǎn)環(huán)境，提高工作效率和質(zhì)量。

• 機(jī)器學(xué)習(xí)工程師和DevOps工程師：想要掌握MLOps的最佳實(shí)踐，以便在組織內(nèi)更好地支持AI和ML項(xiàng)目的開發(fā)、部署與維護(hù)。

• 產(chǎn)品經(jīng)理和業(yè)務(wù)負(fù)責(zé)人：希望了解MLOps的概念和實(shí)踐，以便更好地推動(dòng)組織內(nèi)AI和ML項(xiàng)目的落地，提高項(xiàng)目成功率和產(chǎn)出價(jià)值。

• 教育者和學(xué)者：在教學(xué)和研究過程中需要掌握MLOps的理論和實(shí)踐知識，以便為學(xué)生和咨詢者提供指導(dǎo)。

專家推薦

??本書作者根據(jù)自己多年在軟件研發(fā)、運(yùn)維、DevOps和機(jī)器學(xué)習(xí)等領(lǐng)域的從業(yè)經(jīng)驗(yàn)，對MLOps這一新生事物的原理和工具進(jìn)行了全面系統(tǒng)的介紹，并結(jié)合多家企業(yè)的實(shí)踐案例總結(jié)整理出一系列MLOps最佳實(shí)踐，覆蓋端到端機(jī)器學(xué)習(xí)全生命周期，涉及AI科學(xué)家和AI工程師在內(nèi)的多個(gè)角色，知識新穎，內(nèi)容豐富，極具參考價(jià)值。相信大部分AI從業(yè)人員會從中受益，強(qiáng)烈推薦！
—— 崔寶秋　小米集團(tuán)前副總裁

這是一本業(yè)界真正需要的書。它全面介紹了AI工程化落地的全過程，包括面對的挑戰(zhàn)、要解決的問題、常用工具和平臺，以及企業(yè)的實(shí)踐案例。這樣一本內(nèi)容全面、翔實(shí)的工具書能讓讀者對AI技術(shù)在企業(yè)落地方面有比較深的認(rèn)識。希望它能幫助更多企業(yè)AI的應(yīng)用者、工程師跨越AI工程化的鴻溝。
—— 堵俊平　LFAI & DATA基金會前董事主席

本書介紹了MLOps的完整流程、方法論、開源工具，并包含了網(wǎng)易云音樂、眾安保險(xiǎn)、小米商城、騰訊金融等的一手實(shí)踐案例，對行業(yè)內(nèi)外的工程師都有很高的學(xué)習(xí)和參考價(jià)值。
—— 戈君　字節(jié)跳動(dòng)架構(gòu)師
bRPC項(xiàng)目創(chuàng)始人/Apache VP

MLOps可以使得人工智能應(yīng)用從低效能的手工制作模式，逐漸演變成自動(dòng)化的、高效的流水線生產(chǎn)模式，將有力地促進(jìn)人工智能規(guī)模化應(yīng)用。盼此關(guān)于MLOps的書也能為大家學(xué)習(xí)人工智能指明方向。
—— 孟偉　中興通訊開源戰(zhàn)略總監(jiān)

本書不僅從原理上闡述了MLOps的基本概念、方法、核心技術(shù)，更從實(shí)踐角度給出了MLOps全流程搭建工具，并提供了豐富的互聯(lián)網(wǎng)大廠典型MLOps平臺搭建案例，以饗讀者。內(nèi)容專業(yè)翔實(shí)，極具可操作性。強(qiáng)烈推薦給AI算法和平臺工程師，常讀常新，大有裨益。
—— 陶陽宇　騰訊機(jī)器學(xué)習(xí)平臺部總監(jiān)

MLOps是現(xiàn)代軟件工程理念下的機(jī)器學(xué)習(xí)系統(tǒng)構(gòu)建方法論，指導(dǎo)企業(yè)在智能化升級中構(gòu)建AI中臺。本書全面介紹了MLOps的核心技術(shù)，結(jié)合豐富的業(yè)界實(shí)踐向讀者展示了AI原生時(shí)代下的AI中臺技術(shù)全貌！
—— 王耀　百度智能云技術(shù)委員會主席

MLOps可以降低人工智能應(yīng)用開發(fā)和維護(hù)的技術(shù)門檻和成本，是人工智能走進(jìn)各行各業(yè)的關(guān)鍵技術(shù)。本書介紹了業(yè)界多家領(lǐng)先企業(yè)在MLOps方面的實(shí)踐經(jīng)驗(yàn)，具有非常高的參考價(jià)值。
—— 汪源　網(wǎng)易副總裁

本書作者長期工作在業(yè)務(wù)或咨詢第一線，從工程師視角介紹機(jī)器學(xué)習(xí)在企業(yè)實(shí)踐中的落地，系統(tǒng)闡述機(jī)器學(xué)習(xí)在實(shí)際工作中的困難和解決方案，是一本很好的實(shí)踐指南。
—— 于洋　眾安保險(xiǎn)首席風(fēng)險(xiǎn)官

MLOps最重要的任務(wù)是保證機(jī)器學(xué)習(xí)應(yīng)用生命周期中各個(gè)環(huán)節(jié)緊密協(xié)作，讓應(yīng)用的智能程度不斷提高，真正解決用戶在現(xiàn)實(shí)世界中的問題。感謝譚中意等專家的長期努力，讓我們在CSDN中文社區(qū)中能看到高質(zhì)量的經(jīng)驗(yàn)和智慧結(jié)晶。期待這本書能幫助我們的研究員和工程師跨越各式各樣的AI應(yīng)用大峽谷。
—— 鄒欣　CSDN副總裁

目錄

目??錄

作者簡介

前言

第1章　全面了解MLOps1

1.1　人工智能的趨勢和現(xiàn)狀  1

1.1.1　趨勢1：人工智能在企業(yè)中加速落地，彰顯更多業(yè)務(wù)價(jià)值  1

1.1.2　趨勢2：人工智能應(yīng)用從以模型為中心向以數(shù)據(jù)為中心轉(zhuǎn)變  3

1.1.3　現(xiàn)狀：人工智能落地成功率低，

成本高  4

1.2　人工智能的問題、挑戰(zhàn)以及應(yīng)對措施  5

1.2.1　問題1：機(jī)器學(xué)習(xí)代碼只是整個(gè)系統(tǒng)的一小部分  5

1.2.2　問題2：數(shù)據(jù)是最主要的問題  6

1.2.3　挑戰(zhàn)：人工智能系統(tǒng)

如何規(guī)?；涞? 7

1.2.4　應(yīng)對措施：MLOps  8

1.3　MLOps簡介  8

1.3.1　MLOps的定義  8

1.3.2　MLOps相關(guān)的工具和平臺  12

1.3.3　MLOps的優(yōu)勢  13

1.4　MLOps與DevOps  14

1.4.1　DevOps的3個(gè)優(yōu)點(diǎn)  14

1.4.2　MLOps延續(xù)了DevOps的優(yōu)點(diǎn)  17

1.4.3　MLOps和DevOps的不同之處  19

1.4.4　MLOps和DevOps的目標(biāo)與

實(shí)踐理念  20

1.5　MLOps與其他XOps的區(qū)別  20

1.5.1　MLOps與AIOps的區(qū)別  21

1.5.2　MLOps與DataOps的區(qū)別  21

1.5.3　MLOps與ModelOps的區(qū)別  22

1.5.4　XOps的相同點(diǎn)：

都基于DevOps原則  22

1.6　本章小結(jié)  22

第2章　MLOps涉及的角色23

2.1　角色類型  23

2.1.1　產(chǎn)品經(jīng)理  24

2.1.2　數(shù)據(jù)科學(xué)家  24

2.1.3　數(shù)據(jù)工程師  25

2.1.4　機(jī)器學(xué)習(xí)工程師  26

2.1.5　DevOps工程師  27

2.1.6　IT運(yùn)維工程師  27

2.2　角色劃分以及角色之間

存在的問題  28

2.2.1　角色劃分  28

2.2.2　問題1：技術(shù)棧不一致導(dǎo)致人工智能模型線上、線下效果不一致  28

2.2.3　問題2：關(guān)注點(diǎn)不同導(dǎo)致對系統(tǒng)的

需求不同  29

2.2.4　協(xié)作問題及解決辦法  30

2.3　本章小結(jié)  30

第3章　機(jī)器學(xué)習(xí)項(xiàng)目概論31

3.1　機(jī)器學(xué)習(xí)項(xiàng)目簡介  31

3.1.1　機(jī)器學(xué)習(xí)的定義  31

3.1.2　機(jī)器學(xué)習(xí)相關(guān)概念  33

3.1.3　機(jī)器學(xué)習(xí)能解決的問題  37

3.1.4　機(jī)器學(xué)習(xí)項(xiàng)目度量  38

3.1.5　機(jī)器學(xué)習(xí)項(xiàng)目難以落地的

原因  41

3.2　深入理解機(jī)器學(xué)習(xí)項(xiàng)目全流程  44

3.2.1　方案調(diào)研  45

3.2.2　方案投產(chǎn)  49

3.3　本章小結(jié)  51

第4章　MLOps中的數(shù)據(jù)部分52

4.1　從以模型為中心到以數(shù)據(jù)為中心  52

4.1.1　以模型為中心的時(shí)代  52

4.1.2　以數(shù)據(jù)為中心的時(shí)代  53

4.2　MLOps中的數(shù)據(jù)生命周期管理  55

4.3　數(shù)據(jù)存儲架構(gòu)演進(jìn)  56

4.4　MLOps中主要的數(shù)據(jù)問題及

解決方案  57

4.4.1　常見的數(shù)據(jù)質(zhì)量問題及

解決方案  57

4.4.2　時(shí)序數(shù)據(jù)穿越問題及解決方案  59

4.4.3　離線和實(shí)時(shí)數(shù)據(jù)一致性問題及

解決方案  64

4.4.4　數(shù)據(jù)安全問題及解決方案  66

4.4.5　數(shù)據(jù)共享與復(fù)用問題及

解決方案  67

4.5　本章小結(jié)  67

第5章　流水線工具69

5.1　Airflow  69

5.1.1　Airflow的功能和應(yīng)用場景  69

5.1.2　Airflow的核心概念  72

5.1.3　Airflow的使用方法  72

5.2　MLflow  80

5.2.1　MLflow的功能和應(yīng)用場景  80

5.2.2　MLflow的核心概念  81

5.2.3　MLflow的使用方法  82

5.3　其他流水線工具  91

5.4　本章小結(jié)  93

第6章　特征平臺94

6.1　特征平臺的概念和起源  94

6.2　特征平臺的特性  96

6.3　特征平臺的現(xiàn)狀  97

6.4　主流的特征平臺  98

6.4.1　Tecton的特征平臺  99

6.4.2　AWS的SageMaker特征平臺  100

6.4.3　Databricks的特征平臺  102

6.4.4　Feast項(xiàng)目  103

6.4.5　OpenMLDB項(xiàng)目  105

6.5　特征平臺的發(fā)展趨勢  106

6.6　本章小結(jié)  107

第7章　 實(shí)時(shí)特征平臺

OpenMLDB108

7.1　實(shí)時(shí)特征平臺構(gòu)建方法論  108

7.1.1　機(jī)器學(xué)習(xí)閉環(huán)  108

7.1.2　實(shí)時(shí)特征計(jì)算  109

7.1.3　痛點(diǎn)：線上線下計(jì)算一致性

校驗(yàn)帶來的高成本  110

7.1.4　目標(biāo)：開發(fā)即上線  112

7.1.5　技術(shù)需求  112

7.1.6　抽象架構(gòu)  113

7.1.7　OpenMLDB架構(gòu)設(shè)計(jì)實(shí)踐  114

7.2　OpenMLDB項(xiàng)目介紹  116

7.2.1　設(shè)計(jì)理念  116

7.2.2　生產(chǎn)級機(jī)器學(xué)習(xí)特征平臺  116

7.2.3　核心特性  117

7.2.4　常見問題  117

7.3　核心模塊—在線引擎  118

7.3.1　概覽  118

7.3.2　Apache ZooKeeper  119

7.3.3　Nameserver  119

7.3.4　Tablet  120

7.4　核心數(shù)據(jù)結(jié)構(gòu)  122

7.4.1　背景介紹  122

7.4.2　雙層跳表索引  122

7.4.3　預(yù)聚合技術(shù)  124

7.4.4　性能表現(xiàn)  125

7.5　高級特性—主從集群部署  127

7.5.1　定義和目標(biāo)  127

7.5.2　技術(shù)方案  127

7.5.3　主從集群搭建實(shí)踐  130

7.5.4　主從集群部署常見問題  131

7.6　高級特性—雙存儲引擎  133

7.6.1　內(nèi)存和磁盤雙存儲

引擎架構(gòu)  133

7.6.2　功能支持對比  134

7.6.3　性能對比  135

7.7　執(zhí)行流程介紹  136

7.7.1　執(zhí)行流程概覽  136

7.7.2　執(zhí)行模式概覽  137

7.7.3　離線模式  137

7.7.4　在線模式  138

7.7.5　請求模式  138

7.8　實(shí)踐  139

7.8.1　準(zhǔn)備  140

7.8.2　使用流程  141

7.8.3　實(shí)時(shí)特征計(jì)算的結(jié)果說明  144

7.9　生態(tài)整合—在線數(shù)據(jù)源Kafka  145

7.9.1　簡介  145

7.9.2　準(zhǔn)備工作  146

7.9.3　步驟1：啟動(dòng)OpenMLDB

并創(chuàng)建數(shù)據(jù)庫  146

7.9.4　步驟2：啟動(dòng)Kafka

并創(chuàng)建Topic  147

7.9.5　步驟3：啟動(dòng)Connector  147

7.9.6　步驟4：測試  148

7.10　生態(tài)整合—離線數(shù)據(jù)源Hive  149

7.10.1　配置  149

7.10.2　數(shù)據(jù)類型  149

7.10.3　通過LIKE語法快速建表  150

7.10.4　將Hive數(shù)據(jù)導(dǎo)入

OpenMLDB  150

7.10.5　將OpenMLDB數(shù)據(jù)

導(dǎo)出到Hive  151

7.11　案例：出租車行程時(shí)間預(yù)測  151

7.11.1　環(huán)境準(zhǔn)備和預(yù)備知識  151

7.11.2　全流程演示  152

7.12　本章小結(jié)  155

第8章　Adlik推理工具鏈156

8.1　機(jī)器學(xué)習(xí)模型落地挑戰(zhàn)  156

8.2　Adlik的優(yōu)勢  157

8.3　Adlik的架構(gòu)  158

8.3.1　模型優(yōu)化器  159

8.3.2　模型編譯器  161

8.3.3　推理引擎模塊  161

8.4　快速入門  164

8.4.1　編譯模型  164

8.4.2　部署模型  166

8.4.3　模型推理  166

8.4.4　引入自定義運(yùn)行時(shí)  167

8.5　Adlik端到端模型推理優(yōu)化實(shí)踐  168

8.5.1　模型結(jié)構(gòu)優(yōu)化  168

8.5.2　模型推理引擎  170

8.6　本章小結(jié)  171

第9章　云服務(wù)供應(yīng)商的端到端MLOps解決方案172

9.1　認(rèn)識SageMaker  173

9.1.1　SageMaker的主要組成

部分  173

9.1.2　廣泛的數(shù)據(jù)源和數(shù)據(jù)集成

支持  174

9.2　無代碼實(shí)現(xiàn)供應(yīng)鏈中到貨時(shí)間的

預(yù)測  176

9.2.1　數(shù)據(jù)準(zhǔn)備  177

9.2.2　簡單的數(shù)據(jù)合并  179

9.2.3　構(gòu)建、訓(xùn)練和分析機(jī)器學(xué)習(xí)

模型  180

9.2.4　模型預(yù)測  183

9.3　應(yīng)用SageMaker Notebook進(jìn)行 MLOps 管理  183

9.3.1　數(shù)據(jù)導(dǎo)入  184

9.3.2　數(shù)據(jù)清洗和特征設(shè)計(jì)  184

9.3.3　模型訓(xùn)練  185

9.3.4　模型評估  186

9.3.5　模型上線  187

9.3.6　使用模型倉庫和 Pipeline系統(tǒng)

管理訓(xùn)練成果  187

9.4　本章小結(jié)  194

第10章　MLOps 在反欺詐與推薦

系統(tǒng)中的應(yīng)用196

10.1　案例1：信用卡交易反欺詐系統(tǒng)  196

10.1.1　定義業(yè)務(wù)目標(biāo)  196

10.1.2　系統(tǒng)設(shè)計(jì)的挑戰(zhàn)  198

10.1.3　數(shù)據(jù)準(zhǔn)備與特征設(shè)計(jì)思路  201

10.1.4　系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)  202

10.2　案例2：推薦系統(tǒng)  205

10.2.1　推薦系統(tǒng)介紹  205

10.2.2　定義優(yōu)化目標(biāo)  206

10.2.3　系統(tǒng)設(shè)計(jì)挑戰(zhàn)與實(shí)現(xiàn)思路  208

10.3　本章小結(jié)  210

第11章　網(wǎng)易云音樂實(shí)時(shí)模型大規(guī)模應(yīng)用之道211

11.1　從云音樂直播推薦中的實(shí)時(shí)性

說起  211

11.1.1　直播對實(shí)時(shí)性的強(qiáng)需求  213

11.1.2　推薦引擎實(shí)時(shí)性的三要素  213

11.1.3　直播精排模型的實(shí)時(shí)化演進(jìn)  216

11.2　實(shí)時(shí)增量模型的構(gòu)建  216

11.2.1　實(shí)時(shí)特征快照  217

11.2.2　實(shí)時(shí)樣本歸因  219

11.2.3　實(shí)時(shí)樣本拼接  222

11.2.4　增量訓(xùn)練和更新  223

11.2.5　線上效果  224

11.3　特征平臺將實(shí)時(shí)能力泛化到

更多場景  225

11.4　FeatureBox  226

11.4.1　FeatureBox解決的問題  226

11.4.2　FeatureBox整體架構(gòu)  227

11.4.3　DataHub模塊  227

11.4.4　Transform模塊  231

11.4.5　MFDL模塊  232

11.4.6　Storage模塊  233

11.4.7　Monitor模塊  234

11.5　在線預(yù)估基于FeatureBox的

構(gòu)建  236

11.5.1　特征與模型的高效迭代  236

11.5.2　高性能預(yù)估計(jì)算  242

11.5.3　預(yù)估與FeatureBox實(shí)時(shí)性

方案  246

11.6　本章小結(jié)  248

第12章　小米廣告機(jī)器學(xué)習(xí)平臺

實(shí)踐249

12.1　小米廣告一站式機(jī)器學(xué)習(xí)平臺

簡介  249

12.1.1　傳統(tǒng)機(jī)器學(xué)習(xí)流程的問題  249

12.1.2　小米廣告機(jī)器學(xué)習(xí)平臺模塊

簡介  251

12.2　特征工程模塊  252

12.2.1　特征工程簡介  252

12.2.2　數(shù)據(jù)源管理  253

12.2.3　特征管理  253

12.2.4　樣本管理  257

12.3　模型訓(xùn)練平臺  259

12.3.1　算法管理  260

12.3.2　離線模型訓(xùn)練管理  261

12.3.3　模型更新  262

12.4　線上推理模塊  264

12.4.1　線上推理服務(wù)介紹  264

12.4.2　高性能和高可用保證  266

12.4.3　模型部署  268

12.5　本章小結(jié)  273

第13章　騰訊金融推薦中臺實(shí)踐274

13.1　業(yè)務(wù)介紹  274

13.1.1　業(yè)務(wù)優(yōu)化目標(biāo)  274

13.1.2　業(yè)務(wù)特點(diǎn)  275

13.2　現(xiàn)狀及挑戰(zhàn)  276

13.2.1　推薦系統(tǒng)復(fù)雜性  277

13.2.2　算法工程技術(shù)壁壘  278

13.3　MLOps實(shí)踐  278

13.4　推薦系統(tǒng)產(chǎn)品體系  280

13.4.1　特征系統(tǒng)  281

13.4.2　模型訓(xùn)練系統(tǒng)  281

13.4.3　模型服務(wù)系統(tǒng)  282

13.4.4　推薦運(yùn)營系統(tǒng)  283

13.5　系統(tǒng)設(shè)計(jì)  283

13.5.1　特征系統(tǒng)  284

13.5.2　模型服務(wù)系統(tǒng)  290

13.6　本章小結(jié)  293

第14章　眾安金融實(shí)時(shí)特征平臺

實(shí)踐294

14.1　眾安金融的MLOps建設(shè)背景  294

14.2　眾安金融的MLOps建設(shè)思路  295

14.2.1　眾安金融的MLOps流程說明  295

14.2.2　眾安金融特征平臺

能力要求  297

14.3　實(shí)時(shí)特征平臺的架構(gòu)設(shè)計(jì)  297

14.3.1　實(shí)時(shí)特征平臺架構(gòu)說明  298

14.3.2　實(shí)時(shí)特征數(shù)據(jù)源層  298

14.3.3　實(shí)時(shí)特征平臺的核心功能  299

14.4　實(shí)時(shí)業(yè)務(wù)特征計(jì)算  300

14.4.1　實(shí)時(shí)業(yè)務(wù)特征計(jì)算系統(tǒng)

設(shè)計(jì)  300

14.4.2　實(shí)時(shí)業(yè)務(wù)特征核心數(shù)據(jù)

模型  301

14.4.3　實(shí)時(shí)業(yè)務(wù)特征計(jì)算引擎  302

14.5　反欺詐場景中的特征計(jì)算  303

14.5.1　反欺詐特征計(jì)算系統(tǒng)設(shè)計(jì)  303

14.5.2　反欺詐特征分類說明  304

14.5.3　用戶關(guān)系圖譜實(shí)現(xiàn)方案  305

14.6　本章小結(jié)  306

第15章　MLOps成熟度模型308

15.1　能力成熟度模型概述  308

15.2　谷歌的MLOps成熟度模型  309

15.2.1　谷歌對MLOps的理解和

認(rèn)識  309

15.2.2　谷歌對MLOps成熟度等級的

定義  310

15.3　微軟的MLOps成熟度模型  317

15.3.1　微軟對MLOps成熟度模型的

理解和認(rèn)識  317

15.3.2　微軟對MLOps成熟度等級的

定義  318

15.4　信通院的MLOps成熟度模型  322

15.4.1　需求管理能力子域

相關(guān)內(nèi)容  323

15.4.2　數(shù)據(jù)工程能力子域

相關(guān)內(nèi)容  325

15.5　本章小結(jié)  329

直播預(yù)告
??AI工程化—— 如何讓AI在企業(yè)多快好省的落地？
??AI 2.0時(shí)代，要不要學(xué)習(xí)MLOPS？MLOps推理的挑戰(zhàn)以及大模型時(shí)代的推理優(yōu)化思路如何？以及基于MLOps構(gòu)建網(wǎng)易云音樂實(shí)時(shí)模型大規(guī)模應(yīng)用實(shí)踐分享~

??10月14日19：00，第四范式平臺架構(gòu)師李瀚、中興通訊AI高級工程師袁麗雅、網(wǎng)易云音樂算法工程高級總監(jiān)吳官林、星策社區(qū)發(fā)起人及LF AI & Data TAC成員兼 Outreach主席譚中意 四位嘉賓將與您分享~

寫在末尾：

根據(jù)博客閱讀量本次活動(dòng)一共贈(zèng)書若干本，評論區(qū)抽取若干位小伙伴送出，中獎(jiǎng)了會私信通知
參與方式：關(guān)注博主、點(diǎn)贊、收藏 + 評論
（任意評論不折疊即可，切記要點(diǎn)贊+收藏，否則抽獎(jiǎng)無效，每個(gè)人最多評論三次）文章來源地址http://www.zghlxwxcb.cn/news/detail-712966.html

  如果喜歡的話，歡迎 ??關(guān)注 ??點(diǎn)贊 ??評論 ??收藏  ??一起討論
  你的支持就是我??創(chuàng)作的動(dòng)力！					  ??????

到了這里，關(guān)于企業(yè)AI工程化之路：如何實(shí)現(xiàn)高效、低成本、高質(zhì)量的落地？的文章就介紹完了。如果您還想了解更多內(nèi)容，請?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！