• Tutorial 1: A Beginner-Friendly Introduction to MLOps
• 教程 2：使用 MLOps 構(gòu)建機(jī)器學(xué)習(xí)項(xiàng)目

?

?????MLOps（機(jī)器學(xué)習(xí)運(yùn)營(yíng)）是將 DevOps 實(shí)踐應(yīng)用到機(jī)器學(xué)習(xí)生命周期的過程。它涉及機(jī)器學(xué)習(xí)管道各個(gè)方面的自動(dòng)化、監(jiān)控和優(yōu)化，從數(shù)據(jù)采集和準(zhǔn)備到模型訓(xùn)練、部署和管理。

????????MLOps 旨在簡(jiǎn)化機(jī)器學(xué)習(xí)開發(fā)流程，提高機(jī)器學(xué)習(xí)模型的準(zhǔn)確性和可靠性，并減少開發(fā)和部署機(jī)器學(xué)習(xí)系統(tǒng)所需的時(shí)間和成本。它結(jié)合了軟件工程、數(shù)據(jù)科學(xué)和運(yùn)營(yíng)的最佳實(shí)踐，創(chuàng)建了強(qiáng)大且可擴(kuò)展的機(jī)器學(xué)習(xí)基礎(chǔ)設(shè)施。

????????MLOps 涉及一系列工具、技術(shù)和流程，包括版本控制、持續(xù)集成和交付、容器化、編排、監(jiān)控和反饋循環(huán)。對(duì)于希望在機(jī)器學(xué)習(xí)計(jì)劃中實(shí)現(xiàn)卓越運(yùn)營(yíng)并通過數(shù)據(jù)驅(qū)動(dòng)的洞察和自動(dòng)化提供業(yè)務(wù)價(jià)值的組織來(lái)說(shuō)，這是至關(guān)重要的。

2.2 本教程實(shí)驗(yàn)需要

????????在本教程中，我們將使用手寫數(shù)字分類作為示例。在之前的教程中，我創(chuàng)建了一個(gè)用于 MNIST 分類的 Github 存儲(chǔ)庫(kù)，項(xiàng)目結(jié)構(gòu)如下所示：

MNIST_classification
├── dataset_scripts
│   ├── construct_dataset_csv.py
│   ├── construct_dataset_folders.py
│   ├── describe_dataset_csv.py
│   ├── explore_dataset_idx.py
│   └── README.md
├── main_classification_convnet.py
├── main_classification_onehot.py
├── main_classification_single_output.py
├── .gitignore
└── README.md 

????????項(xiàng)目文件夾包括“dataset_scripts”文件夾，其中包含用于以原始 IDX 格式操作數(shù)據(jù)集的腳本（您可以查看我之前的教程“如何輕松探索您的 IDX 數(shù)據(jù)集”以獲取更多信息）、用于訓(xùn)練三種不同類型的模型的 Python 腳本、一個(gè) .gitignore 文件和一個(gè)自述文件。項(xiàng)目結(jié)構(gòu)很簡(jiǎn)單，因?yàn)樗菫榻坛棠康亩O(shè)計(jì)的。在本教程中，我將介紹 MLOps 項(xiàng)目的項(xiàng)目結(jié)構(gòu)。請(qǐng)注意，如果您想了解有關(guān)模型和訓(xùn)練的編程詳細(xì)信息，您可以隨時(shí)參考我的教程“神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介：分類問題”。

三. MLOps流程

????????MLOps 工作流概述了機(jī)器學(xué)習(xí)過程中的不同步驟，其中包括業(yè)務(wù)問題、數(shù)據(jù)工程、機(jī)器學(xué)習(xí)模型工程和代碼工程。在本節(jié)中，我們將探討如何實(shí)現(xiàn)每個(gè)步驟。但是，由于我們正在解決的問題（手寫數(shù)字分類）不需要它們，因此不會(huì)深入討論某些步驟。我們將重點(diǎn)介紹以綠色突出顯示的步驟（見下圖）。其余步驟將在以后的教程中介紹。若要了解有關(guān) MLOps 工作流的詳細(xì)信息，可以查看我的初學(xué)者友好教程。

3.1. 業(yè)務(wù)問題

????????本教程中解決的問題是手寫數(shù)字的分類，這是一個(gè)多類分類任務(wù)。具體地，給定手寫數(shù)字的輸入圖像范圍從0到9，模型需要識(shí)別該數(shù)字并輸出其相應(yīng)的標(biāo)簽。

????????AI 畫布包含以下組件：任務(wù)描述、預(yù)測(cè)（模型輸出）、判斷、操作、結(jié)果、訓(xùn)練、輸入、反饋和模型對(duì)問題的影響。對(duì)于當(dāng)前的手寫數(shù)字分類問題，我們的AI畫布將按如下方式構(gòu)建和填充：

3.2. 數(shù)據(jù)工程

????????數(shù)據(jù)工程包括各種任務(wù)，例如數(shù)據(jù)引入、探索和驗(yàn)證、清理、標(biāo)記和拆分。在此項(xiàng)目中，我們執(zhí)行了以下數(shù)據(jù)工程任務(wù)：

• 數(shù)據(jù)攝取：我們從其官方網(wǎng)站下載了原始格式的 MNIST 數(shù)據(jù)集，并將其轉(zhuǎn)換為 CSV 文件。
• 數(shù)據(jù)探索和驗(yàn)證：我們可視化了數(shù)據(jù)集中的一些圖像并展示了一些見解。
• 數(shù)據(jù)清洗：數(shù)據(jù)集已經(jīng)干凈，不需要任何進(jìn)一步的清理。
• 數(shù)據(jù)標(biāo)注：?數(shù)據(jù)集已標(biāo)記，因此無(wú)需額外標(biāo)記。
• 數(shù)據(jù)拆分：數(shù)據(jù)集已拆分為訓(xùn)練集和測(cè)試集。稍后我們將從訓(xùn)練集中提取驗(yàn)證集。

????????值得注意的是，該項(xiàng)目涉及一個(gè)相對(duì)簡(jiǎn)單的數(shù)據(jù)工程過程，因?yàn)閿?shù)據(jù)集已經(jīng)準(zhǔn)備好并處理了。但是，我們將在以后的文章中探討更復(fù)雜的示例。

3.3. 機(jī)器學(xué)習(xí)模型工程

機(jī)器學(xué)習(xí)模型工程

????????機(jī)器學(xué)習(xí)模型工程是 MLOps 工作流中的第三步。它涉及各種任務(wù)，例如模型訓(xùn)練、評(píng)估、測(cè)試和打包。在此項(xiàng)目中，我們執(zhí)行了以下 ML 模型工程任務(wù)：

• 模型訓(xùn)練：對(duì)于特征工程，我們使用數(shù)據(jù)縮放（將像素縮放到[0，1]的范圍），數(shù)據(jù)重塑（將圖像表示為一維向量或二維矩陣）和數(shù)據(jù)編碼（獨(dú)熱編碼）。對(duì)于模型工程，我們實(shí)現(xiàn)了兩種不同類型的模型并應(yīng)用了超參數(shù)調(diào)優(yōu)。
• 模型評(píng)估：除了準(zhǔn)確性之外，我們還使用了其他評(píng)估指標(biāo)，例如召回率、精度和 F1 分?jǐn)?shù)，以確保模型滿足 AI 畫布中描述的業(yè)務(wù)目標(biāo)（結(jié)果）。
• 模型測(cè)試：評(píng)估模型后，我們?cè)趦煞N不同類型的數(shù)據(jù)上對(duì)其進(jìn)行了測(cè)試：第一種類型是MNIST數(shù)據(jù)集的測(cè)試集，第二種類型是從應(yīng)用程序生成的一些手寫數(shù)字圖像。
• 模型打包和版本控制將在下一教程中討論，我們將更詳細(xì)地介紹機(jī)器學(xué)習(xí)管道。

如果你想要更多編程細(xì)節(jié)，你可以隨時(shí)查看我以前的教程。

3.4. 代碼工程

????????在代碼工程步驟中，所選模型將部署到應(yīng)用程序，并且需要監(jiān)視和記錄其性能。在部署模型之前，需要仔細(xì)選擇服務(wù)模式和部署策略。部署后，需要管理和維護(hù)其行為，以確保其正常運(yùn)行。雖然本教程中沒有詳細(xì)說(shuō)明這部分，但我計(jì)劃在不久的將來(lái)專門寫整篇文章來(lái)介紹它。

四、?項(xiàng)目結(jié)構(gòu)

????????現(xiàn)在，我們已經(jīng)重點(diǎn)介紹了在手寫數(shù)字分類中應(yīng)用的不同 MLOps 步驟，讓我們繼續(xù)構(gòu)建項(xiàng)目以滿足項(xiàng)目需求，同時(shí)牢記這些步驟。為此，我將首先介紹一個(gè)眾所周知的項(xiàng)目結(jié)構(gòu)，然后介紹我的 MLOps 項(xiàng)目結(jié)構(gòu)模板。隨著我們添加更多組件，此模板將在稍后更新。

????????但是，為什么正確構(gòu)建機(jī)器學(xué)習(xí)項(xiàng)目很重要？嗯，有幾個(gè)好處：

• 良好的透明度：一個(gè)有組織的項(xiàng)目更容易理解，不僅對(duì)你，對(duì)其他人也是如此。
• 維護(hù)簡(jiǎn)單：結(jié)構(gòu)良好的項(xiàng)目更易于維護(hù)和更新，從而節(jié)省時(shí)間和精力。
• 提高效率：清晰的計(jì)劃可以減少浪費(fèi)的時(shí)間，并將偏離軌道或丟失重要信息的風(fēng)險(xiǎn)降至最低。
• 良好的重現(xiàn)性和可重復(fù)使用性：良好的項(xiàng)目結(jié)構(gòu)可確保項(xiàng)目結(jié)果可以輕松復(fù)制，并且其組件可以重復(fù)使用。
• 輕松協(xié)作：當(dāng)一個(gè)項(xiàng)目以清晰和合乎邏輯的方式組織時(shí)，其他人就會(huì)變得更容易理解和貢獻(xiàn)。

總之，正確構(gòu)建機(jī)器學(xué)習(xí)項(xiàng)目可以提高透明度、效率、可維護(hù)性和協(xié)作性。

4.1. 千篇一律的數(shù)據(jù)科學(xué)

????????如本文前面所述，在編寫任何代碼行之前，我們需要做的第一件事是定義項(xiàng)目結(jié)構(gòu)。這可以通過使用項(xiàng)目結(jié)構(gòu)模板來(lái)實(shí)現(xiàn)。模板可以是為響應(yīng)公司/項(xiàng)目需求而建立的公司模板、一組人員或個(gè)人創(chuàng)建并發(fā)布供其他人使用的公開可用模板，也可以是你自己習(xí)慣使用的自定義模板。

????????該領(lǐng)域最著名的項(xiàng)目結(jié)構(gòu)之一是千篇一律的數(shù)據(jù)科學(xué)，它是：

一個(gè)邏輯的、合理的標(biāo)準(zhǔn)化但靈活的項(xiàng)目結(jié)構(gòu)，用于執(zhí)行和共享數(shù)據(jù)科學(xué)工作。

您可以在下面找到此模板的項(xiàng)目結(jié)構(gòu)，以及每個(gè)文件的描述：

4.2 MLOps 項(xiàng)目結(jié)構(gòu)

????????現(xiàn)在，我們已經(jīng)介紹了如何執(zhí)行 MLOps 工作流的不同步驟，接下來(lái)讓我們定義一個(gè)與 MLOps 工作流一致的項(xiàng)目結(jié)構(gòu)模板。Cookiecutter?MLOps?模板基于我們之前介紹的 Cookiecutter 數(shù)據(jù)科學(xué)模板。與 Cookiecutter Data Science 一樣，我的 Cookiecutter MLOps 模板包括 LICENSE、README、Makefile 和需求文件;以及文檔、模型、筆記本、參考、報(bào)告、可視化和源文件夾。但是，添加了額外的文件夾（配置），并增強(qiáng)了源和可視化文件夾。

????????MLOps 項(xiàng)目結(jié)構(gòu)模板具有以下結(jié)構(gòu)：

MLOps_MLflow_mnist_classification
├── configs
│   ├── cnnbased.yaml
│   └── singleoutput.yaml
├── data
│   ├── external
│   │   └── test
│   │       ├── 0_0.png
│   │       ├── 1_0.png
│   │       ├── 1_1.png
│   │       ├── 3_1.png
│   │       ├── 5_1.png
│   │       ├── 7_0.png
│   │       └── 8_0.png
│   ├── interim
│   ├── processed
│   │   ├── test.csv
│   │   └── train.csv
│   └── raw
│       ├── test_images.gz
│       ├── test_labels.gz
│       ├── train_images.gz
│       └── train_labels.gz
├── LICENSE
├── Makefile
├── MLproject
├── mlruns
├── models
├── README.md
├── requirements.txt
└── src
    ├── data
    │   ├── build_features.py
    │   ├── dataloader.py
    │   └── ingestion.py
    ├── models
    │   ├── cnnbased
    │   │   ├── hyperparameters_tuning.py
    │   │   ├── model.py
    │   │   ├── predict.py
    │   │   ├── preprocessing.py
    │   │   └── train.py
    │   └── singleoutput
    │       ├── hyperparameters_tuning.py
    │       ├── model.py
    │       ├── predict.py
    │       ├── preprocessing.py
    │       └── train.py
    └── visualization
        ├── evaluation.py
        └── exploration.py

configs?文件夾包含所有配置文件，例如模型超參數(shù)。

數(shù)據(jù)文件夾（src 的子文件夾）包括以下文件：

• ingestion.py：用于收集數(shù)據(jù)。如果需要?jiǎng)?chuàng)建備份、保護(hù)私人信息或創(chuàng)建元數(shù)據(jù)目錄，最好在此處執(zhí)行此操作。
• cleaning.py：用于通過減少異常值/噪聲、處理缺失值等來(lái)清理數(shù)據(jù)。
• labeling.py：用于在必要時(shí)標(biāo)記數(shù)據(jù)。
• splitting.py：用于將數(shù)據(jù)拆分為測(cè)試集和訓(xùn)練集。
• validation.py：用于驗(yàn)證數(shù)據(jù)（以確保數(shù)據(jù)已準(zhǔn)備好進(jìn)行訓(xùn)練）。
• build_features.py：此文件已移至此文件夾，因?yàn)闃?gòu)建要素意味著將數(shù)據(jù)集組織到特定結(jié)構(gòu)中。

在模型文件夾（src 的子文件夾）中，每個(gè)模型的腳本都組織在模型的文件夾中，包括：

• model.py：用于定義模型體系結(jié)構(gòu)。
• dataloader.py：用于加載要饋送到模型的數(shù)據(jù)。
• preprocessing.py：用于在將數(shù)據(jù)饋送到模型之前對(duì)其進(jìn)行預(yù)處理。
• train.py：用于訓(xùn)練模型。
• hyperparameters_tuning.py：用于調(diào)整模型和/或訓(xùn)練超參數(shù)。
• predict.py：用于對(duì)隨機(jī)圖像（不是來(lái)自數(shù)據(jù)集）進(jìn)行預(yù)測(cè)。

可視化文件夾包括以下內(nèi)容：

• exploration.py：此文件包括用于在數(shù)據(jù)工程過程中可視化數(shù)據(jù)的函數(shù)。
• evaluation.py：此文件包括用于可視化訓(xùn)練結(jié)果的函數(shù)。

這是 MLOps 模板，需要考慮一些重要注意事項(xiàng)：

• 這是一個(gè)基本模板，因此可以根據(jù)項(xiàng)目要求刪除或添加某些文件和文件夾。
• 某些預(yù)處理函數(shù)可以在所有模型中使用，因此可以創(chuàng)建單個(gè)預(yù)處理文件并將其移動(dòng)到數(shù)據(jù)文件夾以避免重復(fù)函數(shù)。但是，建議將預(yù)處理文件分開，以提高模型的可重用性并防止將來(lái)出現(xiàn)潛在問題。
• 在預(yù)測(cè)腳本中，假定數(shù)據(jù)來(lái)自應(yīng)用程序而不是數(shù)據(jù)集，因此可能需要額外的預(yù)處理步驟。

4.3 啟動(dòng)新的 MLOps 項(xiàng)目

如果要使用此模板啟動(dòng)機(jī)器學(xué)習(xí)項(xiàng)目，可以使用?GitHub 模板或使用?Cookiecutter 模板，如下所示：

• 要使用 GitHub 模板，首先，您需要在此處訪問模板頁(yè)面。然后，單擊綠色按鈕“使用此模板”，您將必須選擇是“創(chuàng)建新存儲(chǔ)庫(kù)”還是“在代碼空間中打開”：

• 要使用?Cookiecutter 模板，您首先需要使用以下命令安裝 Cookiecutter：

pip install cookiecutter 

或：

conda config --add channels conda-forge
conda install cookiecutter 

然后在命令行運(yùn)行以下命令：

cookiecutter https://github.com/Chim-SO/cookiecutter-mlops 

下面是手寫數(shù)字分類的示例配置，您可以通過填寫所需參數(shù)來(lái)自定義該配置。按 Enter 鍵將保留您不希望更改的任何參數(shù)的默認(rèn)值：

project_name [project_name]: MLOps_MLflow_mnist_classification

repo_name [mlops_mlflow_mnist_classification]: 

author_name [Your name (or your organization/company/team)]: Chim SO

description [A short description of the project.]: MNIST classification

Select open_source_license:
1 - MIT
2 - BSD-3-Clause
3 - No license file
Choose from 1, 2, 3 [1]: 1

s3_bucket [[OPTIONAL] your-bucket-for-syncing-data (do not include 's3://')]: 

aws_profile [default]:
 
Select python_interpreter:
1 - python3
2 - python
Choose from 1, 2 [1]:

4.4 使用 MLOps 項(xiàng)目模板進(jìn)行手寫數(shù)字分類

在第二部分中，我們討論了手寫數(shù)字分類任務(wù)的 MLOps 工作流中涉及的不同步驟。使用 MLOps 模板實(shí)現(xiàn)該管道將生成以下項(xiàng)目結(jié)構(gòu)：

MLOps_MLflow_mnist_classification
├── configs
│   ├── cnnbased.yaml
│   └── singleoutput.yaml
├── data
│   ├── external
│   │   └── test
│   │       ├── 0_0.png
│   │       ├── 1_0.png
│   │       ├── 1_1.png
│   │       ├── 3_1.png
│   │       ├── 5_1.png
│   │       ├── 7_0.png
│   │       └── 8_0.png
│   ├── interim
│   ├── processed
│   │   ├── test.csv
│   │   └── train.csv
│   └── raw
│       ├── test_images.gz
│       ├── test_labels.gz
│       ├── train_images.gz
│       └── train_labels.gz
├── LICENSE
├── Makefile
├── MLproject
├── mlruns
├── models
├── README.md
├── requirements.txt
└── src
    ├── data
    │   ├── build_features.py
    │   ├── dataloader.py
    │   └── ingestion.py
    ├── models
    │   ├── cnnbased
    │   │   ├── hyperparameters_tuning.py
    │   │   ├── model.py
    │   │   ├── predict.py
    │   │   ├── preprocessing.py
    │   │   └── train.py
    │   └── singleoutput
    │       ├── hyperparameters_tuning.py
    │       ├── model.py
    │       ├── predict.py
    │       ├── preprocessing.py
    │       └── train.py
    └── visualization
        ├── evaluation.py
        └── exploration.py

由于我們已經(jīng)描述了每個(gè)文件和文件夾的內(nèi)容，因此我現(xiàn)在將重點(diǎn)介紹可能有點(diǎn)模棱兩可的最重要步驟。

• 該文件夾包含兩個(gè)配置文件，每個(gè)模型一個(gè)。例如，該文件包括模型配置、訓(xùn)練參數(shù)、日志記錄參數(shù)（將在后續(xù)教程中討論）和模型調(diào)優(yōu)參數(shù)。configssingleoutput.yaml

# Data parameters
data:
  dataset_path : 'data/processed/'

# Model parameters
model:
  name: 'singleoutput'
  num_units: 224
  num_layers: 5
  activation_function : 'sigmoid'

# Training parameters
training:
  batch_size: 128
  num_epochs: 200
  loss_function: 'mae'
  metric: 'mse'

# Logging and output parameters
mlflow:
  mlruns_path: 'file:models/mlruns'
  experiment_name: 'singleOutput'

# Tuning
hyperparameter_tuning:
  num_layers: [3, 5]
  num_units: [16, 64, 224]
  activation_function: ['relu', 'sigmoid']
  batch_size: [128, 256]
  loss_function: ['mae']
  metric: ['mse']
  num_epochs: [200]

• 使用 ，首先將數(shù)據(jù)下載并存儲(chǔ)在 中。然后，它被轉(zhuǎn)換為記錄結(jié)構(gòu)，并直接存儲(chǔ)到 .src/data/ingestion.pydata/raw/src/data/build_features.pydata/processed
• 在該文件夾中，我添加了一個(gè)子文件夾，其中包含一些手寫數(shù)字的隨機(jī)圖像。腳本將使用這些圖像來(lái)測(cè)試訓(xùn)練模型對(duì)新的、看不見的數(shù)據(jù)的預(yù)測(cè)。data/externaltestpredict.py

• 此示例的數(shù)據(jù)/臨時(shí)文件夾為空，因?yàn)閿?shù)據(jù)處理管道中沒有中間步驟。
• 由于數(shù)據(jù)是經(jīng)典數(shù)據(jù)集，因此不會(huì)復(fù)制每個(gè)模型的數(shù)據(jù)加載器，而是將其從模型文件夾移動(dòng)到 。src/data/
• 該腳本概述了用于預(yù)測(cè)隨機(jī)圖像類的管道。與用于訓(xùn)練模型的預(yù)處理管道（涉及調(diào)整大小和縮放）不同，預(yù)測(cè)管道首先修剪圖像、反轉(zhuǎn)像素，然后調(diào)整大小和縮放圖像。src/models/<model>/predict.py

隨機(jī)圖像的數(shù)據(jù)預(yù)處理流水線。

• MLflow 庫(kù)利用該文件和文件夾，該庫(kù)是用于管理機(jī)器學(xué)習(xí)管道的平臺(tái)。下一篇文章將詳細(xì)介紹這個(gè)主題，所以如果你對(duì)你來(lái)說(shuō)是新手，請(qǐng)不要擔(dān)心。MLprojectmlruns

4.5 如何運(yùn)行你的項(xiàng)目？

執(zhí)行 Python 項(xiàng)目有幾種方法：交互式運(yùn)行（逐行執(zhí)行）、批處理運(yùn)行（調(diào)度 cron 作業(yè)或使用作業(yè)調(diào)度程序）、容器化運(yùn)行（使用 Docker 或 Kubernetes）、自動(dòng)化運(yùn)行（例如使用 MLflow）或分布式運(yùn)行（使用 Apache Spark 等分布式計(jì)算框架）。由于這不是本文的主題，因此讓我們使用最簡(jiǎn)單的方法從項(xiàng)目目錄執(zhí)行以下命令：

python src/data/ingestion.py -r data/raw/ # Download data
python src/data/build_features.py -r data/raw/ -p data/processed/ # Create csv files
python -m src.models.cnnbased.train -c configs/cnnbased.yaml # Train CNN model

五、?結(jié)論

????????在本文中，我們提供了一個(gè) MLOps 項(xiàng)目結(jié)構(gòu)模板，并將其應(yīng)用于手寫數(shù)字分類問題。我們演示了如何應(yīng)用 MLOps 工作流來(lái)解決此問題，并繪制了一個(gè)項(xiàng)目結(jié)構(gòu)模板，您可以將其用作?Cookiecutter 項(xiàng)目或?Github 模板。如果您覺得該模板有幫助，請(qǐng)?jiān)?GitHub 上給它加一顆星，以便其他人可以發(fā)現(xiàn)它。如果你不熟悉 MLOps，可以閱讀我的初學(xué)者友好教程。文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-625893.html