現(xiàn)代企業(yè)常常會(huì)有利用數(shù)據(jù)分析和機(jī)器學(xué)習(xí)幫助解決業(yè)務(wù)痛點(diǎn)的需求。如制造業(yè)中，利用設(shè)備采集上來(lái)的數(shù)據(jù)做預(yù)測(cè)性維護(hù)，質(zhì)量控制；在零售業(yè)中，利用客戶(hù)端端采集的數(shù)據(jù)做渠道轉(zhuǎn)化率分析，個(gè)性化推薦等。

通常業(yè)務(wù)部門(mén)需要提需求給技術(shù)團(tuán)隊(duì)，技術(shù)團(tuán)隊(duì)將業(yè)務(wù)需求轉(zhuǎn)換為技術(shù)需求，調(diào)動(dòng)數(shù)據(jù)工程師，數(shù)據(jù)科學(xué)家，機(jī)器學(xué)習(xí)工程師等，做數(shù)據(jù)處理、分析以及建模，整個(gè)流程較長(zhǎng)，需要比較高的跨團(tuán)隊(duì)溝通成本，且對(duì)企業(yè)人才儲(chǔ)備技能有要求。 客戶(hù)業(yè)務(wù)部門(mén)普遍期望降低使用機(jī)器學(xué)習(xí)解決業(yè)務(wù)問(wèn)題的門(mén)檻和學(xué)習(xí)成本，使得業(yè)務(wù)分析人員可以較少借助數(shù)據(jù)科學(xué)家和數(shù)據(jù)工程師，快速解決特定領(lǐng)域的業(yè)務(wù)數(shù)據(jù)洞察。

本文以汽車(chē)行業(yè)的故障分析為例，演示如何在亞馬遜云科技上構(gòu)建一套無(wú)代碼數(shù)據(jù)分析平臺(tái)，業(yè)務(wù)人員不需要有編程能力、 SQL 或任何機(jī)器學(xué)習(xí)的先驗(yàn)知識(shí)，即可自行根據(jù)業(yè)務(wù)場(chǎng)景和具體需求，自助式的上傳導(dǎo)入數(shù)據(jù)做出分析，從而幫助業(yè)務(wù)人員以最短的時(shí)間，最方便的使用數(shù)據(jù)。

場(chǎng)景和痛點(diǎn)

車(chē)輛的異常故障率通常受多個(gè)因素影響，比如生產(chǎn)批次問(wèn)題，使用年限，經(jīng)銷(xiāo)商維保等。

在過(guò)去，質(zhì)保部門(mén)被動(dòng)的接受零散客戶(hù)的問(wèn)題上報(bào)和維修請(qǐng)求，當(dāng)某車(chē)型或某批次的問(wèn)題積攢到一定程度乃至爆發(fā)后，才能定位這部分車(chē)輛的問(wèn)題統(tǒng)一進(jìn)行召回。突然的故障爆發(fā)使得相關(guān)部門(mén)沒(méi)辦法提前預(yù)算出維修經(jīng)費(fèi)，沒(méi)法提前準(zhǔn)備備件，沒(méi)法提前做管控措施，也影響車(chē)主的體驗(yàn)。

因此，對(duì)車(chē)輛質(zhì)保數(shù)據(jù)做數(shù)據(jù)分析，對(duì)故障發(fā)生情況做基于時(shí)序的分析或者聚類(lèi)分析，并根據(jù)現(xiàn)有數(shù)據(jù)對(duì)故障趨勢(shì)進(jìn)行預(yù)測(cè)，可以幫助業(yè)務(wù)部門(mén)實(shí)現(xiàn)質(zhì)量預(yù)警，質(zhì)量改善的目標(biāo)，有助于企業(yè)和部門(mén)提前做預(yù)算，提前采取相應(yīng)措施降低整體維修費(fèi)用。

技術(shù)目標(biāo)

基于實(shí)銷(xiāo)車(chē)輛數(shù)據(jù)，以及車(chē)輛維修數(shù)據(jù) ( 兩個(gè) Schema 如下表所示)，基于車(chē)型，繪制出可以描述故障發(fā)生情況的曲線(xiàn)， 對(duì)曲線(xiàn)進(jìn)行分類(lèi)，歸納出相似的故障曲線(xiàn)，篩選出異常的故障曲線(xiàn)，以達(dá)到對(duì)異常故障進(jìn)行預(yù)測(cè)，提前預(yù)警的目的。

• 車(chē)型故障曲線(xiàn) ：如根據(jù)時(shí)間、行駛里程數(shù)、車(chē)齡等維度的車(chē)輛故障數(shù)增長(zhǎng)曲線(xiàn)。 本文以車(chē)齡這個(gè)維度為示例，其他條件類(lèi)似，只是聚合條件發(fā)生變化。
• 歸納相似形狀，篩選異常故障曲線(xiàn)
• 根據(jù)現(xiàn)有數(shù)據(jù)預(yù)測(cè)趨勢(shì)

Sampling Schema

1. Repair data

1. Sales data

架構(gòu)

• 選擇?Glue Databrew?作為主要數(shù)據(jù)處理的工具。 Amazon Glue Databrew 提供一個(gè)可視化的工具，可以幫助數(shù)據(jù)分析師和數(shù)據(jù)科學(xué)家對(duì)數(shù)據(jù)做數(shù)據(jù)清洗和轉(zhuǎn)換，從而方便后續(xù)將數(shù)據(jù)應(yīng)用到分析和機(jī)器學(xué)習(xí)的場(chǎng)景。Glue Databrew 提供多達(dá) 250 種預(yù)構(gòu)建轉(zhuǎn)換中的操作，都可通過(guò) UI 自動(dòng)執(zhí)行，不需要任何代碼。比如，篩選異常數(shù)據(jù)、將數(shù)據(jù)轉(zhuǎn)換為標(biāo)準(zhǔn)格式以及糾正無(wú)效值等等。
• 利用 Glue 做數(shù)據(jù)格式（Schema）的爬取，通過(guò) Athena 作為 connector，最終用 QuickSight 作為 BI 展示工具，做 dashboard 展示
• 利用 Databrew 處理后的數(shù)據(jù)作為模型輸入，利用 Sagemaker Canvas 生成預(yù)測(cè)模型。Amazon SageMaker Canvas 通過(guò)為業(yè)務(wù)分析師提供可視化、點(diǎn)擊式的界面來(lái)擴(kuò)展對(duì)機(jī)器學(xué)習(xí) (ML) 的訪(fǎng)問(wèn)，利用AutoML 技術(shù)，根據(jù)您的獨(dú)特用例自動(dòng)創(chuàng)建 ML 模型，而無(wú)需任何機(jī)器學(xué)習(xí)經(jīng)驗(yàn)或編寫(xiě)任何代碼。 同時(shí)SageMaker Canvas 與 Amazon SageMaker Studio 集成，使業(yè)務(wù)分析師可以更輕松地與數(shù)據(jù)科學(xué)家共享模型和數(shù)據(jù)集，以便他們驗(yàn)證和進(jìn)一步優(yōu)化 ML 模型。

前提條件

1. Glue Databrew 在大多數(shù)區(qū)域已經(jīng)支持（包括北京和寧夏區(qū)），可在控制臺(tái)切換至目標(biāo)區(qū)域。 SageMaker Canvas 目前在部分區(qū)域推出，具體 region 請(qǐng)參考此?FAQ 文檔。本文使用 Ohio (us-east-2) 為例。
2. 將樣本數(shù)據(jù)先存儲(chǔ)在目標(biāo)區(qū)域的某個(gè) S3 桶中。如您不了解如何上傳，請(qǐng)參考此?S3 文檔

方案步驟

1. Glue Databrew 進(jìn)行數(shù)據(jù)轉(zhuǎn)換

該章節(jié)完成如下功能

• 無(wú)效數(shù)據(jù)清理
• 轉(zhuǎn)換車(chē)輛維修數(shù)據(jù)，以適配銷(xiāo)售數(shù)據(jù)
• 車(chē)輛維修數(shù)據(jù)和銷(xiāo)售數(shù)據(jù)的合并
• 按照車(chē)型和車(chē)齡聚合數(shù)據(jù)
• 計(jì)算故障率

詳細(xì)步驟

1.打開(kāi) Databrew 控制臺(tái)，點(diǎn)擊左側(cè)欄 “數(shù)據(jù)集 (Datasets)”, 點(diǎn)擊 “連接新數(shù)據(jù)集 （Connect new dataset）” 以創(chuàng)建數(shù)據(jù)源

2.在為數(shù)據(jù)集命名 (如 “repair-data”) 并選擇 S3 的存儲(chǔ)位置，數(shù)據(jù)格式 csv，采用默認(rèn)分隔符 “,” ，點(diǎn)擊創(chuàng)建數(shù)據(jù)集。同理，創(chuàng)建命為 sales-data 的數(shù)據(jù)集，csv 格式，默認(rèn)分隔符 “,” 創(chuàng)建數(shù)據(jù)集。

3.選中剛創(chuàng)建好的數(shù)據(jù)集 repair-data，選擇 “使用此數(shù)據(jù)集創(chuàng)建項(xiàng)目 (create project with dataset)” ， 輸入項(xiàng)目名稱(chēng)和配方名稱(chēng)，選擇現(xiàn)有的或者新創(chuàng)建一個(gè) IAM Role，需確保此 IAM Role 有權(quán)連接到所選的數(shù)據(jù)。點(diǎn)擊?創(chuàng)建項(xiàng)目。 等待 DataBrew 界面的加載。

4.第一步， 無(wú)效數(shù)據(jù)的清理。

（1）選擇 CarAgeDay 這一列（代表按天計(jì)算的車(chē)齡），點(diǎn)擊 filter，并選擇僅保留大于0的數(shù)據(jù)（或者根據(jù)需求，自定義此值）。如圖所屬，編輯完 Greater than 0 的條件后，點(diǎn)擊 add to recipe，此時(shí)會(huì)在右側(cè)生成瀏覽，請(qǐng)點(diǎn)擊 APPLY 以生效

（2）將 mileage 進(jìn)行 filter，只保留大于0的有效數(shù)據(jù)。同樣點(diǎn)擊 add to recipe 然后點(diǎn)擊 apply 以生效。

5.第二步，將車(chē)輛維修數(shù)據(jù)的銷(xiāo)售年份和銷(xiāo)售季度合并為一個(gè)字段適配銷(xiāo)售數(shù)據(jù)：點(diǎn)擊右側(cè) recipe，add step，并選擇 merge 操作 （Concatenate Columns），將 RegiDate_Year 和 RegiDate_Quarter 合并, 以 “ Q ” 作為連接符，target column name “year_quarter”

6.第三步，合并車(chē)輛維修數(shù)據(jù)和銷(xiāo)售數(shù)據(jù): 點(diǎn)擊 JOIN 操作，選擇 sales-data 作為要 join 的數(shù)據(jù)集，選擇 LEFT JOIN， 并將 year_quarter 以及 Sales_Quarter 作為 join key，瀏覽后點(diǎn)擊finish

7.第四步，按照車(chē)型和車(chē)齡聚合數(shù)據(jù): 如下圖所示，按照 Series_new 和 CarAgeMonth 做聚合 Group by，生成故障數(shù)和銷(xiāo)售數(shù)。

8.第五步，計(jì)算故障率

（1）為了做除法，先將 defect number 改為 INT 數(shù)據(jù)類(lèi)型

（2）為了計(jì)算故障率，我們選擇DIVIDE方法，第一列選擇 defect_number, 第二列選擇 total_sales_number，目標(biāo)列命名為 defect_rate

9.第五步，計(jì)算故障率：對(duì) defect_rate 做過(guò)濾，去除小于0的那些無(wú)效值

10.最終數(shù)據(jù)和配方如圖所示, 基于每種車(chē)型做聚合，我們可以追蹤出針對(duì)不同車(chē)齡的故障率。當(dāng)然您也可以根據(jù)需求自行對(duì)數(shù)據(jù)做更多處理和轉(zhuǎn)換。

11.點(diǎn)擊右上方 Create job，以將此配方用于整個(gè)數(shù)據(jù)集。 定義job名稱(chēng)，文件輸出地址（S3 location），選擇 IAM role （此 Role 需要有 S3 對(duì)應(yīng)位置的讀寫(xiě)權(quán)限）后，點(diǎn)擊最下方 create and run job， 大概會(huì)在 2min 完成數(shù)據(jù)的處理。

12.當(dāng) final 后，可以選擇將 recipe publish 以保存配方。此配方在下一次可以直接用于應(yīng)用于其他樣本集。

2. 利用 QuickSight 進(jìn)行數(shù)據(jù)展示

該章節(jié)完成如下功能

• Glue 爬取 Databrew 輸出的 Schema，作為數(shù)據(jù)目錄
• 利用 Athena 作為 Connector，連接至 BI 工具 QuickSight
• 在 QuickSight 中自定義 Widget 和 Dashboard

詳細(xì)步驟

1.到 Glue Crawler (爬網(wǎng)程序) 中，點(diǎn)擊添加爬網(wǎng)程序 (add crawler )，定義 S3 數(shù)據(jù)所在位置，也就是剛才 Databrew 的輸出位置 。定義完成后，記得點(diǎn)擊 run crawler 以啟動(dòng)此運(yùn)行任務(wù)。 當(dāng)job 完成后，請(qǐng)到左側(cè) Table （表）這一欄中檢查 data schema 。

2.因 Athena 使用的是 Glue 的數(shù)據(jù)目錄，因此點(diǎn)擊來(lái)到 Athena，可以看到剛才我們爬網(wǎng)過(guò)的 defect-rate 的 table，本文也用 Glue 也爬過(guò)其他的兩張?jiān)急?，顯示如下。

3.控制臺(tái)到 QuickSight ，添加數(shù)據(jù)集 （dataset）, 選擇 Athena 作為數(shù)據(jù)源。根據(jù)提示，選擇目標(biāo)表，將數(shù)據(jù)加載到 QuickSight 當(dāng)中。

4.導(dǎo)入成功后，添加?New analysis?, 在這里可以利用數(shù)據(jù)的不同維度，以及不同的圖表形式，進(jìn)行自定義的數(shù)據(jù)探索和展示。本文以不同車(chē)型的 defect rate，銷(xiāo)量為例，可以看出，SERIES4 為比較暢銷(xiāo)的一款車(chē)型，此車(chē)故障率較高，且故障率基本高頻發(fā)生在車(chē)齡三年左右的時(shí)候，我們可以根據(jù)此規(guī)律提前做客戶(hù)關(guān)懷和車(chē)檢。 因此文重點(diǎn)不在于 Quicksight 的使用，因此不再展開(kāi)，如對(duì) QuickSight 使用不熟悉，可以點(diǎn)擊此教程?做參考。

12.在將所有的數(shù)據(jù)都整合完畢后，點(diǎn)擊右上方的?share?，可以將此發(fā)布為一個(gè) dashboard

3. 利用 Sagemaker Canvas 作為機(jī)器學(xué)習(xí)的工具

該章節(jié)完成如下功能

• 對(duì)數(shù)據(jù)進(jìn)行額外處理
• 合并多份數(shù)據(jù)
• 利用 Sagemaker Canvas 構(gòu)建模型
• 生成預(yù)測(cè)

詳細(xì)步驟

1.我們可以利用已有的數(shù)據(jù)做車(chē)輛銷(xiāo)售數(shù)量預(yù)測(cè)，維修數(shù)預(yù)測(cè)等。本文以故障率作為 預(yù)測(cè)的目標(biāo)為例。首先在 Databrew 將其他多余的 column 取出掉，只保留 series，caragemonth，defect_rate 三個(gè)列，目標(biāo)是根據(jù) series 和 carage，可以推測(cè)出不同系列車(chē)型的故障率。（也可以在下一步 csv 下載完畢后，手動(dòng)移除掉這兩列）

2.因?yàn)?Sagemaker Canvas 目前只支持一個(gè)單文件作為模型的 dataset，因此我們首先用 Athena 將多個(gè) Databrew 輸出的文件 merge 成單個(gè) csv。 我們打開(kāi) Athena 執(zhí)行 select * 之后像截圖右下角所示將結(jié)果進(jìn)行下載，這樣我們得到一個(gè)單個(gè) csv 文件。

3.進(jìn)行必要的列移除（如第一步所述）

4.將數(shù)據(jù)上傳至 Sagemaker Canvas dataset

5.Create model，選中此數(shù)據(jù)集，選中 target 為 defect_rate。 如希望快速生成模型，選擇 quick build 以構(gòu)建模型（2-15min）； 如需要更高的精準(zhǔn)度，選擇 standard build（2-4小時(shí)）。本文選擇 quick build。

6.等待模型生成后，就可以根據(jù) carage 做故障率的預(yù)測(cè)?？梢陨蟼饕环?csv 文件，做 batch prediction；也可以輸入單個(gè)值進(jìn)行 single prediction。 本文以前者為例，上傳希望預(yù)測(cè)的 series 和 carage（120個(gè)月），最終得到結(jié)果如下

8.如果選擇的是 Standard build，在模型創(chuàng)建后，SageMaker Canvas 還可以一鍵將模型共享到 Amazon SageMaker Studio?，使業(yè)務(wù)分析師可以邀請(qǐng)數(shù)據(jù)科學(xué)家對(duì)模型和共享數(shù)據(jù)集進(jìn)一步驗(yàn)證和進(jìn)一步優(yōu)化 ML 模型，達(dá)到生產(chǎn)部署的水平。

結(jié)論

本文提供了一個(gè)基于圖形化的數(shù)據(jù)處理和 AutoML 的方案，利用 Glue Databrew 和 Sagemaker Canvas 等服務(wù)，構(gòu)建一個(gè)無(wú)代碼數(shù)據(jù)分析和機(jī)器學(xué)習(xí)平臺(tái)，一方面，幫助客戶(hù)業(yè)務(wù)分析師降低數(shù)據(jù)處理和ML 專(zhuān)業(yè)知識(shí)的學(xué)習(xí)曲線(xiàn)，降低跨部門(mén)溝通成本，保持 AutoML 結(jié)果的可解釋性，方便與數(shù)據(jù)科學(xué)家在模型和數(shù)據(jù)集層面共享并持續(xù)優(yōu)化。 另一方面，此平臺(tái)基于無(wú)服務(wù)器，無(wú)需客戶(hù)管理服務(wù)器，按需付費(fèi)。

本篇作者

李天歌?Amazon 解決方案架構(gòu)師，負(fù)責(zé)基于 Amazon 的云計(jì)算方案架構(gòu)咨詢(xún)和設(shè)計(jì)，擅長(zhǎng)開(kāi)發(fā)，serverless 等領(lǐng)域，具有豐富的解決客戶(hù)實(shí)際問(wèn)題的經(jīng)驗(yàn)。

梁睿?梁睿，Amazon 解決方案架構(gòu)師，主要負(fù)責(zé)企業(yè)級(jí)客戶(hù)的上云工作，服務(wù)客戶(hù)涵蓋從汽車(chē)，傳統(tǒng)生產(chǎn)制造，金融，酒店，航空，旅游等，擅長(zhǎng) DevOps 領(lǐng)域。11年 IT 專(zhuān)業(yè)服務(wù)經(jīng)驗(yàn)，歷任程序開(kāi)發(fā)，軟件架構(gòu)師、解決方案架構(gòu)師。

文章來(lái)源：https://dev.amazoncloud.cn/column/article/630b3a84269604139cb5e9ea?sc_medium=regulartraffic&sc_campaign=crossplatform&sc_channel=CSDN?文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-693803.html

到了這里，關(guān)于在 Amazon 搭建無(wú)代碼可視化的數(shù)據(jù)分析和建模平臺(tái)的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！