某大型央企是首批全國供應鏈創(chuàng)新與應用示范企業(yè)，在“十四五”規(guī)劃期內(nèi)以聚焦供應鏈管理核心主業(yè)作為主要戰(zhàn)略發(fā)展方向。供應鏈運營管理以大宗商品貿(mào)易為主，其交易往往具有交易量巨大、交易環(huán)節(jié)復雜、風險交易難識別、風險客商難管控等痛點。

隨著集團數(shù)字化轉型不斷深化，數(shù)據(jù)應用方面的需求不斷擴展。但集團缺乏統(tǒng)一的大數(shù)據(jù)資產(chǎn)管理平臺，導致在數(shù)據(jù)應用方面，出現(xiàn)數(shù)據(jù)價值不凸顯、數(shù)據(jù)標準不統(tǒng)一、數(shù)據(jù)質量不可控、數(shù)據(jù)共享不暢通等問題。

在此背景下，該集團引入袋鼠云數(shù)據(jù)治理團隊，立足于打造全集團統(tǒng)一，能滿足覆蓋運管、風控、業(yè)務全過程數(shù)字化經(jīng)營管理及分析決策的統(tǒng)一數(shù)據(jù)資產(chǎn)平臺。對集團現(xiàn)有存量數(shù)據(jù)進行數(shù)據(jù)治理及挖掘，搭建數(shù)據(jù)管理體系，對增量數(shù)據(jù)進行有效管理和應用。通過梳理目前集團所有存量數(shù)據(jù)，提煉運營指標及管理指標，科學化管理公司數(shù)據(jù)資產(chǎn)和挖掘數(shù)據(jù)價值。

01 圍繞“數(shù)據(jù)治理、數(shù)據(jù)服務、數(shù)據(jù)應用”的數(shù)據(jù)治理方案

袋鼠云根據(jù)集團提出的數(shù)據(jù)治理需求，結合內(nèi)部現(xiàn)有數(shù)據(jù)開發(fā)平臺，以業(yè)務應用場景為導向，形成集團統(tǒng)一的數(shù)據(jù)治理方案。項目以數(shù)據(jù)治理、數(shù)據(jù)服務、數(shù)據(jù)應用三大方向展開實施，其中數(shù)據(jù)應用以聚焦供應鏈運營管理業(yè)務為核心，數(shù)據(jù)服務以滿足集團下屬各子公司數(shù)據(jù)需求為主，數(shù)據(jù)治理以統(tǒng)一集團數(shù)據(jù)歸集方式、數(shù)據(jù)質量標準、元數(shù)據(jù)維護標準、數(shù)據(jù)建模標準為目標進行建設。

其中數(shù)據(jù)治理設計的步驟為：確定當前項目的目標和范圍，設計本輪數(shù)據(jù)治理的模式、架構和方法。以集團當前提出的數(shù)據(jù)需求場景出發(fā)，針對場景數(shù)據(jù)進行數(shù)據(jù)治理，主要包括以下幾個步驟

1、架構設計

技術架構上，從場景需求出發(fā)，結合當前企業(yè)組織架構及數(shù)據(jù)權限出發(fā)，將數(shù)據(jù)中臺設計為多項目空間加經(jīng)典ODS、DWD、DWS、ADS四層結構，其中集團為主項目空間，其余業(yè)務供應鏈平臺為子項目空間。另外，根據(jù)前期調研結果，結合當前集團業(yè)務范圍，將業(yè)務根據(jù)業(yè)務主體進行了數(shù)據(jù)域的設計與劃分，其中重點建設數(shù)據(jù)域為：

1）客商域：企業(yè)所服務的所有客戶及供應商；
2）商品域：企業(yè)自營或代理商品，SKU；
3）交易域：客戶與企業(yè)發(fā)生的所有交易行為，包括交易合同，訂單，采購等；
4）風險域：企業(yè)發(fā)生訴訟，處罰等風險數(shù)據(jù)；
5）倉儲物流域：所有倉庫出入庫，在途等信息；
6）公共域：系統(tǒng)碼值，參數(shù)信息，組織架構，人員以及標準化映射信息。

通過分層與分域的設計，將集團原本傳統(tǒng)數(shù)據(jù)架構轉變?yōu)樾聰?shù)據(jù)架構，統(tǒng)一源端數(shù)據(jù)，建設公共事實層，建設服務層最后滿足各個不同需求，有效解決傳統(tǒng)數(shù)據(jù)架構存在的數(shù)據(jù)孤立，事實重復建設，資產(chǎn)盤點困難等問題，更適應當前集團發(fā)展階段訴求。

2、數(shù)據(jù)統(tǒng)一歸集

當前集團源端數(shù)據(jù)大體分為三類：第一種是傳統(tǒng)業(yè)務數(shù)據(jù)，包含SAP系統(tǒng)、MDM系統(tǒng)、CRM系統(tǒng)、云鏈、高達、南北、OA等系統(tǒng)；第二種是第三方數(shù)據(jù)，包含船訊網(wǎng)、啟信寶、行情數(shù)據(jù)、價格數(shù)據(jù)等；第三種是其他手工填報數(shù)據(jù)。

其中傳統(tǒng)業(yè)務數(shù)據(jù)存在數(shù)據(jù)源多，數(shù)據(jù)量級分布不均，部分系統(tǒng)只能取得界面全量數(shù)據(jù)或為高度匯總報表數(shù)據(jù)等問題，使用數(shù)棧底層數(shù)據(jù)同步工具FlinkX將不同數(shù)據(jù)接入數(shù)據(jù)中臺中。

第三方數(shù)據(jù)使用PySpark腳本任務，通過調取特定的API服務接口，完成數(shù)據(jù)的采集及簡單清洗，接入數(shù)據(jù)中臺。

手工填報數(shù)據(jù)通過完成填報報表的初步設計后，回流手工填報平臺（當前使用飯軟），進行定期同步、定期填報、定期回流采集的形式來完成數(shù)據(jù)的收集。

3、數(shù)據(jù)集中處理及標準設計

從架構設計出發(fā)，對已接入的源端數(shù)據(jù)，進行明細事實層的建模設計，進行指標體系的統(tǒng)計和收集。

明細事實層的建模設計秉持維度建模理念，根據(jù)不同的主題域，將ODS層數(shù)據(jù)進行特定范圍的清洗，處理，加工后形成可復用性強的描述某一顆粒度下，某一業(yè)務行為的各項信息，縱向可以進行上鉆下鉆，橫向可以對比。

針對指標層的加工處理，在引入數(shù)據(jù)中臺之前，數(shù)據(jù)計算邏輯、指標口徑都存放在SAP系統(tǒng)的代碼中，無法進行有效復用。為了解決這一問題，根據(jù)指標體系設計方法論，統(tǒng)一定義指標體系的各信息（包含指標ID、指標名稱、指標主題、業(yè)務口徑、維度、修飾詞、計算方式、計算頻率、時間周期、業(yè)務對接人及開發(fā)負責人），在接下來企業(yè)的數(shù)據(jù)應用過程中，完成數(shù)據(jù)指標口徑的收口和統(tǒng)一。

4、數(shù)據(jù)應用場景

數(shù)據(jù)應用場景以集團供應鏈運營管理為核心，分別對運營管理、物流管理、信用管理數(shù)據(jù)進行統(tǒng)一歸集，按照業(yè)務指標邏輯進行數(shù)據(jù)處理開發(fā)，滿足業(yè)務人員數(shù)據(jù)報表填報和數(shù)據(jù)統(tǒng)計分析應用場景。

運營管理場景：通過重新梳理SAP客戶逾期、客戶賒銷、現(xiàn)貨敞口庫存等業(yè)務報表數(shù)據(jù)邏輯為基礎，結合大數(shù)據(jù)平臺從SAP底表取數(shù)能力，實現(xiàn)風險周報填報、簽約情況分析、重大事項填報場景建設，有效減輕業(yè)務人員每周報表加工填報的工作壓力，同時提高業(yè)務數(shù)據(jù)線上留存能力。

物流管理場景：以物流合同、物流供應商、供應商庫點、庫點庫存、庫點盤點記錄數(shù)據(jù)為基礎，進行統(tǒng)一匯聚處理，按照業(yè)務指標口徑進行數(shù)據(jù)開發(fā)，實現(xiàn)物流合同看板、物流供應商看板、庫點盤點密度看板、庫存看板四大看板，為業(yè)務人員發(fā)現(xiàn)潛在風險和日常業(yè)務數(shù)據(jù)便捷查詢提供有利條件。

信用管理場景：以客商授信額度、客商逾期、行業(yè)產(chǎn)品加工利潤數(shù)據(jù)為核心，結合業(yè)務邏輯指標進行數(shù)據(jù)開發(fā)，實現(xiàn)授信額度跟蹤、逾期數(shù)據(jù)分析、行業(yè)加工利潤填報場景建設，為業(yè)務人員控制客商授信額度、發(fā)現(xiàn)客商潛在風險、明確當前各行業(yè)產(chǎn)品盈利情況提供有效支撐。

02 夯實數(shù)字基座，有效支撐數(shù)據(jù)應用

截至目前，集團數(shù)據(jù)中臺共構建700余張表，數(shù)據(jù)執(zhí)行任務總量500余個，其中ODS數(shù)據(jù)源始層同步任務200多個、DWD數(shù)據(jù)明細層清洗加工任務40多個、DWS數(shù)據(jù)匯總層匯總任務60多個、DIM數(shù)據(jù)維度層維度同步任務20多個、ADS數(shù)據(jù)應用層業(yè)務場景數(shù)據(jù)推送任務100多個。

滿足集團供應鏈運管部物流倉儲管理、客商信用管理、價格管理、運營管理等部門數(shù)據(jù)分析需求，實施搭建簽約銷售/采購看板、物流倉儲看板、授信額度跟蹤看板、逾期數(shù)據(jù)分析看板、運管風險逾期周報填報等業(yè)務場景。

《數(shù)棧產(chǎn)品白皮書》下載地址：https://www.dtstack.com/resources/1004?src=szsm

《數(shù)據(jù)治理行業(yè)實踐白皮書》下載地址：https://www.dtstack.com/resources/1001?src=szsm

想了解或咨詢更多有關大數(shù)據(jù)產(chǎn)品、行業(yè)解決方案、客戶案例的朋友，瀏覽袋鼠云官網(wǎng)：https://www.dtstack.com/?src=szbky文章來源地址http://www.zghlxwxcb.cn/news/detail-746871.html

到了這里，關于大宗商品貿(mào)易集團數(shù)據(jù)治理實踐，夯實數(shù)字基座 | 數(shù)字化標桿的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關文章，希望大家以后多多支持TOY模板網(wǎng)！