不同的企業(yè)對數(shù)據(jù)有不同的需求。企業(yè)數(shù)據(jù)應(yīng)用不斷更新迭代，企業(yè)的中臺系統(tǒng)也需要不斷變化。
從數(shù)據(jù)處理與數(shù)據(jù)治理兩個維度出發(fā)，可以設(shè)計一個解耦的數(shù)據(jù)中臺體系架構(gòu)。該數(shù)據(jù)中臺體系架構(gòu)具有一定的柔性，可按照企業(yè)應(yīng)用需求進(jìn)行組合，或者對單個模塊進(jìn)行擴(kuò)充，能滿足大多數(shù)企業(yè)數(shù)據(jù)中臺建設(shè)的需求。

數(shù)據(jù)中臺體系架構(gòu)示例
數(shù)據(jù)中臺的通用體系架構(gòu)如圖 2 所示。該中臺體系架構(gòu)以減少功能冗余和提高功能復(fù)用為原則，把數(shù)據(jù)中臺解耦為 6 個可以分別獨立建設(shè)、演進(jìn)的功能子系統(tǒng)。
數(shù)據(jù)結(jié)構(gòu)與數(shù)據(jù)處理子系統(tǒng)是數(shù)據(jù)中臺體系架構(gòu)的核心，數(shù)據(jù)治理是提升數(shù)據(jù)價值的重要手段。該數(shù)據(jù)中臺體系架構(gòu)的通用性表現(xiàn)在以下幾點。

• 該數(shù)據(jù)中臺體系架構(gòu)綜合考慮了數(shù)據(jù)中臺的各種要素，參考這個架構(gòu)進(jìn)行建設(shè)可以有效提升數(shù)據(jù)資產(chǎn)價值，提供數(shù)據(jù)及服務(wù)的共享。
• 參考這個數(shù)據(jù)中臺體系架構(gòu)，企業(yè)可以一次規(guī)劃、分步實施。首先建設(shè)處理子系統(tǒng)及數(shù)據(jù)存儲子系統(tǒng)，然后根據(jù)業(yè)務(wù)發(fā)展需求，逐步補(bǔ)充數(shù)據(jù)采集、數(shù)據(jù)安全及數(shù)據(jù)治理子系統(tǒng)。
• 該數(shù)據(jù)中臺由 6 個解耦的子系統(tǒng)組成。企業(yè)在立項建設(shè)時可以靈活組合，每個子系統(tǒng)單獨招標(biāo)建設(shè)，也可以把多個子系統(tǒng)合并招標(biāo)建設(shè)。數(shù)據(jù)中臺通用體系架構(gòu)包含數(shù)據(jù)存儲框架、數(shù)據(jù)采集框架、數(shù)據(jù)處理框架、數(shù)據(jù)治理框架、數(shù)據(jù)安全框架及數(shù)據(jù)運營框架等 6 大部分。

1、數(shù)據(jù)存儲框架

數(shù)據(jù)中臺的核心是數(shù)據(jù)，數(shù)據(jù)通過采集系統(tǒng)獲取，然后數(shù)據(jù)經(jīng)過處理框架加工，并接受數(shù)據(jù)治理框架的管理，同時也要接受數(shù)據(jù)安全管理框架的管理，最后開放的價值數(shù)據(jù)將通過數(shù)據(jù)運營框架對外提供數(shù)據(jù)服務(wù)。
數(shù)據(jù)中臺的數(shù)據(jù)架構(gòu)應(yīng)該獨立規(guī)劃，并采用合理的技術(shù)架構(gòu)對不同類型的數(shù)據(jù)進(jìn)行存儲。
數(shù)據(jù)存儲框架中，無論數(shù)據(jù)采用對象存儲、塊存儲還是數(shù)據(jù)庫存儲技術(shù)，各種中臺數(shù)據(jù)可按照上圖所示分類管理。
源數(shù)據(jù)主要由采集框架進(jìn)行管理，數(shù)據(jù)治理框架按照數(shù)據(jù)特征把數(shù)據(jù)簡單分為結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)兩大類，而規(guī)范化分域數(shù)據(jù)則是數(shù)據(jù)治理框架對全量數(shù)據(jù)的規(guī)范化分域整理。寬表數(shù)據(jù)是數(shù)據(jù)關(guān)聯(lián)的結(jié)果，利用寬表數(shù)據(jù)可以對人、事、地、物、組等對象進(jìn)行完整的數(shù)據(jù)畫像，同時寬表數(shù)據(jù)也可以作為上層模型數(shù)據(jù)的中間層數(shù)據(jù)。
元數(shù)據(jù)和標(biāo)簽數(shù)據(jù)都是對數(shù)據(jù)的描述，其中元數(shù)據(jù)用來對數(shù)據(jù)的客觀屬性進(jìn)行表示，標(biāo)簽數(shù)據(jù)更傾向于管理者對數(shù)據(jù)的主觀表述及等級劃分，比如質(zhì)量等級標(biāo)簽、安全標(biāo)簽、屬性標(biāo)簽等。主數(shù)據(jù)需要在各系統(tǒng)間頻繁更新、交換，且需要獨立的存儲空間進(jìn)行維護(hù)管理。
2、數(shù)據(jù)采集框架數(shù)據(jù)中臺的采集框架應(yīng)對納入數(shù)據(jù)中臺的各種源數(shù)據(jù)進(jìn)行統(tǒng)一采集管理。數(shù)據(jù)采集框架中應(yīng)提供多種數(shù)據(jù)采集方式，如文件傳輸協(xié)議采集、數(shù)據(jù)庫采集、接口應(yīng)用程序接入采集、流式采集及網(wǎng)絡(luò)爬蟲采集。
同時采集框架應(yīng)按照數(shù)據(jù)采集規(guī)范對源數(shù)據(jù)進(jìn)行預(yù)處理，從而去除明顯不需要的數(shù)據(jù)及多余數(shù)據(jù)，并對采集過程進(jìn)行管理。雖然數(shù)據(jù)中臺的體系架構(gòu)沒有統(tǒng)一模板，但各企業(yè)數(shù)據(jù)采集框架基本一致。
3、數(shù)據(jù)處理框架數(shù)據(jù)處理是每個數(shù)據(jù)應(yīng)用的基本環(huán)節(jié)之一，經(jīng)典的數(shù)據(jù)抽取、轉(zhuǎn)換和加載（ETL）處理流程在數(shù)據(jù)采集預(yù)處理、數(shù)據(jù)整合、數(shù)據(jù)建模等多個地方均要使用。單獨建設(shè)數(shù)據(jù)處理框架有利于數(shù)據(jù)處理工具組件的集中開發(fā)與管理，也有利于數(shù)據(jù)中臺數(shù)據(jù)處理任務(wù)的協(xié)調(diào)與調(diào)度。
數(shù)據(jù)處理框架專門負(fù)責(zé)數(shù)據(jù)處理相關(guān)的任務(wù)，包括批處理、流處理、人工智能分析、數(shù)據(jù)清洗、數(shù)據(jù)交換及查詢，此外數(shù)據(jù)處理的相關(guān)工具組件可在處理框架中配置。任務(wù)調(diào)度模塊在數(shù)據(jù)處理框架中處于居中指揮的作用，并對運行的數(shù)據(jù)處理任務(wù)進(jìn)行監(jiān)控及異常處理等操作。
4、數(shù)據(jù)治理框架廣義的數(shù)據(jù)治理不僅包含提升數(shù)據(jù)價值的內(nèi)容，如數(shù)據(jù)管理、數(shù)據(jù)目錄、數(shù)據(jù)質(zhì)量等，也包含數(shù)據(jù)安全管理及數(shù)據(jù)共享服務(wù)。
數(shù)據(jù)安全管理與數(shù)據(jù)價值提升是一個矛盾體，如果由一個廠商或開發(fā)團(tuán)隊進(jìn)行數(shù)據(jù)安全管理及數(shù)據(jù)價值提升相關(guān)軟件的開發(fā)，則開發(fā)者的操作難免有所偏向，而且矛盾不容易公開，少了沖突也就少了優(yōu)質(zhì)的解決方案。
另外，數(shù)據(jù)共享與數(shù)據(jù)治理的其他內(nèi)容也存在相同的問題。因此，本文建議數(shù)據(jù)中臺的數(shù)據(jù)治理框架中不包含數(shù)據(jù)安全與共享的相關(guān)內(nèi)容。
數(shù)據(jù)治理框架包含數(shù)據(jù)目錄、數(shù)據(jù)管理、模型管理和數(shù)據(jù)質(zhì)量 4 個模塊：

數(shù)據(jù)地圖、數(shù)據(jù)資產(chǎn)目錄、知識圖譜及數(shù)據(jù)血緣的主要作用是展示數(shù)據(jù)的屬性及相互關(guān)系，因此都納入數(shù)據(jù)目錄模塊。

數(shù)據(jù)模型能提高數(shù)據(jù)中臺對外部應(yīng)用需求的反應(yīng)能力，固化的中間模型數(shù)據(jù)需要專門管理。模型管理包括模型目錄、模型血緣及模型地圖等。

數(shù)據(jù)管理又可以細(xì)分為元數(shù)據(jù)管理、主數(shù)據(jù)管理、標(biāo)簽數(shù)據(jù)管理及源數(shù)據(jù)管理。

數(shù)據(jù)質(zhì)量管理模塊按照制定的數(shù)據(jù)標(biāo)準(zhǔn)及數(shù)據(jù)稽核規(guī)則對數(shù)據(jù)中臺中的數(shù)據(jù)進(jìn)行質(zhì)量管理。

5、數(shù)據(jù)安全框架數(shù)據(jù)已經(jīng)成為數(shù)據(jù)資產(chǎn)，數(shù)據(jù)安全框架是數(shù)據(jù)中臺必不可少的組成部分。數(shù)據(jù)安全疊加在數(shù)據(jù)中臺其他功能框架之上，數(shù)據(jù)采集、處理、交換、共享等每個環(huán)節(jié)均必須實施安全控制策略。安全框架可以分為日志管理、用戶認(rèn)證、權(quán)限管理及加解密等幾個功能模塊。
此外，安全全門戶也可以對外提供安全能力封裝，展示數(shù)據(jù)中臺的安全態(tài)勢及安全視圖。
6、數(shù)據(jù)運營框架數(shù)據(jù)中臺的核心功能是綜合眾多數(shù)據(jù)應(yīng)用的數(shù)據(jù)處理及數(shù)據(jù)治理功能，集中建設(shè)、集中管理、減少冗余、增加復(fù)用。數(shù)據(jù)中臺的最終目的還是為其他應(yīng)用或開發(fā)者提供數(shù)據(jù)服務(wù)，而對外數(shù)據(jù)服務(wù)功能將直接面向不確定的外部對象。
因此單獨建設(shè)數(shù)據(jù)運營，一方面有利于針對外部用戶提供針對性功能；另一方面，數(shù)據(jù)運營模塊作為用戶與數(shù)據(jù)中臺核心數(shù)據(jù)服務(wù)之間的中間層，可以有效隔離外部用戶直接控制、接觸核心數(shù)據(jù)及應(yīng)用，可保護(hù)數(shù)據(jù)中臺的安全性及內(nèi)部功能的穩(wěn)定性。
綜合以上因素，數(shù)據(jù)運營應(yīng)配置運營門戶、能力開放、數(shù)據(jù)開放及運營監(jiān)控等功能：文章來源地址http://www.zghlxwxcb.cn/news/detail-438514.html

• 運營門戶：對數(shù)據(jù)中臺管理者提供管理門戶，對開發(fā)者提供開發(fā)者門戶。對內(nèi)部應(yīng)用提供內(nèi)部應(yīng)用門戶，對外部應(yīng)用提供外部應(yīng)用門戶。運營門戶針對不同的用戶提供不同的通道并開放不同的數(shù)據(jù)中臺能力。
• 能力開放：把數(shù)據(jù)中臺的數(shù)據(jù)處理能力、數(shù)據(jù)分析能力等經(jīng)過適當(dāng)?shù)姆庋b后對用戶提供服務(wù)，可以是微服務(wù)，也可以是 API 接口，或者直接提供二次開發(fā)能力。
• 數(shù)據(jù)開放：通過數(shù)據(jù)目錄，數(shù)據(jù)/模型展示（可視化、數(shù)據(jù)視圖等）為其他數(shù)據(jù)應(yīng)用系統(tǒng)提供數(shù)據(jù)服務(wù)。
• 運營監(jiān)控：對數(shù)據(jù)中臺的總體運營情況進(jìn)行監(jiān)控管理，包括硬件環(huán)境、軟件環(huán)境，并且確定監(jiān)控指標(biāo)，按需求提供運營日報，處理告警信息。

到了這里，關(guān)于數(shù)據(jù)中臺通用體系架構(gòu)的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！