隨著數(shù)字化進程的深入，企業(yè)對數(shù)據(jù)的依賴日益加深，數(shù)據(jù)資源的重要性愈發(fā)凸顯。如何管好、用好數(shù)據(jù)，做好數(shù)據(jù)治理工作，發(fā)揮數(shù)據(jù)資源價值，成為企業(yè)提質(zhì)增效過程中的重要議題。

在本次直播中，我們介紹了數(shù)據(jù)治理體系、技術(shù)框架及云原生數(shù)據(jù)平臺在數(shù)據(jù)治理領(lǐng)域的優(yōu)勢。以下內(nèi)容根據(jù)直播文字整理成稿。

傳統(tǒng)數(shù)據(jù)治理體系及框架

在數(shù)字化轉(zhuǎn)型中，戰(zhàn)略驅(qū)動是根本，數(shù)據(jù)治理是基礎(chǔ)，數(shù)據(jù)智能是方向。

數(shù)據(jù)治理就是從組織、管理、技術(shù)的角度持續(xù)改變數(shù)據(jù)使用行為的過程，貫穿整個數(shù)據(jù)生命周期。數(shù)據(jù)治理的根本目標(biāo)是確保數(shù)據(jù)安全，提升數(shù)據(jù)價值。

同時，數(shù)據(jù)治理更是一個體系，其關(guān)注于信息系統(tǒng)的執(zhí)行層面，以整合信息科技部門與業(yè)務(wù)部門的知識和意見為目的，通過數(shù)據(jù)治理組織對企業(yè)的信息化建設(shè)進行全方位的監(jiān)管，從而迭代數(shù)據(jù)資產(chǎn)價值，賦能業(yè)務(wù)發(fā)展，達(dá)成業(yè)務(wù)戰(zhàn)略，保障數(shù)據(jù)安全，降低隱私泄露的風(fēng)險。

數(shù)據(jù)治理體系涉及企業(yè)的組織、管理、技術(shù)等多個層面，和業(yè)務(wù)部門關(guān)系緊密。通常，企業(yè)的數(shù)據(jù)治理工作都是由業(yè)務(wù)部門牽頭，IT部門輔助執(zhí)行。?

圖1?數(shù)據(jù)治理體系架構(gòu)圖?

如上圖所示，數(shù)據(jù)治理體系分為三個層級，分別是數(shù)據(jù)治理對象、數(shù)據(jù)治理任務(wù)和數(shù)據(jù)治理支撐。

• 數(shù)據(jù)治理的對象圍繞主題進行劃分，不同企業(yè)的數(shù)據(jù)主題不盡相同，與企業(yè)自身組織和部門設(shè)置密切相關(guān)，這里不再展開描述。
• 數(shù)據(jù)治理支撐包括企業(yè)的組織架構(gòu)、在數(shù)據(jù)治理過程中的角色、企業(yè)內(nèi)部基于數(shù)據(jù)治理相關(guān)的制度與流程以及IT?技術(shù)架構(gòu)與平臺。
• 數(shù)據(jù)治理任務(wù)，主要包含主數(shù)據(jù)管理、數(shù)據(jù)標(biāo)準(zhǔn)管理、數(shù)據(jù)質(zhì)量管理、數(shù)據(jù)資產(chǎn)管理、數(shù)據(jù)安全管理、數(shù)據(jù)生命周期等。其中，主數(shù)據(jù)管理、元數(shù)據(jù)管理和數(shù)據(jù)質(zhì)量管理是重點所在。

主數(shù)據(jù)管理

主數(shù)據(jù)是指描述核心業(yè)務(wù)實體的數(shù)據(jù)，如客戶、產(chǎn)品、員工、賬戶等，具有高業(yè)務(wù)價值的、可在跨越各個業(yè)務(wù)部門被重復(fù)使用的數(shù)據(jù)，并且存在于多個異構(gòu)的應(yīng)用系統(tǒng)中。

主數(shù)據(jù)管理將從企業(yè)多個業(yè)務(wù)系統(tǒng)中整合最核心、最需要共享的數(shù)據(jù)（即主數(shù)據(jù)）集中進行清洗和豐富，并以服務(wù)的方式把主數(shù)據(jù)分發(fā)給企業(yè)范圍內(nèi)的操作型和分析型應(yīng)用。

主數(shù)據(jù)管理的目的是為了保證在跨系統(tǒng)和跨平臺使用數(shù)據(jù)的時候，主數(shù)據(jù)能夠保持一致。

數(shù)據(jù)質(zhì)量管理

數(shù)據(jù)質(zhì)量管理體系包括數(shù)據(jù)質(zhì)量的判斷以及所有對數(shù)據(jù)質(zhì)量起到保證提升作用的活動、流程，力求實現(xiàn)全方位數(shù)據(jù)質(zhì)量管理。

其中，數(shù)據(jù)質(zhì)量優(yōu)化提升是面向存量數(shù)據(jù)，按業(yè)務(wù)系統(tǒng)或者主題分批對數(shù)據(jù)進行分析、清洗，提高既有數(shù)據(jù)質(zhì)量的數(shù)據(jù)質(zhì)量管理活動。

數(shù)據(jù)質(zhì)量管理的管控，首先需要企業(yè)內(nèi)部制訂相關(guān)的規(guī)章制度，并將數(shù)據(jù)按照不同的主題域指定相應(yīng)的歸口部門，確保數(shù)據(jù)質(zhì)量是的持續(xù)提升。

圖2?數(shù)據(jù)質(zhì)量問題歸因溯源?

通過上方的魚骨圖可以看出，數(shù)據(jù)質(zhì)量問題產(chǎn)生的原因有很多，其中人員、流程、業(yè)務(wù)系統(tǒng)前段錄入屬于原生數(shù)據(jù)質(zhì)量問題；業(yè)務(wù)系統(tǒng)后端數(shù)據(jù)庫設(shè)計、數(shù)據(jù)抽取、數(shù)據(jù)加載等屬于次生數(shù)據(jù)質(zhì)量問題。

針對原生數(shù)據(jù)質(zhì)量問題，可以通過提高錄入的自動化和易用性等手段，降低前端輸入時出錯的機率。

對于次生數(shù)據(jù)質(zhì)量問題，通過在數(shù)據(jù)流轉(zhuǎn)過程中加入一些埋點校驗，進行數(shù)據(jù)比對，避免數(shù)據(jù)出錯。

元數(shù)據(jù)管理

元數(shù)據(jù)用來描述數(shù)據(jù)的數(shù)據(jù)，相當(dāng)于書籍的目錄，是數(shù)據(jù)的解釋說明信息，使數(shù)據(jù)的使用者可以了解數(shù)據(jù)的特征、內(nèi)容、作用，以及獲取方式等信息，并對數(shù)據(jù)是否能滿足使用需求做出適當(dāng)?shù)脑u價。

在數(shù)據(jù)治理體系中，元數(shù)據(jù)可分為業(yè)務(wù)元數(shù)據(jù)、技術(shù)元數(shù)據(jù)、操作元數(shù)據(jù)和管理元數(shù)據(jù)四種類型。

元數(shù)據(jù)管理分為采集、管理、分類、服務(wù)四個層面，涉及標(biāo)準(zhǔn)制訂、補充維護、管理分類、血緣分析、查詢統(tǒng)計等諸多環(huán)節(jié)。

對于大型企業(yè)，元數(shù)據(jù)的規(guī)模比較龐大，要實現(xiàn)元數(shù)據(jù)管理需要投入大量的人力和時間，工程周期往往以年為單位。

此外，企業(yè)數(shù)據(jù)治理還涉及數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)安全、數(shù)據(jù)生命周期等，這里不再展開贅述。

?數(shù)據(jù)治理面臨的難題

隨著新技術(shù)的不斷涌現(xiàn)和數(shù)據(jù)量的極速增長，傳統(tǒng)數(shù)據(jù)治理體系在實施時面臨著以下挑戰(zhàn)：

• 元數(shù)據(jù)管理成本高：業(yè)務(wù)元數(shù)據(jù)的實施需要業(yè)務(wù)人員的介入與識別，每個數(shù)據(jù)平臺都要錄入，數(shù)據(jù)流轉(zhuǎn)的操作元數(shù)據(jù)也需要進行錄入，導(dǎo)致記錄成本高。
• 數(shù)據(jù)質(zhì)量難以保障：數(shù)據(jù)在平臺間流轉(zhuǎn)的過程中會產(chǎn)生次生數(shù)據(jù)質(zhì)量問題，需要進行大量的埋點校驗工作。
• 數(shù)據(jù)標(biāo)準(zhǔn)落標(biāo)復(fù)雜：每個數(shù)據(jù)平臺都要進行數(shù)據(jù)標(biāo)準(zhǔn)的檢查，跨平臺的數(shù)據(jù)標(biāo)準(zhǔn)一致性難以保障。
• 數(shù)據(jù)同步策略復(fù)雜：主數(shù)據(jù)平臺必須向多個數(shù)據(jù)平臺同步主數(shù)據(jù)，需要復(fù)雜的同步策略，否則可能面臨主數(shù)據(jù)的版本不一致問題。
• 敏感數(shù)據(jù)難以集中治理：需要定期對每個數(shù)據(jù)平臺的敏感數(shù)據(jù)進行識別，數(shù)據(jù)跨平臺流轉(zhuǎn)還需要加密解密，維護困難。
• 數(shù)據(jù)服務(wù)響應(yīng)周期長：數(shù)據(jù)服務(wù)要經(jīng)過多個數(shù)據(jù)平臺進行加工和etl，拉長了數(shù)據(jù)服務(wù)的響應(yīng)時間。

云原生數(shù)據(jù)平臺下的數(shù)據(jù)治理

當(dāng)前，云計算對企業(yè)IT架構(gòu)產(chǎn)生了深刻影響和變革，云原生平臺能夠在很大程度減輕上述數(shù)據(jù)管理與治理負(fù)擔(dān)，縮短響應(yīng)周期，基于云原生平臺的數(shù)據(jù)治理應(yīng)運而生。

?圖3?云原生平臺體系與數(shù)據(jù)治理?

如上圖所示，與傳統(tǒng)數(shù)據(jù)體系相比，云原生數(shù)據(jù)平臺體系具有以下特點：

• 一站式敏捷數(shù)據(jù)服務(wù)：通過一站式的數(shù)據(jù)門戶，快速檢索數(shù)據(jù)資產(chǎn)，敏捷開發(fā)新的數(shù)據(jù)服務(wù)與產(chǎn)品，快速發(fā)布上線，和用戶互動迭代更新，滾動沉淀企業(yè)的數(shù)據(jù)資產(chǎn)價值。
• 云原生數(shù)據(jù)平臺：采用存算分離架構(gòu)，原生支持OneData，保證企業(yè)核心數(shù)據(jù)的一致性，降低數(shù)據(jù)治理的復(fù)雜度；根據(jù)業(yè)務(wù)形態(tài)，實現(xiàn)資源彈性伸縮、動態(tài)調(diào)度與高并發(fā)，滿足各種業(yè)務(wù)場景的靈活要求。同時具備自愈能力，提高系統(tǒng)可用性。
• 云原生大數(shù)據(jù)支撐平臺：為云原生化的數(shù)據(jù)平臺提供穩(wěn)定支撐，實現(xiàn)存算分離、彈性調(diào)度、更好的資源隔離等能力，同時也支持混合云等多種異構(gòu)環(huán)境部署，保障業(yè)務(wù)的靈活性，幫助企業(yè)快速實現(xiàn)業(yè)務(wù)目標(biāo)。

隨著新技術(shù)的不斷成熟，應(yīng)用場景不斷增加，業(yè)務(wù)模式不斷復(fù)雜化，全域數(shù)據(jù)治理的理念日益受到企業(yè)的重視。全域數(shù)據(jù)涵蓋了企業(yè)相關(guān)的內(nèi)外部數(shù)據(jù)，與企業(yè)的業(yè)務(wù)和商業(yè)性質(zhì)息息相關(guān)。

云原生數(shù)據(jù)平臺的“存算分離”，實現(xiàn)了企業(yè)內(nèi)的全域數(shù)據(jù)融合，整合了分散的數(shù)據(jù)平臺，徹底消除了數(shù)據(jù)孤島現(xiàn)象，并且可以集中進行數(shù)據(jù)安全管理，減少安全漏洞產(chǎn)生環(huán)節(jié)，同時也減少了次生數(shù)據(jù)質(zhì)量問題；針對全域數(shù)據(jù)一站式地管理主、元數(shù)據(jù)、數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)架構(gòu)與模型，大幅降低數(shù)據(jù)治理的復(fù)雜度；同時，云原生的數(shù)據(jù)資產(chǎn)服務(wù)也使業(yè)務(wù)變得更加敏捷，適應(yīng)市場的瞬息萬變，不斷迭代數(shù)據(jù)資產(chǎn)，從而達(dá)成數(shù)字化轉(zhuǎn)型。

目前，HashData作為國內(nèi)領(lǐng)先的云原生數(shù)據(jù)平臺，已在金融、電信、政務(wù)、能源、交通等眾多領(lǐng)域?qū)崿F(xiàn)大規(guī)模商用，幫助企業(yè)高效、便捷地開展全域數(shù)據(jù)治理工作。

圖4?HashData在國有大行生產(chǎn)落地實例

以某國有大行為例，使用HashData云原生數(shù)據(jù)平臺整合了所有P9分析平臺，將全域數(shù)據(jù)按照主題域進行劃分，實現(xiàn)了數(shù)據(jù)集中管控，數(shù)據(jù)架構(gòu)融合統(tǒng)一。

同時，上收所有分公司的數(shù)據(jù)平臺，統(tǒng)一提供全域數(shù)據(jù)與計算資源?；诠蚕泶鎯芾碇薪y(tǒng)一的、面向分析的企業(yè)級數(shù)據(jù)視圖，按應(yīng)用場景的不同建立多個計算集群，任意計算集群在授權(quán)后均可訪問共享存儲中的任意數(shù)據(jù)，以完成業(yè)務(wù)加工計算或在線查詢分析。

由于數(shù)據(jù)平臺統(tǒng)一，可以在全行內(nèi)使用統(tǒng)一的數(shù)據(jù)模型最佳實踐，避免不同技術(shù)棧產(chǎn)生的模型差異，減少了次生數(shù)據(jù)質(zhì)量問題和元數(shù)據(jù)操作，大幅降低了數(shù)據(jù)管理成本。

未來我們期待為各行各業(yè)帶來最新的云原生技術(shù)實踐，賦能企業(yè)實現(xiàn)OneData，輕裝上陣釋放數(shù)據(jù)價值！文章來源地址http://www.zghlxwxcb.cn/news/detail-513429.html

到了這里，關(guān)于云原生時代數(shù)據(jù)治理的變革與創(chuàng)新的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！