国产 无码 综合区,色欲AV无码国产永久播放,无码天堂亚洲国产AV,国产日韩欧美女同一区二区

蔡春久:主數(shù)據(jù)標準化如何建設(shè)

這篇具有很好參考價值的文章主要介紹了蔡春久:主數(shù)據(jù)標準化如何建設(shè)。希望對大家有所幫助。如果存在錯誤或未考慮完全的地方,請大家不吝賜教,您也可以點擊"舉報違法"按鈕提交疑問。

億信華辰「2023數(shù)字賦能季」主數(shù)據(jù)管理專場第一期成功舉辦。我們邀請到了中國數(shù)據(jù)標準化及治理專家蔡春久為大家?guī)碇鲾?shù)據(jù)管理從理論到工具層面的分享,全程干貨,深度解讀,以下是演講全文。

蔡春久:中國大數(shù)據(jù)技術(shù)標準推進委員會數(shù)據(jù)資產(chǎn)專家、中電標協(xié)企業(yè)信息標準化委員會常委委員、中國數(shù)據(jù)工匠俱樂部發(fā)起人。

今天晚上我分享的題目是《主數(shù)據(jù)標準化如何建設(shè)》,主要介紹國內(nèi)主數(shù)據(jù)管理挑戰(zhàn)與趨勢、主數(shù)據(jù)管理的兩體系一平臺、主數(shù)據(jù)治理項目實施方法及難點分析。

主數(shù)據(jù)管理常遇到的問題和挑戰(zhàn)

首先我們來看看國內(nèi)主數(shù)據(jù)管理的挑戰(zhàn)和趨勢。國內(nèi)很多大型的集團企業(yè)做信息化已經(jīng)做了10年以上,過程中難免會遇到很多數(shù)據(jù)質(zhì)量問題,比如找數(shù)困難、數(shù)據(jù)不完整、數(shù)據(jù)標準缺失、數(shù)據(jù)不一致、用數(shù)門檻很高等。看似浮于水面的數(shù)據(jù)準確性問題,其根源是潛于水下的深層次數(shù)據(jù)治理問題,這才是制約科學(xué)化決策和業(yè)務(wù)管理提升的真正原因。

接下來我分別從常見的5種問題來說起。

①第一個就是信息缺失,比如產(chǎn)品、客戶、行業(yè)等信息缺失,會導(dǎo)致我們的記錄信息不足,風(fēng)險管控失真,數(shù)據(jù)分析業(yè)務(wù)決策難度加大。

②第二個是口徑不一致,同一業(yè)務(wù)概念在不同系統(tǒng)中存儲的形式、概念范疇不一樣,同一個主數(shù)據(jù)多頭維護,導(dǎo)致各種數(shù)據(jù)質(zhì)量問題,比如同名不同義、同義不同名等。

③第三個就是數(shù)據(jù)分散,比如在一個大型集團企業(yè)里,客戶信息分布于多個業(yè)務(wù)系統(tǒng)、業(yè)務(wù)數(shù)據(jù)分布于流程中各個節(jié)點,導(dǎo)致我們?nèi)狈θ驳臄?shù)據(jù)掌控,無法形成這個客戶的360度畫像,數(shù)據(jù)多次維護導(dǎo)致數(shù)據(jù)沖突。

④第四個就是信息重復(fù),一個客戶對應(yīng)多個客戶信息,這樣會導(dǎo)致統(tǒng)計錯誤,業(yè)務(wù)指標不能準確及時全面地同步,也難以確認權(quán)威的數(shù)據(jù)來源。

⑤第五個是信息孤島,不同部門、不同分公司、區(qū)域分支機構(gòu)業(yè)務(wù)系統(tǒng)中的數(shù)據(jù)分層分散存儲,導(dǎo)致經(jīng)營數(shù)據(jù)割據(jù),數(shù)據(jù)匯總、流通困難。這是我們在整個信息化過程中常見的一些問題。

蔡春久:主數(shù)據(jù)標準化如何建設(shè)

而且,我們?nèi)狈ζ髽I(yè)級的視角做數(shù)據(jù)標準。比如說這是一個工字鋼,在工程部門、采購部門、設(shè)備部門的描述都有著很細微的差別,導(dǎo)致我們可能本來倉庫里已經(jīng)有這個物料,但在物資采購中無法自動匯總,間接導(dǎo)致庫存成本較高,對各類統(tǒng)計報表分析也帶來很大困擾。其背后的原因是缺乏企業(yè)級的數(shù)據(jù)標準,導(dǎo)致跨部門跨組織跨業(yè)務(wù)單元跨板塊之間缺乏共享基礎(chǔ)。而且由于沒有屬于自己數(shù)據(jù)工具做支撐,數(shù)據(jù)質(zhì)量無法保障,分散的數(shù)據(jù)也難以統(tǒng)一管理規(guī)劃。

蔡春久:主數(shù)據(jù)標準化如何建設(shè)

下面我們來看主數(shù)據(jù)管理遇到的常見的四大挑戰(zhàn)。一是不重視主數(shù)據(jù)的總體規(guī)劃,缺乏頂層設(shè)計;第二個客觀原因是是通用標準主數(shù)據(jù),比如國際標準、國家標準和行業(yè)標準產(chǎn)生的主數(shù)據(jù),往往在國家層面,管理分散,缺乏便捷可靠的數(shù)據(jù)獲取渠道,數(shù)據(jù)獲取困難;第三個是企業(yè)內(nèi)部原因,即企業(yè)內(nèi)部已經(jīng)存在分散管理的主數(shù)據(jù),缺乏統(tǒng)一標準和數(shù)據(jù)關(guān)聯(lián);第四個挑戰(zhàn)主要存在在一些大型集團化企業(yè)中,由于系統(tǒng)眾多、年代跨度久遠,一些早期的系統(tǒng)數(shù)據(jù)標準化程度不高,改造難度大、成本高,給主數(shù)據(jù)應(yīng)用集成帶來較大的困難。

蔡春久:主數(shù)據(jù)標準化如何建設(shè)

我們做企業(yè)數(shù)據(jù)管理的人員也會遇到一些常見的問題。第一個是“兩層皮”,很多標準并沒有真正落實到管理,體現(xiàn)在實踐中,平時束之高閣,比如很多編碼規(guī)范、主數(shù)據(jù)標準等,只有在每年總結(jié)匯報或者外部審核時才拋頭露面。第二個叫“夾生飯”,與企業(yè)管理實際脫節(jié),制定標準可操作性較低,管理層操作層無所適從,難以指導(dǎo)信息化工作。第三個是“靠邊站”,數(shù)據(jù)治理、主數(shù)據(jù)管理”說起來重要、做起來次要、忙起來不要“,標準化管理在“工期緊、任務(wù)重”的壓力下,往往就是為業(yè)務(wù)系統(tǒng)實施讓路,阻礙了企業(yè)標準化管理。“兩層皮”、“”夾生飯”、“靠邊站”就是我們數(shù)據(jù)管理人員遇到的一些困難的真實寫照。

蔡春久:主數(shù)據(jù)標準化如何建設(shè)

主數(shù)據(jù)相關(guān)術(shù)語及定義

接下來我們重點把主數(shù)據(jù)的一些術(shù)語定義進行簡要介紹。眾所周知,主數(shù)據(jù)是滿足跨部門業(yè)務(wù)協(xié)同需要的、反映核心業(yè)務(wù)實體狀態(tài)屬性的基礎(chǔ)信息。我們可以簡單這樣理解,兩個或兩個系統(tǒng)以上公用的技術(shù)數(shù)據(jù)叫主數(shù)據(jù)。主數(shù)據(jù)相對于交易數(shù)據(jù)而言,屬性相對穩(wěn)定,準確性要求更高。主數(shù)據(jù)有三性:準確性、唯一性和在異構(gòu)系統(tǒng)中的一致性。

蔡春久:主數(shù)據(jù)標準化如何建設(shè)

主數(shù)據(jù)有5個明顯特征,我們稱作5個超越:

①超越部門。主數(shù)據(jù)是滿足跨部門業(yè)務(wù)協(xié)同需要的,是各個職能部門在開展業(yè)務(wù)過程中都需要的數(shù)據(jù),是所有職能部門及其業(yè)務(wù)過程的“最大公約數(shù)據(jù)”。

②超越流程。主數(shù)據(jù)不依賴于某個具體的業(yè)務(wù)流程,但卻是主要業(yè)務(wù)流程都需要的,主數(shù)據(jù)的核心是反映對象的狀態(tài)屬性,它不隨某個具體流程而發(fā)生改變,而是作為其完整流程的不變要素。

③超越主題。主數(shù)據(jù)是不依賴于特定業(yè)務(wù)主題卻又服務(wù)于所有業(yè)務(wù)主題的有關(guān)業(yè)務(wù)實體的核心信息。

④超越系統(tǒng)。主數(shù)據(jù)管理系統(tǒng)是信息系統(tǒng)建設(shè)的基礎(chǔ),應(yīng)該保持相對獨立,它服務(wù)于但是高于其它業(yè)務(wù)信息系統(tǒng),因此對主數(shù)據(jù)的管理要集中化、系統(tǒng)化、規(guī)范化。目前我們業(yè)內(nèi)很多把主數(shù)據(jù)工具做成數(shù)據(jù)平臺的一部分,我覺得這也是可以理解的,一方面為我們前端的業(yè)務(wù)系統(tǒng)提供數(shù)據(jù)的一致性唯一性保障,另外也為我們的整個數(shù)據(jù)平臺、數(shù)據(jù)倉庫、數(shù)據(jù)中臺提供主數(shù)據(jù)的服務(wù)。

⑤超越技術(shù)。主數(shù)據(jù)必須應(yīng)用一種能夠為各類異構(gòu)系統(tǒng)所兼容的技術(shù)條件,從這個意義上講,面向服務(wù)架構(gòu)(SOA)為主數(shù)據(jù)的實施提供了有效的工具。

舉一個這是一個組織機構(gòu),上面是基本視圖,包括單位名稱、性質(zhì)、通訊地址等,基本視圖是較共性的。針對內(nèi)部單位,會有人力資源部關(guān)心的一些字段,在人事視圖里就會有管理層級、人事單位層級等。而對于財務(wù)部來說,財務(wù)視圖里則包含控股比例、業(yè)務(wù)板塊等。

蔡春久:主數(shù)據(jù)標準化如何建設(shè)

除了主數(shù)據(jù)間的關(guān)聯(lián)外,主數(shù)據(jù)內(nèi)部也有上下級的層級關(guān)聯(lián)。比如物料中有大類中類小類,組織架構(gòu)從公司到處室到崗位,這都是主數(shù)據(jù)內(nèi)部的層級關(guān)系。這個層級關(guān)系也叫主數(shù)據(jù)。

蔡春久:主數(shù)據(jù)標準化如何建設(shè)

下面是具體的一個應(yīng)用場景。在一個工業(yè)企業(yè)中有一個設(shè)備,它的KKS碼信息包括安全等級、安裝位置、質(zhì)保等級等;從物資供應(yīng)鏈視角看,它涉及到這個物資的規(guī)格型號、材質(zhì)等信息;從設(shè)備個體信息來看,它有購置時間、購置價值、制造商、序列號……同一個東西在不同的應(yīng)用場景可能是不同的數(shù)據(jù)對象。通過關(guān)聯(lián)關(guān)系,可以提升主數(shù)據(jù)維護的效率,減少手工重復(fù)錄入和冗余存放,而不是簡單的手工表單電子化。

蔡春久:主數(shù)據(jù)標準化如何建設(shè)

主數(shù)據(jù)管理體系

主數(shù)據(jù)管理涉及兩體系一平臺。我們首先講一下主數(shù)據(jù)的管理體系,它包含以下三個部分。

①主數(shù)據(jù)標準體系:是主數(shù)據(jù)管理工作的重中之重。它包含主數(shù)據(jù)業(yè)務(wù)標準(編碼規(guī)則、分類規(guī)則、描述規(guī)則等)、主數(shù)據(jù)模型標準;以及衍生出一套代碼體系表。

②主數(shù)據(jù)保障體系:涉及到主數(shù)據(jù)管理組織、制度、流程、管理、評價這五部分內(nèi)容。

③主數(shù)據(jù)管理工具:包括數(shù)據(jù)建模、數(shù)據(jù)整合、數(shù)據(jù)管理、數(shù)據(jù)服務(wù)、基礎(chǔ)管理、標準管理等功能。

蔡春久:主數(shù)據(jù)標準化如何建設(shè)

我們下面重點講一下主數(shù)據(jù)標準體系。主數(shù)據(jù)標準體系涉及三大塊內(nèi)容:一塊是主數(shù)據(jù)的應(yīng)用標準及規(guī)范,例如編碼規(guī)則、分類標準、命名規(guī)范、主數(shù)據(jù)模型、提報審核指南;第二塊是主數(shù)據(jù)管理標準規(guī)范,涉及到主數(shù)據(jù)的組織制度、規(guī)范管理流程等;第三塊是主數(shù)據(jù)集成服務(wù)標準及規(guī)范,主要包括主數(shù)據(jù)格式規(guī)范、原系統(tǒng)接入規(guī)范等。

蔡春久:主數(shù)據(jù)標準化如何建設(shè)

在集團企業(yè)中,主數(shù)據(jù)種類有很多。最下面的是通用基礎(chǔ)類的,也叫參考數(shù)據(jù),如行政區(qū)劃、幣種、語種等。一般大型集團里大概有四五十種通用基礎(chǔ)類數(shù)據(jù)。這類數(shù)據(jù)大部分是國標、行標,變化緩慢、基本上不變化。集團里也涉及到大量的人力資源、財務(wù)、客商等數(shù)據(jù),還涉及到多元化的板塊,比如新能源、地產(chǎn)、金融等,部分板塊也會有板塊本領(lǐng)域內(nèi)的一些數(shù)據(jù)。所以我們首先需要梳理這樣一個主數(shù)據(jù)資產(chǎn)目錄,這樣我們可以按照總部通用的每個專業(yè)板塊來進行主數(shù)據(jù)的推廣、應(yīng)用。

蔡春久:主數(shù)據(jù)標準化如何建設(shè)

主數(shù)據(jù)的應(yīng)用標準主要有五大類。第一類是分類標準化,我們一般是按照自然屬性進行分類。第二類是是編碼規(guī)則,我們一般建議用流水碼做編碼規(guī)則。第三類是命名規(guī)范,主數(shù)據(jù)每類數(shù)據(jù)對象都有命名規(guī)范,在工業(yè)企業(yè)中這一塊是非常復(fù)雜的,待會兒我會詳細介紹。第四類是數(shù)據(jù)模型,也就是管理這個主數(shù)據(jù)在主數(shù)據(jù)系統(tǒng)有多少個字段。第五類是編制提報審核指南,用于指導(dǎo)主數(shù)據(jù)填報。這五類標準有的簡單有的復(fù)雜,如果是比較簡單的主數(shù)據(jù)對象,這幾個部分合在一個文檔里就可以,如果比較復(fù)雜的話,就需要分開單獨列文檔。

蔡春久:主數(shù)據(jù)標準化如何建設(shè)

我們以資產(chǎn)密集型行業(yè)為例,比如能源、電力、石油石化、礦業(yè)等。首先按照數(shù)據(jù)對象全生命周期,工程設(shè)計部門設(shè)計的工程項目有工程材料編碼,到了采購部門就是物料編碼,到了法務(wù)部門就會涉及到物料代號,到了倉儲部門就是物料代碼,到了轉(zhuǎn)資環(huán)節(jié)這個就是固定資產(chǎn)編碼,到了生產(chǎn)運行階段涉及到設(shè)備管理和備份需求這個就又是物料代碼了。按照這個公司級架構(gòu),從工程材料編碼、到物料編碼、到整個工程資料編碼再到設(shè)備編碼,如果設(shè)備安裝位置不同還涉及到KKS碼,另外還有故障代碼等,碼的類型有很多。我們在管理的時候有三碼合一,也有六碼合一,六碼合一就是把一些故障碼以及KKS碼都算上,將最核心的這六類碼做一個關(guān)聯(lián)體系,這樣的話主數(shù)據(jù)就能互動起來。

蔡春久:主數(shù)據(jù)標準化如何建設(shè)

接下來我們來看看固定資產(chǎn)、設(shè)備、物料之間差異點。固定資產(chǎn)是站在財務(wù)的視角來看的。設(shè)備往往是站在生產(chǎn)視角來看的。而物料,主要是作用于采購、銷售。生產(chǎn)和維修等環(huán)節(jié)。同樣一個對象,在整個供應(yīng)鏈的不同環(huán)節(jié)可能要編不同的碼,需要建立起相互間的關(guān)聯(lián)關(guān)系。

蔡春久:主數(shù)據(jù)標準化如何建設(shè)

物料在工業(yè)企業(yè)中是最為復(fù)雜的。物料數(shù)據(jù)有四類:物料分類、描述規(guī)則、編碼標準和填報指南。

蔡春久:主數(shù)據(jù)標準化如何建設(shè)

在大型制造企業(yè)物料一般分為大類中類小類,以此來形成一本書,所有職能部門都需按照統(tǒng)一的自然屬性分類來進行統(tǒng)計分析。分類特別重要,往往哪個是牽一發(fā)而動全身,一般定下來之后不能輕易調(diào)整。

蔡春久:主數(shù)據(jù)標準化如何建設(shè)

主數(shù)據(jù)的編碼規(guī)則(命名規(guī)范)是指,把物料按照自然屬性拆分描述。下面我們以線纜為例,它的自然屬性包括名稱、燃燒特性、電壓等級等,我們可以按照國標將其拆分,然后生成結(jié)構(gòu)化的物料描述模板,統(tǒng)一描述格式,不會因人而異導(dǎo)致命名的差異。拆分出物料描述模板后就會形成非常規(guī)整的名稱,由系統(tǒng)自動生成,從而保證能通過名稱來確保物料的唯一性和準確性。

蔡春久:主數(shù)據(jù)標準化如何建設(shè)

關(guān)于主數(shù)據(jù)的管理標準和規(guī)范,涉及到主數(shù)據(jù)管理的組織與制度、主數(shù)據(jù)管理流程、主數(shù)據(jù)應(yīng)用管理和主數(shù)據(jù)管理評價。數(shù)據(jù)管理制度流程為主數(shù)據(jù)管理工作開展提供有效的依據(jù)和指導(dǎo)。是主數(shù)據(jù)管理與運營的重要保障。制度流程的合理性=正確的方法+可落地執(zhí)行的保障。

蔡春久:主數(shù)據(jù)標準化如何建設(shè)

凡是主數(shù)據(jù)做得好的企業(yè),都有主數(shù)據(jù)相應(yīng)的一些崗位,比如專家、審核、標準組,質(zhì)量組等,來確保一整套主數(shù)據(jù)標準能夠正常運行。

主數(shù)據(jù)的集成服務(wù)標準也非常重要。因為主數(shù)據(jù)要為所有系統(tǒng)、所有用戶、所有業(yè)務(wù)部門都提供共享服務(wù),其中就涉及到主數(shù)據(jù)的規(guī)范格式、集成數(shù)據(jù)的選擇標準等。明確主數(shù)據(jù)集成服務(wù)標準,能夠確保主數(shù)據(jù)能更好地提供服務(wù)。

蔡春久:主數(shù)據(jù)標準化如何建設(shè)

主數(shù)據(jù)運營體系

我們接下來介紹一下主數(shù)據(jù)運營體系。運營體系涉及到主數(shù)據(jù)的管理組織、制度、流程及知識庫的建立,包括主數(shù)據(jù)管理平臺。

蔡春久:主數(shù)據(jù)標準化如何建設(shè)

大型集團企業(yè)一般需要建立“總部—子集團/專業(yè)領(lǐng)域”二級維護的組織保障體系,重要數(shù)據(jù)均有對應(yīng)的業(yè)務(wù)牽頭部門,這樣才能讓標準“保鮮”。下面是一個例子,主數(shù)據(jù)編碼由用戶提出申請,通過主數(shù)據(jù)管理平臺由業(yè)務(wù)部門做初審,然后再由專業(yè)團隊做專業(yè)審核,當然不同的數(shù)據(jù)對象會匹配不同的專業(yè)審核團隊。兩道審批過后,再進主數(shù)據(jù)編碼庫,通過各種形式對業(yè)務(wù)系統(tǒng)提供服務(wù)。所以我們要在企業(yè)中搭建這種兼任或者專職的團隊,來讓這種運營機制建立起來,從而確保主數(shù)據(jù)管理的持續(xù)性。另外還需制定主數(shù)據(jù)的維護細則,確保數(shù)據(jù)正常運行。

蔡春久:主數(shù)據(jù)標準化如何建設(shè)

主數(shù)據(jù)管理平臺

傳統(tǒng)的主數(shù)據(jù)管理工具,包含了主數(shù)據(jù)采集、模型編碼管理、分發(fā)服務(wù)等功能。

蔡春久:主數(shù)據(jù)標準化如何建設(shè)

主數(shù)據(jù)的服務(wù)架構(gòu),以集團企業(yè)為例,有通用基礎(chǔ)域、財務(wù)域、人力域等,還有一些專業(yè)領(lǐng)域比如房產(chǎn)、金融等領(lǐng)域的主數(shù)據(jù),都可以通過數(shù)據(jù)服務(wù)平臺借助API對外提供共享服務(wù)。當然我們主數(shù)據(jù)源頭,有一部分來自業(yè)務(wù)系統(tǒng),有一部分可能來自外部數(shù)據(jù)。比如工商主數(shù)據(jù)庫,可以通過企查查天眼查來做個比對。主數(shù)據(jù)平臺內(nèi)置接口,業(yè)務(wù)系統(tǒng)如果要用主數(shù)據(jù)首先要通過這個接口來調(diào)用服務(wù),從而保障對主數(shù)據(jù)系統(tǒng)的數(shù)據(jù)進行全域管理,再通過申請審批功能,來確保業(yè)務(wù)系統(tǒng)主數(shù)據(jù)的一致性、唯一性和準確性。

蔡春久:主數(shù)據(jù)標準化如何建設(shè)

目前隨著這種大數(shù)的應(yīng)用,僅僅管理靜態(tài)的字段可能并不能滿足業(yè)務(wù)部門的需求。新一代主數(shù)據(jù)管理平臺不僅僅是管理靜態(tài)字段,更多地是要管理基于數(shù)據(jù)對象的非結(jié)構(gòu)數(shù)據(jù)、半結(jié)構(gòu)數(shù)據(jù),還有一些內(nèi)外部相關(guān)的數(shù)據(jù)。也就是說,我們將數(shù)據(jù)作為大數(shù)據(jù)分析的起點,將大數(shù)據(jù)場景用于匹配多個數(shù)據(jù)域和提取業(yè)務(wù)見解。

蔡春久:主數(shù)據(jù)標準化如何建設(shè)

對主數(shù)據(jù)進行多維度管理,可能就會慢慢的就模糊了原來靜態(tài)管理的概念。下面以石油化工行業(yè)的井/井筒為例,來看看新主數(shù)據(jù)管理。

井的數(shù)據(jù)全生命周期,包括井的部署設(shè)計、鉆前工程、鉆井工程等。在井的鉆井、錄井過程中,會涉及到鉆井的一些視頻、圖片數(shù)據(jù),還有大量文檔數(shù)據(jù)。我們可以通過語義識別,把這些數(shù)據(jù)全部匯聚在一起。這樣我們可以看到井筒從開發(fā)到報廢的主數(shù)據(jù)全生命周期的過程,對于我們業(yè)務(wù)是有實質(zhì)性幫助的。如果只管一個編碼、一個名稱,業(yè)務(wù)價值可能就體現(xiàn)不出來。我們未來做主數(shù)據(jù)一定是向這個方向發(fā)展,這樣更能解決業(yè)務(wù)的痛點,而不是僅僅管靜態(tài)的數(shù)據(jù)。

蔡春久:主數(shù)據(jù)標準化如何建設(shè)

主數(shù)據(jù)服務(wù)需要引入數(shù)據(jù)服務(wù)總線和微服務(wù)網(wǎng)關(guān),將做完之后的主數(shù)據(jù)發(fā)布到個API網(wǎng)關(guān)上面。主數(shù)據(jù)服務(wù)包括查詢、快速新增、運維、深度分析等?;谥鲾?shù)據(jù)對結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)的綜合分析能力,讓用戶一目了然更方便地看到所需的主數(shù)據(jù)對象。

蔡春久:主數(shù)據(jù)標準化如何建設(shè)

目前國內(nèi)很多世界500強企業(yè)又重新開始做主數(shù)據(jù),原來的工具已經(jīng)不能滿足他們的需求。我們就可以基于這樣一個數(shù)據(jù)一體化的平臺,再來做主數(shù)據(jù)建設(shè)工作。

主數(shù)據(jù)治理項目實施方法及難點分析

我們再來分享一下主數(shù)據(jù)怎么實施,有哪些難點。

我們把主數(shù)據(jù)分成7個階段,大概28個步驟。

蔡春久:主數(shù)據(jù)標準化如何建設(shè)

這其中較難的就是做好主數(shù)據(jù)現(xiàn)狀的調(diào)研和分析,需要通過業(yè)務(wù)調(diào)研還有信息調(diào)研來判斷主數(shù)據(jù)的需求具體是怎樣的。第三階段主數(shù)據(jù)標準體系構(gòu)建大概占到了整個工作量的30%。主數(shù)據(jù)標準也是動態(tài)變化而非一成不變的,主數(shù)據(jù)隨著管理顆粒度的不斷細化,主數(shù)據(jù)標準也會隨之動態(tài)調(diào)整。主數(shù)據(jù)清洗占了整個過程中很大的工作量,大概40%,有了主數(shù)據(jù)標準后,就要針對我們的業(yè)務(wù)系統(tǒng)進清洗。之后工具平臺要以服務(wù)的形式跟所有業(yè)務(wù)系統(tǒng)做對接集成。最后是主數(shù)據(jù)的運營體系建設(shè)。建立數(shù)據(jù)標準、數(shù)據(jù)清洗等大概半年時間就可以做完,但每個企業(yè)都不是一張白紙,不同企業(yè)做到的程度不一樣,有的新老系統(tǒng)切換路徑可能都需要三年五年甚至更長時間,這是風(fēng)險難度最大的一件事情。所以說主數(shù)據(jù)項目開弓沒有回頭箭,項目一旦啟動,后面一期二期三期可能一做就是很多年。

蔡春久:主數(shù)據(jù)標準化如何建設(shè)

主數(shù)據(jù)的貫標也是比較復(fù)雜的,尤其是在企業(yè)系統(tǒng)較多且比較重復(fù)的情況下。針對在建系統(tǒng)或者待建系統(tǒng),須用我們建的標準直接貫標,相對比較容易。針對已建系統(tǒng)難度較大,一個方式是替換,將原來的主數(shù)據(jù)標準替換成最新的主數(shù)據(jù);第二個是對照,對照不是特別好的方式,但有時候也沒辦法,一旦要對照的話,工作量也很大。

蔡春久:主數(shù)據(jù)標準化如何建設(shè)

所以我們大致有三種方案。第一個就是系統(tǒng)重新上線,相當于重新做一次初始化,這個對企業(yè)其實還是有比較大影響的。第二種方案是對原系統(tǒng)做一次系統(tǒng)性調(diào)整,主要做新舊物碼的轉(zhuǎn)換。方案三就是做原系統(tǒng)分階段調(diào)整,這個調(diào)整也不是最佳方案,需要以時間來換空間。

所以說主數(shù)據(jù)貫標的難度是特別大的。如果一個集團公司系統(tǒng)特別多的話,可能需要兩三年甚至更長的時間來逐步將這一套標準在各個系統(tǒng)里落地。

小結(jié)

今天我們要講的內(nèi)容就到這里。我簡單總結(jié)下,主數(shù)據(jù)是數(shù)據(jù)之源,是數(shù)據(jù)資產(chǎn)管理的核心,是數(shù)據(jù)中的黃金數(shù)據(jù),也是信息系統(tǒng)互聯(lián)互通的基石,是信息化和數(shù)字化的重要基礎(chǔ)。做好主數(shù)據(jù)治理,能為數(shù)據(jù)分析、數(shù)據(jù)入湖建立非常重要的基礎(chǔ)。主數(shù)據(jù)是跟我們業(yè)務(wù)系統(tǒng)緊密聯(lián)系在一起的,只有做好主數(shù)據(jù)才能為大數(shù)據(jù)分析建立更好的基礎(chǔ)。文章來源地址http://www.zghlxwxcb.cn/news/detail-424807.html

到了這里,關(guān)于蔡春久:主數(shù)據(jù)標準化如何建設(shè)的文章就介紹完了。如果您還想了解更多內(nèi)容,請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章,希望大家以后多多支持TOY模板網(wǎng)!

本文來自互聯(lián)網(wǎng)用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務(wù),不擁有所有權(quán),不承擔相關(guān)法律責(zé)任。如若轉(zhuǎn)載,請注明出處: 如若內(nèi)容造成侵權(quán)/違法違規(guī)/事實不符,請點擊違法舉報進行投訴反饋,一經(jīng)查實,立即刪除!

領(lǐng)支付寶紅包贊助服務(wù)器費用

相關(guān)文章

  • 數(shù)據(jù)標準化方法

    今天看到了“指數(shù)移動平均窗口標準化”,就研究了一下這是個啥東西,然后又順便看了一下其他的數(shù)據(jù)標準化方法,這里順便記錄一下,方便以后查閱。 zscore標準化是一種 基于數(shù)據(jù)分布的標準化方法 。它的基本思想是 將數(shù)據(jù)轉(zhuǎn)換為均值為0,標準差為1的分布 ,從而使得數(shù)

    2023年04月22日
    瀏覽(20)
  • python三種數(shù)據(jù)標準化

    數(shù)據(jù)變換是數(shù)據(jù)準備的重要環(huán)節(jié),它通過 數(shù)據(jù)平滑 、 數(shù)據(jù)聚集 、 數(shù)據(jù)概化 和 規(guī)范化 等方式將數(shù)據(jù)轉(zhuǎn)換成適用于數(shù)據(jù)挖掘的形式。常見的變換方法: 1.數(shù)據(jù)平滑:去除數(shù)據(jù)中的噪聲,將連續(xù)數(shù)據(jù)離散化。這里可以采用分箱、聚類和回歸的方式進行數(shù)據(jù)平滑 2.數(shù)據(jù)聚集:對

    2024年02月07日
    瀏覽(20)
  • 用UiPath實現(xiàn)網(wǎng)頁抓取——表格數(shù)據(jù)提取-1-單擊選擇分類-ISO標準化-01-綜合、術(shù)語、標準化、文獻目錄獲取

    用UiPath實現(xiàn)網(wǎng)頁抓取——表格數(shù)據(jù)提取-1-單擊選擇分類-ISO標準化-01-綜合、術(shù)語、標準化、文獻目錄獲取

    準備獲取目錄的鏈接是 全國標準信息公告服務(wù)平臺鏈接: https://std.samr.gov.cn/search/iso?tid=q= 第一步,標注啊類型選擇——ISO 第二步,標準化狀態(tài)選擇——現(xiàn)行 第三步,ICS分類選擇——01_綜合、術(shù)語標準化、文獻 將數(shù)據(jù)分別復(fù)制到excel文件中,如下圖。 由于國際標準分類號在

    2024年02月04日
    瀏覽(30)
  • 數(shù)據(jù)標準化與歸一化 及其區(qū)別

    ??數(shù)據(jù)一般都是有單位的,比如身高的單位有米、厘米等。需要對此類數(shù)值型特征進行 無量綱化處理 ,即是使不同規(guī)格的 數(shù)據(jù)轉(zhuǎn)換到同一規(guī)格 。常見的無量綱化方法有 標準化 和 歸一化 。 主要參考:機器學(xué)習(xí)算法:特征工程 某些算法要求樣本具有0均值和1方差,即 需要

    2024年02月09日
    瀏覽(21)
  • 干貨 | 大數(shù)據(jù)交易所數(shù)據(jù)安全流通體系標準化嘗試

    干貨 | 大數(shù)據(jù)交易所數(shù)據(jù)安全流通體系標準化嘗試

    以下內(nèi)容整理自清華大學(xué)《數(shù)智安全與標準化》課程大作業(yè)期末報告同學(xué)的匯報內(nèi)容。 第一部分:國內(nèi)大數(shù)據(jù)交易所發(fā)展現(xiàn)狀 第二部分:國外大數(shù)據(jù)交易模式及法律法規(guī) 歐盟的數(shù)據(jù)交易模式是基于2022年5月16日所提出的《數(shù)據(jù)治理法案》,其中提出了 數(shù)據(jù)中介 這一新的商業(yè)

    2024年02月17日
    瀏覽(31)
  • Fabarta 正式加入大數(shù)據(jù)技術(shù)標準推進委員會,共同推動大數(shù)據(jù)技術(shù)標準化進程

    Fabarta 正式加入大數(shù)據(jù)技術(shù)標準推進委員會,共同推動大數(shù)據(jù)技術(shù)標準化進程

    近日,中國通信標準化協(xié)會大數(shù)據(jù)技術(shù)標準推進委員會(以下簡稱“CCSA TC601”)在杭州召開了 2023 年度第一次全體工作會議。本次會議為期兩天,共有來自各成員單位的 230 余位專家、代表參會。本次會議上 Fabarta 作為新成員單位之一,由產(chǎn)品總監(jiān)陳振代表公司進行了介紹發(fā)

    2024年02月02日
    瀏覽(25)
  • 文本的清洗和標準化:如何處理混亂的數(shù)據(jù)?

    文本的清洗和標準化:如何處理混亂的數(shù)據(jù)?

    ??覺得內(nèi)容不錯的話,歡迎點贊收藏加關(guān)注??????,后續(xù)會繼續(xù)輸入更多優(yōu)質(zhì)內(nèi)容?? ??有問題歡迎大家加關(guān)注私戳或者評論(包括但不限于NLP算法相關(guān),linux學(xué)習(xí)相關(guān),讀研讀博相關(guān)......)?? (封面圖由文心一格生成) 在現(xiàn)代社會,我們每天都處理大量的文本數(shù)據(jù)。

    2024年02月03日
    瀏覽(28)
  • 【機器學(xué)習(xí)】數(shù)據(jù)預(yù)處理 - 歸一化和標準化

    【機器學(xué)習(xí)】數(shù)據(jù)預(yù)處理 - 歸一化和標準化

    「作者主頁」: 士別三日wyx 「作者簡介」: CSDN top100、阿里云博客專家、華為云享專家、網(wǎng)絡(luò)安全領(lǐng)域優(yōu)質(zhì)創(chuàng)作者 「推薦專欄」: 對網(wǎng)絡(luò)安全感興趣的小伙伴可以關(guān)注專欄《網(wǎng)絡(luò)安全入門到精通》 處理數(shù)據(jù)之前,通常會使用一些轉(zhuǎn)換函數(shù)將 「特征數(shù)據(jù)」 轉(zhuǎn)換成更適合 「

    2024年02月15日
    瀏覽(33)
  • 數(shù)據(jù)標準化在人工智能與大數(shù)據(jù)領(lǐng)域的應(yīng)用

    數(shù)據(jù)標準化是指將數(shù)據(jù)集中的數(shù)據(jù)進行規(guī)范化處理,使其具有統(tǒng)一的格式和規(guī)則,從而使得數(shù)據(jù)更容易進行分析和處理。在人工智能和大數(shù)據(jù)領(lǐng)域,數(shù)據(jù)標準化的重要性不言而喻。隨著數(shù)據(jù)的規(guī)模和復(fù)雜性不斷增加,如何有效地處理和分析數(shù)據(jù)成為了一大挑戰(zhàn)。數(shù)據(jù)標準化可

    2024年02月21日
    瀏覽(21)
  • 如何使用 OCI Artifacts、ORAS 和 Docker Hub 標準化軟件交付

    如何使用 OCI Artifacts、ORAS 和 Docker Hub 標準化軟件交付

    Docker Hub 是最著名的用于分發(fā)和共享容器映像的注冊表。不過, Docker Hub 和其他符合 OCI 的注冊表現(xiàn)在可以做的不僅僅是容器鏡像。ORAS (OCI 注冊表作為存儲)項目將注冊表轉(zhuǎn)換為通用工件存儲,能夠發(fā)布與您的應(yīng)用程序相關(guān)的任何資產(chǎn)。 在本文中,您將了解 ORAS 是什么、它

    2024年02月14日
    瀏覽(21)

覺得文章有用就打賞一下文章作者

支付寶掃一掃打賞

博客贊助

微信掃一掃打賞

請作者喝杯咖啡吧~博客贊助

支付寶掃一掃領(lǐng)取紅包,優(yōu)惠每天領(lǐng)

二維碼1

領(lǐng)取紅包

二維碼2

領(lǐng)紅包