?“?大數(shù)據(jù)團隊是成本中心還是價值中心?
數(shù)據(jù)資產(chǎn)入表,國家是怎么說的?
數(shù)據(jù)平臺應(yīng)具備哪些能力,才能助力企業(yè)最大化數(shù)據(jù)資產(chǎn)價值?”
2022年12月,國務(wù)院發(fā)文關(guān)于發(fā)揮數(shù)據(jù)要素作用的指導意見(俗稱數(shù)據(jù)20條),23年10月份國家大數(shù)據(jù)管理局的正式掛牌,各地數(shù)據(jù)要素交易市場紛紛建立,24年1月1日“數(shù)據(jù)資產(chǎn)入表”正式生效。毋庸置疑,數(shù)據(jù)在企業(yè)數(shù)智化運營的大環(huán)境趨勢下,作為核心生產(chǎn)要素和資產(chǎn)的價值,越來越突顯。
但大數(shù)據(jù)團隊是成本中心還是價值中心,近幾年來,眾多走在降本增效的路上的大數(shù)據(jù)團隊,如何為自己正名?從數(shù)據(jù)入表的財務(wù)角度來看,怎樣才能“賺錢”?本文將結(jié)合筆者過往的行業(yè)經(jīng)驗和大數(shù)據(jù)領(lǐng)域的最新趨勢理念,嘗試做一些分析和討論。
二十一世紀什么最貴,人才!
原本以為,黎叔的這句話,說的是二十一世紀,人才,能賺很多的錢。
深以為然的我,思前想后,在數(shù)智化的時代,什么樣的人才能掙最多的錢呢?那必須得包括肩負著水電煤一般存在的使命的大數(shù)據(jù)團隊啊,作為大數(shù)據(jù)團隊的人才,也一定是值錢得不能更值錢了!
后來,經(jīng)過多年的社會毒打,漸漸發(fā)覺,是我天真了。
貴,就簡單的是“貴”這個字表面的意思,并沒有太多的解讀空間。而大數(shù)據(jù)團隊,歷來在公司老板們的心目中,就是個成本中心,和“值錢”并沒有一毛錢的關(guān)系。
疫情之后,接觸過業(yè)內(nèi)各式各樣公司的大數(shù)據(jù)團隊,降本,幾乎是所有有一定規(guī)模的大數(shù)據(jù)團隊,都逃不過的命題作業(yè)。甚至有些團隊的負責人直言不諱的說,維穩(wěn)省錢,就是領(lǐng)導對他們今年唯一的核心KPI指標要求
這也難怪,誰叫你最貴呢 ;)貴的意思不就是成本高么,降的就是你們。連帶著各大公有云廠商,大數(shù)據(jù)方案提供商們,近幾年的日子也不太好過,地主家,也沒有余糧了。
但,這好像有哪里不對。不是說好了,二十一世紀是數(shù)字化,智能化的時代嗎?
數(shù)據(jù)是資產(chǎn)還是負債
那大數(shù)據(jù)團隊到底是成本中心還是盈利部門呢,數(shù)據(jù)到底是資產(chǎn)還是負債呢?
這種大事,還是得國家權(quán)威機構(gòu)說了算。這不,國家財政部在今年8月發(fā)文了 《企業(yè)數(shù)據(jù)資源相關(guān)會計處理暫行規(guī)定》,說人話,也就是俗稱的“資產(chǎn)入表”,2024年1月1日起正式執(zhí)行。
全文鏈接在這里:
財政部關(guān)于印發(fā)《企業(yè)數(shù)據(jù)資源相關(guān)會計處理暫行規(guī)定》的通知__2023年第28號國務(wù)院公報_中國政府網(wǎng)
簡單來說,就是數(shù)據(jù),做為數(shù)字化時代企業(yè)的核心生產(chǎn)要素之一,可以,也應(yīng)該作為“無形資產(chǎn)”,計入上市企業(yè)的資產(chǎn)負債表中進行披露。
你看,國家欽定的,大數(shù)據(jù)團隊這不就要咸魚翻身了嘛
嚴謹?shù)耐瑢W又要問了,數(shù)據(jù)資產(chǎn)值多錢咋評估呢?是不是像有的同學總結(jié)的那樣,把故事說好了就可以了呢。你看,獐子島的扇貝都可以成為玄學,何況這看不見摸不著的 “無形資產(chǎn)”?
同樣是數(shù)據(jù),為什么比如阿里巴巴的生意參謀里的數(shù)據(jù)就是金鳳凰,很多功能都號稱普惠了,每年還能賣個十億八億的,自己家那幾P的數(shù)據(jù),就都是壓箱底的石頭疙瘩,即費神還燒錢呢?
這,怎么說呢。。。 “無形資產(chǎn)”也是有嚴肅的定義的,這還是得搬出財政部的官方文檔:《企業(yè)會計準則第6號——無形資產(chǎn)》:?企業(yè)會計準則第6號——無形資產(chǎn)
這里面很關(guān)鍵的一點,簡單來說就是做為無形資產(chǎn),身份成立的前提是得能為企業(yè)產(chǎn)生經(jīng)濟利益。
此外,準則中還有這么幾條
簡單來說,就是你折騰各種開源組件,研究他們的最佳組合,跟進版本,研究特性,趟坑踩坑花的那些錢,在你心目中,是改進架構(gòu),是提升團隊能力,在財務(wù)眼里,那都是純粹的成本支出。只有最終后續(xù)的業(yè)務(wù)開發(fā)中,對生產(chǎn)有實質(zhì)價值應(yīng)用的研發(fā)投入,才能轉(zhuǎn)化為無形資產(chǎn)的組成部分,但前提還是,你得證明其有用性。
看到這里,也不難理解為什么大數(shù)據(jù)團隊總是被看做“成本中心”了,門檻高,前期投入高,建設(shè)周期長,集群和團隊維護的成本一目了然。而這些產(chǎn)生了多少經(jīng)濟利益,通常確實很難量化度量。領(lǐng)導看不見數(shù)據(jù)的價值,只看見維護團隊的代價,一旦企業(yè)進入到精打細算的階段,那不妥妥的讓你降本嗎,降低集群成本不算什么,沒有開“猿”節(jié)流就算客氣了。
那你說不對呀,廣告營銷運營部門也花那么多錢買流量啊,在你看來,這一點技術(shù)含量都沒有,咋的不讓他們降本呢。我們貴有我們的理由,難度高呀。
問題是你不知道那些部門也有個高端的名稱,叫做用戶增長部門嗎? 所以,關(guān)鍵不在于你貴不貴,關(guān)鍵在于你增不增收。降本增效大體都是降本是實際動作,增效只是個數(shù)字計算結(jié)果,如果只能增效,那降本還不得降得沒邊了,畢竟這么計算的話,成本越低,效率越高嘛。而且效率高了,沒準還能向社會輸送更多更貴的人才呢。合情合理不是。這也怪不得老板們這么想,一眾新貴AI人工智們能也琢磨著這事,躍躍欲試,想要為老板們服務(wù)呢。
所以,降本增收,才是更有前途的路徑,只要投入產(chǎn)出的ROI大于1,降本增收分分鐘變成“固本增收”,“擴本增收”。這才是你說的,貴,有貴的理由,只是這個理由從來都和難度無關(guān),只和價值有關(guān)。商業(yè)社會的邏輯,就是這么簡單枯燥。
什么樣的數(shù)據(jù)平臺才能最大化數(shù)據(jù)資產(chǎn)的ROI
數(shù)據(jù)的價值,首先當然取決于它所在行業(yè)的內(nèi)在業(yè)務(wù)價值屬性。比如對于電商行業(yè)來說,消費者的行為偏好數(shù)據(jù),顯然就比集群機器的日常運行負載日志數(shù)據(jù)更有價值一些,后者可能更接近于成本開銷而非資產(chǎn)(當然,如果你的業(yè)務(wù)就是專門給企業(yè)做運維優(yōu)化的除外)
畢竟,哪怕“無形資產(chǎn)”的價值評估,一定程度上得靠講故事,但也得有合情合理的事實作為依托,這個故事才能講得圓滿和持久,而數(shù)據(jù)的業(yè)務(wù)價值屬性很大程度上就是故事的起點。
在一個特定的行業(yè)領(lǐng)域中,你很難改變數(shù)據(jù)本身的業(yè)務(wù)價值屬性,但是你可以改變數(shù)據(jù)的加工流轉(zhuǎn)和應(yīng)用形式,從而放大,復用,甚至挖掘之前尚未充分應(yīng)用的資產(chǎn)價值,提升投入產(chǎn)出的性價比ROI
一個企業(yè)是否具備這樣的能力,在很大程度上需要依托其大數(shù)據(jù)平臺的體系建設(shè)好壞。
工欲善其事必先利其器,一個能最大化數(shù)據(jù)資產(chǎn)價值的數(shù)據(jù)平臺,應(yīng)該具備什么樣的能力或者說特點呢?
按提高ROI投入產(chǎn)出的角度來簡單歸納,我們可以總結(jié)枚舉如下:
-
多 : 一份投入多份產(chǎn)出(用更少的投入賺更多的錢)
-
可能包括:引擎能力能復用,數(shù)據(jù)價值能復用,鏈路流程能復用,人力資源能復用。。。
-
-
快 : 今天投入明天見效(更快的賺錢)
-
可能包括:建設(shè)周期短,啟動門檻低,數(shù)據(jù)加工流轉(zhuǎn)快,業(yè)務(wù)需求響應(yīng)快。。。
-
-
好 : 干別人干不了的事(賺更有壁壘的錢)
-
可能包括:支持更復雜的業(yè)務(wù)場景,提供更極致的性能,處理更大規(guī)模的數(shù)據(jù),支撐更新的應(yīng)用模式。。。
-
此外,壁壘越高,數(shù)據(jù)資產(chǎn)的價值越高,也就衍生出對數(shù)據(jù)的安全,合規(guī),分享,交易等等方面的能力需求
-
-
省 : 省心省力省錢,減少不必要的投入(不該花的錢,堅決不花)
-
可能包括:免運維,提高集群負載和效率,減少無效數(shù)據(jù)存儲,計算成本,降低重復工作,降低試錯成本,按需使用,動態(tài)擴縮容。。。
-
那么如何做到這幾點呢,對于各家大數(shù)據(jù)或BI團隊來說,公司所面對的問題和客觀條件各不同,方式方法和側(cè)重點自然也不盡相同。但我們還是可以結(jié)合業(yè)內(nèi)的先進實踐和產(chǎn)品技術(shù)理念的發(fā)展趨勢,做一些普適性的探討:
= 多 =
經(jīng)典的大數(shù)據(jù)業(yè)務(wù)場景,通常包括:離線批處理,實時流計算,交互式OLAP查詢等幾種場景,如果進一步和在線業(yè)務(wù)Serving相關(guān)聯(lián),甚至可能還包括部分高并發(fā)點查詢的場景。
如何實現(xiàn)這些場景下的各種計算,存儲,人力資源和鏈路流程復用,一直是近幾年大數(shù)據(jù)領(lǐng)域發(fā)展和探索的重點方向之一
最為大家熟悉的,可能就是Flink主推的流批一體能力。希望通過一套計算引擎同時支持批處理和流計算兩種語義(其實作為資本家,老板希望的,是用同一批數(shù)據(jù)開發(fā)同學,支持兩種業(yè)務(wù)場景),當然由于其實際實現(xiàn)難度也很高(不光是技術(shù)層面,也包括業(yè)務(wù)邏輯層面,計算成本層面等各方面因素),所以即使作為相關(guān)概念的主要倡導者,阿里巴巴數(shù)據(jù)中臺,在其內(nèi)部數(shù)據(jù)業(yè)務(wù)中,也只是在局部鏈路中實現(xiàn)了相關(guān)目標。
除流批一體之外,其實還有很多類似的探索:
-
統(tǒng)一開發(fā)語言,比如:SQL for every thing(Streaming,BI,AI,OPS),各種SQL語法糖,翻譯或代理層項目,希望在接口語義層封裝不同引擎,簡化開發(fā)難度
-
統(tǒng)一流程和數(shù)據(jù),比如:嘗試用Kappa架構(gòu)替代Lambda架構(gòu),降低多鏈路存儲計算成本。
-
統(tǒng)一元數(shù)據(jù)管理,比如:類似Databricks的unity catalog,增強跨源數(shù)據(jù)處理能力,適應(yīng)Data and AI融合應(yīng)用
-
各種聯(lián)邦查詢,外表支持,比如:通過外部數(shù)據(jù)源,外表,volume等能力,使用同一計算引擎對接查詢多種外部存儲計算引擎,支持湖倉一體能力等等
-
OLAP引擎和批處理引擎雙向奔赴:OLAP引擎引入更多的批處理特性或加強,批處理引擎也逐步增強其OLAP能力
-
多場景融合引擎:除了Flink的流批一體,也包括最近業(yè)內(nèi)開始流行的增量計算模式,用于實現(xiàn)離線,實時,和交互式查詢的不同場景下,性能,成本和數(shù)據(jù)新鮮度之間的靈活調(diào)配。
總體而言,在過去十幾年,大數(shù)據(jù)各類組件層出不窮,百花齊放的同時,減少大數(shù)據(jù)平臺組件數(shù)量,簡化技術(shù)棧,Single Engine for ALL,一專多能等需求,也是企業(yè)在面對日趨復雜的平臺體系架構(gòu),數(shù)據(jù)加工流程和高昂的運維成本代價時,必然的趨勢選擇。
= 快 =
天下武功唯快不破,賺錢也是一個講究資本周轉(zhuǎn)周期的事項。畢竟時間就是金錢,尤其是在當下社會高速發(fā)展的商業(yè)環(huán)境中
一方面,從大數(shù)據(jù)引擎的角度來說,各種存儲,計算速度的快固然是很重要的因素。(這也是為什么會有那么多層出不窮的計算引擎,各自針對不同業(yè)務(wù)場景的原因)
另一方面,從數(shù)據(jù)平臺整體宏觀能力構(gòu)建的角度來看,建設(shè)和迭代周期短,啟動和維護門檻低,業(yè)務(wù)需求響應(yīng)快,業(yè)務(wù)開發(fā)成本低,業(yè)務(wù)方能快速參與到數(shù)據(jù)業(yè)務(wù)的應(yīng)用中來,有時候可能更為重要。
這是因為一個完善的大數(shù)據(jù)平臺,除了面對各式各樣的存儲,計算引擎,為了更快更好更穩(wěn)定的支撐業(yè)務(wù)的需求,往往還需要建設(shè)一整套完整的開發(fā)環(huán)境和數(shù)據(jù)應(yīng)用管理鏈路,構(gòu)建包括:數(shù)據(jù)集成、數(shù)據(jù)開發(fā)、任務(wù)調(diào)度、運維,數(shù)據(jù)地圖,數(shù)據(jù)質(zhì)量,監(jiān)控告警,安全管控,數(shù)據(jù)可視化和BI報表分析等等在內(nèi)的能力。
由于其技術(shù)和業(yè)務(wù)的復雜性,同時對系統(tǒng)的穩(wěn)定性和數(shù)據(jù)安全等各方面都有較高的要求,所以大數(shù)據(jù)平臺歷來都是一個前期投入高,技術(shù)門檻高,建設(shè)周期長,迭代更新成本高的系統(tǒng)。
國外的企業(yè)(特別是美國企業(yè)),往往依托各式各樣商業(yè)公司的產(chǎn)品,組裝串聯(lián)加二次開發(fā),混合應(yīng)用來支撐業(yè)務(wù)。AWS,Azure,GCP等公有云,也傾向于提供各類獨立的組件,讓客戶自己組裝。而國內(nèi)則更多的傾向于要不完全基于開源自研,要不服務(wù)商提供完整的端到端解決方案。
一方面,是因為歐美國家,IT發(fā)展歷史更長,人才市場上,有更多成熟的軟件類人才儲備,企業(yè)自身通常都有比較強的產(chǎn)品組裝能力,另一方面,也是因為同樣的原因,大大小小的,Saas類產(chǎn)品更加豐富,相互之間開放合作互通的氛圍也更強。
但即便是在歐美市場客戶動手能力相對更強的環(huán)境下,類似Snowflake,Databricks這樣的產(chǎn)品,也越來越多的開始構(gòu)建生態(tài)伙伴,以便為客戶提供完整的一站式產(chǎn)品能力體驗。而其它專注于大數(shù)據(jù)完整鏈路上具體某個環(huán)節(jié)組件或服務(wù)的廠商,也更傾向于盡可能的對主流云平臺產(chǎn)品的鏈路進行預置適配,實現(xiàn)開箱即用的能力,實現(xiàn)這類能力的廠商,往往也更容易在商業(yè)市場上取得成功。
歸根到底,分工合作,盡可能采用成熟的解決方案來快速啟動業(yè)務(wù),讓企業(yè)自身聚焦在數(shù)據(jù)創(chuàng)新開發(fā),而非產(chǎn)品集成適配踩坑學習之中,已經(jīng)成為大家的共識。
而作為大數(shù)據(jù)平臺相關(guān)從業(yè)者,也需要思考自己創(chuàng)造的增量價值應(yīng)該是以什么樣的方式呈現(xiàn),在不同的企業(yè)環(huán)境下,是借助成熟產(chǎn)品,做差異化的數(shù)據(jù)業(yè)務(wù)應(yīng)用類創(chuàng)新,更能體現(xiàn)價值,還是自力更生,做更好的基礎(chǔ)平臺能力重要(這個問題當然沒有絕對,就好比上云還是下云,在大趨勢上云的節(jié)奏下,也有不少體量很大的公司,選擇“逆潮流”下云,前提是如果能力,時間和經(jīng)濟效率都能搞得定的話)
= 好 =
從大數(shù)據(jù)平臺的角度來說,就是要將數(shù)據(jù)的價值賦能業(yè)務(wù)使用方,能別人所不能,賺別人不好賺,或者賺不到的錢
一方面,這包括了提供更極致的處理性能,例如:向量化執(zhí)行引擎,物化視圖,智能緩存加速,位圖計算,執(zhí)行計劃剪枝,下推優(yōu)化,增量計算等等各類技術(shù),
另一方面,也包括提供更大規(guī)模的數(shù)據(jù)處理能力,或更新的數(shù)據(jù)應(yīng)用模式的支持,比如:能無縫線性水平擴容的能力,存算分離獨立伸縮的架構(gòu),和AI相關(guān)能力的集成,BI/AI數(shù)據(jù)業(yè)務(wù)鏈路的融合應(yīng)用等等。和Serverless函數(shù)式計算服務(wù)對接的能力,也能極大拓展傳統(tǒng)BI數(shù)據(jù)分析和在線服務(wù),大語言模型等應(yīng)用的無縫融合。
這些都是為了讓原本無法在合理的成本或時間代價下完成的業(yè)務(wù)變成可能。
而一旦數(shù)據(jù)具備了更好的業(yè)務(wù)價值,構(gòu)建起其資產(chǎn)屬性。也就有了更多的面向內(nèi)部或外部用戶的開放,分享乃至交易的需求。
所以,業(yè)界領(lǐng)先的湖倉一體架構(gòu)體系,都開始強調(diào)開放的Open Lakehouse設(shè)計理念。
從企業(yè)內(nèi)部使用的角度來說,開放的Open Lakehouse湖倉架構(gòu),能夠兼容主流開放的數(shù)據(jù)存儲格式,支持多種外部引擎訪問。降低企業(yè)數(shù)據(jù)被特定vendor綁定的風險的同時,減少了重復開發(fā)的工作量,避免數(shù)據(jù)孤島的問題,提高數(shù)據(jù)生態(tài)系統(tǒng)的整體效率和一致性。
從價值復用,數(shù)據(jù)分享和交易的角度來說,基于開放的體系架構(gòu)和統(tǒng)一的Catalog管理能力,也能更好的支持Data Sharing等低成本的數(shù)據(jù)分享,交易售賣體系。
比如,snowflake的data sharing技術(shù),能夠在其自身生態(tài)環(huán)境內(nèi),幫助他的用戶構(gòu)建起安全可控的數(shù)據(jù)交易的能力,使得數(shù)據(jù)要素的交換流通成為可能。
而Databricks更是期望基于unity catalog和delta sharing這樣一套元數(shù)據(jù)管理和開放標準的數(shù)據(jù)分享體系,構(gòu)建起一個開放的非單一Vendor廠商生態(tài)綁定的數(shù)據(jù)分享和交易市場。
= 省 =
雖然說到投入產(chǎn)出比,產(chǎn)出作為企業(yè)商業(yè)的驅(qū)動目標是關(guān)鍵,但投入畢竟是分母,當然也是能省則省。
這里面,既包括各種物理資源成本也包括人力成本和時間成本。既包括未來需要支付的成本,也包括過往已經(jīng)投入的資產(chǎn)沉淀的保護。(畢竟,你不會希望自己的無形資產(chǎn),一夜之間統(tǒng)統(tǒng)折舊蒸發(fā)了)。
所以,多云,混合云等能力也往往成為企業(yè)追求自身數(shù)據(jù)安全可控,避免云環(huán)境鎖定,靈活按需復用多云環(huán)境資源,保護企業(yè)既有資產(chǎn)的述求之一。
此外,在云環(huán)境大數(shù)據(jù)服務(wù)Saas化的語境之下,計算和存儲引擎提供按量計費的模式,能夠幫助企業(yè)減少不必要的資源浪費。配合資源秒級動態(tài)伸縮的能力,也有利于減少業(yè)務(wù)早期的成本投入,隨時按照業(yè)務(wù)發(fā)展動態(tài)調(diào)整資源投入,降低前期業(yè)務(wù)啟動成本。
這也是一個合格的存算分離體系結(jié)構(gòu)的大數(shù)據(jù)引擎應(yīng)該具備的能力和目標收益,所以這一兩年來,各種傳統(tǒng)的基于存儲一體的數(shù)據(jù)庫,也紛紛開始推進存算分離的架構(gòu)改造
再有,23年年初以來,越來越為大家所接受的物化視圖增量計算解決方案,也是為了進一步在業(yè)務(wù)場景和數(shù)據(jù)量都不變的前提下,挖掘降本空間。在保證業(yè)務(wù)語義正確性的同時,以更低的成本,加快海量數(shù)據(jù)的實時更新和匯總計算。避免全量數(shù)據(jù)計算給系統(tǒng)帶來了的負載壓力,減少數(shù)據(jù)更新時對全量數(shù)據(jù)進行掃描帶來的額外計算時間和成本。
小結(jié)
總結(jié)一下,數(shù)據(jù)是資產(chǎn)負債表中的資產(chǎn),還是只是現(xiàn)金流量表中的成本支出,大數(shù)據(jù)團隊是降本增效的對象,還是增值創(chuàng)收的驅(qū)動引擎。說到底都取決于你是否把業(yè)務(wù)價值擺在了第一位,是否花最少的錢干最多的事,還能干得又快又好。數(shù)據(jù)資產(chǎn)入表與否只是一個結(jié)果,觀察行業(yè)趨勢,用正確的路徑,聰明的方式,多快好省的創(chuàng)造價值,才是大數(shù)據(jù)團隊在公司內(nèi)部能挺直腰桿的底氣所在。
“筆者所在團隊的云器Lakehouse產(chǎn)品,作為目前國內(nèi)唯一的多云及一體化數(shù)據(jù)平臺產(chǎn)品,提供SaaS化全托管服務(wù)模式。開放的湖倉架構(gòu),自研的C++核心引擎,融合批、流、交互三種計算形態(tài)。開箱即用的Studio集成開發(fā)環(huán)境,為企業(yè)大數(shù)據(jù)業(yè)務(wù)提供開箱即用的一站式解決方案”文章來源:http://www.zghlxwxcb.cn/news/detail-767860.html
更多大數(shù)據(jù)相關(guān)文章,也可以搜索并關(guān)注我的公眾號 “大數(shù)據(jù)與AI雜談” ,(或通過微信號TalkCheap查找)文章來源地址http://www.zghlxwxcb.cn/news/detail-767860.html
到了這里,關(guān)于數(shù)據(jù)資產(chǎn)入表,這潑天的富貴大數(shù)據(jù)團隊怎樣才能接???的文章就介紹完了。如果您還想了解更多內(nèi)容,請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章,希望大家以后多多支持TOY模板網(wǎng)!