隨著2022年3月——這個(gè)Cloudera宣布停止對(duì)CDH技術(shù)支持日子越來越近，那些已經(jīng)部署CDH和其他版本Hadoop的企業(yè)面臨一個(gè)迫切的問題：自己原來部署的Hadoop怎么辦？是繼續(xù)延用還是遷移到其他大數(shù)據(jù)平臺(tái)？如果要遷移，遷移到哪個(gè)大數(shù)據(jù)平臺(tái)？

眾所周知，CDH是市場上最受歡迎的免費(fèi)Hadoop版本之一。目前，市場上免費(fèi)Hadoop版本主要有三個(gè)，分別是Apache版本（開源社區(qū)版，也是最原始的版本，其他所有發(fā)行版均基于這個(gè)版本進(jìn)行改進(jìn)）、Cloudera版本（簡稱CDH）、Hortonworks版本(簡稱HDP，2018年Cloudera與Hortonworks合并后歸屬于Cloudera)。Cloudera對(duì)HDP的技術(shù)支持已經(jīng)于2021年12月結(jié)束，Cloudera 還宣布今后將不再推出新版本的CDH和HDP，也就是這兩個(gè)Hadoop版本不會(huì)再演進(jìn)了。這就意味著，今后企業(yè)想要部署免費(fèi)Hadoop平臺(tái)只能選擇社區(qū)版本，顯然這會(huì)提高Hadoop部署和運(yùn)維的難度和技術(shù)門檻。

另一方面，大數(shù)據(jù)市場新生力量已經(jīng)崛起。Snowflake于2020年成功上市，成為美股當(dāng)年最大的IPO，Snowflake的市值也超過330億美元。Databricks來勢更猛，2021年2月Databricks 獲得10億美元的G 輪融資，公司的估值達(dá)到了280億美元。7個(gè)月后，Databricks再次宣布獲得16 億美元 H 輪融資，Databricks的估值飆升至380億美元，是當(dāng)初Cloudera最火時(shí)候的估值近10倍。這兩家公司都是大數(shù)據(jù)領(lǐng)域的新晉“網(wǎng)紅”，新生代已經(jīng)崛起，Hadoop之后誰會(huì)成為大數(shù)據(jù)時(shí)代新的代言人？

01?Hadoop之潮起潮落

Hadoop是一個(gè)開源的分布式大數(shù)據(jù)處理框架，一直以來幾乎就是大數(shù)據(jù)代名詞。Hadoop誕生于2006年左右，當(dāng)時(shí)爆發(fā)性增長的海量數(shù)據(jù)、人們對(duì)數(shù)據(jù)價(jià)值的普遍認(rèn)可，源源不斷地推動(dòng)了企業(yè)對(duì)大數(shù)據(jù)處理的需求，而傳統(tǒng)的數(shù)據(jù)處理方面無論是存儲(chǔ)容量、讀寫速度、計(jì)算效率還是成本都越來越無法滿足用戶對(duì)海量數(shù)據(jù)的處理需求，Hadoop應(yīng)運(yùn)而生。

建立在開放架構(gòu)上的Hadoop大大降低了大數(shù)據(jù)的門檻。Hadoop以分布式文件系統(tǒng)HDFS和MapReduce算法為核心，為用戶提供了底層細(xì)節(jié)透明的分布式基礎(chǔ)架構(gòu)，可以基于通用硬件實(shí)現(xiàn)海量數(shù)據(jù)的分析和處理。由于有Google和Yahoo兩大巨頭的背書，Hadoop很快得到了市場的認(rèn)可。一時(shí)間，市場上出現(xiàn)了眾多Hadoop相關(guān)的創(chuàng)業(yè)公司，Cloudera、Hortonworks、MapR是其中最有影響的三個(gè)，被稱為“Hadoop三巨頭”：2008年Cloudera成立，2009年MapR 成立，2011年Hortonworks 成立。

當(dāng)時(shí)業(yè)界普遍看好Hadoop的市場前景，這些公司的早期融資非常順利。特別是2014年，Hadoop行業(yè)迎來高光時(shí)刻，Hortonworks成功上市，Cloudera也是風(fēng)頭正勁，獲得Intel 7.5億美元的投資，Cloudera的總估值曾達(dá)到41億美元，成為當(dāng)時(shí)未上市的大數(shù)據(jù)公司里面最為閃耀的一個(gè)。據(jù)報(bào)道，上市前Cloudera共獲得了超過10億美元的融資，Hortonworks 獲得了2.48億美元融資，MapR雖然一直沒有上市，先后融資也近3億美元。

不過，即使在三巨頭的高光時(shí)刻，圍繞Hadoop的爭議一直不斷。早在2013年，Gartner研究總監(jiān)Svetlana Sicular就曾發(fā)表文章稱，“大數(shù)據(jù)正處于新技術(shù)廠商炒作周期和用戶預(yù)期的頂峰，但是Hadoop的過時(shí)和用戶失敗案例不斷增多意味著大數(shù)據(jù)泡沫即將破裂?！?/p>

后來“Hadoop三巨頭”的發(fā)展都不太順利，爭議也一直無法平息。2018年10月，無法實(shí)現(xiàn)盈利的Cloudera和Hortonworks宣布平等合并，Cloudera以股票方式收購Hortonworks，Cloudera股東獲得Hortonworks 60%的股份。2019年，HPE宣布收購MapR 的資產(chǎn)，收購金額未對(duì)外公開。此前MapR已經(jīng)陷入財(cái)務(wù)困境，對(duì)外表示再?zèng)]有融資將面臨倒閉的命運(yùn)。

合并后的Cloudera做出了一些戰(zhàn)略調(diào)整，其中包括對(duì)CDH/HDP的支持政策。Cloudera宣布在2022年3月停止CDH、HDP的技術(shù)支持和版本更新，還宣布不會(huì)再推出新版本的CDH和HDP。另外，Cloudera的代碼開源政策也做了調(diào)整，從2021年年初開始就已經(jīng)停止了免費(fèi)下載CDH、HDP。

還有一個(gè)值得注意的細(xì)節(jié)，Cloudera悄悄地去除了自己身上的Hadoop標(biāo)簽。今天，打開Cloudera官網(wǎng)已經(jīng)很難再找到Hadoop這個(gè)詞，在對(duì)外宣傳中Cloudera給自己的定位是一家企業(yè)數(shù)據(jù)云平臺(tái)公司，而不再是一個(gè)Hadoop技術(shù)供應(yīng)商。Cloudera的主打產(chǎn)品也從原來的CDH換成了CDP（Cloudera Data Platform)。雖然CDP延續(xù)了CDH 的版本號(hào)（CDP 7）。但CDP與CDH之間并不是產(chǎn)品迭代的關(guān)系，而是全新的產(chǎn)品。另外，CDP和CDH、HDP一樣，CDP不會(huì)有免費(fèi)的開源版本下載，也不會(huì)對(duì)外免費(fèi)提供開源代碼。

Cloudera是Hadoop社區(qū)的“頂梁柱”，擁有CDH、HDP這兩個(gè)市場上最受認(rèn)可的開源發(fā)行版，Cloudera的一舉一動(dòng)對(duì)Hadoop影響不言而喻。Cloudera對(duì)CDH、HDP政策調(diào)整意味著今后要用免費(fèi)的Hadoop基本只有Apache社區(qū)版了，而社區(qū)版無論穩(wěn)定性和安全性與CDH、HDP都不在一個(gè)水平上，如果要用于生產(chǎn)環(huán)境需要進(jìn)行多個(gè)模塊的集成和大量二次開發(fā)，這個(gè)工作對(duì)技術(shù)人員要求非常高。可以預(yù)料，未來Hadoop的社區(qū)熱度和應(yīng)用會(huì)受到不小影響，這也是人們對(duì)Hadoop的未來前景產(chǎn)生擔(dān)憂的原因所在。

02?Hadoop為何受到質(zhì)疑？

應(yīng)該說，Hadoop一直在不斷調(diào)整以滿足用戶需求。那么，Hadoop從一個(gè)人人看好的大數(shù)據(jù)平臺(tái)到如今人們開始憂心忡忡，擔(dān)憂其未來，這中間到底發(fā)生什么讓人們對(duì)Hadoop的發(fā)展前景來了一個(gè)徹底大扭轉(zhuǎn)？

從最早期Gartner的唱衰到今天人們對(duì)Hadoop的擔(dān)心，最為集中的一點(diǎn)是Hadoop的技術(shù)復(fù)雜性，這個(gè)技術(shù)復(fù)雜性提升了學(xué)習(xí)難度，帶來了人才的不足，也帶來了Hadoop項(xiàng)目的部署和實(shí)施效果不理想，使得不少項(xiàng)目最后無法兌現(xiàn)企業(yè)預(yù)期的各種商業(yè)價(jià)值。

今天打開Hadoop官網(wǎng)，我們可以看到其核心模塊有四個(gè)：文件系統(tǒng)HDFS、資源調(diào)度YARN、計(jì)算引擎MapReduce和通用庫，但光有這四個(gè)模塊基本無法應(yīng)用在生產(chǎn)環(huán)境中，要真正完成一個(gè)任務(wù)還需要借助很多其他模塊的協(xié)助，比如Hive、HBase、Pig、Spark、Kafka、Zookeeper等。

實(shí)際上，在Hadoop生態(tài)體系之下至少有30個(gè)以上開源項(xiàng)目，為了完成一個(gè)生產(chǎn)項(xiàng)目需要對(duì)多個(gè)開源模塊集成。這也正是CDH、HDP廣受認(rèn)可的一個(gè)重要原因，因?yàn)樗鼈兺瓿闪四K之間的預(yù)集成，讓用戶免去不少集成之苦。即使這樣，作為開源項(xiàng)目的Hadoop的部署和實(shí)施都高度依賴工程師的技術(shù)能力，而如此這多的模塊要都精通對(duì)技術(shù)人員要求非常之高，這些都導(dǎo)致Hadoop的高復(fù)雜性而屢屢受到詬病。

大數(shù)據(jù)商業(yè)價(jià)值的實(shí)現(xiàn)達(dá)不到預(yù)期，很大程度上還與大數(shù)據(jù)項(xiàng)目本身的復(fù)雜性有關(guān)。Hadoop管理的是幾十臺(tái)或者成百上千臺(tái)服務(wù)器組成的集群，計(jì)算環(huán)境的復(fù)雜性前所未有。同時(shí)，大數(shù)據(jù)項(xiàng)目從一開始就是探索性和創(chuàng)新性的，本身就具有很大不確定性。這一點(diǎn)和以提高效率為主要目的傳統(tǒng)應(yīng)用不同，傳統(tǒng)應(yīng)用只要部署下來，其效果基本是可以預(yù)料的。再加上有不少企業(yè)是看到大數(shù)據(jù)熱就跟風(fēng)，本身對(duì)如何做還沒有想好，這直接推高了大數(shù)據(jù)項(xiàng)目的失敗率。

對(duì)Hadoop的第二個(gè)批評(píng)是其技術(shù)過時(shí)，主要指MapReduce只能進(jìn)行批處理，無法處理實(shí)時(shí)應(yīng)用。MapReduce的確有這方面的弱點(diǎn)。實(shí)際上，這一點(diǎn)如今已不是一個(gè)問題，每個(gè)技術(shù)都有自己最佳的適用場景，如果要實(shí)時(shí)處理可以用Spark，要處理流數(shù)據(jù)有Flink，這些都可以在Hadoop框架之下很好地進(jìn)行集成。Hadoop萌芽于2004年，2008年左右以Hadoop之名被開源，其核心技術(shù)也誕生于那個(gè)時(shí)代，用今天的需求來要求Hadoop并不合理。而且，Hadoop本身也不斷演進(jìn)，比如積極擁抱Spark、Kubernetes、Kafka等，為企業(yè)提供一個(gè)更好的大數(shù)據(jù)平臺(tái)框架。

唱衰Hadoop的第三原因是云計(jì)算的崛起。眾所周知，HDFS是Hadoop最為核心的兩個(gè)模塊之一（另一個(gè)是MapReduce），也是Hadoop的根基。而云服務(wù)的崛起使得以S3為代表的對(duì)象存儲(chǔ)開始流行，云服務(wù)商結(jié)合對(duì)象存儲(chǔ)推出的各種Hadoop云服務(wù)，相比于傳統(tǒng)方式部署的 Hadoop更簡單易用。比如AWS的Elastic Map Reduce (EMR)非常簡單，而且與底層S3存儲(chǔ)完全集成，具有較低的購置成本并且更便宜。

應(yīng)該說，這的確是一個(gè)重要原因，看看今天大出風(fēng)頭的Snowflake和Databricks，它們提供的云服務(wù)這種商業(yè)模式無疑是成功的重要原因。Gartner曾預(yù)計(jì)，到2023年，75%的數(shù)據(jù)庫都會(huì)跑在云平臺(tái)之上。當(dāng)然，這只是就趨勢而言，當(dāng)下Hadoop主要面向的還是擁有海量數(shù)據(jù)的私有云環(huán)境，金融、電信以及部分互聯(lián)網(wǎng)才是Hadoop真正的重度用戶，它們對(duì)大數(shù)據(jù)應(yīng)用需求的復(fù)雜性是云服務(wù)商比較難滿足的，一般來說其應(yīng)用很難遷移到公有云上。

其實(shí)，經(jīng)過多年的發(fā)展，在Hadoop生態(tài)體系中很多模塊已經(jīng)被新的模塊替換，比如Spark替代MapReduce、S3替代HDFS、K8s替代Yarn，而完成了這些替代之后的Hadoop也早就是不是原來的Hadoop了。

應(yīng)該說，和所有創(chuàng)新技術(shù)一樣，Hadoop也有自己的生命周期。當(dāng)IT環(huán)境發(fā)生了變化，比如，今天云計(jì)算環(huán)境正在成為企業(yè)標(biāo)準(zhǔn)IT環(huán)境，早期Hadoop所強(qiáng)調(diào)的存算一體正在被越來越多的存算分離場景所取代；實(shí)時(shí)數(shù)倉、湖倉一體正在成為行業(yè)趨勢的時(shí)候，Hadoop雖然自己也在與時(shí)俱進(jìn)，終究會(huì)被更新、更好的技術(shù)替代。當(dāng)然，這種替代是單就Hadoop軟件本身而言，如果從廣義的角度而言，Hadoop生態(tài)依然生機(jī)勃勃，比如Spark、Kafka等今天就非常流行。

03?后Hadoop時(shí)代，大數(shù)據(jù)平臺(tái)如何選？

今天，大數(shù)據(jù)市場正在蓬勃發(fā)展，根據(jù)IDC發(fā)布的《2021年V2全球大數(shù)據(jù)支出指南》中的最新預(yù)測，全球大數(shù)據(jù)市場的IT投資規(guī)模有望在2025年超過3500億美元，五年預(yù)測期內(nèi)(2021-2025)實(shí)現(xiàn)約12.8%的復(fù)合增長率(CAGR)。中國大數(shù)據(jù)表現(xiàn)有望更好，市場五年CAGR約為19.7%，增速領(lǐng)跑全球。另外，2021年11月30日，工信部發(fā)布關(guān)于印發(fā)“十四五”大數(shù)據(jù)產(chǎn)業(yè)發(fā)展規(guī)劃的通知(簡稱《規(guī)劃》)，《規(guī)劃》提出要保持產(chǎn)業(yè)保持高速增長，到2025年大數(shù)據(jù)產(chǎn)業(yè)規(guī)模突破3萬億元，年均復(fù)合增長率保持在25%左右。

大數(shù)據(jù)產(chǎn)業(yè)的發(fā)展必然帶來對(duì)大數(shù)據(jù)平臺(tái)的需求，面對(duì)強(qiáng)勁的市場需求，在后Hadoop時(shí)代，我們?cè)撨x擇什么樣的大數(shù)據(jù)平臺(tái)？特別是那些已經(jīng)部署了CDH、HDP和各種Hadoop版本的用戶怎么辦？

如果公司技術(shù)實(shí)力夠用，當(dāng)然還是可以繼續(xù)跟蹤Hadoop社區(qū)版本，結(jié)合社區(qū)和自己的技術(shù)力量來解決各種難題，特別是如果大數(shù)據(jù)平臺(tái)能夠滿足目前自己需求的前提之下。但是，對(duì)于更多普通企業(yè)用戶，自己的技術(shù)實(shí)力不夠，付費(fèi)尋求技術(shù)支持可能會(huì)是更好的選擇。好在目前在Hadoop這個(gè)大數(shù)據(jù)生態(tài)體系之中，有不少頗有技術(shù)實(shí)力的第三方提供自己的Hadoop版本和服務(wù)，比如華為、阿里云等。

而對(duì)于那些已經(jīng)部署Cloudera的CDH和HDP企業(yè)而言，選擇升級(jí)到Cloudera的新一代數(shù)據(jù)云平臺(tái)CDP也是一個(gè)不錯(cuò)的選擇。CDP是Cloudera2019年面向云環(huán)境推出的一個(gè)大數(shù)據(jù)處理平臺(tái)。根據(jù)Cloudera大中華區(qū)技術(shù)總監(jiān)劉隸放的說法，CDP可以提供六大能力：第一個(gè)是提供數(shù)據(jù)中心(Data Hub) 的能力，也就是提供一個(gè)基礎(chǔ)性的集中存放數(shù)據(jù)、管理數(shù)據(jù)的能力；第二個(gè)是Data Flow & Streaming，包括用于數(shù)據(jù)收集和流式的實(shí)時(shí)數(shù)據(jù)處理的一整套產(chǎn)品。第三個(gè)是Cloudera Data Engineering，主要是用來進(jìn)行批量數(shù)據(jù)處理。第四個(gè)是ClouderaData Warehouse，也就是數(shù)據(jù)倉庫，可以替換原有的傳統(tǒng)數(shù)據(jù)倉庫。第五個(gè)是Operational Database，基于HBase等一些實(shí)時(shí)的非結(jié)構(gòu)化的數(shù)據(jù)庫，提供互聯(lián)網(wǎng)級(jí)別的對(duì)外服務(wù)。第六個(gè)是機(jī)器學(xué)習(xí)的平臺(tái)。

“Hadoop的解決方案技術(shù)棧很重，客戶拿來還需要定制，門檻高。今天，我們做出了改變，目的是要能讓業(yè)務(wù)部門也能用起來，為此增加方案通用性，讓客戶盡量少定制，另外，我們也交付基于云的數(shù)據(jù)服務(wù)，通過編排的方式去做數(shù)據(jù)服務(wù)?！眲㈦`放介紹說。

他說，CDP的一個(gè)特點(diǎn)是能同時(shí)支持私有云環(huán)境和公有云環(huán)境部署，目前Cloudera已經(jīng)與阿里云達(dá)成合作，在阿里云上就可以獲得云版本的CDP，用以對(duì)企業(yè)的大數(shù)據(jù)進(jìn)行全面的分析和管理，這對(duì)部分技術(shù)能力不足的客戶無疑具有很大吸引力。

04?結(jié)束語

每項(xiàng)技術(shù)都有自己的生命周期，Hadoop已經(jīng)走過了高峰期，但Hadoop所代表的大數(shù)據(jù)生態(tài)還在蓬勃發(fā)展。這些年圍繞Hadoop已經(jīng)構(gòu)建起來一個(gè)完整的生態(tài)，即使企業(yè)沒有用Hadoop，但Hadoop的很多技術(shù)理念，比如Hadoop松耦合的架構(gòu)體系、建立在通用硬件平臺(tái)上的分布式系統(tǒng)設(shè)計(jì)，以及開放的數(shù)據(jù)標(biāo)準(zhǔn)和開源技術(shù)，早就超越了十幾年前的HDFS、MapReduce 的范疇，在更多新興技術(shù)中體現(xiàn)?！耙祸L落，萬物生”，Hadoop時(shí)代不在，但其理念還會(huì)在一個(gè)比過去更廣闊、更有能力的生態(tài)系統(tǒng)中繼續(xù)生生不息乃至發(fā)揚(yáng)光大，從這個(gè)意義上說，Hadoop將長存。

侵權(quán)刪文章來源地址http://www.zghlxwxcb.cn/news/detail-782773.html

到了這里，關(guān)于Hadoop時(shí)代落幕，誰是大數(shù)據(jù)時(shí)代新寵？的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！