數(shù)據(jù)湖是大數(shù)據(jù)近年來(lái)的網(wǎng)紅項(xiàng)目，大家熟知的開(kāi)源數(shù)據(jù)湖三劍客 Apache hudi、Apache iceberg 、Databricks delta 近年來(lái)野蠻生長(zhǎng)，目前各自背后也都有商業(yè)公司支持，投入了大量的人力物力去做研發(fā)和宣傳。然而今天我們要講的是數(shù)據(jù)湖界的后起之秀 —— flink-table-store。

熟悉 Flink 項(xiàng)目的同學(xué)對(duì)這個(gè)項(xiàng)目應(yīng)該并不陌生，它在去年作為 Flink 的子項(xiàng)目加入了 Apache 社區(qū)，由 Flink 團(tuán)隊(duì)主導(dǎo)研發(fā)，截止到目前 star 數(shù) 423，fork 數(shù) 171，總體來(lái)說(shuō)并不算大火，也許是因?yàn)殚_(kāi)源的時(shí)間并不長(zhǎng)，也許是因?yàn)閿?shù)據(jù)湖市場(chǎng)早已被三劍客占據(jù)了大半，也許是宣傳的力度不夠，也許是 Flink 子項(xiàng)目限制了它作為數(shù)據(jù)湖產(chǎn)品的發(fā)展。然而可能也正是這些種種的原因促成了這次 flink-table-store 作為獨(dú)立項(xiàng)目重新加入 Apache，不再依附 Flink，這無(wú)論是對(duì)于 flink-table-store 的未來(lái)發(fā)展，還是對(duì)于數(shù)據(jù)湖領(lǐng)域來(lái)說(shuō)都是一件好事。

從 Apache 的提案可以看出，flink-table-store 作為獨(dú)立項(xiàng)目后的項(xiàng)目名是 Paimon，玩過(guò)原神的同學(xué)應(yīng)該對(duì)這個(gè)名字不陌生，它是游戲中的 NPC，作為向?qū)г谡麄€(gè)冒險(xiǎn)過(guò)程中陪伴著旅行者，至于 Paimon 具體的寓意可能得等官宣解釋了。

說(shuō)回正題，Paimon 的定位是分布式文件系統(tǒng)（HDFS、S3 等）上的數(shù)據(jù)文件支持的湖存儲(chǔ)，用于使用大數(shù)據(jù)計(jì)算引擎（即 Flink、Spark、Hive、Trino 等）為流式處理和批處理構(gòu)建動(dòng)態(tài)表，支持高速數(shù)據(jù)攝取和實(shí)時(shí)數(shù)據(jù)查詢。與其他數(shù)據(jù)湖存儲(chǔ)項(xiàng)目不同，Paimon 旨在同時(shí)支持高吞吐量和低端到端延遲（更好的數(shù)據(jù)新鮮度），尤其適用于密集型 UPDATE 和 DELETE 工作負(fù)載。

Paimon 獨(dú)立加入Apache 后的一些規(guī)劃：

• 擴(kuò)展Paimon的生態(tài)，提供獨(dú)立的Java API，支持
  Spark、Hive、Trino、Presto、Doris等更多大數(shù)據(jù)引擎的讀寫(xiě)。
• 補(bǔ)充關(guān)鍵能力，特別是流式讀取和密集更新/刪除，以創(chuàng)建統(tǒng)一且易于使用的流式數(shù)據(jù)倉(cāng)庫(kù)（lakehouse）。
• 成長(zhǎng)為一個(gè)更有活力和中立的開(kāi)源社區(qū)。（關(guān)鍵詞“中立”，這也是促成Paimon獨(dú)立的主要原因）

Paimon 解決的痛點(diǎn)

隨著流處理在生產(chǎn)中的應(yīng)用（Flink、Spark-Streaming等技術(shù)），對(duì)存儲(chǔ)同時(shí)支持更新、刪除和流式讀取的需求越來(lái)越大，為了支持這樣的要求我們有如下一些方案：

• 一種選擇是使用 OLAP 系統(tǒng)，如 ClickHouse 和 Aapache Doris，它們能夠提供高速數(shù)據(jù)攝取。但是不支持流式讀取，存儲(chǔ)成本比較高。
• 另一種選擇是使用現(xiàn)有的湖存儲(chǔ)，例如 Apache Hudi 和 Apache Iceberg。然而，從實(shí)時(shí)處理系統(tǒng)高速攝取最新（更新）數(shù)據(jù)提出了巨大的挑戰(zhàn)，并且會(huì)使兩個(gè)系統(tǒng)不堪重負(fù)。

創(chuàng)建 Paimon 就是為了解決現(xiàn)有解決方案的局限

• 支持大數(shù)據(jù)集存儲(chǔ)，支持批流式讀寫(xiě)。
• 支持流消費(fèi)的增量快照。
• 支持最低延遲至毫秒的流式查詢。
• 支持批處理/OLAP 查詢，延遲最小到秒級(jí)。

Paimon 基本原理說(shuō)明

Paimon原生采用LSM（Log-Structured Merge-tree）作為其底層數(shù)據(jù)結(jié)構(gòu)，除了常見(jiàn)的湖存儲(chǔ)能力外，還為帶主鍵的數(shù)據(jù)提供了增強(qiáng)的性能。更重要的是，Paimon 支持批流操作（讀和寫(xiě)），方便應(yīng)用程序追求批流統(tǒng)一語(yǔ)義。具體來(lái)說(shuō)：

• Paimon 利用 LSM 數(shù)據(jù)結(jié)構(gòu)的附加寫(xiě)入功能，在密集的更新/刪除工作負(fù)載上提供出色的性能。
• Paimon 利用 LSM 的有序特性支持有效的過(guò)濾器下推，可以將主鍵過(guò)濾查詢的延遲降低到毫秒級(jí)。
• Paimon 支持各種（基于行或行列）文件格式，包括 Apache Avro、Apache ORC 和 Apache Parquet（行在寫(xiě)出之前將按主鍵排序）。
• Paimon提供的表可以被各種引擎查詢，包括Apache Flink、Apache Spark、Apache Hive、Trino等。
• Paimon 的元數(shù)據(jù)是自我管理的，存儲(chǔ)在分布式文件系統(tǒng)上，可以同步到 Hive metastore (HMS)。
• 除了常見(jiàn)的批量讀寫(xiě)支持外，Paimon 還支持流式讀取和更改數(shù)據(jù)饋送。

目前該提案正在郵件討論的階段，孵化器導(dǎo)師對(duì)該項(xiàng)目獨(dú)立加入 ASF 都持贊同態(tài)度，相信不久就會(huì)官宣這一消息。

另外有導(dǎo)師提出，鑒于大多數(shù)參與人員都熟悉 ASF 以及項(xiàng)目應(yīng)該如何運(yùn)作，是否可以不進(jìn)過(guò)孵化器而直接作為單獨(dú)的頂級(jí)項(xiàng)目（TLP）。比如 Apache Camel 是 Apache ActiveMQ 的一個(gè)子項(xiàng)目， 它沒(méi)有經(jīng)過(guò)孵化器過(guò)程就成為了 TLP，因?yàn)榇蠖鄶?shù)開(kāi)發(fā)人員知道如何運(yùn)行 ASF 項(xiàng)目。該方案目前還在討論當(dāng)中。

隨著 Paimon 的獨(dú)立，數(shù)據(jù)湖市場(chǎng)的爭(zhēng)奪將進(jìn)入白熱化階段，其實(shí)百花齊發(fā)對(duì)于用戶來(lái)說(shuō)是利好的，良性競(jìng)爭(zhēng)可以促進(jìn)項(xiàng)目的快速迭代，但是在做選擇上還是得頭痛一會(huì)兒了，關(guān)于數(shù)據(jù)湖“四劍客”技術(shù)細(xì)節(jié)的文章后續(xù)會(huì)在這個(gè)公眾號(hào)上陸續(xù)更新，歡迎持續(xù)關(guān)注。不知道這次 Paimon 可以在數(shù)據(jù)湖領(lǐng)域掀起多大的浪，讓我們拭目以待！文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-472382.html

到了這里，關(guān)于重磅！flink-table-store將作為獨(dú)立數(shù)據(jù)湖項(xiàng)目重入apache的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！