相關(guān)文章

• Iceberg從入門到精通系列之六：Flink集成Iceberg

  下載Flink： https://www.apache.org/dyn/closer.lua/flink/flink-1.17.1/flink-1.17.1-bin-scala_2.12.tgz 下載Iceberg flink jar包：iceberg-flink-runtime-1.17-1.3.0.jar https://iceberg.apache.org/releases/ 修改配置文件flink-conf.yaml local模式 修改workers 至此FLink成功集成Iceberg

  2024年02月16日

  瀏覽(24)

• Iceberg從入門到精通系列之十六：Flink Iceberg Connector

  Apache Flink 支持直接創(chuàng)建 Iceberg 表，無(wú)需在 Flink SQL 中創(chuàng)建顯式 Flink 目錄。這意味著我們可以通過(guò)在 Flink SQL 中指定 ‘connector’=‘iceberg’ 表選項(xiàng)來(lái)創(chuàng)建一個(gè) Iceberg 表，與 Flink 官方文檔中的用法類似。 在 Flink 中，SQL CREATE TABLE 測(cè)試 (…)WITH (‘connector’=‘iceberg’, …) 會(huì)在當(dāng)前

  2024年02月16日

  瀏覽(23)

• Iceberg從入門到精通系列之十一：Flink DataStream讀取Iceberg表

  streaming(false) ：false batch方式 streaming(true)：true streaming方式

  2024年02月12日

  瀏覽(21)

• Iceberg從入門到精通系列之十八：一篇文章深入了解Flink對(duì)Iceberg的支持

  Apache Iceberg 支持 Apache Flink 的 DataStream API 和 Table API。 功能支持 Flink 注意事項(xiàng) SQL create catalog ?? SQL create database ?? SQL create table ?? SQL create table like ?? SQL alter table ?? 僅支持更改表屬性，不支持列和分區(qū)更改 SQL drop_table ?? SQL select ?? 支持流式和批處理模式 SQ

  2024年02月16日

  瀏覽(20)

• Iceberg從入門到精通系列之三：創(chuàng)建Iceberg表、修改表結(jié)構(gòu)、插入數(shù)據(jù)、刪除表

  Hive語(yǔ)法創(chuàng)建分區(qū)表，不會(huì)在元數(shù)據(jù)創(chuàng)建分區(qū)，而是將分區(qū)數(shù)據(jù)轉(zhuǎn)換為Iceberg標(biāo)識(shí)分區(qū)。 這種情況下不能使用Iceberg的分區(qū)轉(zhuǎn)換，例如：days(timestamp)，如果想要使用Iceberg格式表的分區(qū)轉(zhuǎn)換標(biāo)識(shí)分區(qū)，需要使用Spark或者Flink引擎創(chuàng)建表。 只支持HiveCatalog表修改表屬性，Iceberg表屬性和

  2024年02月11日

  瀏覽(111)

• Iceberg從入門到精通系列之二：Iceberg集成Hive

  理解Iceberg核心概念可以閱讀博主下面這篇技術(shù)博客： Iceberg從入門到精通系列之一：Iceberg核心概念理解 拷貝Iceberg的jar包到Hive的auxlib目錄中 啟動(dòng)hdfs 啟動(dòng)yarn 啟動(dòng)historyserver Hive的元數(shù)據(jù)服務(wù)是一種存儲(chǔ)和管理Hive表格和數(shù)據(jù)定義的中央服務(wù)，它允許用戶定義表格、分區(qū)和桶等元

  2024年02月12日

  瀏覽(24)

• Iceberg從入門到精通系列之二十二：Spark DDL

  要在 Spark 中使用 Iceberg，請(qǐng)首先配置 Spark 目錄。 Iceberg 使用 Apache Spark 的 DataSourceV2 API 來(lái)實(shí)現(xiàn)數(shù)據(jù)源和目錄。 Spark 3 可以使用 USINGiceberg 子句在任何 Iceberg 目錄中創(chuàng)建表： Iceberg會(huì)將Spark中的列類型轉(zhuǎn)換為對(duì)應(yīng)的Iceberg類型。詳細(xì)信息請(qǐng)查看創(chuàng)建表的類型兼容性部分。 PARTITIONE

  2024年02月19日

  瀏覽(21)

• Flink系列Table API和SQL之：表和流的轉(zhuǎn)換

  從創(chuàng)建表環(huán)境開(kāi)始，歷經(jīng)表的創(chuàng)建、查詢轉(zhuǎn)換和輸出，已經(jīng)可以使用Table API和SQL進(jìn)行完整的流處理了。不過(guò)在應(yīng)用的開(kāi)發(fā)過(guò)程中，我們測(cè)試業(yè)務(wù)邏輯一般不會(huì)直接將結(jié)果直接寫入到外部系統(tǒng)，而是在本地控制臺(tái)打印輸出。對(duì)于DataStream非常容易，直接調(diào)用print()方法就可以看到

  2023年04月08日

  瀏覽(34)
• 

  第二章 Flink集成Iceberg的集成方式及基本SQL使用

  注意事項(xiàng)：一般都是用基于Flink的Hive Catalog，使用HMS存儲(chǔ)表模型數(shù)據(jù) 1、集成方式 （1）下載jar包 下載地址 （2）啟動(dòng)FlinkSQL ①StandLone模式啟動(dòng) ②Flink On Yarn模式啟動(dòng) 2、基本使用 2.1、創(chuàng)建catalog 核心：可創(chuàng)建hive、hadoop、自定義等目錄，創(chuàng)建模板如下 type : 必須的 iceberg 。（必需

  2024年02月08日

  瀏覽(28)
• 

  K8S初級(jí)入門系列之九-共享存儲(chǔ)

  ? ? ?Pod里面的容器都有自己獨(dú)立的文件系統(tǒng)，來(lái)自容器鏡像，用于保存容器運(yùn)行的數(shù)據(jù)，但容器的文件存儲(chǔ)有兩個(gè)弊端，一個(gè)是無(wú)法持久化，其生命周期與容器一致，一旦容器銷毀，相關(guān)的數(shù)據(jù)也就隨之一起銷毀；二是無(wú)法共享，Pod里多個(gè)容器之間無(wú)法共享數(shù)據(jù)，會(huì)導(dǎo)致無(wú)

  2024年02月03日

  瀏覽(24)