国产 无码 综合区,色欲AV无码国产永久播放,无码天堂亚洲国产AV,国产日韩欧美女同一区二区

Iceberg從入門到精通系列之五:Zeppelin集成iceberg,創(chuàng)建iceberg普通表和分區(qū)表,并插入數(shù)據(jù)

這篇具有很好參考價(jià)值的文章主要介紹了Iceberg從入門到精通系列之五:Zeppelin集成iceberg,創(chuàng)建iceberg普通表和分區(qū)表,并插入數(shù)據(jù)。希望對大家有所幫助。如果存在錯誤或未考慮完全的地方,請大家不吝賜教,您也可以點(diǎn)擊"舉報(bào)違法"按鈕提交疑問。

一、Zeppelin集成iceberg

  • Zeppelin支持Flink SQL
  • Flink SQL支持iceberg
  • Zeppelin集成Flink SQL后,就可以在Zeppelin上創(chuàng)建iceberg表了

下面演示下Zeppelin集成iceberg后,創(chuàng)建表,插入數(shù)據(jù)的方便性。文章來源地址http://www.zghlxwxcb.cn/news/detail-515808.html

二、查看catalog

show catalogs;

default_catalog
hive
iceberg

三、使用數(shù)據(jù)庫

use debeziumtest;

四、查看表

show tables;
productinfo

五、創(chuàng)建表

CREATE TABLE `productInfo` (
  `id` int,
  `productId` string,
  `name` string,
  `description` string,
  `weight` float
) 

六、插入數(shù)據(jù)

insert into iceberg.ods_stg.productInfo values(2,'1206827245738502144','scooter','Small 2-wheel scooter',3.14);

七、查詢數(shù)據(jù)

select * from productInfo

2   1206827245738502144   scooter    Small 2-wheel scooter   3.140000104904175

八、創(chuàng)建分區(qū)表

CREATE TABLE `stu` (id int,name string, age int)
PARTITIONED BY (age)

九、分區(qū)表插入數(shù)據(jù)

insert into stu values(3,'殺sheng',16),(4,'鳴人',19)

十、查詢分區(qū)表數(shù)據(jù)

select * from stu
4     鳴人      19

到了這里,關(guān)于Iceberg從入門到精通系列之五:Zeppelin集成iceberg,創(chuàng)建iceberg普通表和分區(qū)表,并插入數(shù)據(jù)的文章就介紹完了。如果您還想了解更多內(nèi)容,請?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章,希望大家以后多多支持TOY模板網(wǎng)!

本文來自互聯(lián)網(wǎng)用戶投稿,該文觀點(diǎn)僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務(wù),不擁有所有權(quán),不承擔(dān)相關(guān)法律責(zé)任。如若轉(zhuǎn)載,請注明出處: 如若內(nèi)容造成侵權(quán)/違法違規(guī)/事實(shí)不符,請點(diǎn)擊違法舉報(bào)進(jìn)行投訴反饋,一經(jīng)查實(shí),立即刪除!

領(lǐng)支付寶紅包贊助服務(wù)器費(fèi)用

相關(guān)文章

  • Iceberg從入門到精通系列之八:flink sql 創(chuàng)建Iceberg表

    建表命令支持最常用的flink建表語法,包括: PARTITION BY(column1,column2,…):配置分區(qū),apache flink不支持隱藏分區(qū)。 COMMENT ‘table document’:指定表的備注 WITH(‘key’=‘value’,…):設(shè)置表屬性

    2024年02月11日
    瀏覽(26)
  • Iceberg從入門到精通系列之十一:Flink DataStream讀取Iceberg表

    streaming(false) :false batch方式 streaming(true):true streaming方式

    2024年02月12日
    瀏覽(21)
  • Iceberg從入門到精通系列之三:創(chuàng)建Iceberg表、修改表結(jié)構(gòu)、插入數(shù)據(jù)、刪除表

    Hive語法創(chuàng)建分區(qū)表,不會在元數(shù)據(jù)創(chuàng)建分區(qū),而是將分區(qū)數(shù)據(jù)轉(zhuǎn)換為Iceberg標(biāo)識分區(qū)。 這種情況下不能使用Iceberg的分區(qū)轉(zhuǎn)換,例如:days(timestamp),如果想要使用Iceberg格式表的分區(qū)轉(zhuǎn)換標(biāo)識分區(qū),需要使用Spark或者Flink引擎創(chuàng)建表。 只支持HiveCatalog表修改表屬性,Iceberg表屬性和

    2024年02月11日
    瀏覽(111)
  • Iceberg從入門到精通系列之十八:一篇文章深入了解Flink對Iceberg的支持

    Apache Iceberg 支持 Apache Flink 的 DataStream API 和 Table API。 功能支持 Flink 注意事項(xiàng) SQL create catalog ?? SQL create database ?? SQL create table ?? SQL create table like ?? SQL alter table ?? 僅支持更改表屬性,不支持列和分區(qū)更改 SQL drop_table ?? SQL select ?? 支持流式和批處理模式 SQ

    2024年02月16日
    瀏覽(20)
  • Iceberg從入門到精通系列之二十二:Spark DDL

    要在 Spark 中使用 Iceberg,請首先配置 Spark 目錄。 Iceberg 使用 Apache Spark 的 DataSourceV2 API 來實(shí)現(xiàn)數(shù)據(jù)源和目錄。 Spark 3 可以使用 USINGiceberg 子句在任何 Iceberg 目錄中創(chuàng)建表: Iceberg會將Spark中的列類型轉(zhuǎn)換為對應(yīng)的Iceberg類型。詳細(xì)信息請查看創(chuàng)建表的類型兼容性部分。 PARTITIONE

    2024年02月19日
    瀏覽(21)
  • Iceberg從入門到精通系列之十:flink sql往Iceberg表插入數(shù)據(jù),Batch模式和Streaming模式查詢數(shù)據(jù)

    僅支持Flink的Batch模式 當(dāng)將數(shù)據(jù)寫入v2表格時(shí),Iceberg支持基于主鍵的UPSERT。有兩種方法可以啟用upsert。 建表時(shí)指定 UPSERT模式下,如果對表進(jìn)行分區(qū),則分區(qū)字段必須是主鍵。 Batch模式: Streaming模式: 從當(dāng)前快照讀取所有記錄,然后從該快照讀取增量數(shù)據(jù) 讀取指定快照id(不包

    2024年02月12日
    瀏覽(26)
  • Iceberg從入門到精通系列之七:Flink SQL創(chuàng)建Catalog

    type:必須是iceberg catalog-type:內(nèi)置了hive和hadoop兩種catalog,也可以使用catalog-impl來自定義catalog。 catalog-impl:自定義catalog實(shí)現(xiàn)的全限定類名。如果未設(shè)置catalog-type,則必須設(shè)置。 property-version:描述屬性版本的版本號。此屬性可用于向后兼容,以防屬性格式更改。當(dāng)前屬性版本

    2024年02月11日
    瀏覽(24)
  • 數(shù)據(jù)湖Iceberg-FlinkSQL集成(5)

    數(shù)據(jù)湖Iceberg-FlinkSQL集成(5)

    數(shù)據(jù)湖Iceberg-簡介(1) 數(shù)據(jù)湖Iceberg-存儲結(jié)構(gòu)(2) 數(shù)據(jù)湖Iceberg-Hive集成Iceberg(3) 數(shù)據(jù)湖Iceberg-SparkSQL集成(4) 數(shù)據(jù)湖Iceberg-FlinkSQL集成(5) 數(shù)據(jù)湖Iceberg-FlinkSQL-kafka類型表數(shù)據(jù)無法成功寫入(6) 數(shù)據(jù)湖Iceberg-Flink DataFrame集成(7) Flink與Iceberg的版本對應(yīng)關(guān)系如下 Flink 版本 Iceberg 版本 1.11 0.9.0 –

    2023年04月26日
    瀏覽(16)
  • 第二章 Flink集成Iceberg的集成方式及基本SQL使用

    第二章 Flink集成Iceberg的集成方式及基本SQL使用

    注意事項(xiàng):一般都是用基于Flink的Hive Catalog,使用HMS存儲表模型數(shù)據(jù) 1、集成方式 (1)下載jar包 下載地址 (2)啟動FlinkSQL ①StandLone模式啟動 ②Flink On Yarn模式啟動 2、基本使用 2.1、創(chuàng)建catalog 核心:可創(chuàng)建hive、hadoop、自定義等目錄,創(chuàng)建模板如下 type : 必須的 iceberg 。(必需

    2024年02月08日
    瀏覽(29)
  • 數(shù)據(jù)湖Iceberg介紹和使用(集成Hive、SparkSQL、FlinkSQL)

    數(shù)據(jù)湖Iceberg介紹和使用(集成Hive、SparkSQL、FlinkSQL)

    概述 為了解決數(shù)據(jù)存儲和計(jì)算引擎之間的適配的問題,Netflix開發(fā)了Iceberg,2018年11月16日進(jìn)入Apache孵化器,2020 年5月19日從孵化器畢業(yè),成為Apache的頂級項(xiàng)目。 Iceberg是一個(gè)面向海量數(shù)據(jù)分析場景的 開放表格式(Table Format) 。表格式(Table Format)可以理解為 元數(shù)據(jù)以及數(shù)據(jù)文

    2024年02月10日
    瀏覽(41)

覺得文章有用就打賞一下文章作者

支付寶掃一掃打賞

博客贊助

微信掃一掃打賞

請作者喝杯咖啡吧~博客贊助

支付寶掃一掃領(lǐng)取紅包,優(yōu)惠每天領(lǐng)

二維碼1

領(lǐng)取紅包

二維碼2

領(lǐng)紅包