国产 无码 综合区,色欲AV无码国产永久播放,无码天堂亚洲国产AV,国产日韩欧美女同一区二区

Apache Paimon使用之 Altering Tables

這篇具有很好參考價(jià)值的文章主要介紹了Apache Paimon使用之 Altering Tables。希望對(duì)大家有所幫助。如果存在錯(cuò)誤或未考慮完全的地方,請(qǐng)大家不吝賜教,您也可以點(diǎn)擊"舉報(bào)違法"按鈕提交疑問(wèn)。

1.改變或增加表屬性

設(shè)置表屬性 write-buffer-size 為256 MB。

Flink 引擎

ALTER TABLE my_table SET (
    'write-buffer-size' = '256 MB'
);

Spark3引擎

ALTER TABLE my_table SET TBLPROPERTIES (
    'write-buffer-size' = '256 MB'
);
2.重命名表

Flink引擎

ALTER TABLE my_table RENAME TO my_table_new;

Spark3引擎

最簡(jiǎn)單的sql調(diào)用是

ALTER TABLE my_table RENAME TO my_table_new;

可以以這種方式重命名paimon表

ALTER TABLE [catalog.[database.]]test1 RENAME to [database.]test2;

不能將Catalog名稱(chēng)放在重命名的表之前,會(huì)報(bào)錯(cuò):

ALTER TABLE catalog.database.test1 RENAME to catalog.database.test2;

注意:如果使用對(duì)象存儲(chǔ),如S3或OSS,請(qǐng)謹(jǐn)慎使用此語(yǔ)法,因?yàn)閷?duì)象存儲(chǔ)的重命名不是原子的,如果發(fā)生故障,只能移動(dòng)失敗的文件。

3.刪除表屬性

Flink引擎

ALTER TABLE my_table RESET ('write-buffer-size');

Spark3引擎

ALTER TABLE my_table UNSET TBLPROPERTIES ('write-buffer-size');
3.添加新列

Flink引擎

ALTER TABLE my_table ADD (c1 INT, c2 STRING);

Spark3引擎

ALTER TABLE my_table ADD COLUMNS (
    c1 INT,
    c2 STRING
);
4.重命名列名

Flink引擎

ALTER TABLE my_table RENAME c0 TO c1;

Spark3引擎

ALTER TABLE my_table RENAME COLUMN c0 TO c1;
5.刪除列

注意:如果在hive catalog中使用,需要在hive server中禁用hive.metastore.disallow.incompatible.col.type.changes。

Flink引擎

ALTER TABLE my_table DROP (c1, c2);

Spark3引擎

ALTER TABLE my_table DROP COLUMNS (c1, c2);

6.刪除分區(qū)

Flink引擎

對(duì)于flink sql,可以指定分區(qū)列的部分列,也可以同時(shí)指定多個(gè)分區(qū)值。

ALTER TABLE MyTable DROP PARTITION (`id` = 1);

ALTER TABLE MyTable DROP PARTITION (`id` = 1, `name` = 'paimon');

ALTER TABLE MyTable DROP PARTITION (`id` = 1), PARTITION (`id` = 2);

Spark3引擎

對(duì)于spark sql,需要指定所有分區(qū)列。

ALTER TABLE MyTable DROP PARTITION (`id` = 1, `name` = 'paimon');
7.更改列是否允許為Null

Flink引擎

CREATE TABLE my_table (id INT PRIMARY KEY NOT ENFORCED, coupon_info FLOAT NOT NULL);

-- Change column `coupon_info` from NOT NULL to nullable
ALTER TABLE my_table MODIFY coupon_info FLOAT;

-- Change column `coupon_info` from nullable to NOT NULL
-- If there are NULL values already, set table option as below to drop those records silently before altering table.
SET 'table.exec.sink.not-null-enforcer' = 'DROP';
ALTER TABLE my_table MODIFY coupon_info FLOAT NOT NULL;

Spark3引擎

ALTER TABLE my_table ALTER COLUMN coupon_info DROP NOT NULL;

注意:將可Null列更改為NOT NULL目前僅Flink引擎支持。

8.更改列注釋

Flink引擎

ALTER TABLE my_table MODIFY buy_count BIGINT COMMENT 'buy count';

Spark3引擎

ALTER TABLE my_table ALTER COLUMN buy_count COMMENT 'buy count';
9.在指定位置添加列

Flink引擎

ALTER TABLE my_table ADD c INT FIRST;

ALTER TABLE my_table ADD c INT AFTER b;

Spark3引擎

ALTER TABLE my_table ADD COLUMN c INT FIRST;

ALTER TABLE my_table ADD COLUMN c INT AFTER b;
10.更改現(xiàn)有列的位置

Flink引擎

ALTER TABLE my_table MODIFY col_a DOUBLE FIRST;

ALTER TABLE my_table MODIFY col_a DOUBLE AFTER col_b;

Spark3引擎

ALTER TABLE my_table ALTER COLUMN col_a FIRST;

ALTER TABLE my_table ALTER COLUMN col_a AFTER col_b;
11.修改列的類(lèi)型

Flink引擎

ALTER TABLE my_table MODIFY col_a DOUBLE;

Spark3引擎

ALTER TABLE my_table ALTER COLUMN col_a TYPE DOUBLE;

支持的類(lèi)型轉(zhuǎn)換

https://paimon.apache.org/docs/0.7/how-to/altering-tables/
12.添加watermark

從現(xiàn)有列log_ts添加一個(gè)計(jì)算列ts,并在列ts上添加一個(gè)帶有策略ts - INTERVAL '1' HOUR的watermark,該列ts被標(biāo)記為表my_table的事件時(shí)間屬性。文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-838827.html

ALTER TABLE my_table ADD (
    ts AS TO_TIMESTAMP(log_ts) AFTER log_ts,
    WATERMARK FOR ts AS ts - INTERVAL '1' HOUR
);
13.刪除watermark
ALTER TABLE my_table DROP WATERMARK;
14.修改watermark策略
ALTER TABLE my_table MODIFY WATERMARK FOR ts AS ts - INTERVAL '2' HOUR

到了這里,關(guān)于Apache Paimon使用之 Altering Tables的文章就介紹完了。如果您還想了解更多內(nèi)容,請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章,希望大家以后多多支持TOY模板網(wǎng)!

本文來(lái)自互聯(lián)網(wǎng)用戶(hù)投稿,該文觀點(diǎn)僅代表作者本人,不代表本站立場(chǎng)。本站僅提供信息存儲(chǔ)空間服務(wù),不擁有所有權(quán),不承擔(dān)相關(guān)法律責(zé)任。如若轉(zhuǎn)載,請(qǐng)注明出處: 如若內(nèi)容造成侵權(quán)/違法違規(guī)/事實(shí)不符,請(qǐng)點(diǎn)擊違法舉報(bào)進(jìn)行投訴反饋,一經(jīng)查實(shí),立即刪除!

領(lǐng)支付寶紅包贊助服務(wù)器費(fèi)用

相關(guān)文章

  • 新一代數(shù)據(jù)湖存儲(chǔ)技術(shù)Apache Paimon入門(mén)Demo

    新一代數(shù)據(jù)湖存儲(chǔ)技術(shù)Apache Paimon入門(mén)Demo

    目錄 前言 1. 什么是 Apache Paimon 一、本地環(huán)境快速上手 1、本地Flink偽集群 2、IDEA中跑Paimon Demo 2.1 代碼 2.2 IDEA中成功運(yùn)行 3、IDEA中Stream讀寫(xiě) 3.1 流寫(xiě) 3.2 流讀(toChangeLogStream) 二、進(jìn)階:本地(IDEA)多流拼接測(cè)試 要解決的問(wèn)題: note: 1、\\\'changelog-producer\\\' = \\\'full-compaction\\\' (1)m

    2024年02月08日
    瀏覽(22)
  • Apache Paimon 文件管理

    Apache Paimon 文件管理

    管理小文件 許多用戶(hù)關(guān)注小文件問(wèn)題,可能導(dǎo)致以下情況: 穩(wěn)定性問(wèn)題:HDFS 中如果存在太多小文件的話會(huì)導(dǎo)致 NameNode 壓力過(guò)大 成本問(wèn)題:在 HDFS 中,每個(gè)小文件都會(huì)占用至少一個(gè)數(shù)據(jù)塊的大小,例如 128 MB 查詢(xún)效率:查詢(xún)過(guò)多小文件會(huì)影響查詢(xún)效率 理解 Checkpoint 假設(shè)你正

    2024年02月21日
    瀏覽(20)
  • Apache Doris大規(guī)模數(shù)據(jù)使用指南

    目錄 一、發(fā)展歷史 二、架構(gòu)介紹 彈性MPP架構(gòu)-極簡(jiǎn)架構(gòu) 邏輯架構(gòu) 基本訪問(wèn)架構(gòu) 三、Doris的數(shù)據(jù)分布

    2024年02月12日
    瀏覽(20)
  • 掌握實(shí)時(shí)數(shù)據(jù)流:使用Apache Flink消費(fèi)Kafka數(shù)據(jù)

    掌握實(shí)時(shí)數(shù)據(jù)流:使用Apache Flink消費(fèi)Kafka數(shù)據(jù)

    ? ? ? ? 導(dǎo)讀:使用Flink實(shí)時(shí)消費(fèi)Kafka數(shù)據(jù)的案例是探索實(shí)時(shí)數(shù)據(jù)處理領(lǐng)域的絕佳方式。不僅非常實(shí)用,而且對(duì)于理解現(xiàn)代數(shù)據(jù)架構(gòu)和流處理技術(shù)具有重要意義。 ????????Apache Flink ?是一個(gè)在 有界 數(shù)據(jù)流和 無(wú)界 數(shù)據(jù)流上進(jìn)行有狀態(tài)計(jì)算分布式處理引擎和框架。Flink 設(shè)計(jì)旨

    2024年02月03日
    瀏覽(31)
  • 使用 Apache Kafka 和 Go 將數(shù)據(jù)引入 OpenSearch

    使用 Apache Kafka 和 Go 將數(shù)據(jù)引入 OpenSearch

    ????????需要編寫(xiě)自定義集成層來(lái)滿(mǎn)足數(shù)據(jù)管道中的特定要求?了解如何使用 Go 通過(guò) Kafka 和 OpenSearch 實(shí)現(xiàn)此目的。 ????????可擴(kuò)展的數(shù)據(jù)攝取是OpenSearch等大規(guī)模分布式搜索和分析引擎的一個(gè)關(guān)鍵方面。構(gòu)建實(shí)時(shí)數(shù)據(jù)攝取管道的方法之一是使用Apache Kafka。它是一個(gè)開(kāi)源

    2024年02月12日
    瀏覽(26)
  • 如何使用Docker部署Apache+Superset數(shù)據(jù)平臺(tái)并遠(yuǎn)程訪問(wèn)?

    Superset是一款由中國(guó)知名科技公司開(kāi)源的“現(xiàn)代化的企業(yè)級(jí)BI(商業(yè)智能)Web應(yīng)用程序”,其通過(guò)創(chuàng)建和分享dashboard,為數(shù)據(jù)分析提供了輕量級(jí)的數(shù)據(jù)查詢(xún)和可視化方案。Superset在數(shù)據(jù)處理和可視化方面具有強(qiáng)大的功能,能夠滿(mǎn)足企業(yè)級(jí)的數(shù)據(jù)分析需求,并為用戶(hù)提供直觀、靈

    2024年02月04日
    瀏覽(17)
  • Apache DolphinScheduler 支持使用 OceanBase 作為元數(shù)據(jù)庫(kù)啦!

    Apache DolphinScheduler 支持使用 OceanBase 作為元數(shù)據(jù)庫(kù)啦!

    DolphinScheduler是一個(gè)開(kāi)源的分布式任務(wù)調(diào)度系統(tǒng),擁有分布式架構(gòu)、多任務(wù)類(lèi)型、可視化操作、分布式調(diào)度和高可用等特性,適用于大規(guī)模分布式任務(wù)調(diào)度的場(chǎng)景。目前DolphinScheduler支持的元數(shù)據(jù)庫(kù)有Mysql、PostgreSQL、H2,如果在業(yè)務(wù)中需要更好的性能和擴(kuò)展性,可以在DolphinSche

    2024年02月12日
    瀏覽(22)
  • Apache Spark 練習(xí)六:使用Spark分析音樂(lè)專(zhuān)輯數(shù)據(jù)

    本章所分析的數(shù)據(jù)來(lái)自于Kaggle公開(kāi)的、人工合成的音樂(lè)專(zhuān)輯發(fā)行數(shù)據(jù)(https://www.kaggle.com/datasets/revilrosa/music-label-dataset)。以下,我們只針對(duì)albums.csv文件進(jìn)行分析。該數(shù)據(jù)具體包括以下字段: id: the album identifier; artist_id: the artist identifier; album_title: the title of the album; genre: the

    2024年02月15日
    瀏覽(34)
  • Azure - 機(jī)器學(xué)習(xí):使用 Apache Spark 進(jìn)行交互式數(shù)據(jù)整理

    Azure - 機(jī)器學(xué)習(xí):使用 Apache Spark 進(jìn)行交互式數(shù)據(jù)整理

    關(guān)注TechLead,分享AI全維度知識(shí)。作者擁有10+年互聯(lián)網(wǎng)服務(wù)架構(gòu)、AI產(chǎn)品研發(fā)經(jīng)驗(yàn)、團(tuán)隊(duì)管理經(jīng)驗(yàn),同濟(jì)本復(fù)旦碩,復(fù)旦機(jī)器人智能實(shí)驗(yàn)室成員,阿里云認(rèn)證的資深架構(gòu)師,項(xiàng)目管理專(zhuān)業(yè)人士,上億營(yíng)收AI產(chǎn)品研發(fā)負(fù)責(zé)人。 數(shù)據(jù)整理已經(jīng)成為機(jī)器學(xué)習(xí)項(xiàng)目中最重要的步驟之一。

    2024年02月08日
    瀏覽(29)
  • 使用Apache POI數(shù)據(jù)導(dǎo)出及EasyExcel進(jìn)行十萬(wàn)、百萬(wàn)的數(shù)據(jù)導(dǎo)出

    Apache POI 是基于 Office Open XML 標(biāo)準(zhǔn)( OOXML )和 Microsoft 的 OLE 2 復(fù)合?檔 格式( OLE2 )處理各種?件格式的開(kāi)源項(xiàng)?。 簡(jiǎn)??之,您可以使? Java 讀寫(xiě) MS Excel ?件,可以使? Java 讀寫(xiě) MS Word 和 MS PowerPoint ?件。 1.HSSF - 提供讀寫(xiě) Microsoft Excel XLS 格式 (Microsoft Excel 97 (-2003)) 檔案

    2024年02月15日
    瀏覽(21)

覺(jué)得文章有用就打賞一下文章作者

支付寶掃一掃打賞

博客贊助

微信掃一掃打賞

請(qǐng)作者喝杯咖啡吧~博客贊助

支付寶掃一掃領(lǐng)取紅包,優(yōu)惠每天領(lǐng)

二維碼1

領(lǐng)取紅包

二維碼2

領(lǐng)紅包