国产 无码 综合区,色欲AV无码国产永久播放,无码天堂亚洲国产AV,国产日韩欧美女同一区二区

【flink報(bào)錯】flink cdc無主鍵時(shí)的操作

這篇具有很好參考價(jià)值的文章主要介紹了【flink報(bào)錯】flink cdc無主鍵時(shí)的操作。希望對大家有所幫助。如果存在錯誤或未考慮完全的地方,請大家不吝賜教,您也可以點(diǎn)擊"舉報(bào)違法"按鈕提交疑問。

一. 報(bào)錯

“org.apache.flink.table.api.validationexception: ‘scan.incremental.snapshot.chunk.key-column’ must be set when the table doesn’t have primary keys”

報(bào)錯提示當(dāng)表沒有主鍵時(shí),必須設(shè)置 ‘scan.incremental.snapshot.chunk.key-column’。

這里表沒有主鍵,不是flink table中設(shè)置的primary key,而是物理表中沒有主鍵。

二. 解決

如上述報(bào)錯提示:在創(chuàng)建表的時(shí)候,為沒有主鍵的表指定一個(gè)唯一的標(biāo)識列作為’scan.incremental.snapshot.chunk.key-column’。如下

為MY_TABLE表指定了id列作為’scan.incremental.snapshot.chunk.key-column’。這樣就可以解決沒有主鍵的表無法進(jìn)行增量捕獲的問題。文章來源地址http://www.zghlxwxcb.cn/news/detail-856139.html



CREATE TABLE IF NOT EXISTS my_table (
id BIGINT,
name STRING,
age INT,
PRIMARY KEY (id) NOT ENFORCED
) WITH (
'connector' = 'mysql-cdc',
'hostname' = 'xxx',
'port' = '1521',
'username' = 'conn_uat',
'password' = 'xxxx',
'database-name' = 'CONN_UAT',
'schema-name' = 'strc',
'table-name' = 'MY_TABLE',
'scan.incremental.snapshot.chunk.key-column' = 'id'
);


到了這里,關(guān)于【flink報(bào)錯】flink cdc無主鍵時(shí)的操作的文章就介紹完了。如果您還想了解更多內(nèi)容,請?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章,希望大家以后多多支持TOY模板網(wǎng)!

本文來自互聯(lián)網(wǎng)用戶投稿,該文觀點(diǎn)僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務(wù),不擁有所有權(quán),不承擔(dān)相關(guān)法律責(zé)任。如若轉(zhuǎn)載,請注明出處: 如若內(nèi)容造成侵權(quán)/違法違規(guī)/事實(shí)不符,請點(diǎn)擊違法舉報(bào)進(jìn)行投訴反饋,一經(jīng)查實(shí),立即刪除!

領(lǐng)支付寶紅包贊助服務(wù)器費(fèi)用

相關(guān)文章

  • flink cdc報(bào)錯

    flink cdc報(bào)錯

    按照官網(wǎng)demo在我線上idea 模塊執(zhí)行任務(wù)報(bào)錯 https://github.com/ververica/flink-cdc-connectors 執(zhí)行flink cdc 報(bào)錯,ClassNotFoundException: org.apache.kafka.common.utils.ThreadUtils 引入的依賴如下 查看pom依賴發(fā)現(xiàn)和官網(wǎng)方式引入的kafka jar 不一樣 ? ? 后經(jīng)過排查 發(fā)現(xiàn)是.iml文件內(nèi)固定是kafka1.0.2的jar ? 刪

    2024年02月15日
    瀏覽(14)
  • Flink實(shí)戰(zhàn)-(6)FlinkSQL實(shí)現(xiàn)CDC

    FlinkSQL說明 Flink SQL 是 Flink 實(shí)時(shí)計(jì)算為簡化計(jì)算模型,降低用戶使用實(shí)時(shí)計(jì)算門檻而設(shè)計(jì)的一套符合標(biāo)準(zhǔn) SQL 語義的開發(fā)語言。 自 2015 年開始,阿里巴巴開始調(diào)研開源流計(jì)算引擎,最終決定基于 Flink 打造新一代計(jì)算引擎,針對 Flink 存在的不足進(jìn)行優(yōu)化和改進(jìn),并且在 2019 年初

    2023年04月26日
    瀏覽(26)
  • 【實(shí)戰(zhàn)-01】flink cdc 實(shí)時(shí)數(shù)據(jù)同步利器

    【實(shí)戰(zhàn)-01】flink cdc 實(shí)時(shí)數(shù)據(jù)同步利器

    cdc github源碼地址 cdc官方文檔 對很多初入門的人來說是無法理解cdc到底是什么個(gè)東西。 有這樣一個(gè)需求,比如在mysql數(shù)據(jù)庫中存在很多數(shù)據(jù),但是公司要把mysql中的數(shù)據(jù)同步到數(shù)據(jù)倉庫(starrocks), 數(shù)據(jù)倉庫你可以理解為存儲了各種各樣來自不同數(shù)據(jù)庫中表。 數(shù)據(jù)的同步目前對

    2023年04月08日
    瀏覽(94)
  • Doris通過Flink CDC接入MySQL實(shí)戰(zhàn)

    1. 創(chuàng)建MySQL庫表,寫入demo數(shù)據(jù) 登錄測試MySQL 創(chuàng)建MySQL庫表,寫入demo數(shù)據(jù) 注意:MySQL需要開通bin-log log_bin=mysql_bin binlog-format=Row server-id=1 2. 創(chuàng)建Doris庫表 創(chuàng)建Doris表 3. 啟動Flink 啟動flink 創(chuàng)建Flink 任務(wù): 輸入如下地址,查看flink任務(wù) http://localhost:8081/#/job/running 數(shù)據(jù)驗(yàn)證:啟動后可

    2023年04月10日
    瀏覽(23)
  • 實(shí)戰(zhàn):大數(shù)據(jù)Flink CDC同步Mysql數(shù)據(jù)到ElasticSearch

    實(shí)戰(zhàn):大數(shù)據(jù)Flink CDC同步Mysql數(shù)據(jù)到ElasticSearch

    前面的博文我們分享了大數(shù)據(jù)分布式流處理計(jì)算框架Flink和其基礎(chǔ)環(huán)境的搭建,相信各位看官都已經(jīng)搭建好了自己的運(yùn)行環(huán)境。那么,今天就來實(shí)戰(zhàn)一把使用Flink CDC同步Mysql數(shù)據(jù)導(dǎo)Elasticsearch。 CDC簡介 CDC 的全稱是 Change Data Capture(變更數(shù)據(jù)捕獲技術(shù)) ,在廣義的概念上,只要

    2024年02月09日
    瀏覽(22)
  • flink CDC-SqlServerCDC 開啟代理及SQL Server開啟CDC的完整操作過程

    flink CDC-SqlServerCDC 開啟代理及SQL Server開啟CDC的完整操作過程

    寫在前面 SQL Server開啟CDC 1. 將指定庫的實(shí)例先開啟CDC 2. 開啟需要開啟CDC的表 3. 關(guān)閉CDC功能 更詳細(xì)信息參照官網(wǎng) 鑒于老舊數(shù)據(jù)的結(jié)構(gòu)和項(xiàng)目都在sqlserver上存儲,且遷移成本巨大,當(dāng)下要為sqlserver的存儲過程減負(fù)。要將一部分流式的動態(tài)數(shù)據(jù)實(shí)現(xiàn)實(shí)時(shí)查詢并存儲數(shù)倉。那在現(xiàn)有

    2024年02月11日
    瀏覽(22)
  • Flink CDC SQL Oracle to Postgresql與jdbc連接oracle報(bào)錯處理

    Flink CDC SQL Oracle to Postgresql與jdbc連接oracle報(bào)錯處理

    flink-cdc官網(wǎng):Oracle CDC Connector — CDC Connectors for Apache Flink? documentation Flink環(huán)境依賴: (3)啟用日志歸檔 (4)檢查是否啟用了日志歸檔 (5)創(chuàng)建具有權(quán)限的 Oracle 用戶 (5.1)。創(chuàng)建表空間 (5.2)。創(chuàng)建用戶并授予權(quán)限 Flink SQL 客戶端連接器測試: 創(chuàng)建 Oracle 鏈接器 返回內(nèi)容 以上代

    2024年02月11日
    瀏覽(23)
  • 07_Hudi案例實(shí)戰(zhàn)、Flink CDC 實(shí)時(shí)數(shù)據(jù)采集、Presto、FineBI 報(bào)表可視化等

    07_Hudi案例實(shí)戰(zhàn)、Flink CDC 實(shí)時(shí)數(shù)據(jù)采集、Presto、FineBI 報(bào)表可視化等

    7.第七章 Hudi案例實(shí)戰(zhàn) 7.1 案例架構(gòu) 7.2 業(yè)務(wù)數(shù)據(jù) 7.2.1 客戶信息表 7.2.2 客戶意向表 7.2.3 客戶線索表 7.2.4 線索申訴表 7.2.5 客戶訪問咨詢記錄表 7.3 Flink CDC 實(shí)時(shí)數(shù)據(jù)采集 7.3.1 開啟MySQL binlog 7.3.2 環(huán)境準(zhǔn)備 7.3.3 實(shí)時(shí)采集數(shù)據(jù) 7.3.3.1 客戶信息表 7.3.3.2 客戶意向表 7.3.3.3 客戶線索表 7

    2024年02月13日
    瀏覽(29)
  • Flink連接Hbase時(shí)的kafka報(bào)錯:java.lang.NoClassDefFoundError: org/apache/kafka/common/utils/ThreadUtils

    Flink連接Hbase時(shí)的kafka報(bào)錯:java.lang.NoClassDefFoundError: org/apache/kafka/common/utils/ThreadUtils

    書接上文 【Flink實(shí)時(shí)數(shù)倉】需求一:用戶屬性維表處理-Flink CDC 連接 MySQL 至 Hbase 實(shí)驗(yàn)及報(bào)錯分析http://t.csdn.cn/bk96r 我隔了一天跑Hbase中的數(shù)據(jù),發(fā)現(xiàn)kafka報(bào)錯,但是kafka在這個(gè)代碼段中并沒有使用,原因就是我在今天的其他項(xiàng)目中添加的kafka依賴導(dǎo)致了沖突。 注釋掉kafka依賴,

    2024年02月04日
    瀏覽(36)
  • 【Phoenix】phoenix實(shí)現(xiàn)每個(gè)Primarykey主鍵保留N版本數(shù)據(jù),CDC數(shù)據(jù)記錄為Changelog格式

    【Phoenix】phoenix實(shí)現(xiàn)每個(gè)Primarykey主鍵保留N版本數(shù)據(jù),CDC數(shù)據(jù)記錄為Changelog格式

    CDC數(shù)據(jù)中包含了,數(shù)據(jù)的變更過程。當(dāng)CDC寫入傳統(tǒng)數(shù)據(jù)庫最終每一個(gè)primary key下會保存一條數(shù)據(jù)。當(dāng)然可以使用特殊手段保存多分記錄但是顯然造成了數(shù)據(jù)膨脹。 另外數(shù)據(jù)湖Hudi(0.13.1)是不支持保存所有Changelog其Compaction機(jī)制會清除所有舊版本的內(nèi)容。Iceberg支持TimeTravel,能查到

    2024年02月07日
    瀏覽(24)

覺得文章有用就打賞一下文章作者

支付寶掃一掃打賞

博客贊助

微信掃一掃打賞

請作者喝杯咖啡吧~博客贊助

支付寶掃一掃領(lǐng)取紅包,優(yōu)惠每天領(lǐng)

二維碼1

領(lǐng)取紅包

二維碼2

領(lǐng)紅包