国产 无码 综合区,色欲AV无码国产永久播放,无码天堂亚洲国产AV,国产日韩欧美女同一区二区

【現(xiàn)場問題】flink-cdc,Oracle2Mysql的坑,Oracle區(qū)分大小寫導(dǎo)致

這篇具有很好參考價(jià)值的文章主要介紹了【現(xiàn)場問題】flink-cdc,Oracle2Mysql的坑,Oracle區(qū)分大小寫導(dǎo)致。希望對(duì)大家有所幫助。如果存在錯(cuò)誤或未考慮完全的地方,請(qǐng)大家不吝賜教,您也可以點(diǎn)擊"舉報(bào)違法"按鈕提交疑問。

錯(cuò)誤的flink-cdc語句sql

CREATE TABLE t_wx_source_1 (
    id String,
    name String,
    age String
) WITH (
    'connector' = 'oracle-cdc',
    'hostname' = '192.168.1.135',
    'port' = '1521',
    'username' = 'flink',
    'password' = 'XXXXX',
    'database-name' = 'dbc',
    'schema-name' = 'FLINK',
    'table-name' = 't_wx_source_2'
);
CREATE TABLE t_wx_target (
    id String Not Null,
    name String,
    age String,
    PRIMARY KEY(id) NOT ENFORCED
) WITH (
    'connector' = 'jdbc',
    'url' = 'jdbc:mysql://192.168.1.91:3306/test',
    'table-name' = 't_wx_target_1',
    'username' = 'root',
    'password' = 'XXXXX',
    'driver' =  'com.mysql.cj.jdbc.Driver'
);
insert into t_wx_target select id,name,age from t_wx_source_1;

我們看一下oracle的數(shù)據(jù)庫字段

【現(xiàn)場問題】flink-cdc,Oracle2Mysql的坑,Oracle區(qū)分大小寫導(dǎo)致,flink,oracle,大數(shù)據(jù)

再看一下錯(cuò)誤sql里面的內(nèi)容

【現(xiàn)場問題】flink-cdc,Oracle2Mysql的坑,Oracle區(qū)分大小寫導(dǎo)致,flink,oracle,大數(shù)據(jù)

flink報(bào)錯(cuò)內(nèi)容

【現(xiàn)場問題】flink-cdc,Oracle2Mysql的坑,Oracle區(qū)分大小寫導(dǎo)致,flink,oracle,大數(shù)據(jù)
Column ‘id’ is NOT NULL, however, a null value is being written into it. You can set job configuration ‘table.exec.sink.not-null-enforcer’=‘DROP’ to suppress this exception and drop such records silently
大致意思就是不能插入為空的數(shù)值。
為什么會(huì)報(bào)這個(gè)錯(cuò)誤,我們來看DML的執(zhí)行語句:
insert into t_wx_target select id,name,age from t_wx_source_1;
【現(xiàn)場問題】flink-cdc,Oracle2Mysql的坑,Oracle區(qū)分大小寫導(dǎo)致,flink,oracle,大數(shù)據(jù)

每次數(shù)據(jù)都是null,然后我們的sink(t_wx_target )表里面的字段id,是非空字段,所以就報(bào)錯(cuò)了
【現(xiàn)場問題】flink-cdc,Oracle2Mysql的坑,Oracle區(qū)分大小寫導(dǎo)致,flink,oracle,大數(shù)據(jù)文章來源地址http://www.zghlxwxcb.cn/news/detail-521224.html

正確的sql

CREATE TABLE t_wx_source_1 (
    id String NOT NULL,
    name String,
    age String
) WITH (
    'connector' = 'oracle-cdc',
    'hostname' = '192.168.1.135',
    'port' = '1521',
    'username' = 'flink',
    'password' = 'XXXX',
    'database-name' = 'dbc',
    'schema-name' = 'FLINK',
    'table-name' = 't_wx_source_2'
);
CREATE TABLE t_wx_target (
    id String,
    name String,
    age String,
    PRIMARY KEY(id) NOT ENFORCED
) WITH (
    'connector' = 'jdbc',
    'url' = 'jdbc:mysql://192.168.1.91:3306/test',
    'table-name' = 't_wx_target_1',
    'username' = 'root',
    'password' = 'XXXXXX',
    'driver' =  'com.mysql.cj.jdbc.Driver'
);
insert into t_wx_target select id,name,age from t_wx_source_1;

三級(jí)目錄

到了這里,關(guān)于【現(xiàn)場問題】flink-cdc,Oracle2Mysql的坑,Oracle區(qū)分大小寫導(dǎo)致的文章就介紹完了。如果您還想了解更多內(nèi)容,請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章,希望大家以后多多支持TOY模板網(wǎng)!

本文來自互聯(lián)網(wǎng)用戶投稿,該文觀點(diǎn)僅代表作者本人,不代表本站立場。本站僅提供信息存儲(chǔ)空間服務(wù),不擁有所有權(quán),不承擔(dān)相關(guān)法律責(zé)任。如若轉(zhuǎn)載,請(qǐng)注明出處: 如若內(nèi)容造成侵權(quán)/違法違規(guī)/事實(shí)不符,請(qǐng)點(diǎn)擊違法舉報(bào)進(jìn)行投訴反饋,一經(jīng)查實(shí),立即刪除!

領(lǐng)支付寶紅包贊助服務(wù)器費(fèi)用

相關(guān)文章

  • Flink?oracle?cdc?-?Oracle?Logminer?CDC性能問題

    Flink?oracle?cdc?-?Oracle?Logminer?CDC性能問題

    最近的項(xiàng)目中有用到Flink?Oracle?CDC實(shí)時(shí)到監(jiān)聽數(shù)據(jù)庫變化,將變化的數(shù)據(jù)sink到Kafka。Oracle?CDC依賴Debezium組件解析Redo?Log與Archive?Log,Debezium?通過Oracle?的Logminer解析Log。在我們生產(chǎn)環(huán)境遇到 運(yùn)行一段時(shí)間后,再也查詢不到數(shù)據(jù),直到報(bào)miss?log?file異常(線上環(huán)境cron?job?將一

    2024年02月08日
    瀏覽(24)
  • 大數(shù)據(jù)技術(shù)之 Flink-CDC

    大數(shù)據(jù)技術(shù)之 Flink-CDC

    CDC 是 Change Data Capture(變更數(shù)據(jù)獲?。┑暮喎Q。在廣義的概念上,只要是能捕獲數(shù)據(jù)變更的技術(shù),我們都可以稱之為 CDC 。核心思想是,監(jiān)測并捕獲數(shù)據(jù)庫的變動(dòng)(包括數(shù)據(jù)或數(shù)據(jù)表的插入、更新以及刪除等),將這些變更按發(fā)生的順序完整記錄下來,寫入到消息中間件中以

    2024年02月05日
    瀏覽(21)
  • flink-cdc,clickhouse寫入,多路輸出

    kafka日志數(shù)據(jù)從kafka讀取 1、關(guān)聯(lián)字典表:完善日志數(shù)據(jù) 2、判斷日志內(nèi)容級(jí)別:多路輸出 低級(jí):入clickhouse 高級(jí):入clickhouse的同時(shí)推送到kafka供2次數(shù)據(jù)流程處理。

    2024年02月09日
    瀏覽(23)
  • flink-cdc之讀取mysql變化數(shù)據(jù)

    flink-cdc之讀取mysql變化數(shù)據(jù)

    pom 代碼 注意開啟checkpoint 和不開啟是有區(qū)別的(savepoint也可以 啟動(dòng)的flink指定時(shí)候 -s savepath) 不開啟,如果項(xiàng)目重啟了,會(huì)重新讀取所有的數(shù)據(jù) 開啟了,項(xiàng)目重啟了額,會(huì)根據(jù)保留的信息去讀取變化的數(shù)據(jù) ?mysql ? 數(shù)據(jù)庫表 ?增加一條數(shù)據(jù) 打印日志 op:c 是create ==FlinkCDC==

    2024年02月16日
    瀏覽(29)
  • Flinkx/Datax/Flink-CDC 優(yōu)劣勢對(duì)比

    Flinkx/Datax/Flink-CDC 優(yōu)劣勢對(duì)比

    Flinkx/Datax/Flink-CDC 優(yōu)劣勢對(duì)比_HiBoyljw的博客-CSDN博客 ? ? ? ?FlinkX是一款基于Flink的分布式離線/實(shí)時(shí)數(shù)據(jù)同步插件,可實(shí)現(xiàn)多種異構(gòu)數(shù)據(jù)源高效的數(shù)據(jù)同步,其由袋鼠云于2016年初步研發(fā)完成,目前有穩(wěn)定的研發(fā)團(tuán)隊(duì)持續(xù)維護(hù),已在Github上開源(開源地址詳見文章末尾),并維

    2024年02月07日
    瀏覽(21)
  • flink-cdc同步mysql數(shù)據(jù)到elasticsearch

    flink-cdc同步mysql數(shù)據(jù)到elasticsearch

    CDC是(Change Data Capture 變更數(shù)據(jù)獲?。┑暮喎Q。核心思想是,監(jiān)測并捕獲數(shù)據(jù)庫的變動(dòng)(包括數(shù)據(jù) 或 數(shù)據(jù)表的插入INSERT、更新UPDATE、刪除DELETE等),將這些變更按發(fā)生的順序完整記錄下來,寫入到消息中間件中以供其他服務(wù)進(jìn)行訂閱及消費(fèi)。 cdc項(xiàng)目地址:https://github.com/ver

    2024年02月13日
    瀏覽(23)
  • 【FLINK】Kafka數(shù)據(jù)源通過Flink-cdc進(jìn)行實(shí)時(shí)數(shù)據(jù)同步

    【FLINK】Kafka數(shù)據(jù)源通過Flink-cdc進(jìn)行實(shí)時(shí)數(shù)據(jù)同步

    CDC是Change Data Capture的縮寫,中文意思是 變更數(shù)據(jù)獲取 ,flink-cdc的作用是,通過flink捕獲數(shù)據(jù)源的事務(wù)變動(dòng)操作記錄,包括數(shù)據(jù)的增刪改操作等,根據(jù)這些記錄可作用于對(duì)目標(biāo)端進(jìn)行實(shí)時(shí)數(shù)據(jù)同步。 下圖是flink-cdc最新支持的數(shù)據(jù)源類型: kafka的數(shù)據(jù)源要通過flink-cdc進(jìn)行實(shí)時(shí)數(shù)

    2024年02月12日
    瀏覽(36)
  • flinkcdc 3.0 源碼學(xué)習(xí)之任務(wù)提交腳本flink-cdc.sh

    flinkcdc 3.0 源碼學(xué)習(xí)之任務(wù)提交腳本flink-cdc.sh

    大道至簡,用簡單的話來描述復(fù)雜的事,我是Antgeek,歡迎閱讀. 在flink 3.0版本中,我們僅通過一個(gè)簡單yaml文件就可以配置出一個(gè)復(fù)雜的數(shù)據(jù)同步任務(wù), 然后再來一句 bash bin/flink-cdc.sh mysql-to-doris.yaml 就可以將任務(wù)提交, 本文就是來探索一下這個(gè)shell腳本,主要是研究如何通過一個(gè)shell命

    2024年02月19日
    瀏覽(22)
  • SpringBoot集成Flink-CDC 采集PostgreSQL變更數(shù)據(jù)發(fā)布到Kafka

    SpringBoot集成Flink-CDC 采集PostgreSQL變更數(shù)據(jù)發(fā)布到Kafka

    最近做的一個(gè)項(xiàng)目,使用的是pg數(shù)據(jù)庫,公司沒有成熟的DCD組件,為了實(shí)現(xiàn)數(shù)據(jù)變更消息發(fā)布的功能,我使用SpringBoot集成Flink-CDC 采集PostgreSQL變更數(shù)據(jù)發(fā)布到Kafka。 監(jiān)聽數(shù)據(jù)變化,進(jìn)行異步通知,做系統(tǒng)內(nèi)異步任務(wù)。 架構(gòu)方案(懶得寫了,看圖吧): -- 創(chuàng)建pg 高線數(shù)據(jù)同步用

    2024年02月02日
    瀏覽(31)
  • Flink-CDC Cannot instantiate the coordinator for operator Source

    在使用flink1.14.6版本cdc時(shí)出現(xiàn)報(bào)錯(cuò): Caused by: org.apache.flink.runtime.client.JobInitializationException: Could not start the JobMaster. at org.apache.flink.runtime.jobmaster.DefaultJobMasterServiceProcess.lambda$new$0(DefaultJobMasterServiceProcess.java:97) ~[flink-dist_2.11-1.14.6.jar:1.14.6] at java.util.concurrent.CompletableFuture.uniWhenComp

    2024年02月12日
    瀏覽(22)

覺得文章有用就打賞一下文章作者

支付寶掃一掃打賞

博客贊助

微信掃一掃打賞

請(qǐng)作者喝杯咖啡吧~博客贊助

支付寶掃一掃領(lǐng)取紅包,優(yōu)惠每天領(lǐng)

二維碼1

領(lǐng)取紅包

二維碼2

領(lǐng)紅包