国产 无码 综合区,色欲AV无码国产永久播放,无码天堂亚洲国产AV,国产日韩欧美女同一区二区

【kafka】JDBC connector進行表數(shù)據(jù)增量同步過程中的源表與目標(biāo)表時間不一致問題解決...

這篇具有很好參考價值的文章主要介紹了【kafka】JDBC connector進行表數(shù)據(jù)增量同步過程中的源表與目標(biāo)表時間不一致問題解決...。希望對大家有所幫助。如果存在錯誤或未考慮完全的地方,請大家不吝賜教,您也可以點擊"舉報違法"按鈕提交疑問。

〇、參考資料

一、現(xiàn)象

1、Oracle源表數(shù)據(jù)

【kafka】JDBC connector進行表數(shù)據(jù)增量同步過程中的源表與目標(biāo)表時間不一致問題解決...

2、PG同步后的表數(shù)據(jù)

【kafka】JDBC connector進行表數(shù)據(jù)增量同步過程中的源表與目標(biāo)表時間不一致問題解決...

3、現(xiàn)象

時間不一致,差了8個小時

4、查看對應(yīng)的connector信息

(1)source

{
    "connector.class": "io.confluent.connect.jdbc.JdbcSourceConnector",
    "mode": "timestamp",
    "timestamp.column.name": "UPDDATTIM_0",
    "topic.prefix": "connector_topic_",
    "connection.password": "system",
    "connection.user": "system",
    "db.timezone": "Asia/Shanghai",
    "name": "source_connector_Test_TimeFormat_Order",
    "connection.url": "jdbc:oracle:thin:@//192.168.0.2:1521/helowin",
    "table.whitelist": "TEST.Test_TimeFormat_Order"
}

(2)sink

{
    "connector.class": "io.confluent.connect.jdbc.JdbcSinkConnector",
    "table.name.format": "wxf_test.Test_TimeFormat_Order",
    "connection.password": "qaz123",
    "tasks.max": "1",
    "topics": "connector_topic_Test_TimeFormat_Order",
    "delete.enabled": "false",
    "auto.evolve": "true",
    "connection.user": "postgres",
    "name": "sink_connector_Test_TimeFormat_Order",
    "auto.create": "true",
    "connection.url": "jdbc:postgresql://ip:5432/bigdata",
    "insert.mode": "upsert",
    "pk.mode": "record_value",
    "pk.fields": "Order_ID"
}

二、解決方式

1、方案

即sink和source都加文章來源地址http://www.zghlxwxcb.cn/news/detail-506514.html

?"db.timezone":?"Asia/Shanghai",
并需要保持一直

?2、最終source

{
    "connector.class": "io.confluent.connect.jdbc.JdbcSourceConnector",
    "mode": "timestamp",
    "timestamp.column.name": "UPDDATTIM_0",
    "topic.prefix": "connector_topic_",
    "connection.password": "system",
    "connection.user": "system",
    "db.timezone": "Asia/Shanghai",
    "name": "source_connector_Test_TimeFormat_Order",
    "connection.url": "jdbc:oracle:thin:@//192.168.0.2:1521/helowin",
    "table.whitelist": "TEST.TEST_TIMEFORMAT_ORDER"
}

3、最終sink

{
    "connector.class": "io.confluent.connect.jdbc.JdbcSinkConnector",
    "table.name.format": "wxf_test.TEST_TIMEFORMAT_ORDER",
    "connection.password": "qaz123",
    "tasks.max": "1",
    "topics": "connector_topic_TEST_TIMEFORMAT_ORDER",
    "delete.enabled": "false",
    "auto.evolve": "true",
    "connection.user": "postgres",
    "db.timezone": "Asia/Shanghai",
    "name": "sink_connector_Test_TimeFormat_Order",
    "auto.create": "true",
    "connection.url": "jdbc:postgresql://192.168.0.2:5432/bigdata",
    "insert.mode": "upsert",
    "pk.mode": "record_value",
    "pk.fields": "ORDER_ID"
}

到了這里,關(guān)于【kafka】JDBC connector進行表數(shù)據(jù)增量同步過程中的源表與目標(biāo)表時間不一致問題解決...的文章就介紹完了。如果您還想了解更多內(nèi)容,請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章,希望大家以后多多支持TOY模板網(wǎng)!

本文來自互聯(lián)網(wǎng)用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務(wù),不擁有所有權(quán),不承擔(dān)相關(guān)法律責(zé)任。如若轉(zhuǎn)載,請注明出處: 如若內(nèi)容造成侵權(quán)/違法違規(guī)/事實不符,請點擊違法舉報進行投訴反饋,一經(jīng)查實,立即刪除!

領(lǐng)支付寶紅包贊助服務(wù)器費用

相關(guān)文章

  • Elasticsearch實戰(zhàn)-數(shù)據(jù)同步(解決es數(shù)據(jù)增量同步)

    Elasticsearch實戰(zhàn)-數(shù)據(jù)同步(解決es數(shù)據(jù)增量同步)

    之前測試的數(shù)據(jù)都是一次從mysql導(dǎo)入到es,隨著時間的推移,每天都有可能發(fā)生增刪改查,不可能每次都全量同步,所以需要考慮增量同步問題。 缺點: 耦合性高,服務(wù)之間會相互影響 依賴消息隊列的可靠性 啟動:端口8099

    2024年02月11日
    瀏覽(23)
  • Redis主從架構(gòu)、數(shù)據(jù)同步原理、全量同步、增量同步

    Redis主從架構(gòu)、數(shù)據(jù)同步原理、全量同步、增量同步

    大家好,我是哪吒。 2023年再不會Redis,就要被淘汰了 圖解Redis,談?wù)凴edis的持久化,RDB快照與AOF日志 Redis單線程還是多線程?IO多路復(fù)用原理 Redis集群的最大槽數(shù)為什么是16384個? Redis緩存穿透、擊穿、雪崩到底是個啥?7張圖告訴你 Redis分布式鎖的實現(xiàn)方式 Redis分布式緩存、

    2024年02月07日
    瀏覽(25)
  • flinkcdc同步完全量數(shù)據(jù)就不同步增量數(shù)據(jù)了

    使用flinkcdc同步mysql數(shù)據(jù),使用的是全量采集模型 startupOptions(StartupOptions.earliest()) 全量階段同步完成之后,發(fā)現(xiàn)并不開始同步增量數(shù)據(jù),原因有以下兩個: 1.mysql中對應(yīng)的數(shù)據(jù)庫沒有開啟binlog 在/etc/my.cnf配置文件中,在[ mysqld ]添加以下內(nèi)容 然后重啟數(shù)據(jù)庫 ,執(zhí)行命令 和chec

    2024年02月11日
    瀏覽(19)
  • Maxwell - 增量數(shù)據(jù)同步工具

    Maxwell - 增量數(shù)據(jù)同步工具

    ? ? ? ? 今天來學(xué)習(xí)一個新的大數(shù)據(jù)小工具 Maxwell ,它和 Sqoop 很像。Sqoop主要用于在 Hadoop (比如 HDFS、Hive、HBase 等)和關(guān)系型數(shù)據(jù)庫之間進行數(shù)據(jù)的批量導(dǎo)入和導(dǎo)出,而 Maxwell 則主要用于監(jiān)控數(shù)據(jù)庫的變化(通過監(jiān)控 binlog ),并將變化的數(shù)據(jù)以JSON格式發(fā)布到消息隊列(一

    2024年02月20日
    瀏覽(20)
  • 【大數(shù)據(jù)精講】全量同步與CDC增量同步方案對比

    【大數(shù)據(jù)精講】全量同步與CDC增量同步方案對比

    目錄 背景 名詞解釋 問題與挑戰(zhàn) FlinkCDC DataX 工作原理 調(diào)度流程 五、DataX 3.0六大核心優(yōu)勢 性能優(yōu)化 CDC ? ? ? ?CDC又稱變更數(shù)據(jù)捕獲(Change Data Capture),開啟cdc的源表在插入INSERT、更新UPDATE和刪除DELETE活動時會插入數(shù)據(jù)到日志表中。CDC通過捕獲進程將變更數(shù)據(jù)捕獲到變更表中

    2024年01月24日
    瀏覽(19)
  • ELK增量同步數(shù)據(jù)【MySql->ES】

    ELK增量同步數(shù)據(jù)【MySql->ES】

    ? ? ? ? 1.? linux,已經(jīng)搭建好的logstash+es+kibana【系列版本7.0X】,es 的plugs中安裝ik分詞器 ES版本: ?Logstash版本: ?(以上部署,都是運維同事搞的,我不會部署,同事給力) 1、在Logstash安裝目錄下【/usr/share/logstash】,新建XX.sh,內(nèi)容如下: 2. 在Logstash安裝目錄下【/usr/shar

    2024年02月11日
    瀏覽(21)
  • DBSyncer安裝_配置postgresql和mysql_sqlserver_oracel全量增量同步---數(shù)據(jù)全量增量同步之DBSyncer001

    DBSyncer安裝_配置postgresql和mysql_sqlserver_oracel全量增量同步---數(shù)據(jù)全量增量同步之DBSyncer001

    ? ? ?國內(nèi)做開源的大神做的,用了一下還可以,就是不能和Phoenix這種操作hbase等數(shù)據(jù)庫一起用, 這個是官網(wǎng),下載安裝非常簡單,官網(wǎng)也有中文詳細說明. 直接下載安裝包: 然后解壓到某個地方,主要要用unzip dbsyncer.zip -d /opt/module這樣解壓 解壓后直接啟動就可以了 ? ?解壓以后進入

    2024年02月09日
    瀏覽(22)
  • 基于Canal與Flink實現(xiàn)數(shù)據(jù)實時增量同步(一)

    基于Canal與Flink實現(xiàn)數(shù)據(jù)實時增量同步(一)

    vi conf/application.yml server: port: 8089 spring: jackson: date-format: yyyy-MM-dd HH:mm:ss time-zone: GMT+8 spring.datasource: address: kms-1:3306 database: canal_manager username: canal password: canal driver-class-name: com.mysql.jdbc.Driver url: jdbc:mysql:// s p r i n g . d a t a s o u r c e . a d d r e s s / {spring.datasource.address}/ s p r in g . d

    2024年04月13日
    瀏覽(98)
  • java通過JDBC連接mysql8.0數(shù)據(jù)庫,并對數(shù)據(jù)庫中的表進行增刪改查操作

    java通過JDBC連接mysql8.0數(shù)據(jù)庫,并對數(shù)據(jù)庫中的表進行增刪改查操作

    目錄 一、JDBC簡介 二、添加依賴 三、JDBC操作數(shù)據(jù)庫的步驟 四、JDBC操作數(shù)據(jù)庫——增刪改查 (一)新增數(shù)據(jù) (二)刪除數(shù)據(jù) (三)修改數(shù)據(jù) (四)查詢數(shù)據(jù) (五)多表連接查詢 ????????Java數(shù)據(jù)庫連接,(Java Database Connectivity,簡稱JDBC)是java語言中用來規(guī)范客戶端程序如何來訪問數(shù)

    2024年02月03日
    瀏覽(710)
  • Enterprise:使用 MySQL connector 同步 MySQL 數(shù)據(jù)到 Elasticsearch

    Enterprise:使用 MySQL connector 同步 MySQL 數(shù)據(jù)到 Elasticsearch

    Elastic MySQL 連接器是 MySQL 數(shù)據(jù)源的連接器。它可以幫我們把 MySQL 里的數(shù)據(jù)同步到 Elasticsearch 中去。在今天的文章里,我來詳細地描述如何一步一步地實現(xiàn)。 在下面的展示中,我將使用 Elastic Stack 8.8.2 來進行展示。 無縫集成:將 Elasticsearch 連接到 MongoDB Enterprise:使用 MySQL c

    2024年02月16日
    瀏覽(19)

覺得文章有用就打賞一下文章作者

支付寶掃一掃打賞

博客贊助

微信掃一掃打賞

請作者喝杯咖啡吧~博客贊助

支付寶掃一掃領(lǐng)取紅包,優(yōu)惠每天領(lǐng)

二維碼1

領(lǐng)取紅包

二維碼2

領(lǐng)紅包