国产 无码 综合区,色欲AV无码国产永久播放,无码天堂亚洲国产AV,国产日韩欧美女同一区二区

【Flink】 FlinkCDC讀取Mysql( DataStream 方式)(帶完整源碼,直接可使用)

這篇具有很好參考價值的文章主要介紹了【Flink】 FlinkCDC讀取Mysql( DataStream 方式)(帶完整源碼,直接可使用)。希望對大家有所幫助。如果存在錯誤或未考慮完全的地方,請大家不吝賜教,您也可以點擊"舉報違法"按鈕提交疑問。

簡介:

? ? FlinkCDC讀取Mysql數據源,程序中使用了自定義反序列化器,完整的Flink結構,開箱即用。

本工程提供

1、項目源碼及詳細注釋,簡單修改即可用在實際生產代碼

2、成功編譯截圖

3、自己編譯過程中可能出現的問題

4、mysql建表語句及測試數據

5、修復FlinkCDC讀取Mysql數據時間戳差8小時問題

6、自定義反序列化器讓FlinkCDC讀取和后續(xù)的處理更方便

一、成功編譯成功信息如下

【Flink】 FlinkCDC讀取Mysql( DataStream 方式)(帶完整源碼,直接可使用),Flink解決方案,flink,大數據

二、?自己編譯過程中可能出現的問題

FLINK:ClassNotFoundException: org.apache.flink.streaming.api.functions.source.SourceFunction_一杯咖啡半杯糖的博客-CSDN博客

?三、mysql建表語句及測試數據,Mysql版本5.7

CREATE TABLE `cdc_test` (
? `id` int(11) NOT NULL,
? `name` varchar(12) CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci DEFAULT NULL,
? `create_time` datetime DEFAULT NULL,
? PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4

INSERT INTO cdc.cdc_test (id,name,create_time) VALUES
?? ? (1,'li',NULL),
?? ? (2,'zhang','2023-09-13 09:27:18'),
?? ? (3,'liu','2023-09-13 09:30:18'),
?? ? (4,'wu1','2023-09-13 10:30:18'),
?? ? (5,'aa','2023-09-13 09:30:18');

四、項目源碼及詳細注釋,簡單修改即可用在實際生產代碼,修復FlinkCDC讀取Mysql數據時間戳差8小時問題,自定義反序列化器讓FlinkCDC讀取和后續(xù)的處理更方便

最后項目源碼如下

鏈接:https://pan.baidu.com/s/1WtTZwftyIPPgLlEQv50qUA?pwd=6tzz?
提取碼:6tzz

如果鏈接失效請私信我

?文章來源地址http://www.zghlxwxcb.cn/news/detail-733144.html

到了這里,關于【Flink】 FlinkCDC讀取Mysql( DataStream 方式)(帶完整源碼,直接可使用)的文章就介紹完了。如果您還想了解更多內容,請在右上角搜索TOY模板網以前的文章或繼續(xù)瀏覽下面的相關文章,希望大家以后多多支持TOY模板網!

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。如若轉載,請注明出處: 如若內容造成侵權/違法違規(guī)/事實不符,請點擊違法舉報進行投訴反饋,一經查實,立即刪除!

領支付寶紅包贊助服務器費用

相關文章

  • Flink讀取數據的5種方式(文件,Socket,Kafka,MySQL,自定義數據源)

    這是最簡單的數據讀取方式。當需要進行功能測試時,可以將數據保存在文件中,讀取后驗證流處理的邏輯是否符合預期。 程序代碼: 輸出結果 用于驗證一些通過Socket傳輸數據的場景非常方便。 程序代碼: 測試時,需要先在 172.16.3.6 的服務器上啟動 nc ,然后再啟動Flink讀

    2024年02月16日
    瀏覽(22)
  • Flink|《Flink 官方文檔 - DataStream API - 用戶自定義 Functions》學習筆記 + 源碼分析

    學習文檔:Flink 官方文檔 - DataStream API - 用戶自定義 Functions 學習筆記如下: 用戶可以通過實現接口來完成自定義 Functions。 實現接口并使用的樣例: 使用匿名類實現的樣例: 使用 Lambda 表達式實現(Java 8)樣例: 所有的 Flink 函數類都有其 Rich 版本,在 Rick function 中,可以獲

    2024年01月18日
    瀏覽(54)
  • flinkcdc 3.0 源碼學習之任務提交腳本flink-cdc.sh

    flinkcdc 3.0 源碼學習之任務提交腳本flink-cdc.sh

    大道至簡,用簡單的話來描述復雜的事,我是Antgeek,歡迎閱讀. 在flink 3.0版本中,我們僅通過一個簡單yaml文件就可以配置出一個復雜的數據同步任務, 然后再來一句 bash bin/flink-cdc.sh mysql-to-doris.yaml 就可以將任務提交, 本文就是來探索一下這個shell腳本,主要是研究如何通過一個shell命

    2024年02月19日
    瀏覽(23)
  • Flink 讀寫MySQL數據(DataStream和Table API)

    Flink 讀寫MySQL數據(DataStream和Table API)

    Flink提供了基于JDBC的方式,可以將讀取到的數據寫入到MySQL中;本文通過兩種方式將數據下入到MySQL數據庫,其他的基于JDBC的數據庫類似,另外,Table API方式的Catalog指定為Hive Catalog方式,持久化DDL操作。 另外,JDBC 連接器允許使用 JDBC 驅動程序從任何關系數據庫讀取數據并將

    2023年04月09日
    瀏覽(32)
  • 【Flink】FlinkCDC獲取mysql數據時間類型差8小時時區(qū)解決方案

    【Flink】FlinkCDC獲取mysql數據時間類型差8小時時區(qū)解決方案

    1、背景: 在我們使用FlinkCDC采集mysql數據的時候,日期類型是我們很常見的類型,但是FlinkCDC讀取出來會和數據庫的日期時間不一致,情況如下 FlinkCDC獲取的數據中create_time字段1694597238000轉換為時間戳2023-09-13 17:27:18 ?而數據庫中原始數據如下,并沒有到下午5點,這就導致了

    2024年02月07日
    瀏覽(25)
  • FlinkCDC第三部分-同步mysql到mysql,ctrl就完事~(flink版本1.16.2)

    FlinkCDC第三部分-同步mysql到mysql,ctrl就完事~(flink版本1.16.2)

    本文介紹了? 來源單表-目標源單表同步,多來源單表-目標源單表同步。 注:1.16版本、1.17版本都可以使用火焰圖,生產上最好關閉,詳情見文章末尾 Flink版本:1.16.2 環(huán)境:Linux CentOS 7.0、jdk1.8 基礎文件: flink-1.16.2-bin-scala_2.12.tgz、 flink-connector-jdbc-3.0.0-1.16.jar、(maven倉庫目錄:

    2024年02月11日
    瀏覽(23)
  • Flink DataStream API CDC同步MySQL數據到StarRocks

    Flink DataStream API CDC同步MySQL數據到StarRocks

    Flink:1.16.1 pom文件如下 Java代碼 SourceAndSinkInfo 類,用于定義source和sink的IP、端口、賬號、密碼信息 DataCenterShine實體類,字段與數據庫一一對應。 StarRocksPrimary 實體類 FieldInfo注解類,用于標記字段序號、是否為主鍵、是否為空,后續(xù)生成TableSchema需要使用到。 TableName 注解類,

    2024年02月03日
    瀏覽(32)
  • Hudi(16):Hudi集成Flink之讀取方式

    目錄 0. 相關文章鏈接 1.?流讀(Streaming Query) 2.?增量讀?。↖ncremental Query) 3.?限流 ?Hudi文章匯總? ????????當前表默認是快照讀取,即讀取最新的全量快照數據并一次性返回。通過參數read.streaming.enabled 參數開啟流讀模式,通過 read.start-commit 參數指定起始消費位置,支

    2024年02月06日
    瀏覽(20)
  • 【Flink】 Flink實時讀取mysql數據

    準備 你需要將這兩個依賴添加到 pom.xml 中 mysql mysql-connector-java 8.0.0 讀取 kafka 數據 這里我依舊用的以前的 student 類,自己本地起了 kafka 然后造一些測試數據,這里我們測試發(fā)送一條數據則 sleep 10s,意味著往 kafka 中一分鐘發(fā) 6 條數據。 package com.zhisheng.connectors.mysql.utils; impo

    2024年02月03日
    瀏覽(15)
  • 【數據湖Hudi-10-Hudi集成Flink-讀取方式&限流&寫入方式&寫入模式&Bucket索引】

    【數據湖Hudi-10-Hudi集成Flink-讀取方式&限流&寫入方式&寫入模式&Bucket索引】

    當前表默認是快照讀取,即讀取最新的全量快照數據并一次性返回。通過參數 read.streaming.enabled 參數開啟流讀模式,通過 read.start-commit 參數指定起始消費位置,支持指定 earliest 從最早消費。 1.with參數 名稱 Required 默認值 說明 read.streaming.enabled false false 設置 true 開啟流讀模式

    2024年02月14日
    瀏覽(21)

覺得文章有用就打賞一下文章作者

支付寶掃一掃打賞

博客贊助

微信掃一掃打賞

請作者喝杯咖啡吧~博客贊助

支付寶掃一掃領取紅包,優(yōu)惠每天領

二維碼1

領取紅包

二維碼2

領紅包