国产 无码 综合区,色欲AV无码国产永久播放,无码天堂亚洲国产AV,国产日韩欧美女同一区二区

【Flink】 Flink實時讀取mysql數(shù)據(jù)

這篇具有很好參考價值的文章主要介紹了【Flink】 Flink實時讀取mysql數(shù)據(jù)。希望對大家有所幫助。如果存在錯誤或未考慮完全的地方,請大家不吝賜教,您也可以點擊"舉報違法"按鈕提交疑問。

準備

你需要將這兩個依賴添加到 pom.xml 中

mysql

mysql-connector-java

8.0.0

讀取 kafka 數(shù)據(jù)

這里我依舊用的以前的 student 類,自己本地起了 kafka 然后造一些測試數(shù)據(jù),這里我們測試發(fā)送一條數(shù)據(jù)則 sleep 10s,意味著往 kafka 中一分鐘發(fā) 6 條數(shù)據(jù)。

package com.zhisheng.connectors.mysql.utils;
import com.zhisheng.common.utils.GsonUtil;
import com.zhisheng.connectors.mysql.model.Student;
import org.apache.kafka.clients.producer.KafkaProducer;
import org.apache.kafka.clients.producer.ProducerRecord;
import java.util.Properties;
/**
* Desc: 往kafka中寫數(shù)據(jù),可以使用這個main函數(shù)進行測試
*/
public class KafkaUtil {
public static final String broker_list = "localhost:9092";
public static final String topic = "student"; //kafka topic 需要和 flink 程序用同一個 topic
public static void writeToKafka() throws InterruptedException {
Properties props = new Properties();
props.put("bootstrap.servers"文章來源地址http://www.zghlxwxcb.cn/news/detail-770352.html

到了這里,關(guān)于【Flink】 Flink實時讀取mysql數(shù)據(jù)的文章就介紹完了。如果您還想了解更多內(nèi)容,請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章,希望大家以后多多支持TOY模板網(wǎng)!

本文來自互聯(lián)網(wǎng)用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務(wù),不擁有所有權(quán),不承擔相關(guān)法律責(zé)任。如若轉(zhuǎn)載,請注明出處: 如若內(nèi)容造成侵權(quán)/違法違規(guī)/事實不符,請點擊違法舉報進行投訴反饋,一經(jīng)查實,立即刪除!

領(lǐng)支付寶紅包贊助服務(wù)器費用

相關(guān)文章

  • flink-cdc之讀取mysql變化數(shù)據(jù)

    flink-cdc之讀取mysql變化數(shù)據(jù)

    pom 代碼 注意開啟checkpoint 和不開啟是有區(qū)別的(savepoint也可以 啟動的flink指定時候 -s savepath) 不開啟,如果項目重啟了,會重新讀取所有的數(shù)據(jù) 開啟了,項目重啟了額,會根據(jù)保留的信息去讀取變化的數(shù)據(jù) ?mysql ? 數(shù)據(jù)庫表 ?增加一條數(shù)據(jù) 打印日志 op:c 是create ==FlinkCDC==

    2024年02月16日
    瀏覽(29)
  • 基于 Flink CDC 構(gòu)建 MySQL 到 Databend 的 實時數(shù)據(jù)同步

    基于 Flink CDC 構(gòu)建 MySQL 到 Databend 的 實時數(shù)據(jù)同步

    這篇教程將展示如何基于 Flink CDC 快速構(gòu)建 MySQL 到 Databend 的實時數(shù)據(jù)同步。本教程的演示都將在 Flink SQL CLI 中進行,只涉及 SQL,無需一行 Java/Scala 代碼,也無需安裝 IDE。 假設(shè)我們有電子商務(wù)業(yè)務(wù),商品的數(shù)據(jù)存儲在 MySQL ,我們需要實時把它同步到 Databend 中。 接下來的內(nèi)容

    2024年02月10日
    瀏覽(29)
  • 使用Flink CDC將Mysql中的數(shù)據(jù)實時同步到ES

    最近公司要搞搜索,需要把mysql中的數(shù)據(jù)同步到es中來進行搜索,由于公司已經(jīng)搭建了flink集群,就打算用flink來做這個同步。本來以為很簡單,跟著官網(wǎng)文檔走就好了,結(jié)果沒想到折騰了將近一周的時間…… 我也是沒想到,這玩意網(wǎng)上資源竟然這么少,找到的全部都是通過

    2024年02月11日
    瀏覽(25)
  • flink:通過table api把文件中讀取的數(shù)據(jù)寫入MySQL

    當寫入數(shù)據(jù)到外部數(shù)據(jù)庫時,F(xiàn)link 會使用 DDL 中定義的主鍵。如果定義了主鍵,則連接器將以 upsert 模式工作,否則連接器將以 append 模式工作 文件info.txt

    2024年03月15日
    瀏覽(17)
  • 使用 Flink CDC 實現(xiàn) MySQL 數(shù)據(jù),表結(jié)構(gòu)實時入 Apache Doris

    現(xiàn)有數(shù)據(jù)庫:mysql 數(shù)據(jù):庫表較多,每個企業(yè)用戶一個分庫,每個企業(yè)下的表均不同,無法做到聚合,且表可以被用戶隨意改動,增刪改列等,增加表 分析:用戶自定義分析,通過拖拽定義圖卡,要求實時,點擊確認即出現(xiàn)相應(yīng)結(jié)果,其中有無法預(yù)判的過濾 問題:隨業(yè)務(wù)增長

    2023年04月08日
    瀏覽(24)
  • Flink讀取數(shù)據(jù)的5種方式(文件,Socket,Kafka,MySQL,自定義數(shù)據(jù)源)

    這是最簡單的數(shù)據(jù)讀取方式。當需要進行功能測試時,可以將數(shù)據(jù)保存在文件中,讀取后驗證流處理的邏輯是否符合預(yù)期。 程序代碼: 輸出結(jié)果 用于驗證一些通過Socket傳輸數(shù)據(jù)的場景非常方便。 程序代碼: 測試時,需要先在 172.16.3.6 的服務(wù)器上啟動 nc ,然后再啟動Flink讀

    2024年02月16日
    瀏覽(22)
  • Flink CDC 實時mysql到mysql

    Flink CDC 實時mysql到mysql

    CDC?的全稱是?Change Data Capture?,在廣義的概念上,只要是能捕獲數(shù)據(jù)變更的技術(shù),我們都可以稱之為?CDC?。目前通常描述的?CDC?技術(shù)主要面向數(shù)據(jù)庫的變更,是一種用于捕獲數(shù)據(jù)庫中數(shù)據(jù)變更的技術(shù)。 mysqlcdc需要mysql開啟binlog,找到my.cnf,在 [mysqld] 中加入如下信息 [mysqld]

    2024年02月12日
    瀏覽(28)
  • Flink CDC 基于mysql binlog 實時同步mysql表

    Flink CDC 基于mysql binlog 實時同步mysql表

    環(huán)境說明: flink?1.15.2 mysql 版本5.7? ? 注意:需要開啟binlog,因為增量同步是基于binlog捕獲數(shù)據(jù) windows11 IDEA 本地運行 先上官網(wǎng)使用說明和案例:MySQL CDC Connector — Flink CDC documentation 1. mysql開啟binlog (注意,引擎是 InnoDB,如果是ndbcluster,本人測試是捕獲不到binlog日志的,增量相

    2024年02月10日
    瀏覽(24)
  • Flink CDC 基于mysql binlog 實時同步mysql表(無主鍵)

    Flink CDC 基于mysql binlog 實時同步mysql表(無主鍵)

    環(huán)境說明: flink 1.15.2 mysql 版本5.7 ? ?注意:需要開啟binlog,因為增量同步是基于binlog捕獲數(shù)據(jù) windows11 IDEA 本地運行 具體前提設(shè)置,請看這篇,包含 binlog 設(shè)置、Maven...... Flink CDC 基于mysql binlog 實時同步mysql表_彩虹豆的博客-CSDN博客 經(jīng)過不懈努力,終于從阿里help頁面找到了支

    2024年02月08日
    瀏覽(28)
  • 【Flink CDC(一)】實現(xiàn)mysql整表與增量讀取

    【Flink CDC(一)】實現(xiàn)mysql整表與增量讀取

    MySQL CDC 連接器允許從 MySQL 數(shù)據(jù)庫讀取快照數(shù)據(jù)( 比如:flink任務(wù)消費時刻的整表數(shù)據(jù) )和增量數(shù)據(jù)。本文描述了如何設(shè)置 MySQL CDC 連接器來對 MySQL 數(shù)據(jù)庫運行 SQL 查詢。 本篇只關(guān)注mysql整表與增量讀取的實現(xiàn),對于并發(fā)讀取等能力后續(xù)再探索。 ? 1.1. Maven dependency ? 1.2. SQL

    2024年03月27日
    瀏覽(16)

覺得文章有用就打賞一下文章作者

支付寶掃一掃打賞

博客贊助

微信掃一掃打賞

請作者喝杯咖啡吧~博客贊助

支付寶掃一掃領(lǐng)取紅包,優(yōu)惠每天領(lǐng)

二維碼1

領(lǐng)取紅包

二維碼2

領(lǐng)紅包