国产 无码 综合区,色欲AV无码国产永久播放,无码天堂亚洲国产AV,国产日韩欧美女同一区二区

  1. Toy模板網(wǎng)首頁
  2. >Toy博客

Idea本地跑flink任務(wù)時，總是重復(fù)消費kafka的數(shù)據(jù)（kafka-＞mysql）

2年前作者：Better~Me分類：Toy博客閱讀(25)違法舉報

這篇具有很好參考價值的文章主要介紹了Idea本地跑flink任務(wù)時，總是重復(fù)消費kafka的數(shù)據(jù)（kafka-＞mysql）。希望對大家有所幫助。如果存在錯誤或未考慮完全的地方，請大家不吝賜教，您也可以點擊"舉報違法"按鈕提交疑問。

Idea本地跑flink任務(wù)時，總是重復(fù)消費kafka的數(shù)據(jù)（kafka-＞mysql）,Flink入門及實戰(zhàn),intellij-idea,flink,kafka
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
Idea中執(zhí)行任務(wù)時，沒法看到JobManager的錯誤，以至于我以為是什么特殊的原因?qū)е氯蝿?wù)總是反復(fù)消費。在close方法中，增加日志，發(fā)現(xiàn)jdbc連接被關(guān)閉了。 重新消費，jdbc連接又啟動了。

注意，在Flink的函數(shù)中，open和close方法只在任務(wù)啟動和結(jié)束的時候執(zhí)行一次。反之，可以推理出，如果close方法被執(zhí)行了，那么說明任務(wù)掛了。
在本地任務(wù)中增加本地Flink UI，很明顯可以看到任務(wù)在不斷的重啟。JobManager中有明顯的Exception，就是文章來源地址http://www.zghlxwxcb.cn/news/detail-726963.html

SQLSyntaxErrorException: Unknown column 'day_after_back' in 'field list'

到了這里，關(guān)于Idea本地跑flink任務(wù)時，總是重復(fù)消費kafka的數(shù)據(jù)（kafka-＞mysql）的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！

本文來自互聯(lián)網(wǎng)用戶投稿，該文觀點僅代表作者本人，不代表本站立場。本站僅提供信息存儲空間服務(wù)，不擁有所有權(quán)，不承擔(dān)相關(guān)法律責(zé)任。如若轉(zhuǎn)載，請注明出處： 如若內(nèi)容造成侵權(quán)/違法違規(guī)/事實不符，請點擊違法舉報進(jìn)行投訴反饋，一經(jīng)查實，立即刪除！

領(lǐng)支付寶紅包贊助服務(wù)器費用

相關(guān)文章

  • 輕松通關(guān)Flink第24講：Flink 消費 Kafka 數(shù)據(jù)業(yè)務(wù)開發(fā)

    在上一課時中我們提過在實時計算的場景下，絕大多數(shù)的數(shù)據(jù)源都是消息系統(tǒng)，而 Kafka 從眾多的消息中間件中脫穎而出，主要是因為 高吞吐 、 低延遲 的特點；同時也講了 Flink 作為生產(chǎn)者像 Kafka 寫入數(shù)據(jù)的方式和代碼實現(xiàn)。這一課時我們將從以下幾個方面介紹 Flink 消費

    2024年02月08日
    瀏覽(25)

  • Flink使用 KafkaSource消費 Kafka中的數(shù)據(jù)

    目前，很多 flink相關(guān)的書籍和網(wǎng)上的文章講解如何對接 kafka時都是使用的 FlinkKafkaConsumer，如下： 新版的 flink，比如 1.14.3已經(jīng)將 FlinkKafkaConsumer標(biāo)記為 deprecated（不推薦）,如下： 新版本的 flink應(yīng)該使用 KafkaSource來消費 kafka中的數(shù)據(jù)，詳細(xì)代碼如下： 開發(fā)者在工作中應(yīng)該盡量避

    2024年02月15日
    瀏覽(21)
  • 掌握實時數(shù)據(jù)流：使用Apache Flink消費Kafka數(shù)據(jù)

    掌握實時數(shù)據(jù)流：使用Apache Flink消費Kafka數(shù)據(jù)

    ? ? ? ? 導(dǎo)讀：使用Flink實時消費Kafka數(shù)據(jù)的案例是探索實時數(shù)據(jù)處理領(lǐng)域的絕佳方式。不僅非常實用，而且對于理解現(xiàn)代數(shù)據(jù)架構(gòu)和流處理技術(shù)具有重要意義。 ????????Apache Flink ?是一個在 有界 數(shù)據(jù)流和 無界 數(shù)據(jù)流上進(jìn)行有狀態(tài)計算分布式處理引擎和框架。Flink 設(shè)計旨

    2024年02月03日
    瀏覽(31)
  • 流批一體計算引擎-4-[Flink]消費kafka實時數(shù)據(jù)

    流批一體計算引擎-4-[Flink]消費kafka實時數(shù)據(jù)

    Python3.6.9 Flink 1.15.2消費Kafaka Topic PyFlink基礎(chǔ)應(yīng)用之kafka 通過PyFlink作業(yè)處理Kafka數(shù)據(jù) PyFlink需要特定的Python版本，Python 3.6, 3.7, 3.8 or 3.9。 1.3.1 python3和pip3的配置 一、系統(tǒng)中安裝了多個版本的python3 。 二、環(huán)境變量path作用順序 三、安裝Pyflink 1.3.2 配置Flink Kafka連接 (1)在https://mvnr

    2024年02月06日
    瀏覽(35)

  • 【Flink-Kafka-To-RocketMQ】使用 Flink 自定義 Sink 消費 Kafka 數(shù)據(jù)寫入 RocketMQ

    這里的 maven 依賴比較冗余，推薦大家都加上，后面陸續(xù)優(yōu)化。 注意： 1、此程序中所有的相關(guān)配置都是通過 Mysql 讀取的（生產(chǎn)環(huán)境中沒有直接寫死的，都是通過配置文件動態(tài)配置），大家實際測試過程中可以將相關(guān)配置信息寫死。 2、此程序中 Kafka 涉及到了 Kerberos 認(rèn)證操作

    2024年02月03日
    瀏覽(21)

  • flink如何初始化kafka數(shù)據(jù)源的消費偏移

    我們知道在日常非flink場景中消費kafka主題時，我們只要指定了消費者組，下次程序重新消費時是可以從上次消費停止時的消費偏移開始繼續(xù)消費的，這得益于kafka的_offset_主題保存的關(guān)于消費者組和topic偏移位置的具體偏移信息,那么flink應(yīng)用中重啟flink應(yīng)用時，flink是從topic的什

    2024年02月16日
    瀏覽(31)
  • 實戰(zhàn)Flink Java api消費kafka實時數(shù)據(jù)落盤HDFS

    實戰(zhàn)Flink Java api消費kafka實時數(shù)據(jù)落盤HDFS

    在Java api中，使用flink本地模式，消費kafka主題，并直接將數(shù)據(jù)存入hdfs中。 flink版本1.13 kafka版本0.8 hadoop版本3.1.4 為了完成 Flink 從 Kafka 消費數(shù)據(jù)并實時寫入 HDFS 的需求，通常需要啟動以下組件： 確保 Zookeeper 在運行，因為 Flink 的 Kafka Consumer 需要依賴 Zookeeper。 確保 Kafka Serve

    2024年01月24日
    瀏覽(29)
  • Kafka重復(fù)消費、Dubbo重復(fù)調(diào)用問題排查

    Kafka重復(fù)消費、Dubbo重復(fù)調(diào)用問題排查

    ????????本業(yè)務(wù)為車機流量充值業(yè)務(wù)，大致流程為：收到微信、支付寶端用戶支付成功回調(diào)后，將用戶訂單信息發(fā)送至kafka中；消費者接收到kafka中信息后進(jìn)行解析，處理用戶訂單信息，為用戶訂購相關(guān)流量包（調(diào)用電信相關(guān)接口），訂購成功/失敗后會通過MQTT發(fā)送訂購成功

    2024年03月24日
    瀏覽(18)
  • 4.3、Flink任務(wù)怎樣讀取Kafka中的數(shù)據(jù)

    4.3、Flink任務(wù)怎樣讀取Kafka中的數(shù)據(jù)

    目錄 1、添加pom依賴 2、API使用說明 3、這是一個完整的入門案例 4、Kafka消息應(yīng)該如何解析 4.1、只獲取Kafka消息的value部分 ?4.2、獲取完整Kafka消息(key、value、Metadata) 4.3、自定義Kafka消息解析器 5、起始消費位點應(yīng)該如何設(shè)置 ?5.1、earliest() 5.2、latest() 5.3、timestamp() 6、Kafka分區(qū)

    2024年02月13日
    瀏覽(19)
  • kafka怎么避免重復(fù)消費

    kafka怎么避免重復(fù)消費

    首先，Kafka Broker上存儲的消息都有一個Offset的標(biāo)記，然后Kafka的消費者是通過Offset這個標(biāo)記來維護(hù)當(dāng)前已經(jīng)消費的一個數(shù)據(jù)的。消費者每消費一批數(shù)據(jù)，Kafka Broker就會更新OffSet的一個值，避免重復(fù)消費的一個問題。 默認(rèn)情況下，消息消費完成以后，會自動提交Offset這樣一個值

    2024年04月15日
    瀏覽(29)

覺得文章有用就打賞一下文章作者

支付寶掃一掃打賞

博客贊助

微信掃一掃打賞

請作者喝杯咖啡吧~博客贊助

支付寶掃一掃領(lǐng)取紅包，優(yōu)惠每天領(lǐng)

二維碼1

領(lǐng)取紅包

二維碼2

領(lǐng)紅包