相關(guān)文章

• 【flink番外篇】6、flink的WaterMark（介紹、基本使用、kafka的水印以及超出最大允許延遲數(shù)據(jù)的處理）介紹及示例 - 完整版

  一、Flink 專欄 Flink 專欄系統(tǒng)介紹某一知識(shí)點(diǎn)，并輔以具體的示例進(jìn)行說(shuō)明。 1、Flink 部署系列 本部分介紹Flink的部署、配置相關(guān)基礎(chǔ)內(nèi)容。 2、Flink基礎(chǔ)系列 本部分介紹Flink 的基礎(chǔ)部分，比如術(shù)語(yǔ)、架構(gòu)、編程模型、編程指南、基本的datastream api用法、四大基石等內(nèi)容。 3、

  2024年02月02日

  瀏覽(27)

• 數(shù)據(jù)流處理框架Flink與Kafka

  在大數(shù)據(jù)時(shí)代，數(shù)據(jù)流處理技術(shù)已經(jīng)成為了一種重要的技術(shù)手段，用于處理和分析大量實(shí)時(shí)數(shù)據(jù)。Apache Flink和Apache Kafka是兩個(gè)非常重要的開源項(xiàng)目，它們?cè)跀?shù)據(jù)流處理領(lǐng)域具有廣泛的應(yīng)用。本文將深入探討Flink和Kafka的關(guān)系以及它們?cè)跀?shù)據(jù)流處理中的應(yīng)用，并提供一些最佳實(shí)踐

  2024年04月23日

  瀏覽(27)
• 

  4.3、Flink任務(wù)怎樣讀取Kafka中的數(shù)據(jù)

  目錄 1、添加pom依賴 2、API使用說(shuō)明 3、這是一個(gè)完整的入門案例 4、Kafka消息應(yīng)該如何解析 4.1、只獲取Kafka消息的value部分 ?4.2、獲取完整Kafka消息(key、value、Metadata) 4.3、自定義Kafka消息解析器 5、起始消費(fèi)位點(diǎn)應(yīng)該如何設(shè)置 ?5.1、earliest() 5.2、latest() 5.3、timestamp() 6、Kafka分區(qū)

  2024年02月13日

  瀏覽(19)

• 【Flink-Kafka-To-Hive】使用 Flink 實(shí)現(xiàn) Kafka 數(shù)據(jù)寫入 Hive

  需求描述： 1、數(shù)據(jù)從 Kafka 寫入 Hive。 2、相關(guān)配置存放于 Mysql 中，通過(guò) Mysql 進(jìn)行動(dòng)態(tài)讀取。 3、此案例中的 Kafka 是進(jìn)行了 Kerberos 安全認(rèn)證的，如果不需要自行修改。 4、Flink 集成 Kafka 寫入 Hive 需要進(jìn)行 checkpoint 才能落盤至 HDFS。 5、先在 Hive 中創(chuàng)建表然后動(dòng)態(tài)獲取 Hive 的表

  2024年02月03日

  瀏覽(23)

• 【Flink-Kafka-To-ClickHouse】使用 Flink 實(shí)現(xiàn) Kafka 數(shù)據(jù)寫入 ClickHouse

  需求描述： 1、數(shù)據(jù)從 Kafka 寫入 ClickHouse。 2、相關(guān)配置存放于 Mysql 中，通過(guò) Mysql 進(jìn)行動(dòng)態(tài)讀取。 3、此案例中的 Kafka 是進(jìn)行了 Kerberos 安全認(rèn)證的，如果不需要自行修改。 4、先在 ClickHouse 中創(chuàng)建表然后動(dòng)態(tài)獲取 ClickHouse 的表結(jié)構(gòu)。 5、Kafka 數(shù)據(jù)為 Json 格式，通過(guò) FlatMap 扁平

  2024年02月03日

  瀏覽(23)
• 

  Lecture 8 Flink流處理-Kafka簡(jiǎn)介與基本使用(Appendix Ⅰ)

  ????????認(rèn)識(shí)一個(gè)新框架的時(shí)候，先要知道這個(gè)東西干什么用的，具體有哪些實(shí)際應(yīng)用場(chǎng)景，根據(jù)它的應(yīng)用場(chǎng)景去初步推測(cè)它的架構(gòu)（包括數(shù)據(jù)結(jié)構(gòu)，設(shè)計(jì)模式等）是怎樣的，而不是上來(lái)就看定義概念。 1.1.1 異步處理 ????????電商網(wǎng)站中，新的用戶注冊(cè)時(shí)，需要將用戶

  2024年04月23日

  瀏覽(16)

• 【Flink-Kafka-To-RocketMQ】使用 Flink 自定義 Sink 消費(fèi) Kafka 數(shù)據(jù)寫入 RocketMQ

  這里的 maven 依賴比較冗余，推薦大家都加上，后面陸續(xù)優(yōu)化。 注意： 1、此程序中所有的相關(guān)配置都是通過(guò) Mysql 讀取的（生產(chǎn)環(huán)境中沒有直接寫死的，都是通過(guò)配置文件動(dòng)態(tài)配置），大家實(shí)際測(cè)試過(guò)程中可以將相關(guān)配置信息寫死。 2、此程序中 Kafka 涉及到了 Kerberos 認(rèn)證操作

  2024年02月03日

  瀏覽(21)
• 

  掌握實(shí)時(shí)數(shù)據(jù)流：使用Apache Flink消費(fèi)Kafka數(shù)據(jù)

  ? ? ? ? 導(dǎo)讀：使用Flink實(shí)時(shí)消費(fèi)Kafka數(shù)據(jù)的案例是探索實(shí)時(shí)數(shù)據(jù)處理領(lǐng)域的絕佳方式。不僅非常實(shí)用，而且對(duì)于理解現(xiàn)代數(shù)據(jù)架構(gòu)和流處理技術(shù)具有重要意義。 ????????Apache Flink ?是一個(gè)在 有界 數(shù)據(jù)流和 無(wú)界 數(shù)據(jù)流上進(jìn)行有狀態(tài)計(jì)算分布式處理引擎和框架。Flink 設(shè)計(jì)旨

  2024年02月03日

  瀏覽(31)

• Flink1.17.1消費(fèi)kafka3.5中的數(shù)據(jù)出現(xiàn)問(wèn)題Failed to get metadata for topics [flink].

  問(wèn)題呈現(xiàn) Failed to get metadata for topics [flink]. at org.apache.flink.connector.kafka.source.enumerator.subscriber.KafkaSubscriberUtils.getTopicMetadata(KafkaSubscriberUtils.java:47) at org.apache.flink.connector.kafka.source.enumerator.subscriber.TopicListSubscriber.getSubscribedTopicPartitions(TopicListSubscriber.java:52) at org.apache.flink.connecto

  2024年02月11日

  瀏覽(24)
• 

  使用Flink實(shí)現(xiàn)Kafka到MySQL的數(shù)據(jù)流轉(zhuǎn)換：一個(gè)基于Flink的實(shí)踐指南

  在現(xiàn)代數(shù)據(jù)處理架構(gòu)中，Kafka和MySQL是兩種非常流行的技術(shù)。Kafka作為一個(gè)高吞吐量的分布式消息系統(tǒng)，常用于構(gòu)建實(shí)時(shí)數(shù)據(jù)流管道。而MySQL則是廣泛使用的關(guān)系型數(shù)據(jù)庫(kù)，適用于存儲(chǔ)和查詢數(shù)據(jù)。在某些場(chǎng)景下，我們需要將Kafka中的數(shù)據(jù)實(shí)時(shí)地寫入到MySQL數(shù)據(jù)庫(kù)中，本文將介紹

  2024年04月15日

  瀏覽(24)