相關(guān)文章

• 

  Kafka 架構(gòu)深度解析：生產(chǎn)者（Producer）和消費(fèi)者（Consumer）

  Apache Kafka 作為分布式流處理平臺，其架構(gòu)中的生產(chǎn)者和消費(fèi)者是核心組件，負(fù)責(zé)實(shí)現(xiàn)高效的消息生產(chǎn)和消費(fèi)。本文將深入剖析 Kafka 架構(gòu)中生產(chǎn)者和消費(fèi)者的工作原理、核心概念以及高級功能。 1 發(fā)送消息到 Kafka Kafka 生產(chǎn)者負(fù)責(zé)將消息發(fā)布到指定的主題。以下是一個簡單的生

  2024年02月03日

  瀏覽(50)
• 

  kafka Consumer 消費(fèi)者使用多線程并發(fā)執(zhí)行，并保證順序消費(fèi)， 第一種使用純線程方式、第二種使用Executors線程池

  網(wǎng)上搜索kafka消費(fèi)者通過多線程進(jìn)行順序消費(fèi)的內(nèi)容都不太理想，或者太過復(fù)雜，所以自己寫了幾個demo，供大家參考指正。 ????????單個消費(fèi)者，每秒需要處理1000條數(shù)據(jù)，每條數(shù)據(jù)的處理時間為500ms，相同accNum（客戶賬號）的數(shù)據(jù)需要保證消費(fèi)的順序。 1、如果1秒鐘生產(chǎn)

  2024年02月15日

  瀏覽(22)
• 

  【Kafka-Consumer分區(qū)分配策略】Kafka 消費(fèi)者組三種分區(qū)分配策略 Range Assignor、RoundRobin Assignor、Sticky Assignor 詳細(xì)解析

  1、一個 consumer group 中有多個 consumer 組成，一個 topic 有多個 partition 組成，現(xiàn)在的問題是，到底由哪個 consumer 來消費(fèi)哪個 partition 的數(shù)據(jù)。 2、Kafka有四種主流的分區(qū)分配策略： Range、RoundRobin、Sticky、CooperativeSticky。 可以通過配置參數(shù) partition.assignment.strategy ，修改分區(qū)的分配

  2024年02月22日

  瀏覽(21)

• kafka消費(fèi)者報錯Offset commit ......it is likely that the consumer was kicked out of the group的解決

  2022年10月份接到一個小功能，對接kafka將數(shù)據(jù)寫到數(shù)據(jù)庫，開始的需求就是無腦批量insert，隨著時間的推移，業(yè)務(wù)需求有變更，kafka的生產(chǎn)消息頻次越來越高，到今年7月份為止就每秒會有幾十條甚至上百條，然后消費(fèi)消息的代碼就報錯： Caused by: org.apache.kafka.clients.consumer.Com

  2024年02月07日

  瀏覽(23)
• 

  kafka學(xué)習(xí)-消費(fèi)者

  目錄 1、消費(fèi)者、消費(fèi)組 2、心跳機(jī)制 3、消費(fèi)者常見參數(shù)配置 4、訂閱 5、反序列化 基本概念 自定義反序列化器 6、位移提交 6.1、自動提交 6.2、手動提交 同步提交 異步提交 7、再均衡 7.1、定義與基本概念 7.2、缺陷 7.3、如何避免再均衡 7.4、如何進(jìn)行組內(nèi)分區(qū)分配 7.5、誰來執(zhí)

  2024年02月09日

  瀏覽(24)

• rabbitmq之Consumer Prefetch（消費(fèi)者預(yù)取）

  官方文檔： https://www.rabbitmq.com/consumer-prefetch.html https://www.rabbitmq.com/confirms.html#channel-qos-prefetch 測試”消息積壓“場景：在消費(fèi)者沒有啟動的情況下，生產(chǎn)者先生產(chǎn)很多消息。然后先開啟一個a消費(fèi)者，再開啟b消費(fèi)者，發(fā)現(xiàn)只有a消費(fèi)者不斷的消費(fèi)舊的消息，而b消費(fèi)者”無動于

  2024年02月11日

  瀏覽(23)
• 

  [RocketMQ] Consumer消費(fèi)者啟動主要流程源碼 (六)

  客戶端常用的消費(fèi)者類是DefaultMQPushConsumer, DefaultMQPushConsumer的構(gòu)造器以及start方法的源碼。 1.創(chuàng)建DefaultMQPushConsumer實(shí)例 最終都是調(diào)用下面四個參數(shù)的構(gòu)造函數(shù): 指定了命名空間、生產(chǎn)者組、RPC鉤子和消費(fèi)者之間消息分配的策略算法的構(gòu)造器, 創(chuàng)建了一個DefaultMQPushConsumerImpl實(shí)例

  2024年02月16日

  瀏覽(23)
• 

  Kafka學(xué)習(xí)---4、消費(fèi)者（分區(qū)消費(fèi)、分區(qū)平衡策略、offset、漏消費(fèi)和重復(fù)消費(fèi)）

  1.1 Kafka消費(fèi)方式 1、pull（拉）模式：consumer采用從broker中主動拉取數(shù)據(jù)。 2、push（推）模式：Kafka沒有采用這種方式。因?yàn)閎roker決定消息發(fā)生速率，很難適應(yīng)所有消費(fèi)者的消費(fèi)速率。例如推送的速度是50M/s，Consumer1、Consumer2就來不及處理消息。 pull模式不足之處是如果Kafka沒有數(shù)

  2024年02月16日

  瀏覽(24)
• 

  13、Kafka ------ kafka 消費(fèi)者API用法（消費(fèi)者消費(fèi)消息代碼演示）

  消費(fèi)者API的核心類是 KafkaConsumer，它提供了如下常用方法： 下面這些方法都體現(xiàn)了Kafka是一個數(shù)據(jù)流平臺，消費(fèi)者通過這些方法可以從分區(qū)的任意位置、重新開始讀取數(shù)據(jù)。 根據(jù)KafkaConsumer不難看出，使用消費(fèi)者API拉取消息很簡單，基本只要幾步： 1、創(chuàng)建KafkaConsumer對象，創(chuàng)建

  2024年04月11日

  瀏覽(30)
• 

  分布式 - 消息隊(duì)列Kafka：Kafka消費(fèi)者和消費(fèi)者組

  1. Kafka 消費(fèi)者是什么？ 消費(fèi)者負(fù)責(zé)訂閱Kafka中的主題，并且從訂閱的主題上拉取消息。與其他一些消息中間件不同的是：在Kafka的消費(fèi)理念中還有一層消費(fèi)組的概念，每個消費(fèi)者都有一個對應(yīng)的消費(fèi)組。當(dāng)消息發(fā)布到主題后，只會被投遞給訂閱它的每個消費(fèi)組中的一個消費(fèi)者

  2024年02月13日

  瀏覽(29)