相關(guān)文章

• 

  Kafka3.0.0版本——手動(dòng)調(diào)整分區(qū)副本示例

  四臺(tái)服務(wù)器 原始服務(wù)器名稱 原始服務(wù)器ip 節(jié)點(diǎn) centos7虛擬機(jī)1 192.168.136.27 broker0 centos7虛擬機(jī)2 192.168.136.28 broker1 centos7虛擬機(jī)3 192.168.136.29 broker2 centos7虛擬機(jī)4 192.168.136.30 broker3 2.1、先啟動(dòng)zookeeper集群 啟動(dòng)zookeeper集群 2.2、再啟動(dòng)kafka集群 啟動(dòng)kafka集群 3.1、手動(dòng)調(diào)整分區(qū)副本的前提

  2024年02月11日

  瀏覽(24)
• 

  Kafka3.0.0版本——生產(chǎn)者 數(shù)據(jù)去重

  1.1、至少一次 至少一次（At Least Once ）的含義 生產(chǎn)者發(fā)送數(shù)據(jù)到kafka集群，kafka集群至少接收到一次數(shù)據(jù)。 至少一次的條件： ACK級(jí)別設(shè)置為-1 + 分區(qū)副本大于等于2 + ISR里應(yīng)答的最小副本數(shù)量大于等于2 1.2、最多一次 最多一次（At Most Once ）的含義 生產(chǎn)者發(fā)送數(shù)據(jù)到kafka集群，

  2024年02月01日

  瀏覽(19)
• 

  Kafka3.0.0版本——Leader Partition自動(dòng)平衡

  正常情況下，Kafka 本身會(huì)自動(dòng)把Leader Partition均勻分散在各個(gè)機(jī)器上 ，來保證每臺(tái)機(jī)器的讀寫吞吐量都是均勻的。但是如果 某些broker宕機(jī)，會(huì)導(dǎo)致Leader Partition過于集中在其他少部分幾臺(tái)broker上 ，這會(huì)導(dǎo)致少數(shù)幾臺(tái)broker的讀寫請(qǐng)求壓力過高，其他宕機(jī)的broker重啟之后都是foll

  2024年02月11日

  瀏覽(23)
• 

  Kafka3.0.0版本——Follower故障處理細(xì)節(jié)原理

  三臺(tái)服務(wù)器 原始服務(wù)器名稱 原始服務(wù)器ip 節(jié)點(diǎn) centos7虛擬機(jī)1 192.168.136.27 broker0 centos7虛擬機(jī)2 192.168.136.28 broker1 centos7虛擬機(jī)3 192.168.136.29 broker2 2.1、服務(wù)器基本信息 首先，分別有3臺(tái)服務(wù)器分別為broker0、broker1、broker2，其中一臺(tái)為leader，2臺(tái)follower服務(wù)器。每臺(tái)服務(wù)器已經(jīng)接收到

  2024年02月10日

  瀏覽(25)
• 

  Kafka3.0.0版本——Leader故障處理細(xì)節(jié)原理

  三臺(tái)服務(wù)器 原始服務(wù)器名稱 原始服務(wù)器ip 節(jié)點(diǎn) centos7虛擬機(jī)1 192.168.136.27 broker0 centos7虛擬機(jī)2 192.168.136.28 broker1 centos7虛擬機(jī)3 192.168.136.29 broker2 2.1、服務(wù)器基本信息 首先，分別有3臺(tái)服務(wù)器分別為broker0、broker1、broker2，其中一臺(tái)為leader，2臺(tái)follower服務(wù)器。每臺(tái)服務(wù)器已經(jīng)接收到

  2024年02月11日

  瀏覽(20)
• 

  Kafka3.0.0版本——消費(fèi)者（自動(dòng)提交 offset）

  官網(wǎng)文檔 參數(shù)解釋 參數(shù) 描述 enable.auto.commi 默認(rèn)值為 true，消費(fèi)者會(huì)自動(dòng)周期性地向服務(wù)器提交偏移量。 auto.commit.interval.ms 如果設(shè)置了 enable.auto.commit 的值為 true， 則該值定義了消費(fèi)者偏移量向 Kafka 提交的頻率，默認(rèn) 5s。 圖解分析 消費(fèi)者自動(dòng)提交 offset代碼 消費(fèi)者自動(dòng)提交

  2024年02月09日

  瀏覽(27)
• 

  Kafka3.0.0版本——消費(fèi)者（手動(dòng)提交offset）

  1.1、手動(dòng)提交offset的兩種方式 commitSync（同步提交）：必須等待offset提交完畢，再去消費(fèi)下一批數(shù)據(jù)。 commitAsync（異步提交） ：發(fā)送完提交offset請(qǐng)求后，就開始消費(fèi)下一批數(shù)據(jù)了。 1.2、手動(dòng)提交offset兩種方式的區(qū)別 相同點(diǎn)：都會(huì)將本次提交的一批數(shù)據(jù)最高的偏移量提交。 不

  2024年02月09日

  瀏覽(28)
• 

  Kafka3.0.0版本——生產(chǎn)者如何提高吞吐量

  設(shè)置批次大小，batch.size 默認(rèn) 16K。 設(shè)置等待時(shí)間，linger.ms 默認(rèn) 0。 設(shè)置緩沖區(qū)大小，buffer.memory 默認(rèn) 32M 設(shè)置壓縮， compression.type 默認(rèn) none，可配置值 gzip、snappy、lz4 和 zstd。 代碼 在kafka集群上開啟 Kafka 消費(fèi)者 在 IDEA 中執(zhí)行代碼，觀察kafka集群控制臺(tái)中是否接收到消息。 測(cè)試

  2023年04月10日

  瀏覽(21)
• 

  Kafka3.0.0版本——生產(chǎn)者數(shù)據(jù)有序與亂序

  單分區(qū)內(nèi)，數(shù)據(jù)有序。如下圖partion0、partion1、partion2分區(qū)內(nèi)，各自分區(qū)內(nèi)的數(shù)據(jù)有序。 2.1、kafka1.x版本之前保證數(shù)據(jù)單分區(qū)有序的條件 kafka在1.x版本之前保證數(shù)據(jù)單分區(qū)有序，條件如下： 2.2、kafka1.x版本及以后保證數(shù)據(jù)單分區(qū)有序的條件 未開啟冪等性 開啟冪等性 2.3、kafka1

  2023年04月27日

  瀏覽(29)
• 

  Kafka3.0.0版本——消費(fèi)者（消費(fèi)者組原理）

  1.1、消費(fèi)者組概述 Consumer Group（CG）：消費(fèi)者組，由多個(gè)consumer組成。形成一個(gè)消費(fèi)者組的條件，是所有消費(fèi)者的groupid相同。 注意： （1）、消費(fèi)者組內(nèi)每個(gè)消費(fèi)者負(fù)責(zé)消費(fèi)不同分區(qū)的數(shù)據(jù)，一個(gè)分區(qū)只能由一個(gè)組內(nèi)消費(fèi)者消費(fèi)。 （2）、消費(fèi)者組之間互不影響。所有的消費(fèi)者

  2024年02月09日

  瀏覽(28)