一、分區(qū)的分配以及再平衡
1.1、消費(fèi)者分區(qū)及消費(fèi)者組的概述
- 一個(gè)consumer group中有多個(gè)consumer組成，一個(gè) topic有多個(gè)partition組成。
1.2、如何確定哪個(gè)consumer來消費(fèi)哪個(gè)partition的數(shù)據(jù)
-
Kafka有四種主流的分區(qū)分配策略： Range、RoundRobin、Sticky、CooperativeSticky。
文章來源：http://www.zghlxwxcb.cn/news/detail-733425.html -
可以通過配置參數(shù)partition.assignment.strategy，修改分區(qū)的分配策略。默認(rèn)策略是Range + CooperativeSticky。Kafka可以同時(shí)使用多個(gè)分區(qū)分配策略。
文章來源地址http://www.zghlxwxcb.cn/news/detail-733425.html
1.3、消費(fèi)者分區(qū)分配策略
| 參數(shù)名稱 | 描述 |
|---|---|
| heartbeat.interval.ms | Kafka 消費(fèi)者和 coordinator 之間的心跳時(shí)間， 默認(rèn) 3s。該條目的值必須小于 session.timeout.ms，也不應(yīng)該高于session.timeout.ms 的 1/3。 |
| session.timeout.ms | Kafka 消費(fèi)者和 coordinator 之間連接超時(shí)時(shí)間， 默認(rèn) 45s。超過該值，該消費(fèi)者被移除，消費(fèi)者組執(zhí)行再平衡。 |
| max.poll.interval.ms | 消費(fèi)者處理消息的最大時(shí)長(zhǎng)， 默認(rèn)是 5 分鐘。超過該值，該消費(fèi)者被移除，消費(fèi)者組執(zhí)行再平衡。 |
| partition.assignment.strategy | 消 費(fèi) 者 分 區(qū) 分 配 策 略 ， 默 認(rèn) 策 略 是 Range +CooperativeSticky。Kafka 可以同時(shí)使用多個(gè)分區(qū)分配策略?？?以 選 擇 的 策 略 包 括 ： Range 、 RoundRobin 、 Sticky 、CooperativeSticky |
到了這里，關(guān)于Kafka3.0.0版本——消費(fèi)者（分區(qū)的分配以及再平衡）的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！
