国产无码综合区,色欲AV无码国产永久播放,无码天堂亚洲国产AV,国产日韩欧美女同一区二区

Kafka 入門到起飛 - Kafka怎么做到保障消息不會(huì)重復(fù)消費(fèi)的？消費(fèi)者組是什么？

2年前作者：FightingITPanda分類：Toy博客閱讀(20)違法舉報(bào)

這篇具有很好參考價(jià)值的文章主要介紹了Kafka 入門到起飛 - Kafka怎么做到保障消息不會(huì)重復(fù)消費(fèi)的？消費(fèi)者組是什么？。希望對(duì)大家有所幫助。如果存在錯(cuò)誤或未考慮完全的地方，請(qǐng)大家不吝賜教，您也可以點(diǎn)擊"舉報(bào)違法"按鈕提交疑問。

Kafka怎么做到避免消息重復(fù)消費(fèi)的？消費(fèi)者組是什么？

`消費(fèi)者`：

1、訂閱Topic（主題）
2、從訂閱的Topic消費(fèi)（pull）消息，
3、將消費(fèi)消息的offset（偏移量）保存在Kafka內(nèi)置的一Topic名字是_consumer_offsets的主題中,在Kafka的logs文件下能看到這??文件，存放的是消息的偏移量數(shù)據(jù)
Kafka 入門到起飛 - Kafka怎么做到保障消息不會(huì)重復(fù)消費(fèi)的？消費(fèi)者組是什么？,kafka,kafka,分布式,消費(fèi)者組,重復(fù)消費(fèi),橫向擴(kuò)展

`消費(fèi)者組`：

Kafka 入門到起飛 - Kafka怎么做到保障消息不會(huì)重復(fù)消費(fèi)的？消費(fèi)者組是什么？,kafka,kafka,分布式,消費(fèi)者組,重復(fù)消費(fèi),橫向擴(kuò)展

1、訂閱同一個(gè)Topic的消費(fèi)者可以加入到一個(gè)consumer Group（消費(fèi)者組）
2、消費(fèi)者組中的consumer共享一個(gè)group_id，configs,put(“group.id”,”XXX”);只要消費(fèi)者的group_id一樣，就屬于同一個(gè)消費(fèi)者組
3、消費(fèi)者組保證每個(gè)topic下一個(gè)partition的消息只能被一個(gè)消費(fèi)者組下一個(gè)消費(fèi)者消費(fèi)，避免消息的重復(fù)消費(fèi)
如上圖，當(dāng)前只有一個(gè)消費(fèi)者組訂閱這個(gè)Topic，消費(fèi)者組里只有一個(gè)消費(fèi)者，那么當(dāng)前Topic中所有分區(qū)的消息都由這個(gè)消費(fèi)者消費(fèi)
4、當(dāng)消費(fèi)者端業(yè)務(wù)邏輯比較復(fù)雜，消費(fèi)消息比較慢，這個(gè)時(shí)候我們可以向消費(fèi)者組中多加幾個(gè)消費(fèi)者（橫向擴(kuò)展）來提升消費(fèi)速度。無非就是消費(fèi)者端一套代碼再在幾臺(tái)新的服務(wù)器部署一套，加入到同一個(gè)group_id下，同時(shí)從主題消費(fèi)消息
橫向擴(kuò)展后，Kafka會(huì)對(duì)消息的分區(qū)與消費(fèi)者的對(duì)應(yīng)關(guān)系重新調(diào)整，這就是rebalance（再平衡機(jī)制）
Kafka 入門到起飛 - Kafka怎么做到保障消息不會(huì)重復(fù)消費(fèi)的？消費(fèi)者組是什么？,kafka,kafka,分布式,消費(fèi)者組,重復(fù)消費(fèi),橫向擴(kuò)展
如上圖，消費(fèi)者組擴(kuò)展一個(gè)消費(fèi)者后，消費(fèi)者1、2分別消費(fèi)兩個(gè)分區(qū)的消息
我們可以看到，一個(gè)分區(qū)對(duì)應(yīng)一個(gè)消費(fèi)者，但是一個(gè)消費(fèi)者可以對(duì)應(yīng)多個(gè)分區(qū)

如果上面結(jié)構(gòu)還不夠，兩個(gè)消費(fèi)者消費(fèi)速度依然跟不上，那么我們還可以繼續(xù)添加消費(fèi)者，添加到4個(gè)消費(fèi)者，此時(shí)主題分區(qū)與消費(fèi)者的關(guān)系再次發(fā)生變化，需要再平衡，此時(shí)一個(gè)消費(fèi)者消費(fèi)一個(gè)分區(qū)消息，達(dá)到并行消費(fèi)的效果
Kafka 入門到起飛 - Kafka怎么做到保障消息不會(huì)重復(fù)消費(fèi)的？消費(fèi)者組是什么？,kafka,kafka,分布式,消費(fèi)者組,重復(fù)消費(fèi),橫向擴(kuò)展

上面步驟我們看到了消息的分區(qū)可以橫向擴(kuò)展，消息的消費(fèi)者也可以橫向擴(kuò)展，向消費(fèi)者組添加消費(fèi)者是橫向擴(kuò)展消費(fèi)能力的主要方式，而消費(fèi)者組是消費(fèi)者的關(guān)鍵，消費(fèi)者組來保證，主題下的消息不管由多少個(gè)分區(qū)，每條消息只會(huì)被一個(gè)消費(fèi)者消費(fèi)，就不會(huì)引起重復(fù)消費(fèi)的情況

一般最佳情況是：消費(fèi)者數(shù) = 分區(qū)數(shù)，一個(gè)分區(qū)對(duì)應(yīng)一個(gè)消費(fèi)者，
消費(fèi)者也不是越多越好，消費(fèi)者數(shù)受限于分區(qū)數(shù)，過多消費(fèi)者會(huì)導(dǎo)致有的消費(fèi)者沒有分配分區(qū)導(dǎo)致空閑，如下圖
Kafka 入門到起飛 - Kafka怎么做到保障消息不會(huì)重復(fù)消費(fèi)的？消費(fèi)者組是什么？,kafka,kafka,分布式,消費(fèi)者組,重復(fù)消費(fèi),橫向擴(kuò)展
所以對(duì)于高并發(fā)的場(chǎng)合，我們通常會(huì)給一個(gè)主題設(shè)置很多個(gè)分區(qū)，分區(qū)數(shù)多利于消費(fèi)者橫向擴(kuò)張

上面是一個(gè)消費(fèi)者組的情況，實(shí)際上對(duì)于一個(gè)Topic可以有不同的消費(fèi)者組，如下圖
Kafka 入門到起飛 - Kafka怎么做到保障消息不會(huì)重復(fù)消費(fèi)的？消費(fèi)者組是什么？,kafka,kafka,分布式,消費(fèi)者組,重復(fù)消費(fèi),橫向擴(kuò)展文章來源地址http://www.zghlxwxcb.cn/news/detail-612195.html

每個(gè)消費(fèi)者組是相互獨(dú)立的
每個(gè)消費(fèi)者組都可以拿到主題的全部數(shù)據(jù)

到了這里，關(guān)于Kafka 入門到起飛 - Kafka怎么做到保障消息不會(huì)重復(fù)消費(fèi)的？消費(fèi)者組是什么？的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！

本文來自互聯(lián)網(wǎng)用戶投稿，該文觀點(diǎn)僅代表作者本人，不代表本站立場(chǎng)。本站僅提供信息存儲(chǔ)空間服務(wù)，不擁有所有權(quán)，不承擔(dān)相關(guān)法律責(zé)任。如若轉(zhuǎn)載，請(qǐng)注明出處：如若內(nèi)容造成侵權(quán)/違法違規(guī)/事實(shí)不符，請(qǐng)點(diǎn)擊違法舉報(bào)進(jìn)行投訴反饋，一經(jīng)查實(shí)，立即刪除！

分享到：

領(lǐng)支付寶紅包贊助服務(wù)器費(fèi)用

Kafka 入門到起飛系列
2024年02月15日
瀏覽(42)
Kafka消息傳遞保障——事務(wù)與冪等
消息傳遞保障對(duì)于分布式系統(tǒng)的可靠性至關(guān)重要。在分布式系統(tǒng)中消息傳遞保障是確保系統(tǒng)可靠性的核心問題之一。系統(tǒng)需要確保消息能夠按照預(yù)期的方式進(jìn)行傳遞，以滿足業(yè)務(wù)需求。 Kafka是一種分布式的消息隊(duì)列系統(tǒng)，作為消息中間件常用于實(shí)現(xiàn)基于發(fā)布/訂閱模型的消息傳
2024年02月12日
瀏覽(15)
Kafka 入門到起飛 - 核心概念（術(shù)語解釋）
在kafka之旅，我們會(huì)大量討論Kafka中的術(shù)語，那么就讓我們先來了解一下這些核心概念消息(Message)： kafka的數(shù)據(jù)單元稱為消息，相當(dāng)于DB里的一行數(shù)據(jù) 或一條記錄消息由字節(jié)數(shù)組組成批次：生產(chǎn)者組一批數(shù)據(jù)再向kafka推送，批次大小可以通過參數(shù)配置把消息分成批次傳輸
2024年02月17日
瀏覽(21)
Kafka 入門到起飛系列 - 消費(fèi)者組管理、位移管理
消費(fèi)者組 - Consumer Group 上文我們已經(jīng)講過消費(fèi)者組了，我們知道消費(fèi)組的存在可以保證一個(gè)主題下一個(gè)分區(qū)的消息只會(huì)被組內(nèi)一個(gè)消費(fèi)者消費(fèi)，從而避免了消息的重復(fù)消費(fèi) 消費(fèi)者組是Kafka 提供的可擴(kuò)展且具有容錯(cuò)性的消費(fèi)者機(jī)制消費(fèi)組有一個(gè)或多個(gè)消費(fèi)者，消費(fèi)者可以是一
2024年02月15日
瀏覽(27)
Kafka入門到起飛系列 - 副本機(jī)制，什么是副本因子呢？
我們一直在講一個(gè)主題會(huì)有多個(gè)分區(qū)，這多個(gè)分區(qū)可以分布在一臺(tái)服務(wù)器上，也可以分布在多臺(tái)服務(wù)器上，還可以增加分區(qū)（Kafka目前只支持分區(qū)），這是Kafka提供的一種橫向擴(kuò)展的手段比如我們創(chuàng)建了一個(gè)主題，給主題分配50個(gè)分區(qū)（這個(gè)數(shù)不大，_consumer_offset主題默認(rèn)就5
2024年02月15日
瀏覽(18)
kafka如何避免消息重復(fù)消費(fèi)
Kafka 避免消息重復(fù)消費(fèi)通常依賴于以下策略和機(jī)制： Kafka使用Consumer Group ID來跟蹤每個(gè)消費(fèi)者所讀取的消息。確保每個(gè)消費(fèi)者都具有唯一的Group ID。如果多個(gè)消費(fèi)者屬于同一個(gè)Group ID，那么它們將共享消息，但每個(gè)分區(qū)的消息只能由一個(gè)消費(fèi)者處理。 Kafka會(huì)記錄每個(gè)消費(fèi)者組消
2024年01月15日
瀏覽(23)
【Kafka】消息重復(fù)場(chǎng)景及解決
根本原因生產(chǎn)發(fā)送的消息沒有收到正確的broke響應(yīng)，導(dǎo)致生產(chǎn)者重試。生產(chǎn)者發(fā)出一條消息，broke落盤以后因?yàn)榫W(wǎng)絡(luò)等種種原因發(fā)送端得到一個(gè)發(fā)送失敗的響應(yīng)或者網(wǎng)絡(luò)中斷，然后生產(chǎn)者收到一個(gè)可恢復(fù)的Exception重試消息導(dǎo)致消息重復(fù)。過程過程如下： new KafkaProducer()后創(chuàng)建
2024年02月21日
瀏覽(16)
kafka如何保證消息不被重復(fù)消費(fèi)
（1）kafka有個(gè)offset的概念，當(dāng)每個(gè)消息被寫進(jìn)去后，都有一個(gè)offset，代表他的序號(hào)，然后consumer消費(fèi)該數(shù)據(jù)之后，隔一段時(shí)間，會(huì)把自己消費(fèi)過的消息的offset提交一下，代表我已經(jīng)消費(fèi)過了。下次我要是重啟，就會(huì)繼續(xù)從上次消費(fèi)到的offset來繼續(xù)消費(fèi)。但是當(dāng)我們直接kill進(jìn)程
2024年02月11日
瀏覽(26)
防止消息丟失與消息重復(fù)——Kafka可靠性分析及優(yōu)化實(shí)踐
上手第一關(guān)，手把手教你安裝kafka與可視化工具kafka-eagle Kafka是什么，以及如何使用SpringBoot對(duì)接Kafka 架構(gòu)必備能力——kafka的選型對(duì)比及應(yīng)用場(chǎng)景 Kafka存取原理與實(shí)現(xiàn)分析，打破面試難關(guān) 在上一章內(nèi)容中，我們解析了Kafka在讀寫層面上的原理，介紹了很多Kafka在讀出與寫入時(shí)的
2024年02月08日
瀏覽(26)
一碰就頭疼的 Kafka 消息重復(fù)問題，立馬解決！
一、前言數(shù)據(jù)重復(fù)這個(gè)問題其實(shí)也是挺正常，全鏈路都有可能會(huì)導(dǎo)致數(shù)據(jù)重復(fù)。通常，消息消費(fèi)時(shí)候都會(huì)設(shè)置一定重試次數(shù)來避免網(wǎng)絡(luò)波動(dòng)造成的影響，同時(shí)帶來副作用是可能出現(xiàn)消息重復(fù)。整理下消息重復(fù)的幾個(gè)場(chǎng)景：生產(chǎn)端：遇到異常，基本解決措施都是重試。場(chǎng)
2024年01月23日
瀏覽(12)