KAFKA背景??
? ? ? Kafka是由Apache軟件基金會開發(fā)的一個開源流處理平臺,由Scala和Java編寫。Kafka是一種高吞吐量的分布式發(fā)布訂閱消息系統(tǒng),它可以處理消費者在網(wǎng)站中的所有動作流數(shù)據(jù)。 這種動作(網(wǎng)頁瀏覽,搜索和其他用戶的行動)是在現(xiàn)代網(wǎng)絡(luò)上的許多社會功能的一個關(guān)鍵因素。 這些數(shù)據(jù)通常是由于吞吐量的要求而通過處理日志和日志聚合來解決。
? ? ? 由于jay kreps非常喜歡franz kafka,并且覺得kafka這個名字很酷,因此取了個和消息傳遞系統(tǒng)完全不相干的名稱kafka,該名字并沒有特別的含義。
基本概念
? ? ? ?上圖為Kafka的典型架構(gòu)圖,對于消息的生產(chǎn)以及消費邏輯不在本文的討論范疇,主要就Broker的數(shù)據(jù)存儲做以淺顯的總結(jié)。首先解釋一下常見的相關(guān)專業(yè)術(shù)語:
- Broker:消息中間件處理節(jié)點;每個Kafka服務(wù)節(jié)點稱之為一個Broker,一個Kafka集群由一個或多個Broker組成
- Topic:一類特定數(shù)據(jù)集合的統(tǒng)稱;可類比DB中Table的概念;邏輯概念
- Producer:消息的生產(chǎn)者,向Broker發(fā)送消息的客戶端
- Consumer:消息的消費者,向Broker讀取消息的客戶端
- Consumer Group:每一個Consumer隸屬于一個特定的Consumer
- ?Group,一條消息可以被不同Group中的Consumer消費,但同一Group內(nèi)的消息只能被一個Consumer消費
- Partition:是對Topic中所包含數(shù)據(jù)集的物理分區(qū);物理概念
- Replication:副本集;是Kafka高可用的一種保障機制
Offset Explorer工具介紹
? ? ? Offset Explorer(即Kafka tool)是用于管理和使用Kafka群集的GUI應(yīng)用程序。它提供了一個直觀的UI,允許用戶查看Kafka集群中的對象以及集群主題中存儲的消息。官網(wǎng)地址:https://www.kafkatool.com/。文章來源:http://www.zghlxwxcb.cn/news/detail-601485.html
文章來源地址http://www.zghlxwxcb.cn/news/detail-601485.html
到了這里,關(guān)于kafka及可視化工具offset explorer的文章就介紹完了。如果您還想了解更多內(nèi)容,請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章,希望大家以后多多支持TOY模板網(wǎng)!