一、服務(wù)器信息
-
四臺(tái)服務(wù)器
原始服務(wù)器名稱 原始服務(wù)器ip 節(jié)點(diǎn) centos7虛擬機(jī)1 192.168.136.27 broker0 centos7虛擬機(jī)2 192.168.136.28 broker1 centos7虛擬機(jī)3 192.168.136.29 broker2 centos7虛擬機(jī)4 192.168.136.30 broker3
二、啟動(dòng)zookeeper和kafka集群
2.1、先啟動(dòng)zookeeper集群
-
啟動(dòng)zookeeper集群
[root@localhost /]# cd /opt/module/zookeeper-3.5.7/bin/ [root@localhost bin]# pwd /opt/module/zookeeper-3.5.7/bin [root@localhost bin]# sh zkServer.sh start
2.2、再啟動(dòng)kafka集群
-
啟動(dòng)kafka集群
[root@localhost bin]# cd /opt/module/kafka-3.0.0/ [root@localhost kafka-3.0.0]# pwd /opt/module/kafka-3.0.0 [root@localhost kafka-3.0.0]# bin/kafka-server-start.sh -daemon config/server.properties [root@localhost kafka-3.0.0]# jps
三、增加副本因子
3.1、增加副本因子的概述
- 在生產(chǎn)環(huán)境當(dāng)中,由于某個(gè)主題的重要等級(jí)需要提升,我們考慮增加副本。副本數(shù)的
增加需要先制定計(jì)劃,然后根據(jù)計(jì)劃執(zhí)行。
3.2、增加副本因子的示例
3.2.1、創(chuàng)建topic(主題)
-
創(chuàng)建名稱為twotopic的topic(主題)
bin/kafka-topics.sh --bootstrap-server 192.168.136.27:9092 --create --partitions 4 --replication-factor 1 --topic twotopic
-
查看分區(qū)副本存儲(chǔ)情況,由下圖可知:目前分布在broker0、broker1、broker2和broker3的4臺(tái)服務(wù)器的某一個(gè)服務(wù)器上。
bin/kafka-topics.sh --bootstrap-server 192.168.136.27:9092 --describe --topic twotopic
3.2.2、手動(dòng)增加副本存儲(chǔ)
-
創(chuàng)建副本存儲(chǔ)計(jì)劃(所有副本都指定存儲(chǔ)在 broker0、broker1、broker2 和broker3中)。
vim increase-replication-factor.json //增加以下內(nèi)容 { "version":1, "partitions":[{"topic":"twotopic","partition":0,"replicas":[0,1,2,3]}, {"topic":"twotopic","partition":1,"replicas":[0,1,2,3]}, {"topic":"twotopic","partition":2,"replicas":[0,1,2,3]}, {"topic":"twotopic","partition":3,"replicas":[0,1,2,3]}] }
-
執(zhí)行副本存儲(chǔ)計(jì)劃。
bin/kafka-reassign-partitions.sh --bootstrap-server 192.168.136.27:9092 --reassignment-json-file increase-replication-factor.json --execute
-
驗(yàn)證副本存儲(chǔ)計(jì)劃。
bin/kafka-reassign-partitions.sh --bootstrap-server 192.168.136.27:9092 --reassignment-json-file increase-replication-factor.json --verify
文章來源:http://www.zghlxwxcb.cn/news/detail-696599.html
-
查看分區(qū)副本存儲(chǔ)情況。
由下圖可知: 所有副本都指定存儲(chǔ)在 broker0、broker1、broker2 和broker3中。文章來源地址http://www.zghlxwxcb.cn/news/detail-696599.html
到了這里,關(guān)于Kafka3.0.0版本——增加副本因子的文章就介紹完了。如果您還想了解更多內(nèi)容,請?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章,希望大家以后多多支持TOY模板網(wǎng)!