国产 无码 综合区,色欲AV无码国产永久播放,无码天堂亚洲国产AV,国产日韩欧美女同一区二区

Kafka3.0.0版本——增加副本因子

這篇具有很好參考價(jià)值的文章主要介紹了Kafka3.0.0版本——增加副本因子。希望對大家有所幫助。如果存在錯(cuò)誤或未考慮完全的地方,請大家不吝賜教,您也可以點(diǎn)擊"舉報(bào)違法"按鈕提交疑問。

一、服務(wù)器信息

  • 四臺(tái)服務(wù)器
    原始服務(wù)器名稱 原始服務(wù)器ip 節(jié)點(diǎn)
    centos7虛擬機(jī)1 192.168.136.27 broker0
    centos7虛擬機(jī)2 192.168.136.28 broker1
    centos7虛擬機(jī)3 192.168.136.29 broker2
    centos7虛擬機(jī)4 192.168.136.30 broker3

二、啟動(dòng)zookeeper和kafka集群

2.1、先啟動(dòng)zookeeper集群

  • 啟動(dòng)zookeeper集群

    [root@localhost /]# cd /opt/module/zookeeper-3.5.7/bin/
    [root@localhost bin]# pwd
    /opt/module/zookeeper-3.5.7/bin
    [root@localhost bin]# sh zkServer.sh start
    

    Kafka3.0.0版本——增加副本因子,kafka,kafka

2.2、再啟動(dòng)kafka集群

  • 啟動(dòng)kafka集群

    [root@localhost bin]# cd /opt/module/kafka-3.0.0/
    [root@localhost kafka-3.0.0]# pwd
    /opt/module/kafka-3.0.0
    [root@localhost kafka-3.0.0]# bin/kafka-server-start.sh -daemon config/server.properties
    [root@localhost kafka-3.0.0]# jps
    

    Kafka3.0.0版本——增加副本因子,kafka,kafka

三、增加副本因子

3.1、增加副本因子的概述

  • 在生產(chǎn)環(huán)境當(dāng)中,由于某個(gè)主題的重要等級(jí)需要提升,我們考慮增加副本。副本數(shù)的
    增加需要先制定計(jì)劃,然后根據(jù)計(jì)劃執(zhí)行。

3.2、增加副本因子的示例

3.2.1、創(chuàng)建topic(主題)
  • 創(chuàng)建名稱為twotopic的topic(主題)

    bin/kafka-topics.sh --bootstrap-server 192.168.136.27:9092 --create --partitions 4 --replication-factor 1 --topic twotopic
    

    Kafka3.0.0版本——增加副本因子,kafka,kafka

  • 查看分區(qū)副本存儲(chǔ)情況,由下圖可知:目前分布在broker0、broker1、broker2和broker3的4臺(tái)服務(wù)器的某一個(gè)服務(wù)器上。

    bin/kafka-topics.sh --bootstrap-server 192.168.136.27:9092 --describe --topic twotopic
    

    Kafka3.0.0版本——增加副本因子,kafka,kafka

3.2.2、手動(dòng)增加副本存儲(chǔ)
  • 創(chuàng)建副本存儲(chǔ)計(jì)劃(所有副本都指定存儲(chǔ)在 broker0、broker1、broker2 和broker3中)。

    vim increase-replication-factor.json
    //增加以下內(nèi)容
    {
    	"version":1,
    	"partitions":[{"topic":"twotopic","partition":0,"replicas":[0,1,2,3]},
    	{"topic":"twotopic","partition":1,"replicas":[0,1,2,3]},
    	{"topic":"twotopic","partition":2,"replicas":[0,1,2,3]},
    	{"topic":"twotopic","partition":3,"replicas":[0,1,2,3]}]
    }
    

    Kafka3.0.0版本——增加副本因子,kafka,kafka
    Kafka3.0.0版本——增加副本因子,kafka,kafka

  • 執(zhí)行副本存儲(chǔ)計(jì)劃。

    bin/kafka-reassign-partitions.sh --bootstrap-server 192.168.136.27:9092 --reassignment-json-file increase-replication-factor.json --execute
    

    Kafka3.0.0版本——增加副本因子,kafka,kafka

  • 驗(yàn)證副本存儲(chǔ)計(jì)劃。

    bin/kafka-reassign-partitions.sh --bootstrap-server 192.168.136.27:9092 --reassignment-json-file increase-replication-factor.json --verify
    

    Kafka3.0.0版本——增加副本因子,kafka,kafka

  • 查看分區(qū)副本存儲(chǔ)情況。
    由下圖可知: 所有副本都指定存儲(chǔ)在 broker0、broker1、broker2 和broker3中。
    Kafka3.0.0版本——增加副本因子,kafka,kafka文章來源地址http://www.zghlxwxcb.cn/news/detail-696599.html

到了這里,關(guān)于Kafka3.0.0版本——增加副本因子的文章就介紹完了。如果您還想了解更多內(nèi)容,請?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章,希望大家以后多多支持TOY模板網(wǎng)!

本文來自互聯(lián)網(wǎng)用戶投稿,該文觀點(diǎn)僅代表作者本人,不代表本站立場。本站僅提供信息存儲(chǔ)空間服務(wù),不擁有所有權(quán),不承擔(dān)相關(guān)法律責(zé)任。如若轉(zhuǎn)載,請注明出處: 如若內(nèi)容造成侵權(quán)/違法違規(guī)/事實(shí)不符,請點(diǎn)擊違法舉報(bào)進(jìn)行投訴反饋,一經(jīng)查實(shí),立即刪除!

領(lǐng)支付寶紅包贊助服務(wù)器費(fèi)用

相關(guān)文章

  • Kafka3.0.0版本——Follower故障處理細(xì)節(jié)原理

    Kafka3.0.0版本——Follower故障處理細(xì)節(jié)原理

    三臺(tái)服務(wù)器 原始服務(wù)器名稱 原始服務(wù)器ip 節(jié)點(diǎn) centos7虛擬機(jī)1 192.168.136.27 broker0 centos7虛擬機(jī)2 192.168.136.28 broker1 centos7虛擬機(jī)3 192.168.136.29 broker2 2.1、服務(wù)器基本信息 首先,分別有3臺(tái)服務(wù)器分別為broker0、broker1、broker2,其中一臺(tái)為leader,2臺(tái)follower服務(wù)器。每臺(tái)服務(wù)器已經(jīng)接收到

    2024年02月10日
    瀏覽(25)
  • Kafka3.0.0版本——Leader故障處理細(xì)節(jié)原理

    Kafka3.0.0版本——Leader故障處理細(xì)節(jié)原理

    三臺(tái)服務(wù)器 原始服務(wù)器名稱 原始服務(wù)器ip 節(jié)點(diǎn) centos7虛擬機(jī)1 192.168.136.27 broker0 centos7虛擬機(jī)2 192.168.136.28 broker1 centos7虛擬機(jī)3 192.168.136.29 broker2 2.1、服務(wù)器基本信息 首先,分別有3臺(tái)服務(wù)器分別為broker0、broker1、broker2,其中一臺(tái)為leader,2臺(tái)follower服務(wù)器。每臺(tái)服務(wù)器已經(jīng)接收到

    2024年02月11日
    瀏覽(20)
  • Kafka3.0.0版本——Broker( 退役舊節(jié)點(diǎn))示例

    Kafka3.0.0版本——Broker( 退役舊節(jié)點(diǎn))示例

    三臺(tái)服務(wù)器 原始服務(wù)器名稱 原始服務(wù)器ip centos7虛擬機(jī)1 192.168.136.27 centos7虛擬機(jī)2 192.168.136.28 centos7虛擬機(jī)3 192.168.136.29 centos7虛擬機(jī)4 192.168.136.30 分別啟動(dòng)4臺(tái)zookeeper 再分別啟動(dòng)4臺(tái)kafka brokers中的ids=0、1、2、3都存在,說明4臺(tái)kafka啟動(dòng)正常,如下圖: 查看kafka中的創(chuàng)建過的名稱為

    2024年02月13日
    瀏覽(16)
  • Kafka3.0.0版本——生產(chǎn)者 數(shù)據(jù)去重

    Kafka3.0.0版本——生產(chǎn)者 數(shù)據(jù)去重

    1.1、至少一次 至少一次(At Least Once )的含義 生產(chǎn)者發(fā)送數(shù)據(jù)到kafka集群,kafka集群至少接收到一次數(shù)據(jù)。 至少一次的條件: ACK級(jí)別設(shè)置為-1 + 分區(qū)副本大于等于2 + ISR里應(yīng)答的最小副本數(shù)量大于等于2 1.2、最多一次 最多一次(At Most Once )的含義 生產(chǎn)者發(fā)送數(shù)據(jù)到kafka集群,

    2024年02月01日
    瀏覽(19)
  • Kafka3.0.0版本——Broker(Zookeeper服務(wù)端存儲(chǔ)的Kafka相關(guān)信息)

    Kafka3.0.0版本——Broker(Zookeeper服務(wù)端存儲(chǔ)的Kafka相關(guān)信息)

    1.1、先啟動(dòng)三臺(tái)zookeeper集群服務(wù),再啟動(dòng)三臺(tái)kafka集群服務(wù) 啟動(dòng)三臺(tái)zookeeper集群服務(wù) 啟動(dòng)三臺(tái)kafka集群服務(wù) 1.2、使用PrettyZoo連接zookeeper客戶端工具 PrettyZoo視化工具下載、安裝、使用參考如下 Zookeeper可視化工具PrettyZoo的下載、安裝鏈接:https://wwwxz.blog.csdn.net/article/details/1303

    2024年02月14日
    瀏覽(28)
  • Kafka3.0.0版本——消費(fèi)者(手動(dòng)提交offset)

    Kafka3.0.0版本——消費(fèi)者(手動(dòng)提交offset)

    1.1、手動(dòng)提交offset的兩種方式 commitSync(同步提交):必須等待offset提交完畢,再去消費(fèi)下一批數(shù)據(jù)。 commitAsync(異步提交) :發(fā)送完提交offset請求后,就開始消費(fèi)下一批數(shù)據(jù)了。 1.2、手動(dòng)提交offset兩種方式的區(qū)別 相同點(diǎn):都會(huì)將本次提交的一批數(shù)據(jù)最高的偏移量提交。 不

    2024年02月09日
    瀏覽(27)
  • Kafka3.0.0版本——消費(fèi)者(自動(dòng)提交 offset)

    Kafka3.0.0版本——消費(fèi)者(自動(dòng)提交 offset)

    官網(wǎng)文檔 參數(shù)解釋 參數(shù) 描述 enable.auto.commi 默認(rèn)值為 true,消費(fèi)者會(huì)自動(dòng)周期性地向服務(wù)器提交偏移量。 auto.commit.interval.ms 如果設(shè)置了 enable.auto.commit 的值為 true, 則該值定義了消費(fèi)者偏移量向 Kafka 提交的頻率,默認(rèn) 5s。 圖解分析 消費(fèi)者自動(dòng)提交 offset代碼 消費(fèi)者自動(dòng)提交

    2024年02月09日
    瀏覽(27)
  • Kafka3.0.0版本——生產(chǎn)者如何提高吞吐量

    Kafka3.0.0版本——生產(chǎn)者如何提高吞吐量

    設(shè)置批次大小,batch.size 默認(rèn) 16K。 設(shè)置等待時(shí)間,linger.ms 默認(rèn) 0。 設(shè)置緩沖區(qū)大小,buffer.memory 默認(rèn) 32M 設(shè)置壓縮, compression.type 默認(rèn) none,可配置值 gzip、snappy、lz4 和 zstd。 代碼 在kafka集群上開啟 Kafka 消費(fèi)者 在 IDEA 中執(zhí)行代碼,觀察kafka集群控制臺(tái)中是否接收到消息。 測試

    2023年04月10日
    瀏覽(21)
  • Kafka3.0.0版本——生產(chǎn)者數(shù)據(jù)有序與亂序

    Kafka3.0.0版本——生產(chǎn)者數(shù)據(jù)有序與亂序

    單分區(qū)內(nèi),數(shù)據(jù)有序。如下圖partion0、partion1、partion2分區(qū)內(nèi),各自分區(qū)內(nèi)的數(shù)據(jù)有序。 2.1、kafka1.x版本之前保證數(shù)據(jù)單分區(qū)有序的條件 kafka在1.x版本之前保證數(shù)據(jù)單分區(qū)有序,條件如下: 2.2、kafka1.x版本及以后保證數(shù)據(jù)單分區(qū)有序的條件 未開啟冪等性 開啟冪等性 2.3、kafka1

    2023年04月27日
    瀏覽(29)
  • Kafka3.0.0版本——消費(fèi)者(消費(fèi)者組原理)

    Kafka3.0.0版本——消費(fèi)者(消費(fèi)者組原理)

    1.1、消費(fèi)者組概述 Consumer Group(CG):消費(fèi)者組,由多個(gè)consumer組成。形成一個(gè)消費(fèi)者組的條件,是所有消費(fèi)者的groupid相同。 注意: (1)、消費(fèi)者組內(nèi)每個(gè)消費(fèi)者負(fù)責(zé)消費(fèi)不同分區(qū)的數(shù)據(jù),一個(gè)分區(qū)只能由一個(gè)組內(nèi)消費(fèi)者消費(fèi)。 (2)、消費(fèi)者組之間互不影響。所有的消費(fèi)者

    2024年02月09日
    瀏覽(28)

覺得文章有用就打賞一下文章作者

支付寶掃一掃打賞

博客贊助

微信掃一掃打賞

請作者喝杯咖啡吧~博客贊助

支付寶掃一掃領(lǐng)取紅包,優(yōu)惠每天領(lǐng)

二維碼1

領(lǐng)取紅包

二維碼2

領(lǐng)紅包