国产 无码 综合区,色欲AV无码国产永久播放,无码天堂亚洲国产AV,国产日韩欧美女同一区二区

Kafka入門, Kafka-Kraft 模式 部署(二十六)

這篇具有很好參考價值的文章主要介紹了Kafka入門, Kafka-Kraft 模式 部署(二十六)。希望對大家有所幫助。如果存在錯誤或未考慮完全的地方,請大家不吝賜教,您也可以點擊"舉報違法"按鈕提交疑問。

Kafka-Kraft 模式

Kafka入門, Kafka-Kraft 模式 部署(二十六),kafka,分布式
左圖為kafka現(xiàn)有架構(gòu),元數(shù)據(jù)在zookeeper中,運行時動態(tài)選舉controller,由controller進行kafka集群管理,右圖為kraft模式架構(gòu)(實驗性),不再依賴zookeeper集群,而是用三臺controller節(jié)點代替zookeeper,元數(shù)據(jù)保存在controller中,由controller直接2進行kafka集群管理
好處:
1、kafka不再依賴外部框架,二十能夠獨立運行
2、controller管理集群時,不再需要從zookeeper中先讀取數(shù)據(jù),集群性能上升
3、由于不依賴zookeeper,集群拓展不再收到zookeeper讀寫能力限制
4、controller不再東藥選舉,而是由配置文件規(guī)定,這樣我們可以針對性的加強controller節(jié)點的配置,而不是像以前一樣對隨機controller節(jié)點的高負債束手無策

部署

修改配置

解壓
修改config/kraft/server.properties下的
注意路徑

vim config/kraft/server.properties

Kafka入門, Kafka-Kraft 模式 部署(二十六),kafka,分布式
Kafka入門, Kafka-Kraft 模式 部署(二十六),kafka,分布式
修改這4個地方
分發(fā) 修改其他節(jié)點的node.id=2和advertised.Listeners

初始化集群

bin/kafka-storage.sh random-uuid

Kafka入門, Kafka-Kraft 模式 部署(二十六),kafka,分布式

用該 ID (id要相同)格式化 kafka 存儲目錄,三臺機器都要執(zhí)行

bin/kafka-storage.sh format -t qtUYZ6KhQ5mlAxIg-T0M5w -c /usr/local/src/kafka/kraft/kafka_2.12-3.0.0/config/kraft/server.propertie

Kafka入門, Kafka-Kraft 模式 部署(二十六),kafka,分布式

啟動命令

bin/kafka-server-start.sh -daemon config/kraft/server.properties

停止命令

bin/kafka-server-stop.sh

腳本

#! /bin/bash
case $1 in
"start"){
 for i in hadoop100 hadoop101 hadoop102
 do
 echo " --------啟動 $i Kafka2-------"
 ssh $i "/usr/local/src/kafka/kraft/kafka_2.12-3.0.0/bin/kafka-server-start.sh -daemon /usr/local/src/kafka/kraft/kafka_2.12-3.0.0/config/kraft/server.properties"
 done
};;
"stop"){
 for i in hadoop102 hadoop103 hadoop104
 do
 echo " --------停止 $i Kafka2-------"
 ssh $i "/usr/local/src/kafka/kraft/kafka_2.12-3.0.0/bin/kafka-server-stop.sh "
 done
};;
esac

Kafka入門, Kafka-Kraft 模式 部署(二十六),kafka,分布式文章來源地址http://www.zghlxwxcb.cn/news/detail-548238.html

到了這里,關(guān)于Kafka入門, Kafka-Kraft 模式 部署(二十六)的文章就介紹完了。如果您還想了解更多內(nèi)容,請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章,希望大家以后多多支持TOY模板網(wǎng)!

本文來自互聯(lián)網(wǎng)用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務(wù),不擁有所有權(quán),不承擔相關(guān)法律責任。如若轉(zhuǎn)載,請注明出處: 如若內(nèi)容造成侵權(quán)/違法違規(guī)/事實不符,請點擊違法舉報進行投訴反饋,一經(jīng)查實,立即刪除!

領(lǐng)支付寶紅包贊助服務(wù)器費用

相關(guān)文章

  • Kafka KRaft模式探索

    Kafka KRaft模式探索

    Kafka是一種高吞吐量的分布式發(fā)布訂閱消息系統(tǒng),它可以處理消費者在網(wǎng)站中的所有動作流數(shù)據(jù)。其核心組件包含Producer、Broker、Consumer,以及依賴的Zookeeper集群。其中Zookeeper集群是Kafka用來負責集群元數(shù)據(jù)的管理、控制器的選舉等。 目前,Kafka在使用的過程當中,會出現(xiàn)一些

    2024年02月05日
    瀏覽(21)
  • Kafka系列之:Kraft模式

    Kafka元數(shù)據(jù)存儲在zookeeper中,運行時動態(tài)選舉controller,由controller進行Kafka集群管理。 Kraft模式不再依賴zookeeper集群,用三臺controller節(jié)點代替zookeeper,元數(shù)據(jù)保存在controller中,由controller直接進行Kafka集群管理。 Kraft的好處有以下幾個: Kafka不再依賴外部框架,而是能夠獨立運

    2024年02月12日
    瀏覽(21)
  • Kafka入門,mysql5.7 Kafka-Eagle部署(二十五)

    Kafka入門,mysql5.7 Kafka-Eagle部署(二十五)

    https://www.kafka-eagle.org/ 這里使用的是2.0.8 創(chuàng)建名為ke數(shù)據(jù)庫,新版本會自動創(chuàng)建,不會創(chuàng)建的話,自己手動創(chuàng)建,不然會報查不到相關(guān)表信息錯誤 記得source 多余的配置去掉 如果發(fā)現(xiàn)啟動失敗,可能是mysql版本不同,導(dǎo)致連不上數(shù)據(jù)庫,可以看下日志報錯,以下配置是5.7版本的

    2024年02月16日
    瀏覽(22)
  • Kraft模式下Kafka腳本的使用

    Kraft模式下Kafka腳本的使用

    Kafka集群 版本:V3.5.1 名稱 Node1 Node2 Node3 IP 172.29.145.157 172.29.145.182 172.29.145.183 (1)查看Kraft集群中的狀態(tài)以及Leader節(jié)點,投票節(jié)點 使用--status可以查看集群選舉次數(shù)/水位線以及投票節(jié)點等 使用--replication可以查看Ledaer和Follower分布 ./kafka-metadata-quorum.sh --bootstrap-server 172.29.145.1

    2024年02月08日
    瀏覽(23)
  • 【kafka+Kraft模式集群+SASL安全認證】

    【kafka+Kraft模式集群+SASL安全認證】

    準備3個kafka,我這里用的kafka版本為:kafka_2.13-3.6.0,下載后解壓: 更改解壓后的文件名稱: cp kafka_2.13-3.6.0 kafka_2.13-3.6.0-1/2/3 分別得到kafka_2.13-3.6.0-1、kafka_2.13-3.6.0-2、kafka_2.13-3.6.0-3 copy一份config/kraft/server.properties配置文件,修改名稱 server-sasl.properties 進入各個config/kraft/server

    2024年02月03日
    瀏覽(27)
  • kafka 安裝 以及 Kraft 模式、安全認證配置

    kafka 安裝 以及 Kraft 模式、安全認證配置

    常見安裝:zookeeper + kafka zookeeper 單節(jié)點安裝 : apach官網(wǎng)下載對應(yīng)包:apache-zookeeper-3.7.1-bin.tar.gz 修改對應(yīng)配置文件 /conf/zoo_sample.cfg ,配置端口以及數(shù)據(jù)目錄 sh zkServer.sh start 啟動 、 sh zkServer.sh stop 停止、 sh zkServer.sh status 狀態(tài) sh zkCli.sh -server 客戶端 zookeeper 集群安裝: 在每個

    2024年02月10日
    瀏覽(31)
  • 使用kafka還在依賴Zookeeper,kraft模式了解下

    使用kafka還在依賴Zookeeper,kraft模式了解下

    ? Kafka是一種高吞吐量的分布式發(fā)布訂閱消息系統(tǒng),它可以處理消費者在網(wǎng)站中的所有動作流數(shù)據(jù)。其核心組件包含Producer、Broker、Consumer,以及依賴的Zookeeper集群。其中Zookeeper集群是Kafka用來負責集群元數(shù)據(jù)的管理、控制器的選舉等。 ? 用過kafka的開發(fā)者應(yīng)該知道,每次啟動

    2024年02月10日
    瀏覽(22)
  • CentOS7安裝部署Kafka with KRaft

    CentOS7安裝部署Kafka with KRaft

    Apache Kafka 是一個開源分布式事件流平臺,已被數(shù)千家公司用于高性能數(shù)據(jù)管道、流分析、數(shù)據(jù)集成和關(guān)鍵任務(wù)應(yīng)用程序。 KRaft(Kafka Raft)模式是從 Apache Kafka 2.8.0 版本開始引入,KRaft 旨在摒棄對 ZooKeeper 的依賴。在以前的版本中,Apache Kafka 依賴于 ZooKeeper 來管理集群元數(shù)據(jù)和

    2024年02月04日
    瀏覽(28)
  • 大數(shù)據(jù)開發(fā)之Kafka(broker、消費者、eagle監(jiān)控、kraft模式)

    大數(shù)據(jù)開發(fā)之Kafka(broker、消費者、eagle監(jiān)控、kraft模式)

    4.1.1 Zookeeper存儲的Kafka的信息 1、查看zookeeper中的kafka節(jié)點所存儲的信息 啟動Zookeeper客戶端 通過ls命令列出kafka節(jié)點內(nèi)容 2、zookeeper中存儲的kafka信息 在zookeeper的服務(wù)端存儲的Kafka相關(guān)信息: 1)/kafka/brokers/ids [0,1,2] 記錄有哪些服務(wù)器 2)/kafka/brokers/topics/first/partitions/0/state {“l(fā)

    2024年01月21日
    瀏覽(25)

覺得文章有用就打賞一下文章作者

支付寶掃一掃打賞

博客贊助

微信掃一掃打賞

請作者喝杯咖啡吧~博客贊助

支付寶掃一掃領(lǐng)取紅包,優(yōu)惠每天領(lǐng)

二維碼1

領(lǐng)取紅包

二維碼2

領(lǐng)紅包