国产 无码 综合区,色欲AV无码国产永久播放,无码天堂亚洲国产AV,国产日韩欧美女同一区二区

kafka---- zookeeper集群搭建

這篇具有很好參考價(jià)值的文章主要介紹了kafka---- zookeeper集群搭建。希望對(duì)大家有所幫助。如果存在錯(cuò)誤或未考慮完全的地方,請(qǐng)大家不吝賜教,您也可以點(diǎn)擊"舉報(bào)違法"按鈕提交疑問(wèn)。

1.準(zhǔn)備工作:
##準(zhǔn)備3個(gè)節(jié)點(diǎn),要求配置好主機(jī)名稱(chēng),服務(wù)器之間系統(tǒng)時(shí)間保持一致
##注意/etc/hostname 和/etc/hosts 配置主機(jī)名稱(chēng)(在這個(gè)里我準(zhǔn)備Prac-zk-133, Prac-zk-134 , Prac-zk-135二節(jié)點(diǎn))
vim  /etc/hosts #保證可以通過(guò)主機(jī)名互通 添加格式為IP  主機(jī)名稱(chēng)
## 比如
172.16.144.133 Prac-zk-133
172.16.144.134 Prac-zk-134
172.16.144.135 Prac-zk-135
## 測(cè)試
ping ip 
ping 主機(jī)名
##注意關(guān)閉防火墻
# 1. 啟動(dòng)防火墻
systemctl start firewalld
# 2.  關(guān)閉防火墻
systemctl stop firewalld
# 3. 重啟防火墻
systemctl restart firewalld
# 4.查看防火墻狀態(tài)
systemctl status firewalld
# 5. 開(kāi)啟禁用的防火墻
systemctl disable firewalld

##特別注意以下操作3個(gè)節(jié)點(diǎn)要同時(shí)進(jìn)行操作哦!
2.上傳zk到三臺(tái)服務(wù)器節(jié)點(diǎn)
## 復(fù)制到其他機(jī)器 暫時(shí)測(cè)試不好用
#scp zookeeper-3.4. 6. tar.gz 192. 168.11.222: /usr/local /software/ 
## 上傳到/usr/local/software
cd /usr/local/software
##注意我這里解壓到/usr/local下
## 2.1進(jìn)行解壓: 
tar -zxvf  zookeeper-3.4.6.tar.gz -C /usr/local/
cd /usr/local/
# 2.2重命名: 
mv zookeeper-3.4.6 zookeeper
# 2.3修改環(huán)境變量:
vim ~/.bash_profile 

##這里要添加zookeeper的全局變量 jdk如果不會(huì)裝,可以看之前文章
export JAVA_HOME=/usr/local/jdk1.8
export ZOOKEEPER_HOME=/usr/local/zookeeper
export PATH=.:$JAVA_HOME/bin:$ZOOKEEPER_HOME/bin:$PATH

## 2.4刷新環(huán)境變量:
source  ~/.bash_profile  

# 2.5到zookeeper 下修改配置文件:
# 2.5.1首先到指定目錄: 
cd /usr/local/zookeeper/conf
# 2.5.2然后復(fù)制zoo_sample.cfg文件, 復(fù)制后為zoo.cfg:
mv zoo_sample.cfg zoo.cfg
# 2.5.3然后修改兩處地方,最后保存退出:
vim /usr/local/zookeeper/conf/zoo.cfg
# (1)修改數(shù)據(jù)的dir 存儲(chǔ)數(shù)據(jù)的地方
dataDir=/usr/local/zookeeper/data

# (2) 修改集群地址
server.0=Prac-zk-133:2888:3888
server.1=Prac-zk-134:2888:3888
server.2=Prac-zk-135:2888:3888


## 2.5.4 增加服務(wù)器標(biāo)識(shí)配置,需要2步驟,第一是創(chuàng)建文件夾和文件, 第二是添加配置內(nèi)容:
# (1)創(chuàng)建文件夾: 
mkdir /usr/local/zookeeper/data
# (2)創(chuàng)建文件myid路徑應(yīng)該創(chuàng)建在/usr/local/zookeeper/data 下面,如下:
vim /usr/local/zookeeper/data/myid
# 注意這里每臺(tái)服務(wù) 器的myid文件內(nèi)容不同,分別修改里面的值為0, 1, 2;與我們之前的zoo.cfg配置文件里:
# server.0, server.1, server.2 順序相對(duì)應(yīng),然后保存退出;
# 2.7到此為止,Zookeeper集群環(huán)境大功告成!啟動(dòng)zookeeper命令
啟動(dòng)路徑: cd /usr/local/zookeeper/bin (也可在任意目錄,因?yàn)榕渲昧谁h(huán)境變量)
執(zhí)行命令: zkServer.sh start (注意這里3臺(tái)機(jī)器都要進(jìn)行啟動(dòng),啟動(dòng)之后可以查看狀態(tài))
./zkServer.sh start-foreground   # 有日志的打印的啟動(dòng)
查看狀態(tài): zkServer.sh status (在三個(gè)節(jié)點(diǎn)上檢驗(yàn)zk的mode,會(huì)看到一個(gè)leader和倆個(gè) follower)
關(guān)閉 : zkServer.sh stop
## zkCli.sh進(jìn)入zookeeper客戶(hù)端
Hostname Ip Root
Prac-zk-133 172.16.144.133 root
Prac-zk-134 172.16.144.134 root
Prac-zk-135 172.16.144.135 root

172.16.144.133 Prac-zk-133
172.16.144.134 Prac-zk-134
172.16.144.135 Prac-zk-135

zkServer.sh start-foreground 使用它啟動(dòng)會(huì)出現(xiàn)地址已在使用

Zookeeper啟動(dòng)失?。╦ava.net.BindException: 地址已在使用

端口被占用了,把2181端口改成別的就可以

lsof -i:2181 #查到進(jìn)程
kill -s 9 2715 #然后殺掉上面的進(jìn)程

如果只是使用zkServer.sh stop會(huì)停不干凈,后續(xù)繼續(xù)研究,方法在上

zoo.cfg配置說(shuō)明
tickTime : 時(shí)間單位
initLimit follower與leader 同步數(shù)據(jù)的時(shí)間(initLimit*tickTime))
Synclimit 心跳檢測(cè)最大延遲時(shí)間。
dataDir 默認(rèn)情況下,zookeeper的事務(wù)日志 和 數(shù)據(jù)快照 都會(huì)保存在 dataDir 目錄下.
dataLogDir log日志存儲(chǔ)目錄,默認(rèn)dataDir下
clientPort 客戶(hù)端與服務(wù)端建立連接的端口號(hào),默認(rèn)2181文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-680669.html

到了這里,關(guān)于kafka---- zookeeper集群搭建的文章就介紹完了。如果您還想了解更多內(nèi)容,請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章,希望大家以后多多支持TOY模板網(wǎng)!

本文來(lái)自互聯(lián)網(wǎng)用戶(hù)投稿,該文觀點(diǎn)僅代表作者本人,不代表本站立場(chǎng)。本站僅提供信息存儲(chǔ)空間服務(wù),不擁有所有權(quán),不承擔(dān)相關(guān)法律責(zé)任。如若轉(zhuǎn)載,請(qǐng)注明出處: 如若內(nèi)容造成侵權(quán)/違法違規(guī)/事實(shí)不符,請(qǐng)點(diǎn)擊違法舉報(bào)進(jìn)行投訴反饋,一經(jīng)查實(shí),立即刪除!

領(lǐng)支付寶紅包贊助服務(wù)器費(fèi)用

相關(guān)文章

  • Docker 搭建 zookeeper、kafka 集群

    Docker 搭建 zookeeper、kafka 集群

    首先創(chuàng)建一個(gè)自定義網(wǎng)絡(luò),后續(xù)的所有容器都放入同一個(gè)內(nèi)網(wǎng)中,容器之間還可以通過(guò)容器名稱(chēng)進(jìn)行直接訪(fǎng)問(wèn),在后續(xù)的配置中只需要寫(xiě)明容器名稱(chēng)即可,會(huì)自動(dòng)找到對(duì)應(yīng)的IP地址,防止重啟容器后IP地址發(fā)生變化時(shí),還要去修改配置文件的操作 創(chuàng)建目錄 啟動(dòng)zookeeper 進(jìn)入zo

    2024年02月10日
    瀏覽(23)
  • kafka3.4.0集群搭建(無(wú)zookeeper)

    kafka3.4.0集群搭建(無(wú)zookeeper)

    注意:低版本需要安裝zookeeper,在2.8及以上可移除zookeeper 前往官網(wǎng)下載 ?。?!不要下載src文件 1.解壓文件 tar xzf kafka_2.13-3.4.0.tgz 進(jìn)入文件 cd kafka_2.13-3.4.0 進(jìn)入 cd config/kraft 2.修改server.properties以下屬性 vim server.properties 3.我們需要在啟動(dòng)服務(wù)器之前創(chuàng)建kafka集群id。執(zhí)行下列命令

    2024年02月03日
    瀏覽(24)
  • 基于Zookeeper搭建Kafka高可用集群(實(shí)踐可用)

    基于Zookeeper搭建Kafka高可用集群(實(shí)踐可用)

    目錄 一、Zookeeper集群搭建 1.1?下載??解壓 1.2?修改配置 1.3?標(biāo)識(shí)節(jié)點(diǎn) 1.4?啟動(dòng)集群 1.5?集群驗(yàn)證 二、Kafka集群搭建 2.1?下載解壓 2.2?拷貝配置文件 2.3?修改配置 2.4?啟動(dòng)集群 2.5?創(chuàng)建測(cè)試主題 2.6?寫(xiě)入數(shù)據(jù)測(cè)試 為保證集群高可用,Zookeeper?集群的節(jié)點(diǎn)數(shù)最好是奇數(shù),最少有

    2024年02月09日
    瀏覽(21)
  • Zookeeper和kafka集群搭建步驟(超詳細(xì),易理解)

    目錄 1.修改文件名 2.修改zoo.cfg配置文件內(nèi)容 (1)找到#maxClientCnxns=60命令在下面添加 3.進(jìn)入/tmp目錄 (1)創(chuàng)建zookeeper目錄 (2)進(jìn)入zookeeper目錄中創(chuàng)建myid文件,添加? \\\'? 1? \\\';

    2024年02月15日
    瀏覽(22)
  • 【運(yùn)維】Kafka高可用: KRaft(不依賴(lài)zookeeper)集群搭建

    【運(yùn)維】Kafka高可用: KRaft(不依賴(lài)zookeeper)集群搭建

    本文主要介紹了 kafka raft集群架構(gòu): 與舊架構(gòu)的不同點(diǎn),有哪些優(yōu)勢(shì),哪些問(wèn)題 架構(gòu)成員有哪些,怎么規(guī)劃。 三節(jié)點(diǎn)集群安裝、啟動(dòng)與測(cè)試 在舊的架構(gòu)中 Kafka集群包含 多個(gè)broker節(jié)點(diǎn)和一個(gè)ZooKeeper 集群 。如上圖集群結(jié)構(gòu):4個(gè)broker節(jié)點(diǎn)和3個(gè)ZooKeeper節(jié)點(diǎn)。Kafka 集群的controller在

    2024年02月03日
    瀏覽(31)
  • CentOS7中新版本自帶zookeeper搭建Kafka集群

    CentOS7中新版本自帶zookeeper搭建Kafka集群

    一、zookeeper在kafka中的具體作用 ? ? 它是一個(gè)分布式協(xié)調(diào)框架。很好的將消息生產(chǎn)、消息存儲(chǔ)、消息消費(fèi)的過(guò)程結(jié)合在一起。在典型的Kafka集群中,Kafka通過(guò)Zookeeper管理集群控制,選舉leader,以及在Consumer Group發(fā)生變化時(shí)進(jìn)行rebalance。Producer使用push模式將消息發(fā)布到broker,Con

    2024年02月08日
    瀏覽(38)
  • ZooKeeper+Kafka+ELK+Filebeat集群搭建實(shí)現(xiàn)大批量日志收集和展示

    ZooKeeper+Kafka+ELK+Filebeat集群搭建實(shí)現(xiàn)大批量日志收集和展示

    大致流程:將nginx 服務(wù)器(web-filebeat)的日志通過(guò)filebeat收集之后,存儲(chǔ)到緩存服務(wù)器kafka,之后logstash到kafka服務(wù)器上取出相應(yīng)日志,經(jīng)過(guò)處理后寫(xiě)入到elasticsearch服務(wù)器并在kibana上展示。 一、集群環(huán)境準(zhǔn)備 二、搭建zookeeper集群 前提條件:三臺(tái)機(jī)器分別修改時(shí)區(qū)、關(guān)閉防火墻

    2024年02月04日
    瀏覽(25)
  • Zookeeper+Hadoop+Spark+Flink+Kafka+Hbase+Hive 完全分布式高可用集群搭建(保姆級(jí)超詳細(xì)含圖文)

    Zookeeper+Hadoop+Spark+Flink+Kafka+Hbase+Hive 完全分布式高可用集群搭建(保姆級(jí)超詳細(xì)含圖文)

    說(shuō)明: 本篇將詳細(xì)介紹用二進(jìn)制安裝包部署hadoop等組件,注意事項(xiàng),各組件的使用,常用的一些命令,以及在部署中遇到的問(wèn)題解決思路等等,都將詳細(xì)介紹。 ip hostname 192.168.1.11 node1 192.168.1.12 node2 192.168.1.13 node3 1.2.1系統(tǒng)版本 1.2.2內(nèi)存建議最少4g、2cpu、50G以上的磁盤(pán)容量 本次

    2024年02月12日
    瀏覽(37)
  • 實(shí)操Hadoop大數(shù)據(jù)高可用集群搭建(hadoop3.1.3+zookeeper3.5.7+hbase3.1.3+kafka2.12)

    前言 純實(shí)操,無(wú)理論,本文是給公司搭建測(cè)試環(huán)境時(shí)記錄的,已經(jīng)按照這一套搭了四五遍大數(shù)據(jù)集群了,目前使用還未發(fā)現(xiàn)問(wèn)題。 有問(wèn)題麻煩指出,萬(wàn)分感謝! PS:Centos7.9、Rocky9.1可用 集群配置 ip hostname 系統(tǒng) CPU 內(nèi)存 系統(tǒng)盤(pán) 數(shù)據(jù)盤(pán) 備注 192.168.22.221 hadoop1 Centos7.9 4 16 250G 19

    2024年02月03日
    瀏覽(26)
  • Zookeeper集群 + Kafka集群

    Zookeeper集群 + Kafka集群

    目錄 一、概述 (一)Zookeeper概述 1.Zookeeper 定義 2.Zookeeper 工作機(jī)制 3.Zookeeper 特點(diǎn) (1)組成 (2)全局?jǐn)?shù)據(jù)一致 (3)更新請(qǐng)求順序執(zhí)行 (4)數(shù)據(jù)更新原子性 (5)實(shí)時(shí)性 4.Zookeeper 數(shù)據(jù)結(jié)構(gòu) 5.Zookeeper 應(yīng)用場(chǎng)景 (1)統(tǒng)一命名服務(wù) (2)統(tǒng)一配置管理 (3)統(tǒng)一集群管理 (4)服

    2024年01月24日
    瀏覽(23)

覺(jué)得文章有用就打賞一下文章作者

支付寶掃一掃打賞

博客贊助

微信掃一掃打賞

請(qǐng)作者喝杯咖啡吧~博客贊助

支付寶掃一掃領(lǐng)取紅包,優(yōu)惠每天領(lǐng)

二維碼1

領(lǐng)取紅包

二維碼2

領(lǐng)紅包