国产无码综合区,色欲AV无码国产永久播放,无码天堂亚洲国产AV,国产日韩欧美女同一区二区

<span id="nbmmb"><meter id="nbmmb"></meter></span>

kafka3.X集群安裝(不使用zookeeper)

2年前作者：zhangjunli分類：Toy博客閱讀(20)違法舉報

這篇具有很好參考價值的文章主要介紹了kafka3.X集群安裝(不使用zookeeper)。希望對大家有所幫助。如果存在錯誤或未考慮完全的地方，請大家不吝賜教，您也可以點擊"舉報違法"按鈕提交疑問。

一、kafka集群實例角色規(guī)劃

在本專欄的之前的一篇文章《kafka3種zk的替代方案》已經(jīng)為大家介紹過在kafka3.0種已經(jīng)可以將zookeeper去掉。

kafka3.X集群安裝(不使用zookeeper),zookeeper,分布式,kafka

上圖中黑色代表broker（消息代理服務(wù)），褐色/藍(lán)色代表Controller(集群控制器服務(wù))

左圖（kafka2.0）：一個集群所有節(jié)點都是broker角色，kafka從三個broker中選舉出來一個Controller控制器，控制器將集群元數(shù)據(jù)信息（比如主題分類、消費進度等）保存到zookeeper，用于集群各節(jié)點之間分布式交互。

右圖（kafka3.0）：假設(shè)一個集群有四個broker，指定三個作為Conreoller角色(藍(lán)色)，從三個Controller中選舉出來一個Controller作為主控制器（褐色），其他的2個備用。zookeeper不再被需要！相關(guān)的元數(shù)據(jù)信息以kafka日志的形式存在（即：以消息隊列消息的形式存在）。

controller通信端口：9093, 作用與zk的2181端口類似。

在搭建kafka3.0集群之前, 我們需要先做好kafka實例角色規(guī)劃。(四個broker, 需要通過主動配置指定三個作為Controller, Controller需要奇數(shù)個, 這一點和zk是一樣的)

主機名稱	ip	角色	`node.id`
kafka-vm1	192.168.1.111	broker,controller	1
kafka-vm2	192.168.1.112	broker,controller	2
kafka-vm3	192.168.1.113	broker,controller	3
kafka-vm4	192.168.1.114	broker	4

二、準(zhǔn)備工作

kafka3.x不再支持JDK8，建議安裝JDK11或JDK17。

新建kafka持久化日志數(shù)據(jù)mkdir -p /data/kafka;并保證安裝kafka的用戶具有該目錄的讀寫權(quán)限。

各個機器節(jié)點執(zhí)行：文章來源地址http://www.zghlxwxcb.cn/news/detail-715694.html

# 安裝jdk(kafka3.x不再支持JDK8，建議安裝JDK11或JDK17, 這里安裝jdk11)
# 下載安裝jdk11, 參考: https://blog.csdn.net/justlpf/article/details/127268046
 
# 下載kafka
adduser kafka
cd /opt
wget https://downloads.apache.org/kafka/3.3.1/kafka_2.12-3.3.1.tgz
tar -xf kafka_2.12-3.3.1.tgz
 
chown -R kafka:kafka kafka_2.12-3.3.1*
 
mkdir -p /data/kafka
chown -R kafka:kafka /data/kafka

vi /etc/hosts，各個節(jié)點，添加如下內(nèi)容：

192.168.1.111 data-vm1
192.168.1.112 data-vm2
192.168.1.113 data-vm3
192.168.1.114 data-vm4

三、修改Kraft協(xié)議配置文件

在kafka3.x版本中，使用Kraft協(xié)議代替zookeeper進行集群的Controller選舉，所以要針對它進行配置。

vi /opt/kafka_2.12-3.3.1/config/kraft/server.properties

具體配置參數(shù)如下：

# data-vm1節(jié)點
node.id=1
process.roles=broker,controller
listeners=PLAINTEXT://data-vm1:9092,CONTROLLER://data-vm1:9093
advertised.listeners=PLAINTEXT://:9092
controller.quorum.voters=1@data-vm1:9093,2@data-vm2:9093,3@data-vm3:9093
log.dirs=/data/kafka/
 
# data-vm2節(jié)點
node.id=2
process.roles=broker,controller
listeners=PLAINTEXT://data-vm2:9092,CONTROLLER://data-vm2:9093
advertised.listeners=PLAINTEXT://:9092
controller.quorum.voters=1@data-vm1:9093,2@data-vm2:9093,3@data-vm3:9093
log.dirs=/data/kafka/
 
# data-vm3節(jié)點
node.id=3
process.roles=broker,controller
listeners=PLAINTEXT://data-vm3:9092,CONTROLLER://data-vm3:9093
advertised.listeners=PLAINTEXT://:9092
controller.quorum.voters=1@data-vm1:9093,2@data-vm2:9093,3@data-vm3:9093
log.dirs=/data/kafka/

node.id：這將作為集群中的節(jié)點 ID,唯一標(biāo)識，按照我們事先規(guī)劃好的（上文），在不同的服務(wù)器上這個值不同。其實就是kafka2.0中的broker.id,只是在3.0版本中kafka實例不再只擔(dān)任broker角色，也有可能是controller角色，所以改名叫做node節(jié)點。

process.roles：一個節(jié)點可以充當(dāng)broker或controller或兩者兼而有之。按照我們事先規(guī)劃好的（上文），在不同的服務(wù)器上這個值不同。多個角色用逗號分開。

listeners: broker將使用9092端口，而kraft controller控制器將使用9093端口。

advertised.listeners: 這里指定kafka通過代理暴漏的地址，如果都是局域網(wǎng)使用，就配置PLAINTEXT://:9092即可。

controller.quorum.voters：這個配置用于指定controller主控選舉的投票節(jié)點，所有process.roles包含controller角色的規(guī)劃節(jié)點都要參與，即：zimug1、zimug2、zimug3。其配置格式為:node.id1@host1:9093,node.id2@host2:9093

log.dirs：kafka 將存儲數(shù)據(jù)的日志目錄，在準(zhǔn)備工作中創(chuàng)建好的目錄。

所有kafka節(jié)點都要按照上文中的節(jié)點規(guī)劃進行配置，完成config/kraft/server.properties配置文件的修改。

四、格式化存儲目錄

生成一個唯一的集群ID（在一臺kafka服務(wù)器上執(zhí)行一次即可），這一個步驟是在安裝kafka2.0版本的時候不存在的。

$ /opt/kafka_2.12-3.3.1/bin/kafka-storage.sh random-uuid
SzIhECn-QbCLzIuNxk1A2A

使用生成的集群ID+配置文件格式化存儲目錄log.dirs,

所以這一步確認(rèn)配置及路徑確實存在，

并且kafka用戶有訪問權(quán)限（檢查準(zhǔn)備工作是否做對）。

每一臺主機服務(wù)器都要執(zhí)行命令:

/opt/kafka_2.12-3.3.1/bin/kafka-storage.sh format \
-t SzIhECn-QbCLzIuNxk1A2A \
-c /opt/kafka_2.12-3.3.1/config/kraft/server.properties

格式化操作完成之后，log.dirs?目錄下多出一個Meta.properties文件?，存儲了當(dāng)前的kafka節(jié)點的id(node.id)，當(dāng)前節(jié)點屬于哪個集群(cluster.id)

[root@data-vm2 ~]# ll /data/kafka/
總用量 8
-rw-r--r--. 1 root root 249 10月 11 18:23 bootstrap.checkpoint
-rw-r--r--. 1 root root  86 10月 11 18:23 meta.properties
 
$ cat /data/kafka/meta.properties
#
#Tue Apr 12 07:39:07 CST 2022
node.id=1
version=1
cluster.id=SzIhECn-QbCLzIuNxk1A2A

五、啟動集群，完成基礎(chǔ)測試

zimug1 zimug2 zimug3是三臺應(yīng)用服務(wù)器的主機名稱(參考上文中的角色規(guī)劃)，實現(xiàn)方式已經(jīng)在本專欄《linux主機與ip解析》中進行了說明。將下面的命令集合保存為一個shell腳本，并賦予執(zhí)行權(quán)限。執(zhí)行該腳本即可啟動kafka集群所有的節(jié)點，前提是：你已經(jīng)按照本專欄的《集群各節(jié)點之間的ssh免密登錄》安裝方式做了集群各節(jié)點之間的ssh免密登錄。

啟動命令：

bin/kafka-server-start.sh \
/opt/kafka_2.12-3.3.1/config/kraft/server.properties
 
# 后臺運行
nohup bin/kafka-server-start.sh \
/opt/kafka_2.12-3.3.1/config/kraft/server.properties 2>&1 &

腳本：?

#!/bin/bash
kafkaServers='data-vm1 data-vm2 data-vm3'
#啟動所有的kafka
for kafka in $kafkaServers
do
    ssh -T $kafka <<EOF
    nohup /opt/kafka_2.12-3.3.1/bin/kafka-server-start.sh /opt/kafka_2.12-3.3.1/config/kraft/server.properties 1>/dev/null 2>&1 &
EOF
echo 從節(jié)點 $kafka 啟動kafka3.0...[ done ]
sleep 5
done

六、一鍵停止集群腳本

一鍵停止kafka集群各節(jié)點的腳本，與啟動腳本的使用方式及原理是一樣的。

停止命令：

/opt/kafka_2.12-3.3.1/bin/kafka-server-stop.sh

執(zhí)行腳本：

#!/bin/bash
kafkaServers='data-vm1 data-vm2 data-vm3'
#停止所有的kafka
for kafka in $kafkaServers
do
    ssh -T $kafka <<EOF
    cd /opt/kafka_2.12-3.3.1
    bin/kafka-server-stop.sh
EOF
echo 從節(jié)點 $kafka 停止kafka...[ done ]
sleep 5
done

七、測試Kafka集群

7.1 創(chuàng)建topic

[root@data-vm1 kafka_2.12-3.3.1]# bin/kafka-topics.sh \
--create \
--topic quickstart-events \
--bootstrap-server data-vm4:9092
 
Created topic quickstart-events.
[root@data-vm1 kafka_2.12-3.3.1]#
 
# 
[root@data-vm1 kafka_2.12-3.3.1]# bin/kafka-topics.sh \
--create \
--topic quickstart-events \
--bootstrap-server data-vm1:9092,data-vm2:9092,data-vm3:9092

7.2 查看topic列表

bin/kafka-topics.sh \
--list \
--bootstrap-server data-vm4:9092
 
# 
bin/kafka-topics.sh \
--list \
--bootstrap-server data-vm1:9092,data-vm2:9092,data-vm3:9092,data-vm4:9092

7.3 查看消息詳情

[root@data-vm1 kafka_2.12-3.3.1]# bin/kafka-topics.sh \
--describe \
--topic quickstart-events \
--bootstrap-server data-vm3:9092
 
Topic: quickstart-events        TopicId: zSOJC6wNRRGQ4MudfHLGvQ PartitionCount: 1       ReplicationFactor: 1    Configs: segment.bytes=1073741824
        Topic: quickstart-events        Partition: 0    Leader: 1       Replicas: 1     Isr: 1
 
[root@data-vm1 kafka_2.12-3.3.1]#

7.4 生產(chǎn)消息

[root@data-vm1 kafka_2.12-3.3.1]# bin/kafka-console-producer.sh \
--topic quickstart-events \
--bootstrap-server data-vm1:9092
 
# 參考: 創(chuàng)建并配置topic
bin/kafka-topics.sh \
--bootstrap-server localhost:9092 \
--create \
--topic my-topic \
--partitions 1 \
--replication-factor 1 \
--config max.message.bytes=64000 \
--config flush.messages=1
 
# ------------------------- 參考 ------------------------ #
# 1: 修改已創(chuàng)建topic配置
# (Overrides can also be changed or set later using the alter configs command.)
bin/kafka-configs.sh \
--bootstrap-server localhost:9092 \
--entity-type topics \
--entity-name my-topic \
--alter \
--add-config max.message.bytes=128000
 
# 2: 檢查已修改的topic配置是否生效
# (To check overrides set on the topic you can do)
bin/kafka-configs.sh \
--bootstrap-server localhost:9092 \
--entity-type topics \
--entity-name my-topic \
--describe
 
# 3. 恢復(fù)到原來的配置
# (To remove an override you can do)
bin/kafka-configs.sh \
--bootstrap-server localhost:9092 \
--entity-type topics \
--entity-name my-topic \
--alter \
--delete-config max.message.bytes
 
# 4. 增加分區(qū)數(shù)
# (To add partitions you can do)
bin/kafka-topics.sh \
--bootstrap-server broker_host:port \
--alter \
--topic my_topic_name \
--partitions 40
 
# 5. 添加配置
# (To add configs:)
bin/kafka-configs.sh \
--bootstrap-server broker_host:port \
--entity-type topics \
--entity-name my_topic_name \
--alter \
--add-config x=y
 
# 6. 移除配置
# (To remove a config:)
bin/kafka-configs.sh \
--bootstrap-server broker_host:port \
--entity-type topics \
--entity-name my_topic_name \
--alter \
--delete-config x
 
# 7. 刪除topic
# (And finally deleting a topic:)
bin/kafka-topics.sh \
--bootstrap-server broker_host:port \
--delete \
--topic my_topic_name

7.5 消費消息

bin/kafka-console-consumer.sh \
--topic quickstart-events \
--from-beginning \
--bootstrap-server data-vm4:9092

7.6 查看消費者組

# 檢查消費者postition
# Checking consumer position
bin/kafka-consumer-groups.sh \
--bootstrap-server localhost:9092 \
--describe \
--group my-group
 
  TOPIC                          PARTITION  CURRENT-OFFSET  LOG-END-OFFSET  LAG        CONSUMER-ID                                       HOST                           CLIENT-ID
  my-topic                       0          2               4               2          consumer-1-029af89c-873c-4751-a720-cefd41a669d6   /127.0.0.1                     consumer-1
  my-topic                       1          2               3               1          consumer-1-029af89c-873c-4751-a720-cefd41a669d6   /127.0.0.1                     consumer-1
  my-topic                       2          2               3               1          consumer-2-42c1abd4-e3b2-425d-a8bb-e1ea49b29bb2   /127.0.0.1                     consumer-2

7.7 查看消費者組列表

# list all consumer groups across all topics
bin/kafka-consumer-groups.sh \
--bootstrap-server localhost:9092 \
--list
 
  test-consumer-group
 
 
# To view offsets, as mentioned earlier, 
# we "describe" the consumer group like this:
bin/kafka-consumer-groups.sh \
--bootstrap-server localhost:9092 \
--describe \
--group my-group
 
  TOPIC           PARTITION  CURRENT-OFFSET  LOG-END-OFFSET  LAG             CONSUMER-ID                                    HOST            CLIENT-ID
  topic3          0          241019          395308          154289          consumer2-e76ea8c3-5d30-4299-9005-47eb41f3d3c4 /127.0.0.1      consumer2
  topic2          1          520678          803288          282610          consumer2-e76ea8c3-5d30-4299-9005-47eb41f3d3c4 /127.0.0.1      consumer2
  topic3          1          241018          398817          157799          consumer2-e76ea8c3-5d30-4299-9005-47eb41f3d3c4 /127.0.0.1      consumer2
  topic1          0          854144          855809          1665            consumer1-3fc8d6f1-581a-4472-bdf3-3515b4aee8c1 /127.0.0.1      consumer1
  topic2          0          460537          803290          342753          consumer1-3fc8d6f1-581a-4472-bdf3-3515b4aee8c1 /127.0.0.1      consumer1
  topic3          2          243655          398812          155157          consumer4-117fe4d3-c6c1-4178-8ee9-eb4a3954bee0 /127.0.0.1      consumer4
 
# 更多配置參考:
# https://kafka.apache.org/32/documentation.html#uses

一、kafka集群實例角色規(guī)劃

在本專欄的之前的一篇文章《kafka3種zk的替代方案》已經(jīng)為大家介紹過在kafka3.0種已經(jīng)可以將zookeeper去掉。

kafka3.X集群安裝(不使用zookeeper),zookeeper,分布式,kafka

上圖中黑色代表broker（消息代理服務(wù)），褐色/藍(lán)色代表Controller(集群控制器服務(wù))

左圖（kafka2.0）：一個集群所有節(jié)點都是broker角色，kafka從三個broker中選舉出來一個Controller控制器，控制器將集群元數(shù)據(jù)信息（比如主題分類、消費進度等）保存到zookeeper，用于集群各節(jié)點之間分布式交互。

右圖（kafka3.0）：假設(shè)一個集群有四個broker，指定三個作為Conreoller角色(藍(lán)色)，從三個Controller中選舉出來一個Controller作為主控制器（褐色），其他的2個備用。zookeeper不再被需要！相關(guān)的元數(shù)據(jù)信息以kafka日志的形式存在（即：以消息隊列消息的形式存在）。

controller通信端口：9093, 作用與zk的2181端口類似。

在搭建kafka3.0集群之前, 我們需要先做好kafka實例角色規(guī)劃。(四個broker, 需要通過主動配置指定三個作為Controller, Controller需要奇數(shù)個, 這一點和zk是一樣的)

主機名稱	ip	角色	`node.id`
kafka-vm1	192.168.1.111	broker,controller	1
kafka-vm2	192.168.1.112	broker,controller	2
kafka-vm3	192.168.1.113	broker,controller	3
kafka-vm4	192.168.1.114	broker	4

二、準(zhǔn)備工作

kafka3.x不再支持JDK8，建議安裝JDK11或JDK17。

新建kafka持久化日志數(shù)據(jù)mkdir -p /data/kafka;并保證安裝kafka的用戶具有該目錄的讀寫權(quán)限。

各個機器節(jié)點執(zhí)行：

到了這里，關(guān)于kafka3.X集群安裝(不使用zookeeper)的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！

本文來自互聯(lián)網(wǎng)用戶投稿，該文觀點僅代表作者本人，不代表本站立場。本站僅提供信息存儲空間服務(wù)，不擁有所有權(quán)，不承擔(dān)相關(guān)法律責(zé)任。如若轉(zhuǎn)載，請注明出處：如若內(nèi)容造成侵權(quán)/違法違規(guī)/事實不符，請點擊違法舉報進行投訴反饋，一經(jīng)查實，立即刪除！

分享到：

領(lǐng)支付寶紅包贊助服務(wù)器費用

kafka3.4.0集群搭建（無zookeeper）
注意：低版本需要安裝zookeeper，在2.8及以上可移除zookeeper 前往官網(wǎng)下載 ?。?！不要下載src文件 1.解壓文件 tar xzf kafka_2.13-3.4.0.tgz 進入文件 cd kafka_2.13-3.4.0 進入 cd config/kraft 2.修改server.properties以下屬性 vim server.properties 3.我們需要在啟動服務(wù)器之前創(chuàng)建kafka集群id。執(zhí)行下列命令
2024年02月03日
瀏覽(25)
CentOS7安裝Zookeeper分布式集群
前言 ZooKeeper 是一個開源的分布式協(xié)調(diào)服務(wù)框架，主要用于分布式系統(tǒng)中的數(shù)據(jù)同步、配置管理、集群控制和命名服務(wù)等方面的處理。本文在3個系統(tǒng)為CentOS7的Linux節(jié)點上配置了Zookeeper分布式集群，安裝配置的過程均在普通用戶 sxZhang 的賬戶上完成，安裝路徑為 ~/bigdata ，3個
2024年01月17日
瀏覽(26)
Zookeeper+Hadoop+Spark+Flink+Kafka+Hbase+Hive 完全分布式高可用集群搭建(保姆級超詳細(xì)含圖文)
說明: 本篇將詳細(xì)介紹用二進制安裝包部署hadoop等組件，注意事項，各組件的使用，常用的一些命令，以及在部署中遇到的問題解決思路等等，都將詳細(xì)介紹。 ip hostname 192.168.1.11 node1 192.168.1.12 node2 192.168.1.13 node3 1.2.1系統(tǒng)版本 1.2.2內(nèi)存建議最少4g、2cpu、50G以上的磁盤容量本次
2024年02月12日
瀏覽(38)
Linux-一篇文章，速通Hadoop集群之偽分布式，完全分布式，高可用搭建（附zookeeper，jdk介紹與安裝）。
文章較長，附目錄，此次安裝是在VM虛擬環(huán)境下進行。文章第一節(jié)主要是介紹Hadoop與Hadoop生態(tài)圈并了解Hadoop三種集群的區(qū)別，第二節(jié)和大家一起下載，配置Linux三種集群以及大數(shù)據(jù)相關(guān)所需的jdk，zookeeper，只需安裝配置的朋友可以直接跳到文章第二節(jié)。同時，希望我的文章能幫
2024年03月19日
瀏覽(28)
分布式消息流處理平臺kafka(一)-kafka單機、集群環(huán)境搭建流程及使用入門
kafka最初是LinkedIn的一個內(nèi)部基礎(chǔ)設(shè)施系統(tǒng)。最初開發(fā)的起因是，LinkedIn雖然有了數(shù)據(jù)庫和其他系統(tǒng)可以用來存儲數(shù)據(jù)，但是缺乏一個可以幫助處理持續(xù)數(shù)據(jù)流的組件。所以在設(shè)計理念上，開發(fā)者不想只是開發(fā)一個能夠存儲數(shù)據(jù)的系統(tǒng)，如關(guān)系數(shù)據(jù)庫、Nosql數(shù)據(jù)庫、搜索引擎等
2024年02月16日
瀏覽(50)
Kafka3.3.1最新版安裝教程（無需zookeeper）
kafka下載地址路徑：kafka/3.3.1_1/libexec/config/kraft/server.properties ./bin/kafka-storage.sh random-uuid 會得到一個uuid 將uuid寫入配置文件中 ./bin/kafka-storage.sh format -t uuid -c ./config/kraft/server.properties 啟動命令 ./bin/kafka-server-start.sh ./config/kraft/server.properties 如果需要后臺啟動 ./bin/kafka-server-star
2024年02月12日
瀏覽(48)
分布式應(yīng)用之Zookeeper和Kafka
1.定義 2.特點 3.數(shù)據(jù)結(jié)構(gòu) 4.選舉機制第一次選舉非第一次選舉 5.部署 1.概念中間件是一種獨立的系統(tǒng)軟件或服務(wù)程序，分布式應(yīng)用軟件借助這種軟件在不同的技術(shù)之間共享資源。 2.消息隊列型 3.Web應(yīng)用型（代理服務(wù)器） 1.為什么需要MQ 2.消息隊列作用 3.消息隊列模式 ①點對
2024年02月15日
瀏覽(25)
第四節(jié) zookeeper集群與分布式鎖
目錄 1. Zookeeper集群操作 1.1 客戶端操作zk集群 1.2 模擬集群異常操作 1.3 curate客戶端連接zookeeper集群 2. Zookeeper實戰(zhàn)案例 2.1 創(chuàng)建項目引入依賴 2.2 獲取zk客戶端對象 2.3 常用API 2.4 客戶端向服務(wù)端寫入數(shù)據(jù)流程 2.5 服務(wù)器動態(tài)上下線、客戶端動態(tài)監(jiān)聽 2.6 測試 3.Zookeeper分布式鎖 3.
2024年02月20日
瀏覽(24)
ZooKeeper+HBase分布式集群環(huán)境搭建
安裝版本：hadoop-2.10.1、zookeeper-3.4.12、hbase-2.3.1 一、zookeeper 集群搭建與配置 1. 下載zookeeper安裝包 2. 解壓移動zookeeper 3. 修改配置文件（創(chuàng)建文件夾） 4. 進入conf/ 5. 修改zoo.cfg文件 6. 進入/usr/local/zookeeper-3.4.12/zkdatas/這個路徑下創(chuàng)建一個文件，文件名為myid ,文件內(nèi)容為1 7. 拷貝到
2024年02月08日
瀏覽(27)
Zookeeper 偽分布式集群搭建詳細(xì)步驟
在同一臺服務(wù)器上，部署一個 3 個 ZooKeeper 節(jié)點組成的集群，這樣的集群叫偽分布式集群，而如果集群中的 3 個節(jié)點分別部署在 3 個服務(wù)器上，那么這種集群就叫真正的分布式集群。這里，記錄一下搭建一個 3 節(jié)點的偽分布式集群的過程，真正的分布式集群的搭建過程和偽
2024年02月08日
瀏覽(23)