国产无码综合区,色欲AV无码国产永久播放,无码天堂亚洲国产AV,国产日韩欧美女同一区二区

kafka使用入門案例與踩坑記錄

2年前作者：程序員-小李分類：Toy博客閱讀(16)違法舉報(bào)

這篇具有很好參考價(jià)值的文章主要介紹了kafka使用入門案例與踩坑記錄。希望對(duì)大家有所幫助。如果存在錯(cuò)誤或未考慮完全的地方，請(qǐng)大家不吝賜教，您也可以點(diǎn)擊"舉報(bào)違法"按鈕提交疑問。

每次用到kafka時(shí)都會(huì)出現(xiàn)各種奇怪的問題，綜合實(shí)踐，下面匯總下主要操作步驟：

Docker鏡像形式啟動(dòng)

zookeeper啟動(dòng)

docker run -d --name zookeeper -p 2181:2181 -t wurstmeister/zookeeper

kafka啟動(dòng)

docker run --name kafka01 -p 9092:9092 -e KAFKA_BROKER_ID=0 -e KAFKA_ZOOKEEPER_CONNECT=150.158.16.123:12348 -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://150.158.16.123:9092 -e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 -d  wurstmeister/kafka

進(jìn)入kafka容器

docker exec -it [容器id] /bin/bash

創(chuàng)建topic

進(jìn)入容器，在/opt/kafka_2.13-2.8.1/bin 目錄下創(chuàng)建topic

./kafka-topics.sh --create --zookeeper 150.158.16.123:12348 --replication-factor 1 --partitions 1 --topic mykafka
./kafka-topics.sh --create --zookeeper 150.158.16.123:2181 --replication-factor 1 --partitions 1 --topic mykafka

運(yùn)行生產(chǎn)者

kafka訪問頁面,中間件,kafka,java,分布式

運(yùn)行消費(fèi)者

kafka訪問頁面,中間件,kafka,java,分布式

單機(jī)形式啟動(dòng)

前提

1、Linux 機(jī)器

2、環(huán)境已準(zhǔn)備好JDK，如果還沒有裝，推薦用yum一鍵安裝

yum  install  -y  java-1.8.0-openjdk.x86_64

檢驗(yàn)：

[root@localhost ~]# java -version
openjdk version "1.8.0_362"
OpenJDK Runtime Environment (build 1.8.0_362-b08)
OpenJDK 64-Bit Server VM (build 25.362-b08, mixed mode)

3、將kafka壓縮包上傳到你的Linux

配置文件關(guān)注config目錄下的zookeeper.properties和server.properties，啟動(dòng)服務(wù)時(shí)要指定

配置-啟動(dòng)

有默認(rèn)配置，可不做修改（有需要可以自定義啟動(dòng)端口和數(shù)據(jù)存放位置等參數(shù)）

1、先啟動(dòng)自帶的 Zookeeper：

[root@localhost bin]# ./zookeeper-server-start.sh ../config/zookeeper.properties 
OpenJDK 64-Bit Server VM warning: If the number of processors is expected to increase from one, then you should configure the number of parallel GC threads appropriately using -XX:ParallelGCThreads=N
[2023-02-26 14:14:52,759] INFO Reading configuration from: ../config/zookeeper.properties (org.apache.zookeeper.server.quorum.QuorumPeerConfig)
[2023-02-26 14:14:52,766] INFO autopurge.snapRetainCount set to 3 (org.apache.zookeeper.server.DatadirCleanupManager)
[2023-02-26 14:14:52,767] INFO autopurge.purgeInterval set to 0 (org.apache.zookeeper.server.DatadirCleanupManager)
[2023-02-26 14:14:52,767] INFO Purge task is not scheduled. (org.apache.zookeeper.server.DatadirCleanupManager)
[2023-02-26 14:14:52,767] WARN Either no config or no quorum defined in config, running  in standalone mode (org.apache.zookeeper.server.quorum.QuorumPeerMain)
[2023-02-26 14:14:52,783] INFO Reading configuration from: ../config/zookeeper.properties (org.apache.zookeeper.server.quorum.QuorumPeerConfig)
[2023-02-26 14:14:52,784] INFO Starting server (org.apache.zookeeper.server.ZooKeeperServerMain)
[2023-02-26 14:14:52,796] INFO Server environment:zookeeper.version=3.4.14-4c25d480e66aadd371de8bd2fd8da255ac140bcf, built on 03/06/2019 16:18 GMT (org.apache.zookeeper.server.ZooKeeperServer)
[2023-02-26 14:14:52,796] INFO Server environment:host.name=localhost (org.apache.zookeeper.server.ZooKeeperServer)
[2023-02-26 14:14:52,796] INFO Server environment:java.version=1.8.0_362 (org.apache.zookeeper.server.ZooKeeperServer)
[2023-02-26 14:14:52,796] INFO Server environment:java.vendor=Red Hat, Inc. (org.apache.zookeeper.server.ZooKeeperServer)
[2023-02-26 14:14:52,796] INFO Server environment:java.home=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.362.b08-1.el7_9.x86_64/jre (org.apache.zookeeper.server.ZooKeeperServer)
(省略大部分)

2、啟動(dòng) Kafka

[root@localhost kafka_2.12-2.3.0]# bin/kafka-server-start.sh config/server.properties 
OpenJDK 64-Bit Server VM warning: If the number of processors is expected to increase from one, then you should configure the number of parallel GC threads appropriately using -XX:ParallelGCThreads=N
[2023-02-26 14:16:00,261] INFO Registered kafka:type=kafka.Log4jController MBean (kafka.utils.Log4jControllerRegistration$)
[2023-02-26 14:16:01,004] INFO Registered signal handlers for TERM, INT, HUP (org.apache.kafka.common.utils.LoggingSignalHandler)
[2023-02-26 14:16:01,024] INFO starting (kafka.server.KafkaServer)
[2023-02-26 14:16:01,025] INFO Connecting to zookeeper on localhost:2181 (kafka.server.KafkaServer)
[2023-02-26 14:16:01,068] INFO [ZooKeeperClient Kafka server] Initializing a new session to localhost:2181. (kafka.zookeeper.ZooKeeperClient)
[2023-02-26 14:16:01,072] INFO Client environment:zookeeper.version=3.4.14-4c25d480e66aadd371de8bd2fd8da255ac140bcf, built on 03/06/2019 16:18 GMT (org.apache.zookeeper.ZooKeeper)
[2023-02-26 14:16:01,072] INFO Client environment:host.name=localhost (org.apache.zookeeper.ZooKeeper)
[2023-02-26 14:16:01,072] INFO Client environment:java.version=1.8.0_362 (org.apache.zookeeper.ZooKeeper)
[2023-02-26 14:16:01,072] INFO Client environment:java.vendor=Red Hat, Inc. (org.apache.zookeeper.ZooKeeper)
[2023-02-26 14:16:01,072] INFO Client environment:java.home=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.362.b08-1.el7_9.x86_64/jre (org.apache.zookeeper.ZooKeeper)
(省略大部分)

上述步驟只要啟動(dòng)過程沒有報(bào)錯(cuò)信息，一般是沒有問題的

測(cè)試

1、創(chuàng)建個(gè)topic

[root@localhost bin]# ./kafka-topics.sh --create --zookeeper 192.168.154.134:2181 --replication-factor 1 --partitions 1 --topic test
Created topic test.

2、查看topic列表

[root@localhost bin]# ./kafka-topics.sh --zookeeper 192.168.154.134:2181 --list
OpenJDK 64-Bit Server VM warning: If the number of processors is expected to increase from one, then you should configure the number of parallel GC threads appropriately using -XX:ParallelGCThreads=N
test

3、啟動(dòng)生產(chǎn)者

[root@localhost bin]# ./kafka-console-producer.sh --broker-list 192.168.154.134:9092 --topic test
>hi
>什么意思啊

4、啟動(dòng)消費(fèi)者

[root@localhost bin]# ./kafka-console-consumer.sh --bootstrap-server 192.168.154.134:9092 --topic test
hi
什么意思啊

正常啟動(dòng)，OK！

可視化：kafka-manager

鏡像下載

docker pull sheepkiller/kafka-manager

運(yùn)行容器

docker run -d --name kafka-manager -p 12349:9000 --link zookeeper --link kafka01 --env ZK_HOSTS=zookeeper:2181 sheepkiller/kafka-manager

然后訪問對(duì)應(yīng)的IP：端口即可進(jìn)入管理頁面

注意：ZK_HOSTS 后面在web頁面上要用到！

管理界面

進(jìn)入主頁面后，點(diǎn)擊 Add Cluster 添加集群信息

kafka訪問頁面,中間件,kafka,java,分布式

然后填寫配置信息，主要填寫集群名稱，Zookeeper的Hosts，還有指定kafka版本（選個(gè)跟你所使用的kafka版本號(hào)最接近的就行），其他的一些配置按默認(rèn)的就行。

當(dāng)你正確連接上以后，就能看到你的集群啦，如：

kafka訪問頁面,中間件,kafka,java,分布式

kafka訪問頁面,中間件,kafka,java,分布式

更多關(guān)于kafka可視化操作就由你慢慢探索吧！這里將你引進(jìn)門！

注意：

如果你在啟動(dòng)kafka manager這個(gè)容器時(shí)指定了 ZK_HOSTS ，那么Cluster Zookeeper Hosts這項(xiàng)填的內(nèi)容要和 ZK_HOSTS 一致，否則會(huì)出現(xiàn)連接不上，連接超時(shí)等情況。如下圖：

另外有些配置默認(rèn)值是1，但是你得將其改成1以上的整數(shù)，否則不能正確保存提交。如：

注意

kafka版本不同，響應(yīng)的api有區(qū)別

本版本是2.11

注意3.x是 --bootstrap-server localhost:9092方式新建，kafka2.x是以–zookeeper方式創(chuàng)建。下面查看新建的topic。

kafka訪問頁面,中間件,kafka,java,分布式

kafka訪問頁面,中間件,kafka,java,分布式

奇葩問題

1.重啟docker失??？

[root@localhost ~]# systemctl restart docker
Job for docker.service failed because the control process exited with error code. See "systemctl status docker.service" and "journalctl -xe" for details.

[root@localhost ~]# journalctl -xe
-- The result is failed.
2月 22 02:01:53 localhost.localdomain systemd[1]: Unit docker.service entered failed state.
2月 22 02:01:53 localhost.localdomain systemd[1]: Unit docker.service entered failed state.
2月 22 02:01:53 localhost.localdomain systemd[1]: docker.service failed.
2月 22 02:01:55 localhost.localdomain systemd[1]: docker.service holdoff time over, scheduling restart.
2月 22 02:01:55 localhost.localdomain systemd[1]: Stopped Docker Application Container Engine.
-- Subject: Unit docker.service has finished shutting down
-- Defined-By: systemd
-- Support: http://lists.freedesktop.org/mailman/listinfo/systemd-devel
-- 
-- Unit docker.service has finished shutting down.
2月 22 02:01:55 localhost.localdomain systemd[1]: start request repeated too quickly for docker.service
2月 22 02:01:55 localhost.localdomain systemd[1]: Failed to start Docker Application Container Engine.
-- Subject: Unit docker.service has failed
-- Defined-By: systemd
-- Support: http://lists.freedesktop.org/mailman/listinfo/systemd-devel
-- 
-- Unit docker.service has failed.
-- 
-- The result is failed.

原因：修改文件/etc/docker/daemon.json時(shí)不規(guī)范，可能存在空格什么的

解決：

[root@localhost ~]# cat <<EOF >/etc/docker/daemon.json
> {
> "registry-mirrors": ["https://registry.docker-cn.com"]
> }
> EOF
[root@localhost ~]# cat /etc/docker/daemon.json 
{
"registry-mirrors": ["https://registry.docker-cn.com"]
}
[root@localhost ~]# 
[root@localhost ~]# systemctl daemon-reload
[root@localhost ~]# systemctl restart docker

2.查詢鏡像無果？

[root@localhost ~]# docker search kafka
Error response from daemon: Get "https://index.docker.io/v1/search?q=kafka&n=25": x509: certificate has expired or is not yet valid: current time 2023-02-22T02:08:25+08:00 is before 2023-02-22T00:00:00Z

原因：虛擬機(jī)時(shí)間與外部時(shí)間不一致

解決：

[root@localhost ~]# date
2023年 02月 22日 星期三 02:09:50 CST
[root@localhost ~]# ntpdate cn.pool.ntp.org
26 Feb 13:31:38 ntpdate[44996]: step time server 119.28.206.193 offset 386475.634457 sec
[root@localhost ~]# date
2023年 02月 26日 星期日 13:31:48 CST
[root@localhost ~]# docker search kafka
NAME                                         DESCRIPTION                                     STARS     OFFICIAL   AUTOMATED
bitnami/kafka                                Apache Kafka is a distributed streaming plat…   615                  [OK]
ubuntu/kafka                                 Apache Kafka, a distributed event streaming …   25                   
bitnami/kafka-exporter                                                                       9                    
ibmcom/kafka                                 Docker Image for IBM Cloud Private-CE (Commu…   6                    
bitnami/kafka-trigger-controller             Source for this controller is in the kubeles…   5                    
ibmcom/kafka-python-console-sample           Docker image for the IBM Event Streams Pytho…   2                    
openwhisk/kafkaprovider                      Apache OpenWhisk event provider service for …   2                    [OK]

3.Docker容器內(nèi)如何安裝vim?

apt-get install vim （可能提示你安裝失敗！繼續(xù)往下）

agt-get update 同步 /etc/apt/sources.list 和 /etc/apt/sources.list.d 中列出的源的索引

配置國內(nèi)鏡像源：

echo "deb http://mirrors.163.com/debian/ jessie main non-free contrib" >/etc/apt/sources.list
    echo "deb http://mirrors.163.com/debian/ jessie-proposed-updates main non-free contrib" >>/etc/apt/sources.list
    echo "deb-src http://mirrors.163.com/debian/ jessie main non-free contrib" >>/etc/apt/sources.list
    echo "deb-src http://mirrors.163.com/debian/ jessie-proposed-updates main non-free contrib" >>/etc/apt/sources.list

返回第一步

4.無法啟動(dòng)kafka?

kafka.common.KafkaException: Socket server failed to bind to 150.158.16.123:9092: 無法指定被請(qǐng)求的地址.
        at kafka.network.Acceptor.openServerSocket(SocketServer.scala:327)
        at kafka.network.Acceptor.<init>(SocketServer.scala:252)
        at kafka.network.SocketServer$$anonfun$startup$1.apply(SocketServer.scala:91)
        at kafka.network.SocketServer$$anonfun$startup$1.apply(SocketServer.scala:83)
        at scala.collection.mutable.ResizableArray$class.foreach(ResizableArray.scala:59)
        at scala.collection.mutable.ArrayBuffer.foreach(ArrayBuffer.scala:48)
        at kafka.network.SocketServer.startup(SocketServer.scala:83)
        at kafka.server.KafkaServer.startup(KafkaServer.scala:222)
        at kafka.server.KafkaServerStartable.startup(KafkaServerStartable.scala:38)
        at kafka.Kafka$.main(Kafka.scala:65)
        at kafka.Kafka.main(Kafka.scala)

注意，上面是配置里面有個(gè)地址寫得不對(duì)，listeners=PLAINTEXT://10.20.30.153:9092后接的是內(nèi)網(wǎng)地址，通過ip addr即可查看，如我的機(jī)器

kafka訪問頁面,中間件,kafka,java,分布式

一個(gè)寫內(nèi)網(wǎng)地址，一個(gè)寫外網(wǎng)地址即可

kafka訪問頁面,中間件,kafka,java,分布式

本次分享到這，下期見！文章來源地址http://www.zghlxwxcb.cn/news/detail-768674.html

到了這里，關(guān)于kafka使用入門案例與踩坑記錄的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！

本文來自互聯(lián)網(wǎng)用戶投稿，該文觀點(diǎn)僅代表作者本人，不代表本站立場(chǎng)。本站僅提供信息存儲(chǔ)空間服務(wù)，不擁有所有權(quán)，不承擔(dān)相關(guān)法律責(zé)任。如若轉(zhuǎn)載，請(qǐng)注明出處：如若內(nèi)容造成侵權(quán)/違法違規(guī)/事實(shí)不符，請(qǐng)點(diǎn)擊違法舉報(bào)進(jìn)行投訴反饋，一經(jīng)查實(shí)，立即刪除！

分享到：

領(lǐng)支付寶紅包贊助服務(wù)器費(fèi)用

M1Mac 使用 qemu 配置 archlinux 虛擬機(jī)的完整c++開發(fā)環(huán)境與踩坑指南
之前寫了關(guān)于 qemu 安裝 archlinux 的文章, 但是還有一些內(nèi)容沒得到解決, 比如很多時(shí)候 ssh 連接不成功, 這時(shí)候用圖形界面(默認(rèn)選項(xiàng))的優(yōu)勢(shì)就體現(xiàn)出來了, 并且如果需要傳輸文件或者需要使用對(duì)外的端口, 僅轉(zhuǎn)發(fā)一個(gè)22端口是不夠的, 最后就是 gdb 調(diào)試的整套環(huán)境的配置, 這些問題
2024年02月06日
瀏覽(52)
使用html2canvas,將頁面轉(zhuǎn)換成圖片的圖片模糊等踩坑記錄(Web/Taro h5)
使用 html2canvas 將頁面轉(zhuǎn)換成圖片的采坑記錄 1. 生成的圖片很模糊 2. 生成的圖片是空白 3. 生成的圖片不完整截圖前是這樣截圖后這樣截圖后的圖片圖片缺省了一部分問題1: 生成的圖片很模糊(圖片跨域) 方法一: 將canvas放大n倍再作圖; 移動(dòng)端的話,根據(jù)移動(dòng)設(shè)備的 devicePixelR
2024年02月05日
瀏覽(23)
前端html2canvas生成截圖【實(shí)現(xiàn)步驟與踩坑】
需求：點(diǎn)擊下載可以導(dǎo)出組件的截圖及數(shù)據(jù)信息文件分析：前端生成組件截圖，帶著其他參數(shù)傳給后端，拿到excel文件并下載。關(guān)鍵在于生成組件的截圖，這里通過 html2canvas 插件來實(shí)現(xiàn)。 1.下載插件 npm install html2canvas 2.引入 3.通過ref拿到要下載組件的dom元素 4.通過html2ca
2024年04月11日
瀏覽(28)
記錄--H5頁面對(duì)接微信支付踩坑雜記
應(yīng)用背景：vite搭建的vue3項(xiàng)目需求背景：功能都涉及了支付業(yè)務(wù)，故需要和外部支付系統(tǒng)對(duì)接外部支付系統(tǒng)：聚合支付、微信小程序支付、微信H5支付讀完本文，你將會(huì)對(duì)以下幾個(gè)坑點(diǎn)有所了解：對(duì)接第三方服務(wù)商過程踩坑對(duì)接小程序支付踩坑對(duì)接微信H5支付踩坑關(guān)于客戶
2024年02月08日
瀏覽(22)
2023年highway-env更新之后的使用記錄（含DDQN,DuelingDQN,DDQN+OtherChanges）入門到入土，再踩坑就不玩原神了
寫在前面：在學(xué)習(xí)自動(dòng)駕駛領(lǐng)域上的強(qiáng)化學(xué)習(xí)過程中，我決定使用highwy-env庫建設(shè)的模擬器來進(jìn)行環(huán)境構(gòu)建，但是翻閱了眾多教程（包含國內(nèi)國外）之后，發(fā)現(xiàn)教程內(nèi)容過舊，因?yàn)殡S著2023年的到來，highway-env庫也進(jìn)行了更新，前兩年的教程無一例外都使用了老舊版本的函數(shù)和
2023年04月16日
瀏覽(24)
c++從入門到放棄,小白踩坑記錄1
錯(cuò)誤問題描述沒有與這些操作數(shù)匹配的運(yùn)算符操作數(shù)類型為std::basic_ostream char,std::char traits char unknown-type 錯(cuò)誤代碼錯(cuò)誤原因代碼的“end”為錯(cuò)誤寫發(fā)，應(yīng)該是“endl” 修改后的正確代碼
2024年02月06日
瀏覽(23)
SpringBoot中整合ElasticSearch快速入門以及踩坑記錄
若依前后端分離版手把手教你本地搭建環(huán)境并運(yùn)行項(xiàng)目：若依前后端分離版手把手教你本地搭建環(huán)境并運(yùn)行項(xiàng)目_本地運(yùn)行若依前后端分離-CSDN博客參考上面搭建項(xiàng)目。 Elasticsearch 是java開發(fā)的，基于 Lucene 的搜索引擎。它提供了一個(gè)分布式多用戶能力的全文搜索引擎，基于R
2024年01月17日
瀏覽(20)
如何解決WIN11的EDGE瀏覽器頁面的“嗯...無法訪問此頁面”，怎么辦？記錄一下
控制面板—網(wǎng)絡(luò)和internet— internet選項(xiàng)—連接—局域網(wǎng)設(shè)置—在(為LAN使用代理服務(wù)器)這一欄打上勾最后點(diǎn)擊確定退出即可。
2024年02月10日
瀏覽(22)
Kafka入門，消費(fèi)者組案例（十九）
在消費(fèi)者API代碼中，必須配置消費(fèi)者id。命令行啟動(dòng)消費(fèi)者不填寫消費(fèi)者組id會(huì)被自動(dòng)填寫隨機(jī)得消費(fèi)者組id 發(fā)送的信息消費(fèi)信息（因?yàn)槲野l(fā)了好多次）發(fā)送信息發(fā)現(xiàn)只消費(fèi)0分區(qū)的信息復(fù)制三分，然后運(yùn)行
2024年02月12日
瀏覽(24)
查看及修改微軟Edge瀏覽器用戶數(shù)據(jù)保存位置（包括詳細(xì)歷史記錄(頁面停留時(shí)間，頁面訪問次數(shù)，最后訪問時(shí)間，下載歷史等)，Cookie，書簽等）
（把上面的XXX對(duì)應(yīng)自己電腦的用戶名）（其中很多沒有后綴名的文件都是數(shù)據(jù)庫文件，只需修改后綴名為“.db”,然后用數(shù)據(jù)庫管理軟件打開即可，當(dāng)然不都是數(shù)據(jù)庫文件，有些不是）不過由于分庫分表的原因，信息都分散在各個(gè)數(shù)據(jù)庫里面，多張表里面。所以單張表里面記
2024年02月16日
瀏覽(368)

<strike id="ookuq"></strike>

<small id="ookuq"><center id="ookuq"></center></small>

<sup id="ookuq"></sup>