KAFKA (2.12-2.2.1)常用命令
查看topic
查看所有topic列表
#集群地址以逗號分隔如 ip1:9092, ip2:9092, ip3:9092
./kafka-topics.sh --list --bootstrap-server ip:9092
新建分區(qū)1副本1的topic
./kafka-topics.sh --bootstrap-server ip:9092 --create --topic demo0218 --partitions 1 --replication-factor 1
查看某個topic
./kafka-topics.sh --bootstrap-server ip:9092 --describe --topic demo0218
#修改demo0218分區(qū)為3(分區(qū)數(shù)建議只增不減，分區(qū)數(shù)據(jù)不好處理)
#分區(qū)內部消息有序，分區(qū)之間消息無序
./kafka-topics.sh --bootstrap-server ip:9092 --alter --topic demo0218 --partitions 3
生產消息
./kafka-console-producer.sh --broker-list ip:9092 --topic demo0218
消費消息
#–from-beginning ：
#加上：會把topic中以往所有的數(shù)據(jù)都讀取出來
#不加：此時只會消費最新的數(shù)據(jù)，原來topic中的數(shù)據(jù)不會被消費
./kafka-console-consumer.sh --bootstrap-server ip:9092 -from-beginning --topic demo0218 --group hik0218
查看指定消費者組的消費topic 的位置情況，查看消費是否存在積壓（LAG）
./kafka-consumer-groups.sh --bootstrap-server ip:9092 --group hik0218 –describe
刪除topic demo0228
./kafka-topics.sh --bootstrap-server ip:9092 --delete --topic demo0218
Kafka tool簡介
Kafka tool為kafka 較為通用的客戶端連接工具之一，通過連接kafka直接明了的查看kafka數(shù)據(jù)、創(chuàng)建刪除topic，添加kafka數(shù)據(jù)完成簡單流程驗證、查看topic消費情況等功能
Kafka Tool 工具下載地址:
http://www.kafkatool.com/download.html
Kafka 連接配置
1）啟動 Kafka Tool
在安裝目錄下，雙擊可執(zhí)行文件 kafkatool.exe，啟動 Kafka Tool
2）配置 Kafka 連接信息
File -> Add New Connection…
【注意】需要在 C:\Windows\System32\drivers\etc 下的 hosts 文件中，添加入 kafka 的集群域名（配置保存后，需要重啟KafkaTools才能讀取hosts文件中的內容）
例如:
查看 Kafka 數(shù)據(jù)
1）查看 Kafka 數(shù)據(jù)
選擇一個Topic -> Data，點擊查詢即可看到數(shù)據(jù)（但是Key和Message是二進制的，不能直觀的看到具體的消息信息，需要設置展示格式）
Messages選擇Newest，表示查看最新的Kafka數(shù)據(jù)；
結果列表中的每列，通過點擊表頭，可以按照升序或者降序排序（一般用在時間字段排序，方便查看最新數(shù)據(jù)）。
2）設置 Kafka 數(shù)據(jù)展示格式
在Tools -> Settings -> Topics，將 Key 和 Message 均設置為String 保存。這樣是全局設置，對所有 Topic 均生效。
如果只是想單獨設置某個 Topic，可以選中某個 Topic，在 Properties -> Content Type 中，將顯示格式設置為String，點擊 Update -> Refresh 即可生效
設置后的數(shù)據(jù)列表如下
3）查看具體某一條消息
選中某一個message，點擊“Message”查看詳情，默認是“Text”格式（如果想看到JSON格式，只需要設置下“View Data As”即可）
“View Data As”設置為 JSON 后，消息信息格式如下
4）過濾查詢 Kafka 消息
可以按照Offset（偏移量），Key（消息key），Message（消息主體），Regex（正則表達式）進行單個或者組合查詢
使用 Kafka Tool 創(chuàng)建 Topic
1) 創(chuàng)建 Topic
步驟如下：
1、鼠標右鍵點擊 “Topics” 文件夾圖標 -> 選擇 “Create Topic”，或者點擊“Topics”，單擊右側頁面中的“+”，會彈出“Add Topic”頁面；
2、填寫需要創(chuàng)建的Topic名稱，分區(qū)數(shù)和備份數(shù)，點擊“Add”添加，即可創(chuàng)建 topic。
效果如下：
2）查看創(chuàng)建的 Topic
創(chuàng)建的出來的 topic, 可以在 Topic 列表或者通過 Kafka topic 命令查看。
3）刪除 Topic
如果因為失誤導致創(chuàng)建的 topic 不是自己想要的，想進行刪除，也可以通過 KafkaTool 進行界面化刪除。
效果如下：
4）補充說明
如果通過 Kafka Tool 創(chuàng)建 topic 失敗，請確認如下兩點：
a）是否按照如下截圖配置的Cluster Connection
（本次舉例是單臺機器，如果實際是集群，需要把 bootstrap servers進行集群配置，如3臺集群配置：192.168.71.129:9092,192.168.71.130:9092,192.168.71.131:9092）
b）是否按照kafka連接配置的說明在hosts文件中配置了域名
使用 Kafka Tool 模擬發(fā)送 Messages
操作步驟如下：
點擊“Topics” -> 選擇一個 topic（如：topic01） -> 選擇分區(qū)（如：Partition 0），點擊右側“Data”里的“+”，會彈出“Add Message”頁面。
其中，Key 和 Message 均支持兩種方式：From file 和 Enter Manually[Text]
From file：就是數(shù)據(jù)來源于文件，需要上傳文件（個人建議上傳txt格式文件）
Enter Manually[Text]：手動輸入
二者可以混合搭配使用，并且 Key 和 Message 二者必須有值，否則會報錯.
效果如下：
場景1：Key 和 Message 均選擇手動輸入
場景2：Key 和 Message 均選擇來自文件
場景3：Key 和 Message 其中一個來自文件，一個來自手動輸入
txt文件中內容如下：
消費者消費到的模擬數(shù)據(jù)
消費命令如下：文章來源：http://www.zghlxwxcb.cn/news/detail-769829.html
./kafka-console-consumer.sh --bootstrap-server 192.168.71.129:9092 --topic topic01文章來源地址http://www.zghlxwxcb.cn/news/detail-769829.html
到了這里，關于KAFKA (2.12-2.2.1)常用命令和kafka tool 工具使用的文章就介紹完了。如果您還想了解更多內容，請在右上角搜索TOY模板網以前的文章或繼續(xù)瀏覽下面的相關文章，希望大家以后多多支持TOY模板網！
