相關(guān)文章

• kafka topic多分區(qū)亂序問(wèn)題

  [root@centos6 bin]# ./kafka-topics.sh --create --bootstrap-server 127.0.0.1:9092 --replication-factor 1 --partitions 6 --topic test1 Created topic test1. [root@centos6 kafka]# cat produce_kafka.py? from kafka import KafkaProducer from kafka.errors import KafkaError import os producer = KafkaProducer(bootstrap_servers=[\\\'127.0.0.1:9092\\\']) # Asynchronous by de

  2024年02月06日

  瀏覽(22)

• kafka修改Topic副本數(shù)和分區(qū)數(shù)

  一 .修改Kafka Topic副本數(shù) 1.bin/kafka-topics.sh --zookeeper gw04:2181,gw05:2181,gw06:2181 --create --partitions 3 --replication-factor 3 --topic bms_clean_dwm_es11_yb ##新建測(cè)試topic bms_clean_dwm_es11_yb 2.bin/kafka-topics.sh --zookeeper gw04:2181,gw05:2181,gw06:2181 --topic bms_clean_dwm_es11_yb --describe ##查看Topic詳情如下: Topic:bms_cle

  2023年04月09日

  瀏覽(87)

• Docker中Kafka容器創(chuàng)建/更新Topic支持多分區(qū)

  自行通過(guò)docker部署好kafka，并啟動(dòng)相關(guān)容器。 假設(shè)Topic為http_capture。 檢測(cè)Kafka運(yùn)行正常后，如果Topic為http_capture的主題存在，則更新分區(qū)為5個(gè)，若不存在Topic，則新建。

  2024年04月26日

  瀏覽(20)
• 

  kafka2.x常用命令：創(chuàng)建topic，查看topic列表、分區(qū)、副本詳情，刪除topic，測(cè)試topic發(fā)送與消費(fèi)

  原創(chuàng)/朱季謙 接觸kafka開(kāi)發(fā)已經(jīng)兩年多，也看過(guò)關(guān)于kafka的一些書(shū)，但一直沒(méi)有怎么對(duì)它做總結(jié)，借著最近正好在看《Apache Kafka實(shí)戰(zhàn)》一書(shū)，同時(shí)自己又搭建了三臺(tái)kafka服務(wù)器，正好可以做一些總結(jié)記錄。 本文主要是記錄如何在kafka集群服務(wù)器上創(chuàng)建topic，查看topic列表、分區(qū)、

  2024年02月03日

  瀏覽(31)
• 

  kafka中topic的部分分區(qū)leader為none，怎樣解決？

  ? （以Hadoop的topic為例） 進(jìn)入Zookeeper客戶端查看kafka存儲(chǔ)的信息，/kafka/brokers/topics/hadoop/partitions/1/state get /kafka/brokers/topics/hadoop/partitions/1/state 查看到 {\\\"controller_epoch\\\":33,\\\"leader\\\":-1,\\\"version\\\":1,\\\"leader_epoch\\\":25,\\\"isr\\\":[3]}? leader為-1，固分區(qū)的leader為none 修改/kafka/brokers/topics/hadoop/partitions/

  2024年02月03日

  瀏覽(21)

• Kafka中的主題（Topic）和分區(qū)（Partition）是什么？它們之間有什么關(guān)系？

  在Kafka中，主題（Topic）和分區(qū)（Partition）都是用于組織和存儲(chǔ)消息的概念，它們有密切的關(guān)系。 主題（Topic）：主題是消息的邏輯分類?？梢詫⒅黝}理解為一個(gè)邏輯上的消息容器，類似于一個(gè)消息類別或者話題。在Kafka中，生產(chǎn)者（Producer）將消息發(fā)布到特定的主題，而消費(fèi)

  2024年02月15日

  瀏覽(30)
• 

  全網(wǎng)最詳細(xì)地理解Kafka中的Topic和Partition以及關(guān)于kafka的消息分發(fā)、服務(wù)端如何消費(fèi)指定分區(qū)、kafka的分區(qū)分配策略(range策略和RoundRobin策略)

  最近在學(xué)習(xí)kafka相關(guān)的知識(shí)，特將學(xué)習(xí)成功記錄成文章，以供大家共同學(xué)習(xí)。 首先要注意的是， Kafka 中的 Topic 和 ActiveMQ 中的 Topic 是不一樣的。 在 Kafka 中， Topic 是一個(gè)存儲(chǔ)消息的邏輯概念，可以認(rèn)為是一個(gè)消息集合。每條消息發(fā)送到 Kafka 集群的消息都有一個(gè)類別。 物理上

  2024年01月25日

  瀏覽(45)
• 

  kafka 基礎(chǔ)概念、命令行操作（查看所有topic、創(chuàng)建topic、刪除topic、查看某個(gè)Topic的詳情、修改分區(qū)數(shù)、發(fā)送消息、消費(fèi)消息、 查看消費(fèi)者組 、更新消費(fèi)者的偏移位置）

  kafka官網(wǎng) Broker ??一臺(tái)kafka服務(wù)器就是一個(gè)broker，可容納多個(gè)topic。一個(gè)集群由多個(gè)broker組成； Producer ??生產(chǎn)者，即向kafka的broker-list發(fā)送消息的客戶端； Consumer ??消費(fèi)者，即向kafka的broker-list訂閱消息的客戶端； Consumer Group ??消費(fèi)者組是 邏輯上的一個(gè)訂閱者 ，由多個(gè)

  2024年02月01日

  瀏覽(121)
• 

  詳解kafka中的消息日志文件：Topic消息分類、partition分區(qū)、segment分段、offset偏移量索引文件

  Kafka是一種高吞吐量的基于zookeeper協(xié)調(diào)的以集群的方式運(yùn)行的分布式發(fā)布訂閱消息系統(tǒng)，支持分區(qū)（partition）、多副本（replica），具有非常好的負(fù)載均衡能力和處理性能、容錯(cuò)能力。Kafka采用發(fā)布/訂閱模型，消息生產(chǎn)者將消息發(fā)送到Kafka的消息中心（broker）中，然后消費(fèi)者從

  2024年02月03日

  瀏覽(23)

• kafka topic遷移方案及過(guò)程記錄（待整理）

  kafka的topic如果一開(kāi)始沒(méi)有做合理拆分，在業(yè)務(wù)不斷膨脹的情況下，容易產(chǎn)生消息堆積，問(wèn)題難以定位排查。以下是幾種不同情況下做拆分或遷移的方案 一、發(fā)送者不變、topic不變、新增consumer group 二、新增發(fā)送者、從原topic拆出部分消息作為新topic、consumer group不變 三、新增

  2024年02月15日

  瀏覽(16)