相關(guān)文章

• 

  二、Kafka生產(chǎn)與消費(fèi)全流程

  Kafka是一款消息中間件，消息中間件本質(zhì)就是收消息與發(fā)消息，所以這節(jié)課我們會(huì)從一條消息開始生產(chǎn)出發(fā)，去了解生產(chǎn)端的運(yùn)行流程，然后簡單的了解一下broker的存儲(chǔ)流程，最后這條消息是如何被消費(fèi)者消費(fèi)掉的。其中最核心的有以下內(nèi)容。 1、Kafka客戶端是如何去設(shè)計(jì)一個(gè)

  2024年02月09日

  瀏覽(13)

• kafka生產(chǎn)者消費(fèi)者練習(xí)

  需求：寫一個(gè)生產(chǎn)者，不斷的去生產(chǎn)用戶行為數(shù)據(jù)，寫入到kafka的一個(gè)topic中 生產(chǎn)的數(shù)據(jù)格式： 造數(shù)據(jù) {“guid”:1,“eventId”:“pageview”,“timestamp”:1637868346789} isNew = 1 {“guid”:1,“eventId”:“addcard”,“timestamp”:1637868347625} isNew = 0 {“guid”:2,“eventId”:“collect”,“timestamp”

  2024年02月08日

  瀏覽(28)

• Java整合Kafka實(shí)現(xiàn)生產(chǎn)及消費(fèi)

  搭建Kafka環(huán)境，參考Kafka集群環(huán)境搭建及使用 Java環(huán)境：JDK1.8 Maven版本：apache-maven-3.6.3 開發(fā)工具：IntelliJ IDEA 創(chuàng)建maven項(xiàng)目。 pom.xml文件中引入kafka依賴。 創(chuàng)建topic命名為testtopic并指定2個(gè)分區(qū)。 更多配置信息查看ProducerConfig類 創(chuàng)建分區(qū)策略類，實(shí)現(xiàn)org.apache.kafka.clients.producer.Par

  2024年02月04日

  瀏覽(24)

• Spring Boot+Kafka實(shí)戰(zhàn)生產(chǎn)級(jí)Kafka消費(fèi)組

  作者：禪與計(jì)算機(jī)程序設(shè)計(jì)藝術(shù) Kafka是一個(gè)開源分布式消息系統(tǒng)，最初由LinkedIn開發(fā)，之后成為Apache項(xiàng)目的一部分。Kafka主要用于大數(shù)據(jù)實(shí)時(shí)流處理，具有低延遲、高吞吐量等特點(diǎn)。本文將會(huì)從基本概念、術(shù)語說明、原理及應(yīng)用場景三個(gè)方面對(duì)Kafka進(jìn)行詳細(xì)介紹。 Kafka作為一個(gè)

  2024年02月10日

  瀏覽(23)
• 

  Kafka系列之：Kafka生產(chǎn)者和消費(fèi)者

  batch.size：只有數(shù)據(jù)積累到batch.size之后，sender才會(huì)發(fā)送數(shù)據(jù)，默認(rèn)16K。 linger.ms：如果數(shù)據(jù)遲遲未達(dá)到batch.size，sender等待linger.ms設(shè)置的時(shí)間到了之后就會(huì)發(fā)送數(shù)據(jù)。單位ms，默認(rèn)值是0ms，表示沒有延遲。 0：生產(chǎn)者發(fā)送過來的數(shù)據(jù)，不需要等數(shù)據(jù)羅盤應(yīng)答。 1：生產(chǎn)者發(fā)送過來的

  2023年04月09日

  瀏覽(25)

• SpringBoot整合Kafka簡單配置實(shí)現(xiàn)生產(chǎn)消費(fèi)

  *本文基于SpringBoot整合Kafka，通過簡單配置實(shí)現(xiàn)生產(chǎn)及消費(fèi)，包括生產(chǎn)消費(fèi)的配置說明、消費(fèi)者偏移設(shè)置方式等。更多功能細(xì)節(jié)可參考 spring kafka 文檔：https://docs.spring.io/spring-kafka/docs/current/reference/html 搭建Kafka環(huán)境，參考Kafka集群環(huán)境搭建及使用 Java環(huán)境：JDK1.8 Maven版本：apach

  2024年02月16日

  瀏覽(22)

• 【Kafka】Java實(shí)現(xiàn)數(shù)據(jù)的生產(chǎn)和消費(fèi)

  Kafka 是由 LinkedIn 公司開發(fā)的，它是一個(gè)分布式的，支持多分區(qū)、多副本，基于 Zookeeper 的分布式消息流平臺(tái)，它同時(shí)也是一款開源的 基于發(fā)布訂閱模式的消息引擎系統(tǒng) 。 Broker：消息中間件處理節(jié)點(diǎn)，一個(gè)Kafka節(jié)點(diǎn)就是一個(gè)Broker，一個(gè)或者多個(gè)Broker可以組成一個(gè)Kafka集群； T

  2023年04月19日

  瀏覽(23)
• 

  Docker搭建Kafka教程（python使用kafka基礎(chǔ)用法，生產(chǎn)消費(fèi)）

  Docker支持多種網(wǎng)絡(luò)模式，包括bridge（橋接模式）、host（主機(jī)模式）、overlay（覆蓋網(wǎng)絡(luò)模式）等。 Bridge（橋接模式）：這是Docker默認(rèn)的網(wǎng)絡(luò)模式。在橋接模式下，每個(gè)Docker容器都運(yùn)行在自己的虛擬網(wǎng)絡(luò)接口上，并且這些接口通過一個(gè)橋接器連接在一起。Docker服務(wù)端啟動(dòng)時(shí)會(huì)自

  2024年02月03日

  瀏覽(18)

• kafka生產(chǎn)者和消費(fèi)者配置介紹

  每個(gè)kafka broker中配置文件 server.properties 默認(rèn)必須配置的屬性如下： **bootstrap.servers** - 指定生產(chǎn)者客戶端連接kafka集群所需的broker地址列表，格式為host1:port1,host2:port2，可以設(shè)置一個(gè)或多個(gè)。這里并非需要所有的broker地址，因?yàn)樯a(chǎn)者會(huì)從給定的broker里尋找其它的broker。 **key

  2024年02月12日

  瀏覽(24)
• 

  Kafka系列：查看Topic列表、消息消費(fèi)情況、模擬生產(chǎn)者消費(fèi)者

  執(zhí)行topic刪除命令時(shí)，出現(xiàn)提示 這條命令其實(shí)并不執(zhí)行刪除動(dòng)作，僅僅是在zookeeper上標(biāo)記該topic要被刪除而已，同時(shí)也提醒用戶一定要提前打開delete.topic.enable開關(guān)，否則刪除動(dòng)作是不會(huì)執(zhí)行的。 解決辦法： a）在server.properties中設(shè)置delete.topic.enable參數(shù)為ture b）如下操作： 1.登

  2023年04月26日

  瀏覽(30)