相關(guān)文章

• Debezium系列之：使用Debezium2.X采集PostgreSQL15數(shù)據(jù)庫到Kafka Topic，創(chuàng)建具有數(shù)據(jù)采集權(quán)限的賬號

  需要使用Deb

  2024年02月12日

  瀏覽(20)

• Debezium系列之：使用 Strimzi 將 Kafka 和 Debezium 遷移到 Kubernetes

  在本文中，將探討在生產(chǎn)中實(shí)現(xiàn)debezium與K8s的結(jié)合： 在 Kubernetes 集群中安裝和管理 Apache Kafka 集群。 在 Kubernetes 集群中部署 Debezium Kafka Connect。 Kubernetes 是一個開源容器編排器，本文使用 minikube 作為 Kubernetes 集群，但相同的步驟在任何其他實(shí)現(xiàn)中都應(yīng)該有效。 啟動集群 在終

  2024年02月15日

  瀏覽(22)

• Debezium系列之：詳細(xì)整理Debezium和Kafka的Transforms類型和全部功能

  Kafka Connect 是一個在 Apache Kafka 與外部系統(tǒng)之間進(jìn)行數(shù)據(jù)傳輸?shù)目蚣?，其主要作用是?shí)現(xiàn)可靠的數(shù)據(jù)集成和流轉(zhuǎn)。 Transforms 是 Kafka Connect 中用于對數(shù)據(jù)進(jìn)行處理和轉(zhuǎn)換的一個重要特性。 通過使用 Transforms，用戶可以對 Kafka Connect 中傳輸?shù)臄?shù)據(jù)進(jìn)行一些處理和轉(zhuǎn)換，例如過濾、格

  2024年02月10日

  瀏覽(32)

• Kafka系列之：基于Apache Kafka Connect實(shí)現(xiàn)端到端topic數(shù)據(jù)字段級加密的詳細(xì)方法

  與其他通信工具一樣，加密在 Apache Kafka 中很有價(jià)值，可以保護(hù)數(shù)據(jù)。 希望通過與 Apache Kafka Connect 集成來加密數(shù)據(jù)來實(shí)現(xiàn)這一目標(biāo)。 Kafka 可以利用多種安全功能，從身份驗(yàn)證和授權(quán)到基于 TLS 的數(shù)據(jù)進(jìn)出 Kafka 主題的線上流量加密。盡管這些措施可以保護(hù)傳輸中的數(shù)據(jù)，但它

  2024年02月13日

  瀏覽(30)
• 

  Stream——集合數(shù)據(jù)按照某一字段排序

  之前，針對 Stream 鏈?zhǔn)骄幊讨械膸讉€方法做了大致的說明。詳情可以參考： JDK 1.8 新特性之Stream 詳解個人筆記 但實(shí)際業(yè)務(wù)中，總會存在很多復(fù)雜的思維，需要使用到 Stream ，此時(shí)玩的不熟練總感覺無從下手。 今后開始寫幾種常用的邏輯方式。 在數(shù)據(jù)查詢出來后，需要針對集

  2024年02月04日

  瀏覽(30)

• Debezium同步Mysql數(shù)據(jù)到Kafka

  Kafka：3.3.2 mysql-connector：1.8.1 （0）前提是安裝好mysql，開啟binlog （1）下載kafka （2）下載mysql-connector插件 （3）編輯配置文件 （4）啟動kafka自帶的zk （5）啟動kafka （6）啟動connect （7）調(diào)用api 注意：當(dāng)成功調(diào)用api，創(chuàng)建此連接器后會有如下主題產(chǎn)生：dbhistory.inventory、mysql1、

  2024年02月10日

  瀏覽(22)
• 

  全網(wǎng)最詳細(xì)地理解Kafka中的Topic和Partition以及關(guān)于kafka的消息分發(fā)、服務(wù)端如何消費(fèi)指定分區(qū)、kafka的分區(qū)分配策略(range策略和RoundRobin策略)

  最近在學(xué)習(xí)kafka相關(guān)的知識，特將學(xué)習(xí)成功記錄成文章，以供大家共同學(xué)習(xí)。 首先要注意的是， Kafka 中的 Topic 和 ActiveMQ 中的 Topic 是不一樣的。 在 Kafka 中， Topic 是一個存儲消息的邏輯概念，可以認(rèn)為是一個消息集合。每條消息發(fā)送到 Kafka 集群的消息都有一個類別。 物理上

  2024年01月25日

  瀏覽(36)
• 

  從 MySQL 到 DolphinDB，Debezium + Kafka 數(shù)據(jù)同步實(shí)戰(zhàn)

  Debezium 是一個開源的分布式平臺，用于實(shí)時(shí)捕獲和發(fā)布數(shù)據(jù)庫更改事件。它可以將關(guān)系型數(shù)據(jù)庫（如 MySQL、PostgreSQL、Oracle 等）的變更事件轉(zhuǎn)化為可觀察的流數(shù)據(jù)，以供其他應(yīng)用程序?qū)崟r(shí)消費(fèi)和處理。 本文中我們將采用 Debezium 與 Kafka 組合的方式來實(shí)現(xiàn)從 MySQL 到 DolphinDB 的數(shù)

  2024年02月02日

  瀏覽(26)

• Debezium系列之：prometheus采集debezium的jmx數(shù)據(jù)，grafana通過dashboard展示debezium的jmx數(shù)據(jù)

  需要采集debezium的jmx數(shù)據(jù)，并把重要的指標(biāo)展示出來 采取的方案是prometheus采集debezium的jmx數(shù)據(jù)，通過grafana展示出來，可以快速查看某個連接器重要的指標(biāo)信息

  2024年02月13日

  瀏覽(34)
• 

  大集合按照指定長度進(jìn)行分割成多個小集合，用于批量多次處理數(shù)據(jù)

  ????????通常我們對集合的更新或者保存都需要用集合來承載通過插入的效率，但是這個會遇到一個問題就是你不知道那天那個集合的數(shù)量可能就超了，雖然我們連接數(shù)據(jù)庫進(jìn)行批量提交會在配置上配置allowMultiQueries=true,但是太長了也一樣會會報(bào)錯，這樣我們就只能分批查

  2024年02月10日

  瀏覽(26)