相關(guān)文章

• Debezium系列之：把多張表的數(shù)據(jù)分發(fā)到同一個Kafka Topic，同一張表的數(shù)據(jù)始終進入Topic相同分區(qū)

  debezium采集數(shù)據(jù)庫的多張表，一般是一張表對應(yīng)一個Kafka Topic，現(xiàn)在想把多張表的數(shù)據(jù)分發(fā)到一個多分區(qū)的Kafka Topic 最重要的是要保證相同表的數(shù)據(jù)始終出現(xiàn)在topic的相同分區(qū)，比如product表的數(shù)據(jù)始終發(fā)往分區(qū)0，order表的數(shù)據(jù)始終發(fā)往分區(qū)3 可以參考博主以下技術(shù)博客，了解使

  2024年02月12日

  瀏覽(19)

• Debezium系列之：多張表按照指定的字段分發(fā)數(shù)據(jù)到Kafka Topic，并保證多張表指定字段相同的值始終出現(xiàn)在相同分區(qū)

  根據(jù)productInfo和productorder兩張表的productId分發(fā)數(shù)據(jù)，相同productId的數(shù)據(jù)始終出現(xiàn)在相同分區(qū)，并且希望兩張表相同的訂單數(shù)據(jù)也始終出現(xiàn)在相同分區(qū)。 例如關(guān)于productInfo表1206827245738502144這個訂單的增刪改數(shù)據(jù)始終出現(xiàn)在分區(qū)2，那productorder這個表1206827245738502144這個訂單的增刪

  2024年02月09日

  瀏覽(21)

• Debezium日常分享系列之：使用 Debezium 連接器實現(xiàn)密鑰外部化

  隱藏數(shù)據(jù)庫的賬號和密碼 當(dāng) Debezium 連接器部署到 Kafka Connect 實例時，有時需要對 Connect API 的其他用戶隱藏數(shù)據(jù)庫憑據(jù)。 讓我們回顧一下 MySQL Debezium connector的連接器注冊請求： 用戶名和密碼以純字符串形式傳遞給 API。更糟糕的是，任何有權(quán)訪問 Kafka Connect 集群及其 REST AP

  2024年02月16日

  瀏覽(22)

• Debezium-增量遷移之 Oracle 遷移所需權(quán)限

  -- 創(chuàng)建用戶 create user TCK identified by oracle; -- 賦權(quán) grant connect,resource to TCK; -- 刪除權(quán)限 revoke select any table from TCK； revoke select any DICTIONARY from TCK； -- 刪除用戶 CASCADE(用戶下的數(shù)據(jù)級聯(lián)刪除) drop user TCK CASCADE -- 查詢權(quán)限列表 select * from user_sys_privs where privilege in (\\\'SELECT ANY TABLE\\\',\\\'SEL

  2024年02月09日

  瀏覽(19)
• 

  Strimzi Kafka Bridge(橋接)實戰(zhàn)之一：簡介和部署

  這里分類和匯總了欣宸的全部原創(chuàng)(含配套源碼)：https://github.com/zq2599/blog_demos 在strimzi技術(shù)體系中，橋接(bridge)是很要的功能，內(nèi)容也很豐富，因此將橋接相關(guān)的內(nèi)容從《strimzi實戰(zhàn)》系列中獨立出來，成立橋接相關(guān)的系列文章，便于分類和專項深入 本文是《Strimzi Kafka Bridge(橋

  2024年02月08日

  瀏覽(20)
• 

  Strimzi Kafka Bridge(橋接)實戰(zhàn)之二：生產(chǎn)和發(fā)送消息

  這里分類和匯總了欣宸的全部原創(chuàng)(含配套源碼)：https://github.com/zq2599/blog_demos 本文是《Strimzi Kafka Bridge(橋接)實戰(zhàn)之》系列的第二篇，咱們直奔bridge的重點：常用接口，用實際操作體驗如何用bridge完成常用的消息收發(fā)業(yè)務(wù) 官方的openapi接口文檔地址 : https://strimzi.io/docs/bridge/in

  2024年02月08日

  瀏覽(49)

• Strimzi從入門到精通系列之一：部署Cluster Operator

  Strimzi是一款用于在Kubernetes集群上管理Apache Kafka的開源項目。它使得在Kubernetes上部署、管理和監(jiān)控Kafka成為可能，提供了一種高度可擴展和可靠的解決方案。Strimzi支持自動縮放、配置靈活、內(nèi)置監(jiān)控和告警等功能。通過使用Strimzi，用戶可以將Kafka集成到Kubernetes和OpenShift中，并

  2024年02月11日

  瀏覽(17)

• Debezium系列之：監(jiān)控 Debezium

  Debezium JMX相關(guān)的技術(shù)博客： Debezium系列之：安裝jmx導(dǎo)出器監(jiān)控debezium指標(biāo) Debezium系列之：為Debezium集群JMX頁面增加監(jiān)控，JMX頁面出現(xiàn)異常時發(fā)送飛書告警，確保任務(wù)能夠獲取debezium集群指標(biāo) Debezium系列之：深入解讀Debezium重要的jmx指標(biāo) Debezium系列之：mysql JMX metrics指標(biāo)詳細(xì)解讀

  2024年02月11日

  瀏覽(27)

• Debezium同步Mysql數(shù)據(jù)到Kafka

  Kafka：3.3.2 mysql-connector：1.8.1 （0）前提是安裝好mysql，開啟binlog （1）下載kafka （2）下載mysql-connector插件 （3）編輯配置文件 （4）啟動kafka自帶的zk （5）啟動kafka （6）啟動connect （7）調(diào)用api 注意：當(dāng)成功調(diào)用api，創(chuàng)建此連接器后會有如下主題產(chǎn)生：dbhistory.inventory、mysql1、

  2024年02月10日

  瀏覽(22)
• 

  基于Confluent Kafka部署Kafka Connect集群，Kafka Connect集群加載debezium插件

  Confluent Kafka的下載地址： https://www.confluent.io/download/ 下載社區(qū)免費版本： 核心參數(shù)如下所示： /data/src/confluent-7.3.3/etc/schema-registry/connect-distributed.properties /data/src/confluent-7.3.3/bin/connect-distributed connect-distributed的腳本內(nèi)容如下所示，可以不需要修改 如果需要導(dǎo)出kafka connector的j

  2024年02月10日

  瀏覽(21)