国产无码综合区,色欲AV无码国产永久播放,无码天堂亚洲国产AV,国产日韩欧美女同一区二区

Debezium系列之：監(jiān)控 Debezium

2年前作者：最笨的羊羊分類：Toy博客閱讀(27)違法舉報

這篇具有很好參考價值的文章主要介紹了Debezium系列之：監(jiān)控 Debezium。希望對大家有所幫助。如果存在錯誤或未考慮完全的地方，請大家不吝賜教，您也可以點擊"舉報違法"按鈕提交疑問。

Debezium JMX相關的技術博客：

Debezium系列之：安裝jmx導出器監(jiān)控debezium指標
Debezium系列之：為Debezium集群JMX頁面增加監(jiān)控，JMX頁面出現(xiàn)異常時發(fā)送飛書告警，確保任務能夠獲取debezium集群指標
Debezium系列之：深入解讀Debezium重要的jmx指標
Debezium系列之：mysql JMX metrics指標詳細解讀

更多內(nèi)容請閱讀博主Debezium專欄，博主會持續(xù)更新Debezium專欄：

Debezium專欄

Docker相關技術可以參考博主下面幾篇技術博客：

Docker核心原理，Docker在線安裝和離線安裝
Docker 鏡像和容器
docker系列之：Centos7安裝docker compose
Docker編排工具Compose詳解

一、概述

您可以使用 Apache Zookeeper、Apache Kafka 和 Kafka Connect 提供的 JMX 指標來監(jiān)控 Debezium。要使用這些指標，您必須在啟動 Zookeeper、Kafka 和 Kafka Connect 服務時啟用它們。啟用 JMX 涉及設置正確的環(huán)境變量。您必須設置的環(huán)境變量取決于您是在本地安裝還是在 Docker 容器中運行 Zookeeper、Kafka 和 Kafka Connect。

注意：

如果您在同一臺計算機上運行多個服務，請確保為每個服務使用不同的 JMX 端口。

二、用于監(jiān)控 Debezium 連接器的指標

除了 Kafka、Zookeeper 和 Kafka Connect 中對 JMX 指標的內(nèi)置支持之外，每個連接器還提供其他指標，您可以使用這些指標來監(jiān)控其活動。

Db2 connector metrics
MongoDB connector metrics
MySQL connector metrics
Oracle connector metrics
PostgreSQL connector metrics
SQL Server connector metrics
Cassandra connector metrics

三、在本地安裝中啟用 JMX

使用 Zookeeper、Kafka 和 Kafka Connect，您可以通過在啟動每個服務時設置適當?shù)沫h(huán)境變量來啟用 JMX。

1.Zookeeper JMX 環(huán)境變量

Zookeeper 內(nèi)置了對 JMX 的支持。使用本地安裝運行 Zookeeper 時，zkServer.sh 腳本可識別以下環(huán)境變量：

JMXPORT：啟用 JMX 并指定將用于 JMX 的端口號。該值用于指定 JVM 參數(shù) -Dcom.sun.management.jmxremote.port=$JMXPORT。
JMXAUTH：JMX 客戶端在連接時是否必須使用密碼身份驗證。必須是真或假。默認為 false。該值用于指定 JVM 參數(shù) -Dcom.sun.management.jmxremote.authenticate=$JMXAUTH。
JMXSSL：JMX 客戶端是否使用 SSL/TLS 進行連接。必須是真或假。默認為 false。該值用于指定 JVM 參數(shù) -Dcom.sun.management.jmxremote.ssl=$JMXSSL。
JMXLOG4J：是否應禁用 Log4J JMX MBean。必須為 true（默認）或 false。默認為 true。該值用于指定 JVM 參數(shù) -Dzookeeper.jmx.log4j.disable=$JMXLOG4J。

2.KafkaJMX環(huán)境變量

使用本地安裝運行 Kafka 時，kafka-server-start.sh 腳本可識別以下環(huán)境變量：

JMX_PORT：啟用 JMX 并指定將用于 JMX 的端口號。該值用于指定 JVM 參數(shù) -Dcom.sun.management.jmxremote.port=$JMX_PORT。
KAFKA_JMX_OPTS：JMX 選項，在啟動期間直接傳遞到 JVM。默認選項是：
- -Dcom.sun.management.jmxremote
- -Dcom.sun.management.jmxremote.authenticate=false
- -Dcom.sun.management.jmxremote.ssl=false

3.Kafka Connect JMX 環(huán)境變量

使用本地安裝運行 Kafka 時，connect-distributed.sh 腳本可識別以下環(huán)境變量：

JMX_PORT：啟用 JMX 并指定將用于 JMX 的端口號。該值用于指定 JVM 參數(shù) -Dcom.sun.management.jmxremote.port=$JMX_PORT。
KAFKA_JMX_OPTS：JMX 選項，在啟動期間直接傳遞到 JVM。默認選項是：
- -Dcom.sun.management.jmxremote
- -Dcom.sun.management.jmxremote.authenticate=false
- -Dcom.sun.management.jmxremote.ssl=false

四、在 Docker 中啟用 JMX

如果您通過 Debezium 容器映像運行 Apache Zookeeper、Kafka 和 Kafka Connect，則啟用 JMX 需要幾個額外的環(huán)境變量，而在本地計算機上運行時通常不需要這些變量。這是因為 JVM 需要主機名來向 JMX 客戶端通告自己。因此，Debezium 的 Zookeeper、Kafka 和 Kafka Connect 容器映像使用多個環(huán)境變量來啟用和配置 JMX。所有圖像的大多數(shù)環(huán)境變量都是相同的，但也有一些細微的差異。

1.Docker 中的 Zookeeper JMX 環(huán)境變量

debezium/zookeeper 映像可識別以下與 JMX 相關的環(huán)境變量：

JMXPORT（必填）
將用于 JMX 的端口號。該值用于指定以下 JVM 參數(shù)：

-Dcom.sun.management.jmxremote.port=$JMXPORT
-Dcom.sun.management.jmxremote.rmi.port=$JMXPORT

JMXHOST（必填）

Docker 主機的 IP 地址或可解析主機名，JMX 使用它來構造發(fā)送到 JMX 客戶端的 URL。 localhost 或 127.0.0.1 值將不起作用。通常，可以使用 0.0.0.0。該值用于指定 JVM 參數(shù) -Djava.rmi.server.hostname=$JMXHOST。

JMX認證

JMX 客戶端在連接時是否必須使用密碼身份驗證。必須是真或假。默認為 false。該值用于指定 JVM 參數(shù) -Dcom.sun.management.jmxremote.authenticate=$JMXAUTH。

JMXSSL

JMX 客戶端是否使用 SSL/TLS 進行連接。必須是真或假。默認為 false。該值用于指定 JVM 參數(shù) -Dcom.sun.management.jmxremote.ssl=$JMXSSL。

JMXLOG4J

是否應禁用 Log4J JMX MBean。必須是真或假。默認為 true。該值用于指定 JVM 參數(shù) -Dzookeeper.jmx.log4j.disable=$JMXLOG4J。

示例 1. 在 Zookeeper Docker 容器中啟用 JMX
以下示例 Docker 命令使用 debezium/zookeeper 映像以及 JMXPORT 和 JMXHOST 環(huán)境變量的值啟動容器，并將 Docker 主機的端口 9010 映射到容器的 JMX 端口：

docker run -it --rm --name zookeeper 
-p 2181:2181 -p 2888:2888 
-p 3888:3888 
-p 9010:9010 
-e JMXPORT=9010 
-e JMXHOST=10.0.1.10 
quay.io/debezium/zookeeper:latest

2.Docker 中的 Kafka JMX 環(huán)境變量

debezium/kafka 映像可識別以下與 JMX 相關的環(huán)境變量：

JMXPORT（必填）
將用于 JMX 的端口號。該值用于指定以下 JVM 參數(shù)：

-Dcom.sun.management.jmxremote.port=$JMXPORT
-Dcom.sun.management.jmxremote.rmi.port=$JMXPORT

JMXHOST（必填）

Docker 主機的 IP 地址或可解析主機名，JMX 使用它來構造發(fā)送到 JMX 客戶端的 URL。 localhost 或 127.0.0.1 值將不起作用。通常，可以使用 0.0.0.0。該值用于指定 JVM 參數(shù) -Djava.rmi.server.hostname=$JMXHOST。

JMXAUTH

JMX 客戶端在連接時是否必須使用密碼身份驗證。必須是真或假。默認為 false。該值用于指定 JVM 參數(shù) -Dcom.sun.management.jmxremote.authenticate=$JMXAUTH。

JMXSSL

JMX 客戶端是否使用 SSL/TLS 進行連接。必須是真或假。默認為 false。該值用于指定 JVM 參數(shù) -Dcom.sun.management.jmxremote.ssl=$JMXSSL。

示例 2. 在 Kafka Docker 容器中啟用 JMX

以下示例 Docker 命令使用 debezium/kafka 映像以及 JMXPORT 和 HOST_NAME 環(huán)境變量的值啟動容器，并將 Docker 主機的端口 9011 映射到容器的 JMX 端口：

docker run -it --rm --name kafka 
-p 9092:9092 
-p 9011:9011 
-e JMXPORT=9011 
-e JMXHOST=10.0.1.10 
--link zookeeper:zookeeper quay.io/debezium/kafka:latest

3.Docker 中的 Kafka Connect JMX 環(huán)境變量

debezium/connect 映像可識別以下與 JMX 相關的環(huán)境變量：

JMXPORT (Required)
將用于 JMX 的端口號。該值用于指定以下 JVM 參數(shù)：

-Dcom.sun.management.jmxremote.port=$JMXPORT
-Dcom.sun.management.jmxremote.rmi.port=$JMXPORT

JMXHOST（必填）

Docker 主機的 IP 地址或可解析主機名，JMX 使用它來構造發(fā)送到 JMX 客戶端的 URL。 localhost 或 127.0.0.1 值將不起作用。通常，可以使用 0.0.0.0。該值用于指定 JVM 參數(shù) -Djava.rmi.server.hostname=$JMXHOST。

JMXAUTH

JMX 客戶端在連接時是否必須使用密碼身份驗證。必須是真或假。默認為 false。該值用于指定 JVM 參數(shù) -Dcom.sun.management.jmxremote.authenticate=$JMXAUTH。

JMXSSL

JMX 客戶端是否使用 SSL/TLS 進行連接。必須是真或假。默認為 false。該值用于指定 JVM 參數(shù) -Dcom.sun.management.jmxremote.ssl=$JMXSSL。

示例 3. 在 Kafka Connect Docker 容器中啟用 JMX

以下示例 Docker 命令使用 debezium/connect 映像以及 JMXPORT 和 JMXHOST 環(huán)境變量的值啟動容器，并將 Docker 主機的端口 9012 映射到容器的 JMX 端口：

docker run -it --rm --name connect \
  -p 8083:8083 -p 9012:9012 \
  -e JMXPORT=9012 -e JMXHOST=10.0.1.10 \
  -e GROUP_ID=1 \
  -e CONFIG_STORAGE_TOPIC=my_connect_configs \
  -e OFFSET_STORAGE_TOPIC=my_connect_offsets \
  -e STATUS_STORAGE_TOPIC=my_connect_statuses \
  --link zookeeper:zookeeper \
  --link kafka:kafka \
  --link mysql:mysql \
  quay.io/debezium/connect:latest

五、使用 Prometheus 和 Grafana

Debezium 和 Kafka 公開的指標可以通過 Prometheus 和 Grafana 導出和顯示。

更多內(nèi)容參考博主下面這篇技術博客：

Debezium系列之：監(jiān)控 Debezium 實例

更詳細的實現(xiàn)步驟，可以移步博主Debezium專欄。

六、Java Flight Recording

Kafka Connect 的 Debezium 容器映像還為 JDK Flight Recorder 提供易于使用的支持。要啟用記錄，需要設置環(huán)境變量 ENABLE_JFR=true。然后，容器啟動時將自動開始錄制。默認情況下，記錄處于啟用狀態(tài)，即使用默認設置完成連續(xù)記錄，然后您可以使用 jcmd 或 JDK Mission Control 轉儲記錄。

可以修改記錄器的行為。為此，您需要設置以 JFR_RECORDING_ 為前綴的環(huán)境變量來設置錄制參數(shù)。前綴后面的部分轉換為小寫，下劃線替換為破折號，因此 JFR_RECORDING_PATH_TO_GC_ROOTS=true 變?yōu)?path-to-gc-roots=true。

Flight Recorder控制選項可以通過 JFR_OPT_ 前綴的環(huán)境變量進行配置。文章來源地址http://www.zghlxwxcb.cn/news/detail-514126.html

到了這里，關于Debezium系列之：監(jiān)控 Debezium的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關文章，希望大家以后多多支持TOY模板網(wǎng)！

本文來自互聯(lián)網(wǎng)用戶投稿，該文觀點僅代表作者本人，不代表本站立場。本站僅提供信息存儲空間服務，不擁有所有權，不承擔相關法律責任。如若轉載，請注明出處：如若內(nèi)容造成侵權/違法違規(guī)/事實不符，請點擊違法舉報進行投訴反饋，一經(jīng)查實，立即刪除！

分享到：

領支付寶紅包贊助服務器費用

Debezium日常分享系列之：向 Debezium 連接器發(fā)送信號
Debezium 信號機制提供了一種修改連接器行為或觸發(fā)一次性操作（例如啟動表的臨時快照）的方法。要使用信號觸發(fā)連接器執(zhí)行指定操作，可以將連接器配置為使用以下一個或多個通道：源信號通道：可以發(fā)出 SQL 命令將信號消息添加到專門的信令數(shù)據(jù)集合中。在源數(shù)據(jù)庫上創(chuàng)
2024年02月03日
瀏覽(24)
【技術】視頻匯聚/視頻云存儲/視頻監(jiān)控管理平臺EasyCVR安全檢查相關問題及解決方法2.0
開源EasyDarwin視頻監(jiān)控TSINGSEE青犀視頻平臺EasyCVR能在復雜的網(wǎng)絡環(huán)境中，將分散的各類視頻資源進行統(tǒng)一匯聚、整合、集中管理，在視頻監(jiān)控播放上，TSINGSEE青犀視頻安防監(jiān)控匯聚平臺可支持1、4、9、16個畫面窗口播放，可同時播放多路視頻流，也能支持視頻定時輪播。視頻監(jiān)
2024年02月09日
瀏覽(25)
Debezium日常分享系列之：Debezium 信號發(fā)送和通知 - 第 1 部分
本系列文章將介紹 Debezium 提供的信號和通知功能，并討論與平臺交互的可用渠道。在本系列的后續(xù)部分中，我們將更深入地研究自定義信令通道并探索其他主題，例如 JMX 信令和通知。在當今互連的軟件應用程序和系統(tǒng)中，與其他產(chǎn)品無縫集成對于構建強大而高效的解決方案
2024年02月16日
瀏覽(25)
Debezium系列之：深入理解Debezium Server Operator和實際應用Debezium Server Operator案例詳解
2024年02月11日
瀏覽(24)
Debezium系列之：使用 Strimzi 將 Kafka 和 Debezium 遷移到 Kubernetes
在本文中，將探討在生產(chǎn)中實現(xiàn)debezium與K8s的結合：在 Kubernetes 集群中安裝和管理 Apache Kafka 集群。在 Kubernetes 集群中部署 Debezium Kafka Connect。 Kubernetes 是一個開源容器編排器，本文使用 minikube 作為 Kubernetes 集群，但相同的步驟在任何其他實現(xiàn)中都應該有效。啟動集群在終
2024年02月15日
瀏覽(22)
Debezium日常分享系列之：使用 Debezium 連接器實現(xiàn)密鑰外部化
隱藏數(shù)據(jù)庫的賬號和密碼當 Debezium 連接器部署到 Kafka Connect 實例時，有時需要對 Connect API 的其他用戶隱藏數(shù)據(jù)庫憑據(jù)。讓我們回顧一下 MySQL Debezium connector的連接器注冊請求：用戶名和密碼以純字符串形式傳遞給 API。更糟糕的是，任何有權訪問 Kafka Connect 集群及其 REST AP
2024年02月16日
瀏覽(22)
Debezium系列之：記錄變更事件
Debezium 數(shù)據(jù)更改事件具有復雜的結構，可提供豐富的信息。但是，在某些情況下，在下游消費者可以處理 Debezium 更改事件消息之前，它需要有關原始數(shù)據(jù)庫更改導致的字段級更改的其他信息。為了使用有關數(shù)據(jù)庫操作如何修改源數(shù)據(jù)庫中的字段的詳細信息來增強事件消息，
2024年02月09日
瀏覽(19)
Debezium系列之：prometheus采集debezium的jmx數(shù)據(jù)，grafana通過dashboard展示debezium的jmx數(shù)據(jù)
需要采集debezium的jmx數(shù)據(jù)，并把重要的指標展示出來采取的方案是prometheus采集debezium的jmx數(shù)據(jù)，通過grafana展示出來，可以快速查看某個連接器重要的指標信息
2024年02月13日
瀏覽(34)
Debezium系列之：詳細整理Debezium和Kafka的Transforms類型和全部功能
Kafka Connect 是一個在 Apache Kafka 與外部系統(tǒng)之間進行數(shù)據(jù)傳輸?shù)目蚣?，其主要作用是實現(xiàn)可靠的數(shù)據(jù)集成和流轉。 Transforms 是 Kafka Connect 中用于對數(shù)據(jù)進行處理和轉換的一個重要特性。通過使用 Transforms，用戶可以對 Kafka Connect 中傳輸?shù)臄?shù)據(jù)進行一些處理和轉換，例如過濾、格
2024年02月10日
瀏覽(32)
Debezium系列之：詳細介紹Debezium2.X版本導出Sqlserver數(shù)據(jù)庫Debezium JMX指標的方法
Debezium2.X版本sqlserver數(shù)據(jù)庫JMX指標導出的方式與Debezium1.X版本不同需要根據(jù)Debezium2.X版本sqlserver數(shù)據(jù)庫jmx的格式，導出sqlserver數(shù)據(jù)庫的JMX指標
2024年02月01日
瀏覽(19)

<dfn id="bscyy"><thead id="bscyy"></thead></dfn>

<mark id="bscyy"></mark>

<pre id="bscyy"><em id="bscyy"><kbd id="bscyy"></kbd></em></pre>

<noscript id="bscyy"><dfn id="bscyy"><input id="bscyy"></input></dfn></noscript>

<input id="bscyy"><em id="bscyy"></em></input>

<mark id="bscyy"></mark>