canal server 標(biāo)準(zhǔn)化集群搭建（完結(jié)）

2年前作者：2301_76957510分類：Toy博客閱讀(10)違法舉報(bào)

這篇具有很好參考價(jià)值的文章主要介紹了canal server 標(biāo)準(zhǔn)化集群搭建（完結(jié)）。希望對(duì)大家有所幫助。如果存在錯(cuò)誤或未考慮完全的地方，請(qǐng)大家不吝賜教，您也可以點(diǎn)擊"舉報(bào)違法"按鈕提交疑問(wèn)。

4.2. 創(chuàng)建 server

所屬集群：選擇剛才添加的 “集群名稱”

server 名稱： server_1、server_2、server_3 依次類推

server ip：server 的 ip 地址

admin 端口：canal server 與 canal admin 的通信端口，非生產(chǎn)環(huán)境從 21110 開(kāi)始，生產(chǎn)從 12110 開(kāi)始，每次加10

tcp 端口：canal server 工作端口，非生產(chǎn)環(huán)境從 21111 開(kāi)始，生產(chǎn)從 12111 開(kāi)始，每次加10

metric 端口：canal server 與 prometheus 監(jiān)控的通信端口，非生產(chǎn)環(huán)境從 21112 開(kāi)始，生產(chǎn)從 12112 開(kāi)始，每次加10

canal server 標(biāo)準(zhǔn)化集群搭建（完結(jié)）

4.3. 修改 canal server 配置

集群模式下，因?yàn)?/span> 一套 canal server 包含了多個(gè) host，所以為了保證配置的一直， canal server 的配置需要從集群管理處操作。

依次點(diǎn)擊 “集群管理” ??? “操作” ??? “主配置”，修改 canal server 的 canal.properties 配置信息。

canal server 標(biāo)準(zhǔn)化集群搭建（完結(jié)）

點(diǎn)擊 “載入模板”，加載配置模板內(nèi)容，修改內(nèi)容類似 canal server node 中的 canal.properties 配置

# 第8、9行修改端口

canal.port = 21121

canal.metrics.pull.port = 21122

# 第11、12行取消注釋

canal.user = canal

canal.passwd?= E3619321C1A937C46A0D8BD1DAC39F93B27D4458

# 第15行取消注釋，修改 admin server 地址

canal.admin.manager = 10.179.251.164:8089

# 第16行修改端口

canal.admin.port = 21120

# 第20行添加 zk server

canal.zkServers = 10.179.250.221:2181,10.179.250.150,10.179.251.161

# 第60行修改為 true

canal.instance.filter.table.error =?true

# 第79行修改為 false

canal.instance.tsdb.enable?=?false

# 第92行添加 instance name

canal.destinations = c_test_saber_warehouse

# 第106行注釋

#canal.instance.global.spring.xml = classpath:spring/file-instance.xml

# 第107行取消注釋

canal.instance.global.spring.xml = classpath:spring/default-instance.xml

# 保存

canal server 標(biāo)準(zhǔn)化集群搭建（完結(jié)）

4.4. 創(chuàng)建 canal instance

依次點(diǎn)擊 “instance 管理” ??? “選擇 canal server 集群” ??? “輸入 instance 名稱（與 destination 一致）” ??? “載入模板”

canal server 標(biāo)準(zhǔn)化集群搭建（完結(jié)）

加載配置模板內(nèi)容，修改內(nèi)容類似 canal server node 中的 instance.properties 配置

# 第9行修改源數(shù)據(jù)庫(kù)地址:端口

canal.instance.master.address=10.179.250.150:3306

# 第33行修改為源數(shù)據(jù)庫(kù)抽數(shù)用戶，權(quán)限為 replication client、replication slave、指定庫(kù)的 select 權(quán)限

canal.instance.dbUsername=u_test_dhr_org_srv

# 第34行修改為源數(shù)據(jù)庫(kù)抽數(shù)用戶的密碼

canal.instance.dbPassword=xxxxxxxxxxx

# 第41行修改為要抽取的數(shù)據(jù)庫(kù)（白名單）

canal.instance.filter.regex=dhr-organization-service\\..*

# 第50行修改為instance name，要與上級(jí)目錄名、canal.properties 中的 intance name 一致

canal.mq.topic=c_test_dhr_org_srv

# 保存

canal server 標(biāo)準(zhǔn)化集群搭建（完結(jié)）

過(guò)濾規(guī)則

全庫(kù)全表 canal.instance.filter.regex
.*\\..*
.*\\..*
指定庫(kù)全表
canal.instance.filter.regex

庫(kù)名\..*
test\..*
單表
canal.instance.filter.regex
庫(kù)名.表名 test.user
多規(guī)則組合使用
canal.instance.filter.regex
庫(kù)名1\..*,庫(kù)名2.表名1,庫(kù)名3.表名2 (逗號(hào)分隔)
test\..*,test2.user1,test3.user2 (逗號(hào)分隔)

5. 啟動(dòng) canal server 集群操作順序

如下操作順序包含了 canal server 集群所有涉及的組件的啟動(dòng)順序

啟動(dòng) zk server cluster
啟動(dòng) zk ui web 服務(wù)
啟動(dòng) canal admin web 服務(wù)
依次登陸各個(gè) canal server （部署 canal deploye 包的服務(wù)器1、2、3），執(zhí)行 startup.sh，啟動(dòng) canal server 進(jìn)程
切換到 canal admin web 中，依次點(diǎn)擊 “server 管理” ??? “操作” ??? “啟動(dòng)”，啟動(dòng) server1、 server2、server3，啟動(dòng)成功后，頁(yè)面的 “狀態(tài)” 會(huì)變成 “啟動(dòng)”
切換到 “instance 管理”，觀察 “狀態(tài)” 為 “啟動(dòng)”，再點(diǎn)擊 “操作” ??? “日志”，查看內(nèi)容，如果有如下輸出，說(shuō)明canal server 成功連到了源數(shù)據(jù)庫(kù)

2020-12-22 18:30:02.099 [destination = c_test_dhr_org_srv_prev , address = /10.179.250.150:3306 , EventParser] WARN? c.a.o.c.p.inbound.mysql.rds.RdsBinlogEventParserProxy - ---> find start position successfully, EntryPosition[included=false,journalName=mysql-bin.000252,position=599429086,serverId=1403306,gtid=,timestamp=1608632940000] cost : 1ms , the next step is binlog dump

檢查 zk ui，查看?/otter/canal/destination/c_stage_dhr_entry?目錄的?running?字典中?acive?為 true，address?與啟動(dòng)的server匹配，表示正常
通知開(kāi)發(fā)啟動(dòng) client 消費(fèi) binlog
client 啟動(dòng)后，再次登陸 zk ui 確認(rèn) client 在成功消費(fèi)，如圖所示，/otter/canal/destination/c_stage_dhr_entry/1001/?目錄中?cursor?字典中包含 binlog

canal server 標(biāo)準(zhǔn)化集群搭建（完結(jié)）文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-470596.html

信息，表示消費(fèi)正常

到了這里，關(guān)于canal server 標(biāo)準(zhǔn)化集群搭建（完結(jié)）的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！

本文來(lái)自互聯(lián)網(wǎng)用戶投稿，該文觀點(diǎn)僅代表作者本人，不代表本站立場(chǎng)。本站僅提供信息存儲(chǔ)空間服務(wù)，不擁有所有權(quán)，不承擔(dān)相關(guān)法律責(zé)任。如若轉(zhuǎn)載，請(qǐng)注明出處：如若內(nèi)容造成侵權(quán)/違法違規(guī)/事實(shí)不符，請(qǐng)點(diǎn)擊違法舉報(bào)進(jìn)行投訴反饋，一經(jīng)查實(shí)，立即刪除！

分享到：

領(lǐng)支付寶紅包贊助服務(wù)器費(fèi)用

數(shù)據(jù)標(biāo)準(zhǔn)化方法
今天看到了“指數(shù)移動(dòng)平均窗口標(biāo)準(zhǔn)化”，就研究了一下這是個(gè)啥東西，然后又順便看了一下其他的數(shù)據(jù)標(biāo)準(zhǔn)化方法，這里順便記錄一下，方便以后查閱。 zscore標(biāo)準(zhǔn)化是一種基于數(shù)據(jù)分布的標(biāo)準(zhǔn)化方法。它的基本思想是將數(shù)據(jù)轉(zhuǎn)換為均值為0，標(biāo)準(zhǔn)差為1的分布，從而使得數(shù)
2023年04月22日
瀏覽(20)
GEE：影像標(biāo)準(zhǔn)化
本文將介紹在Google Earth Engine （GEE）平臺(tái)上進(jìn)行影像標(biāo)準(zhǔn)化的公式和代碼。影像標(biāo)準(zhǔn)化是一種預(yù)處理方法，用于將不同區(qū)域、不同時(shí)間、不同傳感器拍攝的影像進(jìn)行比較和分析。在GEE平臺(tái)上進(jìn)行影像標(biāo)準(zhǔn)化，可以使用本文代碼，本文以EVI為例，將影像進(jìn)行了標(biāo)準(zhǔn)化處理。其結(jié)
2023年04月09日
瀏覽(39)
用UiPath實(shí)現(xiàn)網(wǎng)頁(yè)抓取——表格數(shù)據(jù)提取-1-單擊選擇分類-ISO標(biāo)準(zhǔn)化-01-綜合、術(shù)語(yǔ)、標(biāo)準(zhǔn)化、文獻(xiàn)目錄獲取
準(zhǔn)備獲取目錄的鏈接是全國(guó)標(biāo)準(zhǔn)信息公告服務(wù)平臺(tái)鏈接: https://std.samr.gov.cn/search/iso?tid=q= 第一步，標(biāo)注啊類型選擇——ISO 第二步，標(biāo)準(zhǔn)化狀態(tài)選擇——現(xiàn)行第三步，ICS分類選擇——01_綜合、術(shù)語(yǔ)標(biāo)準(zhǔn)化、文獻(xiàn) 將數(shù)據(jù)分別復(fù)制到excel文件中，如下圖。由于國(guó)際標(biāo)準(zhǔn)分類號(hào)在
2024年02月04日
瀏覽(30)
python三種數(shù)據(jù)標(biāo)準(zhǔn)化
數(shù)據(jù)變換是數(shù)據(jù)準(zhǔn)備的重要環(huán)節(jié)，它通過(guò) 數(shù)據(jù)平滑、數(shù)據(jù)聚集、數(shù)據(jù)概化和規(guī)范化等方式將數(shù)據(jù)轉(zhuǎn)換成適用于數(shù)據(jù)挖掘的形式。常見(jiàn)的變換方法： 1.數(shù)據(jù)平滑：去除數(shù)據(jù)中的噪聲，將連續(xù)數(shù)據(jù)離散化。這里可以采用分箱、聚類和回歸的方式進(jìn)行數(shù)據(jù)平滑 2.數(shù)據(jù)聚集：對(duì)
2024年02月07日
瀏覽(20)
標(biāo)準(zhǔn)化歸一化方法
分別是0-1標(biāo)準(zhǔn)化（Max-Min Normalization）和Z-Score標(biāo)準(zhǔn)化。 1.1 0-1標(biāo)準(zhǔn)化方法每一列中的元素減去當(dāng)前列的最小值，再除以該列的極差。不過(guò)在深度學(xué)習(xí)領(lǐng)域，我們更希望輸入模型的數(shù)據(jù)是Zero-Centered Data，此時(shí) Z-Score標(biāo)準(zhǔn)化會(huì)更加合適。 1.2 Z-Score標(biāo)準(zhǔn)化 Z-Score標(biāo)準(zhǔn)化并不會(huì)將數(shù)據(jù)
2023年04月12日
瀏覽(26)
蔡春久：主數(shù)據(jù)標(biāo)準(zhǔn)化如何建設(shè)
億信華辰「2023數(shù)字賦能季」主數(shù)據(jù)管理專場(chǎng)第一期成功舉辦。我們邀請(qǐng)到了中國(guó)數(shù)據(jù)標(biāo)準(zhǔn)化及治理專家蔡春久為大家?guī)?lái)主數(shù)據(jù)管理從理論到工具層面的分享，全程干貨，深度解讀，以下是演講全文。蔡春久：中國(guó)大數(shù)據(jù)技術(shù)標(biāo)準(zhǔn)推進(jìn)委員會(huì)數(shù)據(jù)資產(chǎn)專家、中電標(biāo)協(xié)企業(yè)信
2023年04月25日
瀏覽(36)
標(biāo)準(zhǔn)化智慧工地主要包括哪些方面
邁道科技智慧工地管理系統(tǒng)的目的是以安全質(zhì)量為切入口，結(jié)合軟硬件實(shí)現(xiàn)對(duì)工地全方位的管理，實(shí)現(xiàn)安全、質(zhì)量、進(jìn)度、費(fèi)用、人員的結(jié)合。 ? 智慧工地的特點(diǎn)是集約化管理、精細(xì)化管理、實(shí)現(xiàn)設(shè)備聯(lián)動(dòng)，管理協(xié)調(diào)，數(shù)據(jù)共享；發(fā)揮大數(shù)據(jù)在數(shù)據(jù)分析、人員、進(jìn)度管理方面
2024年02月07日
瀏覽(22)
Unity標(biāo)準(zhǔn)化的場(chǎng)景渲染流程
筆者用的unity版本為2020.3.30f1c1，開(kāi)一個(gè)HDRP模板場(chǎng)景，OK開(kāi)始我們的操作。第一步：刪除場(chǎng)景中的所有東西只留下竹林玻璃房作為展示場(chǎng)景，將所有物體勾選Static，新增一個(gè)攝像機(jī)，如下圖：第二步：GameObject Volume Sky and Fog Volume來(lái)創(chuàng)建一個(gè)自帶環(huán)境光設(shè)置的Sky and Fog Volume，此
2024年02月11日
瀏覽(23)
go的標(biāo)準(zhǔn)化error處理
優(yōu)化前：我們可以看到有4個(gè)地方都需要進(jìn)行錯(cuò)誤判斷，我們可以想辦法將所有的錯(cuò)誤處理代碼寫(xiě)到別的地方，進(jìn)行調(diào)用即可。優(yōu)化后：
2024年04月15日
瀏覽(23)
一文詳解 DolphinDB SQL 標(biāo)準(zhǔn)化
在腳本層面，自 1.30.22 / 2.00.10 版本起，DolphinDB SQL 開(kāi)始支持：全大寫(xiě)或全小寫(xiě)的書(shū)寫(xiě)方式腳本的換行不影響語(yǔ)法解析，但存在兩種特殊情況：組合不允許拆分，如 order by, group by, context by, pivot by, union all, inner join, nulls first 等。不使用 as 指定字段別名時(shí)，別名
2024年02月13日
瀏覽(16)