參考
ClientAdapter: Canal的Adapter配置項(xiàng)目
Sync ES：Canal的Adapter中ES同步的配置項(xiàng)
使用 Docker 部署 canal 服務(wù)
docker canal-server canal-adapter mysql
Canal（基于Docker同步mysql數(shù)據(jù)到elasticsearch）
Canal部署過程中的錯誤
0. 環(huán)境介紹
- Canal 1.1.4
- Canal Adapter 1.1.4
- Kibana: 6.8.8
- ElasticSearch: 6.4.3
由于Canal 1.1.4只能適配 ElasticSearch: 6.4.3，因此使用了上述的版本。
Kibana選擇 6.8.8是因?yàn)樗梢杂弥形?？但我沒有配置成功。此外Kibana的6.8可以和ES6.4結(jié)合。其他情況下需要版本一一對應(yīng)
關(guān)于Kibana和ES的版本對應(yīng)以及中文設(shè)置問題，可以參考
- Kibana 漢化相關(guān)配置 i18n 及版本問題
- Kibana將語言設(shè)置為中文
- Elasticsearch和Kibana版本對應(yīng)關(guān)系
0. 前置步驟
dokcer服務(wù)網(wǎng)絡(luò)準(zhǔn)備
參考讓ELK在同一個(gè)docker網(wǎng)絡(luò)下通過名字直接訪問, 首先用docker設(shè)置一個(gè)網(wǎng)絡(luò)，以后所有相關(guān)的容器都放到這里。
docker network create mynetwork
ES的內(nèi)存準(zhǔn)備
命令行輸入
sysctl -w vm.max_map_count=262144
1. 安裝Kibana和Elasticsearch
參考我之前的博客Ubuntu服務(wù)器ELK部署與實(shí)踐。
注：不同的版本對應(yīng)的配置方案也需要修改，我的修改有：
Kibana修改
原配置（7.8.0）
server.port: 5601
server.host: "0.0.0.0"
elasticsearch.hosts: ["http://elasticsearch:9200"]
# 操作界面語言設(shè)置為中文
i18n.locale: "zh-CN"
現(xiàn)配置（6.8.8）
server.port: 5601
server.host: "0.0.0.0"
server.basePath: "/kibana" # 這個(gè)是用來配置nginx訪問用的
# server.host: "127.0.0.1"
# 注意看這里的參數(shù)變了
elasticsearch.url: "http://elasticsearch:9200"
# 操作界面語言設(shè)置為中文
# 6.4不支持
# i18n.locale: "zh-CN"
此外，由于版本變更，相關(guān)的API也發(fā)生了變更，請多多留意
Create index API 7.8.0
Create index 6.4
數(shù)據(jù)來自Kaggle的新聞，因此按照數(shù)據(jù)字段名稱，新建如下字段
PUT news_2
{
"mappings": {
"_doc": {
"properties": {
"id": {
"type": "text",
"index": true
},
"title": {
"type": "text",
"analyzer": "ik_max_word"
},
"_desc": {
"type": "text",
"analyzer": "ik_max_word"
},
"image": {
"type": "text",
"analyzer": "ik_max_word"
},
"url": {
"type": "text",
"analyzer": "ik_max_word"
},
"news_source": {
"type": "text",
"analyzer": "ik_max_word"
},
"_date": {
"type": "date"
}
}
}
}
}
2. 安裝Canal和Canal Adapter
Canal是用來做數(shù)據(jù)庫slave的，他的原理就是讀取數(shù)據(jù)庫的日志文件，實(shí)現(xiàn)實(shí)時(shí)同步（相比logstash的cron表達(dá)式可以更加實(shí)時(shí)）。
2.1 修改數(shù)據(jù)庫配置
2.1.1 修改配置
首先新建數(shù)據(jù)庫的docker鏡像
docker run -p 3306:3306 --name mysql \
-v /data/mysql/log:/var/log/mysql \
-v /data/mysql/data:/var/lib/mysql \
-v /data/mysql/conf:/etc/mysql \
-e MYSQL_ROOT_PASSWORD=root \
-d mysql:5.7
接下來去/data/mysql/conf路徑下，新建my.cnf文件，輸入以下內(nèi)容
[mysqld]
#binlog setting
log-bin=mysql-bin # 開啟logbin
binlog-format=ROW # binlog日志格式
server-id=1 # mysql主從備份serverId,canal中不能與此相同
docker restart重啟mysql
2.1.2 驗(yàn)證mysql binlog配置
新建新聞表
CREATE SCHEMA MyTest;
use MyTest;
create table News
(
id INT(11),
title VARCHAR(2125),
desc VARCHAR(2125),
image VARCHAR(2125),
url VARCHAR(2125),
source VARCHAR(2125),
date Date
)DEFAULT CHARSET=utf8;
檢查該新聞表的狀態(tài)
mysql -u root -p // mysql登錄
>show databases;
>use MyTest; // 開啟數(shù)據(jù)庫
>show variables like 'log_%';
>show variables like 'binlog_format';
>show master status; // binlog日志文件 mysql-bin.000001
>reset master; // 重置日志
以下截圖來自https://blog.csdn.net/qq_32836247/article/details/116561732，展示了應(yīng)有的配置結(jié)果
2.1.3 查看日志文件
cd /var/lib/mysql // 進(jìn)入日志文件目錄
mysqlbinlog -vv mysql-bin.000001 // row格式查看日志
2.1.4 用JDBC代碼插入數(shù)據(jù)庫
這個(gè)就自己實(shí)現(xiàn)吧。不用全部插入，因?yàn)锳dapter要基于新的日志和ES同步。
2.2 安裝Canal Server
首先安裝canal-server，復(fù)制配置文件到外面
# 啟動docker
docker pull canal/canal-server:v1.1.4
docker run --name canal-server -id canal/canal-server:v1.1.4
# 復(fù)制配置文件
docker cp canal-server:/home/admin/canal-server/conf/ /data/canal_/canal
docker cp canal-server:/home/admin/canal-server/logs/ /data/canal_/canal
# 刪除并重新啟動
docker stop canal-server && docker rm canal-server
docker run --name canal -p 11111:11111 \
-v /data/canal_/canal/conf/example/instance.properties:/home/admin/canal-server/conf/example/instance.properties \
-v /data/canal_/canal/conf/canal.properties:/home/admin/canal-server/conf/canal.properties \
-v /data/canal_/canal/logs/:/home/admin/canal-server/logs/ \
--network mynetwork \ # 這個(gè)是我“讓ELK在同一個(gè)docker網(wǎng)絡(luò)下通過名字直接訪問”博客中新建的網(wǎng)絡(luò)，以后所有127.0.0.1都寫成docker的name就可以
-d canal/canal-server:v1.1.4
修改Server配置文件example/instance.properties 
注意，canal.properties中的destination要和后續(xù)的Canal Adapter保持一致
驗(yàn)證服務(wù)是否啟動成功
docker exec -it [c_id]/bin/bash
cd canal-server/bin/
./start.sh // 啟動服務(wù)
cd canal-server/logs/example/
tail -100f example.log // 查看日志
2.3 安裝Canal Adapter
# 啟動docker
docker pull slpcat/canal-adapter:v1.1.4
docker run --name canal-adapter -id slpcat/canal-adapter:v1.1.4
# 復(fù)制配置文件
docker cp canal-adapter:/opt/canal-adapter/conf /data/canal_/canal-dapter
docker cp canal-adapter:/opt/canal-adapter/logs /data/canal_/canal-dapter
# 刪除并重新啟動
docker stop canal-adapter && docker rm canal-adapter
docker run --name canal-adapte -p 8081:8081 \
-v /data/canal_/canal-dapter/conf:/opt/canal-adapter/conf \
-v /data/canal_/canal-dapter/logs:/opt/canal-adapter/logs \
--network mynetwork \
-d slpcat/canal-adapter:v1.1.4
修改兩處配置文件
配置文件取消注釋一定要自己手動刪除#，不要用快捷鍵。否則會導(dǎo)致文件格式出問題
配置文件詳解
ClientAdapter: Canal的Adapter配置項(xiàng)目 application.ym（application.yml）
Sync ES：Canal的Adapter中ES同步的配置項(xiàng) （user.yml）
修改配置文件application.yml。
name logger就是在發(fā)生數(shù)據(jù)修改的時(shí)候，直接實(shí)時(shí)更新到log中，如下圖
修改完上述配置，可以看到name為es的canalAdapters被啟動了。因此要去es文件夾下修改，注意以下字段的配置。目前只是能夠運(yùn)行起來，至于業(yè)務(wù)實(shí)際應(yīng)用可能還有待驗(yàn)證。文章來源：http://www.zghlxwxcb.cn/news/detail-649488.html
文章來源地址http://www.zghlxwxcb.cn/news/detail-649488.html
到了這里，關(guān)于使用 Docker 部署 canal 服務(wù)實(shí)現(xiàn)MySQL和ES實(shí)時(shí)同步的文章就介紹完了。如果您還想了解更多內(nèi)容，請?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！
