FlinkCDC接入多表或整庫
前言
flink cdc實(shí)時(shí)同步mysql維表本文是基于flink 1.16文章來源：http://www.zghlxwxcb.cn/news/detail-717051.html
一、導(dǎo)入flink-doris-connector jar包
將 flink-doris-connector-1.16-1.4.0.jar 上傳至 $FLINK_HOME/lib目錄下
可至 maven官網(wǎng) 下載文章來源地址http://www.zghlxwxcb.cn/news/detail-717051.html
二、cdc腳本
--database 同步到Doris的數(shù)據(jù)庫名。
--table-prefix Doris表前綴名，例如 --table-prefix ods_。
--table-suffix 同上，Doris表的后綴名。
--including-tables 需要同步的MySQL表，可以使用"|" 分隔多個(gè)表，并支持正則表達(dá)式。 比如--including-tables table1|tbl.*就是同步table1和所有以tbl開頭的表。
--excluding-tables 不需要同步的表，用法同上。
--mysql-conf MySQL CDCSource 配置，例如--mysql-conf hostname=127.0.0.1 ，您可以在這里查看所有配置MySQL-CDC，其中hostname/username/password/database-name 是必需的。
--sink-conf Doris Sink 的所有配置，可以在這里查看完整的配置項(xiàng)。
--table-conf Doris表的配置項(xiàng)，即properties中包含的內(nèi)容。 例如 --table-conf replication_num=1
--ignore-default-value 關(guān)閉同步mysql表結(jié)構(gòu)的默認(rèn)值。適用于同步mysql數(shù)據(jù)到doris時(shí)，字段有默認(rèn)值，但實(shí)際插入數(shù)據(jù)為null情況。
--use-new-schema-change 新的schema change支持同步mysql多列變更、默認(rèn)值。
# 若要接入整庫，則 including-tables 和 excluding-tables不填
三、腳本配置
vim cdc.sh
# 寫入如下內(nèi)容
export HADOOP_CLASSPATH=`hadoop classpath`
# 我部署的是yarn session模式，以application形式啟動(dòng)程序，這可自行更改
$FLINK_HOME/bin/flink run-application -t yarn-application \
-Djobmanager.memory.process.size=700m \
-Dtaskmanager.memory.process.size=1024m \
#必須設(shè)置checkpoint
-Dexecution.checkpointing.interval=10s \
-Drest.bind-port=8082-8087 \
-Dparallelism.default=1 \
-Denv.java.opts="-Dfile.encoding=UTF-8" \
#程序入口及jar包位置
-c org.apache.doris.flink.tools.cdc.CdcTools \
$FLINK_HOME/lib/flink-doris-connector-1.16-1.4.0.jar \
#以下是cdc配置
mysql-sync-database \
--database doris_test --mysql-conf hostname=127.0.0.1 --mysql-conf username=root --mysql-conf password=123456 --mysql-conf database-name=cc_test --including-tables "tbl1|test.*" --sink-conf fenodes=127.0.0.1:8030 --sink-conf username=root --sink-conf password=000000 --sink-conf jdbc-url=jdbc:mysql://127.0.0.1:9030 --sink-conf sink.label-prefix=test_1
# 同步tbl1和所有以test開頭的表
四、運(yùn)行腳本
sh cdc.sh
到了這里，關(guān)于Doris實(shí)時(shí)數(shù)倉dim層構(gòu)建的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！
