flinkcdc同步完全量數(shù)據(jù)就不同步增量數(shù)據(jù)了
使用flinkcdc同步mysql數(shù)據(jù),使用的是全量采集模型
startupOptions(StartupOptions.earliest())
全量階段同步完成之后,發(fā)現(xiàn)并不開始同步增量數(shù)據(jù),原因有以下兩個(gè):
原因1:
1.mysql中對(duì)應(yīng)的數(shù)據(jù)庫沒有開啟binlog
在/etc/my.cnf配置文件中,在[ mysqld ]添加以下內(nèi)容
[mysqld]
#數(shù)據(jù)庫id
server-id=1
##啟動(dòng)Binlog,該參數(shù)的值會(huì)作為binlog的文件名前綴
log-bin=mysql-bin
##binlog類型,maxwell要求為row類型
binlog_format=row
##啟動(dòng)binlog的數(shù)據(jù)庫,需根據(jù)實(shí)際情況修改配置
binlog-do-db=student
binlog-do-db=easypm
然后重啟數(shù)據(jù)庫 ,執(zhí)行命令
sudo systemctl restart mysqld
原因2
和checkpoint有關(guān)
1.沒有開啟ck
2.ck的時(shí)間過長
測(cè)試階段,可以把ck的時(shí)間設(shè)置的非常短文章來源:http://www.zghlxwxcb.cn/news/detail-681780.html
env.enableCheckpointing(1000L, CheckpointingMode.EXACTLY_ONCE);//頭和頭的之間
env.getCheckpointConfig().setMinPauseBetweenCheckpoints(1000L);//頭和尾
3.ck的路徑收到損壞,刪除對(duì)應(yīng)的ck路徑下的內(nèi)容即可文章來源地址http://www.zghlxwxcb.cn/news/detail-681780.html
到了這里,關(guān)于flinkcdc同步完全量數(shù)據(jù)就不同步增量數(shù)據(jù)了的文章就介紹完了。如果您還想了解更多內(nèi)容,請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章,希望大家以后多多支持TOY模板網(wǎng)!