MySQL數(shù)據(jù)同步ES的幾種方案
1. 同步雙寫
? ? ? ? 與業(yè)務(wù)耦合深,且業(yè)務(wù)響應(yīng)時間長
2. 異步雙寫
????????這時可以使用類似MQ這樣的中間件,業(yè)務(wù)主寫時向MQ發(fā)送一條信息,再由一個聚合服務(wù)區(qū)消費,最終同步到ES
3. 定時任務(wù)
????????不好配置時間,頻率高會出現(xiàn)明顯的波峰,頻率低實時性不夠
4. 數(shù)據(jù)訂閱
????????通過canal這種中間件去同步數(shù)據(jù),0開發(fā),無侵入,只需要配置好就可以
????????缺點:如果需要數(shù)據(jù)聚合,那么就需要自己實現(xiàn),即異步雙寫
實踐:
????????之前我們項目也提供一種系統(tǒng)--->系統(tǒng)的批量數(shù)據(jù)傳輸?shù)姆绞剑?/p>
? ? ? ? ? ? ? ? 接收方單獨啟一個TCP端口用來數(shù)據(jù)傳輸,根據(jù)接收方配置來決定發(fā)送方啟動多少線程、批次傳輸量、最大傳輸時間
????????????????傳輸完畢以后回調(diào)接收方,告知本次傳輸狀態(tài)、數(shù)據(jù)量、業(yè)務(wù)方配置等信息
????????????????如異常需重新傳則 繼續(xù)上面的 使用 流程,暫不支持異常續(xù)傳
結(jié)語:文章來源:http://www.zghlxwxcb.cn/news/detail-807564.html
????????同步到其他系統(tǒng)或服務(wù) 大致實現(xiàn)思路也可參考上述方案文章來源地址http://www.zghlxwxcb.cn/news/detail-807564.html
到了這里,關(guān)于MySQL同步ES的幾種方案的文章就介紹完了。如果您還想了解更多內(nèi)容,請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章,希望大家以后多多支持TOY模板網(wǎng)!