Oceanbase遷移服務(wù)

OceanBase 遷移服務(wù)（OceanBase Migration Service，OMS）是 OceanBase 提供的一種支持同構(gòu)或異構(gòu)RDBMS與OceanBase之間進行數(shù)據(jù)交互的服務(wù)，具備在線遷移存量數(shù)據(jù)和實時同步增量數(shù)據(jù)的能力。

支持多種數(shù)據(jù)源：OMS支持MySQL、 Kafka等多種類型的數(shù)據(jù)終端與OceanBase 進行實時數(shù)據(jù)傳輸

在線遷移無感知：在不停服的情況下，可以通過OMS無縫遷移數(shù)據(jù)至OceanBase。應(yīng)用切換至OceanBase數(shù)據(jù)庫后，OceanBase數(shù)據(jù)庫上所有的變更數(shù)據(jù)會實時同步至切換前的源端數(shù)據(jù)庫

安全可靠高性能：OMS能夠?qū)崟r復(fù)制異構(gòu)的IT基礎(chǔ)結(jié)構(gòu)之間大量數(shù)據(jù)的毫秒級延遲；可以應(yīng)用于數(shù)據(jù)遷移、跨城異地數(shù)據(jù)災(zāi)備、應(yīng)急系統(tǒng)、實時數(shù)據(jù)同步、容災(zāi)、數(shù)據(jù)庫升級和移植等多個場景

實時同步助解耦：OMS支持OceanBase兩種租戶與自建Kafka、RocketMQ之間的數(shù)據(jù)實時同步，可以應(yīng)用于實時數(shù)據(jù)倉庫搭建、數(shù)據(jù)查詢和報表分流等業(yè)務(wù)場景

OMS架構(gòu)概覽：

OceanBase遷移服務(wù)（OceanBase Migration Service，OMS）連接的兩端分別是待遷移的源業(yè)務(wù)數(shù)據(jù)庫和目標端OceanBase數(shù)據(jù)庫。

下圖為OMS的系統(tǒng)架構(gòu)圖：

OMS分層功能體系

服務(wù)接入層

主要包括客戶端遷移服務(wù)的交互、各種類型數(shù)據(jù)源的管理、遷移任務(wù)的錄入、OMS各個組件模塊的運維和監(jiān)控，以及告警設(shè)置等。

流程編排層

主要負責(zé)實現(xiàn)上層表結(jié)構(gòu)同步、啟動全量數(shù)據(jù)同步、增量數(shù)據(jù)同步、數(shù)據(jù)校檢和數(shù)據(jù)訂正，以及鏈路切換等任務(wù)的執(zhí)行細節(jié)。

組件鏈路層

組件鏈路層包括以下模塊：

負責(zé)全量數(shù)據(jù)的遷移和校檢，并針對校檢不一致的數(shù)據(jù)生成訂正 SQL

腳本的 Light-Dataflow 模塊。

負責(zé)數(shù)據(jù)庫增量日志的讀取、解析和存儲的 Store 模塊。

負責(zé)向目標端數(shù)據(jù)庫并發(fā)寫入的JDBCWriter模塊。

負責(zé)向目標端消息隊列增量寫入的Connector模塊。

負責(zé)組件狀態(tài)監(jiān)控的Supervisor模塊。

OMS功能-數(shù)據(jù)遷移

遷移任務(wù)

遷移任務(wù)是 OMS 數(shù)據(jù)遷移功能的基本單元。OMS 在創(chuàng)建遷移任務(wù)時，可以指定的最大遷移范圍是數(shù)據(jù)庫級 別，最小遷移范圍是表級別。遷移任務(wù)的生命周期包括結(jié)構(gòu)遷移、全量數(shù)據(jù)遷移和增量遷移同步鏈路的全部流程管理

遷移類型

OMS支持Schema結(jié)構(gòu)遷移、全量數(shù)據(jù)遷移以及增量數(shù)據(jù)遷移，同時支持數(shù)據(jù)校驗功能

利用OMS實現(xiàn)平滑去O遷移方案

數(shù)據(jù)實時同步 + 快速切換 + 回滾預(yù)案

OMS功能-數(shù)據(jù)同步

功能特性：

支持OceanBase的兩種租戶（Oracle 和 MySQL）與自建 Kafka、RocketMQ 之間的實時數(shù)據(jù)同步

支持Sybase ASE和自建RocketMQ之間的實時數(shù)據(jù)同步

支持OB_MySQL/Oracle/MySQL和DataHub之間的實時數(shù)據(jù)同步

支持庫、表和列三級對象名映射

同步對象的選擇粒度為表、列，您可以根據(jù)需要選擇同步的對象。OMS 可以實現(xiàn)對源端實例和目標實例的庫名、表名或列名不同的兩個對象之間進行數(shù)據(jù)同步。

支持消息隊列處理工具作為數(shù)據(jù)同步的目標端。

支持OceanBase物理表和自建Kafka數(shù)據(jù)源之間的數(shù)據(jù)實時同步

支持數(shù)據(jù)過濾。

支持根據(jù) DML 類型過濾投遞消息，過濾需要同步的數(shù)據(jù)

完善的性能查詢體系。

數(shù)據(jù)同步提供同步延遲、當前同步位點等數(shù)據(jù)，便于您查看同步鏈路的性能

動態(tài)管理數(shù)據(jù)同步任務(wù)。

支持在數(shù)據(jù)同步過程中動態(tài)增加同步數(shù)據(jù)表，并支持回拉位點重新投遞增量數(shù)據(jù)

OMS功能總結(jié)

數(shù)據(jù)庫不停服遷移

在傳統(tǒng)的數(shù)據(jù)庫停機遷移的方式進行數(shù)據(jù)遷移對業(yè)務(wù)影響較大

OMS不停服數(shù)據(jù)遷移功能不影響遷移過程中源數(shù)據(jù)庫持續(xù)對外提供服務(wù)，能夠最小化數(shù)據(jù)遷移對業(yè)務(wù)的影響

在完成結(jié)構(gòu)遷移、全量數(shù)據(jù)遷移和增量數(shù)據(jù)遷移后，源數(shù)據(jù)庫的全量和增量數(shù)據(jù)均已實時同步至目標數(shù)據(jù)庫中，數(shù)據(jù)校驗通過后，業(yè)務(wù)可以從源端切換至目標端

實時數(shù)據(jù)同步

OMS的數(shù)據(jù)同步功能支持實時同步OceanBase、Sybase等數(shù)據(jù)庫的增量數(shù)據(jù)至自建的Kafka、RocketMQ等消息隊列

OMS支持OceanBase物理表和自建的Kafka等數(shù)據(jù)源之間的數(shù)據(jù)實時同步，推薦用于云 BI、實時數(shù)據(jù)倉庫搭建、數(shù)據(jù)查詢和報表分流等多種業(yè)務(wù)場景文章來源地址http://www.zghlxwxcb.cn/news/detail-403202.html

到了這里，關(guān)于OBCP第七章 OB遷移、備份與恢復(fù)-遷移服務(wù)的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！