簡(jiǎn)述

SAP HANA 是由 SAP 開(kāi)發(fā)的一款內(nèi)存列式數(shù)據(jù)庫(kù), 具有預(yù)測(cè)分析、空間數(shù)據(jù)處理、文本分析、文本搜索、流分析、圖形數(shù)據(jù)處理等高級(jí)分析功能。

HANA 內(nèi)存列式數(shù)據(jù)庫(kù)特性，即啟動(dòng)后可以把所有數(shù)據(jù)載入內(nèi)存，相比傳統(tǒng)基于硬盤(pán)的數(shù)據(jù)庫(kù)，性能提升10~10,000倍。

HANA 一般內(nèi)置在 SAP ERP 系統(tǒng)中提供服務(wù)，在制造業(yè)應(yīng)用廣泛。

現(xiàn)如今企業(yè)嘗試建立統(tǒng)一數(shù)據(jù)分析平臺(tái)，SAP HANA 保存了ERP相關(guān)數(shù)據(jù)，如何實(shí)時(shí)同步 HANA 數(shù)據(jù)到數(shù)據(jù)平臺(tái)成為困擾企業(yè)的一個(gè)難題。

CloudCanal 最新版本已支持 HANA 作為源端遷移同步數(shù)據(jù)到 StarRocks 來(lái)構(gòu)建實(shí)時(shí)數(shù)倉(cāng), 本文簡(jiǎn)要介紹使用 CloudCanal 快速構(gòu)建一個(gè) HANA 到 StarRocks 數(shù)據(jù)遷移同步任務(wù)。

技術(shù)要點(diǎn)

數(shù)據(jù)同步整體流程

CloudCanal 實(shí)現(xiàn) HANA 增量數(shù)據(jù)同步主要使用其觸發(fā)器捕獲變更事件，整體流程如下：

• 安裝觸發(fā)器，通過(guò)觸發(fā)器捕獲增量變更數(shù)據(jù)
• 記錄位點(diǎn)，記錄增量數(shù)據(jù)數(shù)據(jù)同步的起點(diǎn)
• 執(zhí)行全量數(shù)據(jù)遷移
• 執(zhí)行增量數(shù)據(jù)同步

數(shù)據(jù)捕獲觸發(fā)器

觸發(fā)器是一種自動(dòng)觸發(fā)執(zhí)行的存儲(chǔ)過(guò)程，它可以在數(shù)據(jù)變更前執(zhí)行也可以在數(shù)據(jù)變更后執(zhí)行，因?yàn)楸举|(zhì)也是存儲(chǔ)過(guò)程，所以存儲(chǔ)過(guò)程支持的操作觸發(fā)器均支持。

不同數(shù)據(jù)庫(kù)對(duì)觸發(fā)器的支持程度不同，HANA 的觸發(fā)器支持監(jiān)聽(tīng) I(新增)/U(更新)/D(刪除) 三種事件，因此數(shù)據(jù)的所有變更都可以通過(guò)觸發(fā)器捕獲。

安裝觸發(fā)器的方式與創(chuàng)建存儲(chǔ)過(guò)程類(lèi)似，即通過(guò)執(zhí)行 SQL 創(chuàng)建觸發(fā)器。

通過(guò)觸發(fā)器實(shí)現(xiàn)增量數(shù)據(jù)同步，需要觸發(fā)器捕獲數(shù)據(jù)的I/U/D變更事件并寫(xiě)入增量 CDC 數(shù)據(jù)表，數(shù)據(jù)的變更事件最終都會(huì)寫(xiě)到增量 CDC 數(shù)據(jù)表,執(zhí)行流程如下：

其他 HANA 同步方案

目前支持同步 HANA 數(shù)據(jù)的產(chǎn)品還有 Informatica、Qlik 等，實(shí)現(xiàn)方案也是通過(guò)觸發(fā)器。

因?yàn)?HANA 的觸發(fā)器不能監(jiān)聽(tīng) DDL 變更，因此 CloudCanal 與 Informatica、Qlik 一樣，都不支持DDL同步。

操作示例

準(zhǔn)備動(dòng)作

• 下載安裝 CloudCanal 私有部署版本,使用參見(jiàn)快速上手文檔
• 準(zhǔn)備好源端和目標(biāo)端數(shù)據(jù)庫(kù)及對(duì)應(yīng)數(shù)據(jù)
• 參考 HANA 權(quán)限準(zhǔn)備 做賬號(hào)授權(quán)

添加數(shù)據(jù)源

• 登錄 CloudCanal ,數(shù)據(jù)源管理->添加數(shù)據(jù)源
  

• 創(chuàng)建源端數(shù)據(jù)源, 選擇自建數(shù)據(jù)源，選擇 HANA 并填寫(xiě)相關(guān)信息

  默認(rèn)數(shù)據(jù)庫(kù): 即需要同步的數(shù)據(jù)所在數(shù)據(jù)庫(kù)，常見(jiàn)默認(rèn)數(shù)據(jù)庫(kù)：SYSTEMDB、HXE、DB0

• 創(chuàng)建目標(biāo)端數(shù)據(jù)源，選擇自建數(shù)據(jù)源，選擇StarRocks，并填寫(xiě)相關(guān)信息

  Client地址: CloudCanal 用其查詢(xún)庫(kù)表表的元數(shù)據(jù)信息，對(duì)應(yīng) StarRocks QueryPort，默認(rèn)端口為 9030

  額外參數(shù) Http地址: StarRocks 接收 streamload 的 http 請(qǐng)求，此處可填寫(xiě) BE 節(jié)點(diǎn)地址，默認(rèn)端口為 8040 , 如需負(fù)載均衡也可直接填寫(xiě) FE節(jié)點(diǎn) 地址和端口，F(xiàn)E節(jié)點(diǎn)默認(rèn)端口 8030

• 數(shù)據(jù)源創(chuàng)建成功
  

任務(wù)創(chuàng)建

• 任務(wù)管理 > 創(chuàng)建任務(wù)
  

• 源端選擇 HANA 數(shù)據(jù)源，目標(biāo)端選擇 StarRocks 數(shù)據(jù)源，分別點(diǎn)擊測(cè)試連接按鈕并設(shè)置數(shù)據(jù)庫(kù)映射關(guān)系

• 點(diǎn)擊下一步
  

• 選擇 增量同步，并且勾選 全量初始化

• 點(diǎn)擊下一步
  

• 選擇訂閱的表

• 點(diǎn)擊下一步
  

• 配置列映射

• 點(diǎn)擊下一步
  

• 點(diǎn)擊創(chuàng)建任務(wù)
  

• 任務(wù)創(chuàng)建成功并啟動(dòng)后，會(huì)自動(dòng)執(zhí)行結(jié)構(gòu)遷移、全量遷移、增量同步
  

總結(jié)

本文簡(jiǎn)單介紹了如何使用 CloudCanal 進(jìn)行 HANA 到 StarRocks 數(shù)據(jù)遷移同步。

StarRocks 作為新興的實(shí)時(shí)數(shù)倉(cāng)產(chǎn)品，為傳統(tǒng)數(shù)據(jù)業(yè)務(wù)帶去更加實(shí)時(shí)、一致的體驗(yàn)，讓數(shù)據(jù)得到更加廣泛的使用，CloudCanal希望助一臂之力，讓數(shù)據(jù)流動(dòng)更加平滑順暢。文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-709779.html

到了這里，關(guān)于快速構(gòu)建 SAP ERP 內(nèi)置數(shù)據(jù)庫(kù) HANA 到 StarRocks 的數(shù)據(jù)遷移同步任務(wù)的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！