一．概述

隨著對象存儲使用得到廣泛普及，越來越多的企業(yè)客戶從其他云對象存儲遷移到Amazon S3時對實時性，安全性，穩(wěn)定性，易用性和同步效率有不同的要求。其次，數(shù)據(jù)存儲如關系型/非關系型數(shù)據(jù)庫，Elasticsearch，Redis等皆可通過導出文件或快照進行數(shù)據(jù)導入，使數(shù)據(jù)遷移變?yōu)榛谖募倪w移。本文以遷移阿里MaxCompute數(shù)據(jù)為示例，通過阿里OSS對象存儲實時事件觸發(fā)，部署Data Transfer Hub以將阿里MaxCompute數(shù)據(jù)導入到Amazon S3數(shù)據(jù)湖。除了上述場景外，本文也同樣適用于普通對象存儲文件遷移。

閱讀本文，您將會了解到：

• 如何使用Data Transfer Hub
• 如何配置OSS事件觸發(fā)同步
• 常見問題和解決方法

二．簡要說明

Data Transfer Hub（數(shù)據(jù)在線傳輸解決方案），是一個安全，可靠，可擴展和可追蹤的數(shù)據(jù)傳輸解決方案，使用戶可以輕松地創(chuàng)建和管理不同數(shù)據(jù)類型, 從不同的來源到Amazon Web Service云原生服務的傳輸任務，例如將數(shù)據(jù)從其他云服務商的對象存儲服務 (包括阿里云 OSS、騰訊 COS、七牛 Kodo 和其他兼容 Amazon S3 的云存儲服務) 復制到 Amazon S3。您可以訪問亞馬遜云科技解決方案官方網(wǎng)站了解該解決方案并在您的賬戶中進行部署。

該方案支持基于Amazon CloudFormation一鍵部署，采用無服務器架構，并提供了友好的用戶界面，有著易于使用的特性。同時該方案采用了Amazon Graviton2 作為工作集群，大大降低云上費用。并且該方案運用了 BBR 加速，提升10倍傳輸性能。在架構設計上該方案采用集群架構，以實現(xiàn)海量數(shù)據(jù)極速傳輸。

此方案的 CloudFormation 模板會自動部署和配置包含 Amazon AppSync, Amazon DynamoDB, Amazon ECS Fargate, Amazon Lambda, Amazon Step Functions 等服務的架構。該解決方案提供一個托管于 Amazon S3 的 Web 前端，通過 Amazon CloudFront 對外提供服務。Web 前端使用 Amazon Cognito User Pool 或 OpenID Connect（OIDC）服務提供商進行身份驗證。下圖為前端部分的架構。

當用戶通過前端界面啟動數(shù)據(jù)傳輸任務后，會調用后端數(shù)據(jù)傳輸CloudFormation 模板自動部署和配置包含Amazon DynamoDB, Amazon ECS Fargate, Amazon Lambda, Amazon Step Functions, Amazon EC2, Amazon SQS 等服務的架構。其中Fargate會定期對比數(shù)據(jù)源和目標端之間的數(shù)據(jù)差異，并將有差異的數(shù)據(jù)任務發(fā)送到任務隊列Amazon SQS中，以實現(xiàn)定時批量數(shù)據(jù)傳輸任務的創(chuàng)建。同時數(shù)據(jù)傳輸任務可以以Event的形式直接發(fā)送到任務隊列SQS中，以實現(xiàn)實時增量數(shù)據(jù)傳輸任務的創(chuàng)建。Amazon EC2作為數(shù)據(jù)傳輸?shù)墓ぷ髡?，其?shù)量被Auto Scaling Group 所控制，根據(jù)SQS內待傳輸任務數(shù)進行自動擴展。EC2將把每一個數(shù)據(jù)傳輸任務的結果存儲到DynamoDB中。下圖為后端部分的架構。

綜上所述，Data Transfer Hub數(shù)據(jù)在線傳輸解決方案具有以下特點：

• 一鍵部署，減少安裝和運維工作
• 采用無服務器架構，閑時無費用開銷
• 包含重試和恢復機制，系統(tǒng)魯棒性強，傳輸任務可追蹤
• 運用集群思想，多線程多任務同時運行，數(shù)據(jù)傳輸效率高
• 數(shù)據(jù)傳輸加密，數(shù)據(jù)傳輸采用TLS協(xié)議，數(shù)據(jù)不落盤無泄漏

三．方案部署

Data Transfer Hub方案可以在亞馬遜云科技中國官網(wǎng)的解決方案欄頁面啟動，如下圖所示，具體的部署教程請參考官方界面的“查看部署指南”。

您可以在亞馬遜云科技中國區(qū)域部署該方案，也可以在亞馬遜云科技海外區(qū)域進行部署。本教程將在us-west-2區(qū)域進行演示。

在成功創(chuàng)建CloudFormation堆棧后，您將收到一封電子郵件通知，其中包含用于登錄的臨時密碼，用戶名是您啟動CloudFormation時設置的AdminEmail。

界面的網(wǎng)址可在CloudFormation堆棧的輸出選項中找到，請參見以下屏幕截圖：
<文章來源地址http://www.zghlxwxcb.cn/news/detail-435572.html

到了這里，關于使用Data Transfer Hub遷移MaxCompute數(shù)據(jù)至S3數(shù)據(jù)湖實踐的文章就介紹完了。如果您還想了解更多內容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關文章，希望大家以后多多支持TOY模板網(wǎng)！