數(shù)據(jù)遷移使用場景
- 冷熱集群數(shù)據(jù)同步、分類存儲(chǔ)
- 集群數(shù)據(jù)整體搬遷
- 當(dāng)公司業(yè)務(wù)迅速的發(fā)展，導(dǎo)致的當(dāng)前的服務(wù)器數(shù)量資源出現(xiàn)臨時(shí)緊張的時(shí)候，為了更高效的利用資源，會(huì)將A機(jī)房數(shù)據(jù)整體遷移到B機(jī)房的，原因可能是B機(jī)房機(jī)器多，而且B機(jī)房本身開銷較A機(jī)房低些等
- 數(shù)據(jù)的準(zhǔn)實(shí)時(shí)同步
- 數(shù)據(jù)準(zhǔn)實(shí)時(shí)同步的media在于數(shù)據(jù)的雙倍份可用，比如某天A集群突然宣告不允許再使用了，此時(shí)可以將線上使用集群直接切向B的同步集群，因?yàn)锽集群實(shí)時(shí)同步A集群數(shù)據(jù)，擁有完全一致的真實(shí)數(shù)據(jù)和元數(shù)據(jù)信息，所以對(duì)于業(yè)務(wù)方使用而言是不會(huì)收到任何影響的。
數(shù)據(jù)遷移要素考量
- Bandwidth-帶寬
- 帶寬用的多了，會(huì)影響到線上業(yè)務(wù)的任務(wù)運(yùn)行，帶寬用的少了又會(huì)導(dǎo)致數(shù)據(jù)同步滿的問題。
- performance-性能
- 是采用簡單的單機(jī)程序？還是多線程的性能更佳的分布式程序？
- data-increment-增量同步
- 當(dāng)TB,PB級(jí)別的數(shù)據(jù)需要同步的時(shí)候，如果每次以全量的方式去同步數(shù)據(jù)，結(jié)果一定是非常糟糕。如果僅針對(duì)變化的增量數(shù)據(jù)進(jìn)行同步將會(huì)是不錯(cuò)的選擇。可以陪著HDFS快照等技術(shù)實(shí)現(xiàn)增量數(shù)據(jù)同步。
- syncable-數(shù)據(jù)遷移的同步性
- 數(shù)據(jù)遷移的過程中需要保證周期內(nèi)數(shù)據(jù)是一定能夠同步完的，不能差距太大。比如A集群7天內(nèi)的增量數(shù)據(jù)，我只要花半天就可以完全同步到B集群，然后我有可以等到下周再次進(jìn)行同步，最可怕的事情在于A集群的7天內(nèi)的數(shù)據(jù)，我的程序花了7天還同步不完，然后下一個(gè)周期又來了，這樣就無法做到準(zhǔn)實(shí)時(shí)的一致性，其實(shí)7天還是一個(gè)比較大的時(shí)間，最好是能達(dá)到按天同步。
HDFS分布式拷貝工具-DistCp
- DistCp是Hadoop中的一種工具，在hadoop-tools工程下，作為獨(dú)立子工程存在。
- 定位用于數(shù)據(jù)遷移，定期在集群之間和集群內(nèi)部備份數(shù)據(jù)
- 在備份過程中，每次運(yùn)行distcp都成為一個(gè)備份周期。盡管性能相對(duì)較慢，但他的普及程度已經(jīng)越來越高
- distcp底層使用MapReduce在集群之間或并行在同一集群內(nèi)復(fù)制文件。執(zhí)行復(fù)制的MapReduce只有mapper階段
distcp的優(yōu)勢性能
- 帶寬限流
- distcp可以通過命令參數(shù)bandwidth來為程序進(jìn)行帶寬限流
- 增量數(shù)據(jù)同步
- 在distcp中可以通過updata，append和diff這三個(gè)參數(shù)實(shí)現(xiàn)增量同步
- updata 只拷貝不存在的文件或者目錄
- append 最佳目標(biāo)路徑下已存在的文件
- diff 通過快照的diff對(duì)比信息來同步源端路徑與目標(biāo)路徑
updata解決了新增文件、目錄的同步。append解決已存在的增量更新同步。diff解決刪除或重命名類型文件的同步
- 高效的性能：分布式特性
- distcp底層使用MapReduce執(zhí)行數(shù)據(jù)同步，MapReduce本身是一類分布式程序
命令
文章來源：http://www.zghlxwxcb.cn/news/detail-671455.html
- 其中source_path，target_path需要帶上地址前綴以區(qū)分不同的集群
hadoop distcp hdfs://src_cluster:8020/user/data hdfs://dest_cluster:8020/user/data_backup
這個(gè)命令告訴distcp工具將hdfs://src_cluster:8020/user/data目錄下的數(shù)據(jù)復(fù)制到hdfs://dest_cluster:8020/user/data_backup目錄下。文章來源地址http://www.zghlxwxcb.cn/news/detail-671455.html
到了這里，關(guān)于HDFS中數(shù)據(jù)遷移的使用場景和考量因素的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！
