国产 无码 综合区,色欲AV无码国产永久播放,无码天堂亚洲国产AV,国产日韩欧美女同一区二区

Hbase2 基于hdfs恢復(fù)數(shù)據(jù)及遷移

這篇具有很好參考價(jià)值的文章主要介紹了Hbase2 基于hdfs恢復(fù)數(shù)據(jù)及遷移。希望對(duì)大家有所幫助。如果存在錯(cuò)誤或未考慮完全的地方,請(qǐng)大家不吝賜教,您也可以點(diǎn)擊"舉報(bào)違法"按鈕提交疑問(wèn)。

故障描述

  某客戶(hù)因?yàn)閿?shù)據(jù)表數(shù)量過(guò)多,導(dǎo)致HBase Master無(wú)法初始化完成。根據(jù)日志判斷為Meta錯(cuò)誤。

故障分析

  客戶(hù)頻繁操作HBase Master導(dǎo)致混亂,加載失敗。

處理過(guò)程

? ? ? ?1.判斷客戶(hù)hdfs數(shù)據(jù)正常,基于Hbase2特性,可以基于hdfs進(jìn)行數(shù)據(jù)恢復(fù)
? ? ? ?2.停用hbase服務(wù);
? ? ? ?3.備份或遷移hbase hdfs文件。例如如下

hdfs dfs -mv /hbase/data /hbase/data_1 //重命名

hdfs dfs -cp -p /hbase/data /hbase/data_1 //復(fù)制一份,客戶(hù)涉及數(shù)據(jù)200T,采用重命名方式

? ? ? ? 4.刪除zk中數(shù)據(jù)

hbase zkcli

rmr /hbase-unsecure

? ? ? ? 5.將備份或遷移的數(shù)據(jù)恢復(fù)。

hdfs dfs -mv /hbase/data_1 /hbase/data? //重命名回去,可以根據(jù)實(shí)際情況,僅復(fù)制部分?jǐn)?shù)據(jù)。

? ? ? ? 6.啟動(dòng)Hbase;登陸hbase Master查看狀態(tài)是否正常。

? ? ? ? 7.修復(fù)meta表

hbase hbck -j /root/hbase-operator-tools-1.2.0/hbase-hbck2/hbase-hbck2-1.2.0.jar addFsRegionsMissingInMeta 'FAULT' //引用hbck2,對(duì)FAULT命名空間的表進(jìn)行修復(fù)。多個(gè)命名空間,建議多次執(zhí)行。

? ? ? ? 8.重啟HBase Master;注意僅需對(duì)當(dāng)前Master主機(jī)相對(duì)應(yīng)服務(wù)重啟,自動(dòng)會(huì)選擇其它主機(jī)為HBase Master;啟動(dòng)成功后,會(huì)提示大量的進(jìn)入RIT狀態(tài)。

? ? ? ? 9.登陸HBase Master,查看RIT,獲取RIT中Rgid;復(fù)制并保存到文件,例如0903rit。執(zhí)行下面命令重新創(chuàng)建區(qū)域

hbase hbck -j /root/hbase-operator-tools-1.2.0/hbase-hbck2/hbase-hbck2-1.2.0.jar assigns -i /root/0903rit? ?//這里是引用的文件,可以選擇單個(gè)rit。

? ? ? ?10.進(jìn)入hbase shell,count查看表是否正常。

特別注意:如果沒(méi)有namespace;可以在hbase shell啟動(dòng)好后確認(rèn)表正常情況下,直接create_namespace即可。

建議/總結(jié)

  Hbase中Meta損壞是最常見(jiàn)的問(wèn)題,采用此方法可以安全快速的恢復(fù)數(shù)據(jù)。此方法還可以用于數(shù)據(jù)遷移。文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-579274.html

到了這里,關(guān)于Hbase2 基于hdfs恢復(fù)數(shù)據(jù)及遷移的文章就介紹完了。如果您還想了解更多內(nèi)容,請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章,希望大家以后多多支持TOY模板網(wǎng)!

本文來(lái)自互聯(lián)網(wǎng)用戶(hù)投稿,該文觀點(diǎn)僅代表作者本人,不代表本站立場(chǎng)。本站僅提供信息存儲(chǔ)空間服務(wù),不擁有所有權(quán),不承擔(dān)相關(guān)法律責(zé)任。如若轉(zhuǎn)載,請(qǐng)注明出處: 如若內(nèi)容造成侵權(quán)/違法違規(guī)/事實(shí)不符,請(qǐng)點(diǎn)擊違法舉報(bào)進(jìn)行投訴反饋,一經(jīng)查實(shí),立即刪除!

領(lǐng)支付寶紅包贊助服務(wù)器費(fèi)用

相關(guān)文章

  • 大數(shù)據(jù)篇 | Hadoop、HDFS、HIVE、HBase、Spark之間的聯(lián)系與區(qū)別

    Hadoop是一個(gè)開(kāi)源的分布式計(jì)算框架,用于存儲(chǔ)和處理大規(guī)模數(shù)據(jù)集。它提供了一個(gè)可擴(kuò)展的分布式文件系統(tǒng)(HDFS)和一個(gè)分布式計(jì)算框架(MapReduce),可以在大量廉價(jià)硬件上進(jìn)行并行計(jì)算。 HDFS(Hadoop Distributed File System)是Hadoop的分布式文件系統(tǒng)。它被設(shè)計(jì)用于在集群中存儲(chǔ)

    2024年02月16日
    瀏覽(119)
  • 大數(shù)據(jù)期資料2023 Beta版 - Hadoop、HDFS、MapReduce、Hive、ZooKeeper、Kafka、HBase詳解

    大數(shù)據(jù)期資料2023 Beta版 - Hadoop、HDFS、MapReduce、Hive、ZooKeeper、Kafka、HBase詳解

    了解大數(shù)據(jù)概念、Hadoop、HDFS、MapReduce、Hive、ZooKeeper、Kafka、HBase等技術(shù),包括特點(diǎn)、命令操作和啟動(dòng)關(guān)閉方法。獲取2023年大數(shù)據(jù)資料Beta版。

    2024年02月06日
    瀏覽(177)
  • Hadoop生態(tài) | HDFS | Yarn | Hive | Hbase

    Hadoop生態(tài) | HDFS | Yarn | Hive | Hbase

    ? 簡(jiǎn)單說(shuō)兩句 ? 作者: 后端小知識(shí) , CSDN后端領(lǐng)域新星創(chuàng)作者|阿里云專(zhuān)家博主 CSDN 個(gè)人主頁(yè) :后端小知識(shí) ?? GZH : 后端小知識(shí) ?? 歡迎關(guān)注 ?? 點(diǎn)贊 ?? 收藏 ?? 留言 ?? 進(jìn)入大數(shù)據(jù)階段就意味著進(jìn)入NoSQL階段,更多的是面向OLAP場(chǎng)景,即數(shù)據(jù)倉(cāng)庫(kù)、BI應(yīng)用等。 大數(shù)據(jù)技

    2024年04月08日
    瀏覽(25)
  • Hadoop/HDFS/MapReduce/Spark/HBase重要知識(shí)點(diǎn)整理

    Hadoop/HDFS/MapReduce/Spark/HBase重要知識(shí)點(diǎn)整理

    本復(fù)習(xí)提綱主要參考北京大學(xué)計(jì)算機(jī)學(xué)院研究生課程《網(wǎng)絡(luò)大數(shù)據(jù)管理與應(yīng)用》課程資料以及廈門(mén)大學(xué)計(jì)算機(jī)科學(xué)系研究生課程 《大數(shù)據(jù)技術(shù)基礎(chǔ)》相關(guān)材料整理而成,供廣大網(wǎng)友學(xué)習(xí)參考,如有版權(quán)問(wèn)題請(qǐng)聯(lián)系作者刪除:guanmeige001@pku.edu.cn Hadoop簡(jiǎn)介 Hadoop的功能和作用: 高

    2024年02月02日
    瀏覽(48)
  • 一篇搞定分布式大數(shù)據(jù)系統(tǒng)所有概念,包括有Hadoop、MapReduce、HDFS、HBASE、NoSql 、ZooKeeper 、Reidis 、Nginx 、BASE、CAP定義、特點(diǎn)和應(yīng)用場(chǎng)景

    1.1hadoop定義和特點(diǎn) Hadoop定義: Hadoop是一個(gè)開(kāi)源的分布式計(jì)算框架,用于存儲(chǔ)和處理大規(guī)模數(shù)據(jù)集。它基于Google的MapReduce論文和Google文件系統(tǒng)(GFS)的設(shè)計(jì)理念,并由Apache軟件基金會(huì)進(jìn)行開(kāi)發(fā)和維護(hù)。 Hadoop的主要特點(diǎn)包括: 分布式存儲(chǔ):Hadoop通過(guò)分布式文件系統(tǒng)(Hadoop Dist

    2024年02月03日
    瀏覽(94)
  • 數(shù)倉(cāng)知識(shí)11:Hadoop生態(tài)及Hive、HBase、Impala、HDFS之間的關(guān)系

    數(shù)倉(cāng)知識(shí)11:Hadoop生態(tài)及Hive、HBase、Impala、HDFS之間的關(guān)系

    Hive、HBase、Impala、HDFS是Hadoop生態(tài)體系中常用的開(kāi)源產(chǎn)品,各個(gè)產(chǎn)品間是一個(gè)什么樣的關(guān)系,許多人都搞不清楚,本文將進(jìn)行研究分析。 Hadoop生態(tài) 在了解Hive、HBase、Impala、和HDFS之前,先熟悉一下Hadoop的生態(tài)。 Apache Hadoop軟件庫(kù)是一個(gè)框架,允許使用簡(jiǎn)單的編程模型在計(jì)算機(jī)集

    2023年04月08日
    瀏覽(33)
  • HBase2.2.2安裝和編程實(shí)踐

    HBase2.2.2安裝和編程實(shí)踐

    如果你正在安裝,請(qǐng)用hadoop用戶(hù) HBase介紹 HBase是一個(gè)分布式的、面向列的開(kāi)源數(shù)據(jù)庫(kù),源于Google的一篇論文《BigTable:一個(gè)結(jié)構(gòu)化數(shù)據(jù)的分布式存儲(chǔ)系統(tǒng)》。HBase以表的形式存儲(chǔ)數(shù)據(jù),表有行和列組成,列劃分為若干個(gè)列族/列簇(column family)。欲了解HBase的官方資訊,請(qǐng)?jiān)L問(wèn)(htt

    2024年02月04日
    瀏覽(23)
  • 基于Hadoop的豆瓣電影的數(shù)據(jù)抓取、數(shù)據(jù)清洗、大數(shù)據(jù)分析(hdfs、flume、hive、mysql等)、大屏可視化

    基于Hadoop的豆瓣電影的數(shù)據(jù)抓取、數(shù)據(jù)清洗、大數(shù)據(jù)分析(hdfs、flume、hive、mysql等)、大屏可視化

    項(xiàng)目介紹 有需要整個(gè)項(xiàng)目的可以私信博主,提供部署和講解,對(duì)相關(guān)案例進(jìn)行分析和深入剖析 環(huán)境點(diǎn)擊頂部下載 = 本研究旨在利用Python的網(wǎng)絡(luò)爬蟲(chóng)技術(shù)對(duì)豆瓣電影網(wǎng)站進(jìn)行數(shù)據(jù)抓取,并通過(guò)合理的數(shù)據(jù)分析和清洗,將非結(jié)構(gòu)化的數(shù)據(jù)轉(zhuǎn)化為結(jié)構(gòu)化的數(shù)據(jù),以便于后續(xù)的大數(shù)

    2024年02月11日
    瀏覽(18)
  • 兩個(gè)hdfs之間遷移傳輸數(shù)據(jù)

    本文參考其他大數(shù)據(jù)大牛的博文做了整理和實(shí)際驗(yàn)證,主要解決hdfs跨集群復(fù)制/遷移問(wèn)題。 在hdfs數(shù)據(jù)遷移時(shí)總會(huì)涉及到兩個(gè)hdfs版本版本問(wèn)題,致力解決hdfs版本相同和不同兩種情況的處理方式,長(zhǎng)話(huà)短說(shuō),進(jìn)正文。 distcp: hadoop自帶的分布式復(fù)制程序 ? distcp 是hadoop自帶的分布

    2024年02月11日
    瀏覽(19)
  • 基于hadoop的HBase JAVA API

    基于hadoop的HBase JAVA API

    摘要: ? HBase的Java API提供了一種與HBase數(shù)據(jù)庫(kù)進(jìn)行交互的方式,通過(guò)編寫(xiě)Java程序可以連接到HBase集群并對(duì)數(shù)據(jù)進(jìn)行存儲(chǔ)、檢索和處理。該API適用于大規(guī)模數(shù)據(jù)存儲(chǔ)、實(shí)時(shí)數(shù)據(jù)訪(fǎng)問(wèn)和高擴(kuò)展性需求的場(chǎng)景。具有高可靠性、高擴(kuò)展性和高性能的特點(diǎn)。它可以處理海量數(shù)據(jù),并且支

    2024年02月03日
    瀏覽(17)

覺(jué)得文章有用就打賞一下文章作者

支付寶掃一掃打賞

博客贊助

微信掃一掃打賞

請(qǐng)作者喝杯咖啡吧~博客贊助

支付寶掃一掃領(lǐng)取紅包,優(yōu)惠每天領(lǐng)

二維碼1

領(lǐng)取紅包

二維碼2

領(lǐng)紅包