国产无码综合区,色欲AV无码国产永久播放,无码天堂亚洲国产AV,国产日韩欧美女同一区二区

hbase2.x hbck2處理region方案（長(zhǎng)期opening\closing\offline,Report Region Holes,report Unkown server）等

2年前作者：修先生分類：Toy博客閱讀(19)違法舉報(bào)

這篇具有很好參考價(jià)值的文章主要介紹了hbase2.x hbck2處理region方案（長(zhǎng)期opening\closing\offline,Report Region Holes,report Unkown server）等。希望對(duì)大家有所幫助。如果存在錯(cuò)誤或未考慮完全的地方，請(qǐng)大家不吝賜教，您也可以點(diǎn)擊"舉報(bào)違法"按鈕提交疑問。

hbase2.x RIT（region in transition）背景知識(shí)

在hbase1.x中transition是令廣大大數(shù)據(jù)運(yùn)維人員頭疼的一個(gè)話題，因?yàn)?，region 的狀態(tài)轉(zhuǎn)移涉及到了三個(gè)核心組件，分別為：hbase master，zookeeper和hbase 的regionserver，這三個(gè)組件中的某一個(gè)region的狀態(tài)都是一致的情況下，這個(gè)region 才算是正常，狀態(tài)轉(zhuǎn)移過程及其復(fù)雜，hbase 集群很容易出現(xiàn)RIT。

好消息是，hbase2.x中，把zookeeper 中的狀態(tài)取消了，region 的狀態(tài)直接在master 和 regionserver 直接變化。

在hbase2.x 中幾乎所有的集群操作都是通過procedure進(jìn)行的，這也就意味著，產(chǎn)生異常的過程大部分都是在proceduer中，比如region opening 過程卡死或者closing 過程卡死，最終都會(huì)導(dǎo)致region 的狀態(tài)有問題，即產(chǎn)生region in transition。

好消息是，hbase2.x中有個(gè)工具HBCK2，這個(gè)工具可不是簡(jiǎn)單的hbase1.x中hbck 的升級(jí)，變化有點(diǎn)大，詳細(xì)變化請(qǐng)參考幫助文檔（https://github.com/apache/hbase-operator-tools/tree/master/hbase-hbck2）。這個(gè)工具的工作實(shí)際就是修復(fù)各種不正常的procedure。(本文已提供工具免費(fèi)下載)

一.RIT?region長(zhǎng)期處于OPEING?

如果RIT中的region長(zhǎng)期處于opening狀態(tài)，按以下步驟排查：

1.查看該region對(duì)應(yīng)的regionserver日志，搜索該region名字，看有沒有報(bào)錯(cuò)

1）如果有報(bào)錯(cuò)，提示有壞的hfile文件（如下圖）， $hbase2.x hbck2處理region方案（長(zhǎng)期opening\closing\offline,Report Region Holes,report Unkown server）等,hbase,大數(shù)據(jù)$

則把hfile文件mv走，mv?hfile之后一般情況下該region會(huì)自動(dòng)好，如果還是處于RIT，就先bypass掉相關(guān)procedure，然后再unassign，再assign一下

$hbase2.x hbck2處理region方案（長(zhǎng)期opening\closing\offline,Report Region Holes,report Unkown server）等,hbase,大數(shù)據(jù)$

$hbase2.x hbck2處理region方案（長(zhǎng)期opening\closing\offline,Report Region Holes,report Unkown server）等,hbase,大數(shù)據(jù)$

$hbase2.x hbck2處理region方案（長(zhǎng)期opening\closing\offline,Report Region Holes,report Unkown server）等,hbase,大數(shù)據(jù)$

2）如果有報(bào)錯(cuò)The?new max?sequence id 1 is less than the max sequence id

$hbase2.x hbck2處理region方案（長(zhǎng)期opening\closing\offline,Report Region Holes,report Unkown server）等,hbase,大數(shù)據(jù)$

方法1：disable 表，再enable 表

方法2：

對(duì)于從hbase1遷移到hbase2的表，如果表的DATA_BLOCK_ENCODING是PREFIX_TREE,由于PREFIX_TREE在hbase2里已廢棄，所以需要修改

$hbase2.x hbck2處理region方案（長(zhǎng)期opening\closing\offline,Report Region Holes,report Unkown server）等,hbase,大數(shù)據(jù)$

2.如果該region對(duì)應(yīng)的regionserver日志中沒有明顯錯(cuò)誤，就先bypass掉相關(guān)procedure，然后再把region設(shè)置為OFFLINE，再assign一下

$hbase2.x hbck2處理region方案（長(zhǎng)期opening\closing\offline,Report Region Holes,report Unkown server）等,hbase,大數(shù)據(jù)$

$hbase2.x hbck2處理region方案（長(zhǎng)期opening\closing\offline,Report Region Holes,report Unkown server）等,hbase,大數(shù)據(jù)$

$hbase2.x hbck2處理region方案（長(zhǎng)期opening\closing\offline,Report Region Holes,report Unkown server）等,hbase,大數(shù)據(jù)$

$hbase2.x hbck2處理region方案（長(zhǎng)期opening\closing\offline,Report Region Holes,report Unkown server）等,hbase,大數(shù)據(jù)$

$hbase2.x hbck2處理region方案（長(zhǎng)期opening\closing\offline,Report Region Holes,report Unkown server）等,hbase,大數(shù)據(jù)$

如果還是不行，就先bypass掉相關(guān)procedure，然后再把region狀態(tài)設(shè)為OFFLINE，再unassign,再assign

$hbase2.x hbck2處理region方案（長(zhǎng)期opening\closing\offline,Report Region Holes,report Unkown server）等,hbase,大數(shù)據(jù)$

$hbase2.x hbck2處理region方案（長(zhǎng)期opening\closing\offline,Report Region Holes,report Unkown server）等,hbase,大數(shù)據(jù)$

$hbase2.x hbck2處理region方案（長(zhǎng)期opening\closing\offline,Report Region Holes,report Unkown server）等,hbase,大數(shù)據(jù)$

$hbase2.x hbck2處理region方案（長(zhǎng)期opening\closing\offline,Report Region Holes,report Unkown server）等,hbase,大數(shù)據(jù)$

二.RIT?region長(zhǎng)期處于CLOSING

1.先bypass相關(guān)procedure,再把region狀態(tài)設(shè)置為CLOSED,然后再assign

$hbase2.x hbck2處理region方案（長(zhǎng)期opening\closing\offline,Report Region Holes,report Unkown server）等,hbase,大數(shù)據(jù)$

hbase?hbck -j hbase-hbck2-1.0.0.0-SNAPSHOT.jar setRegionState region名字 CLOSED

$hbase2.x hbck2處理region方案（長(zhǎng)期opening\closing\offline,Report Region Holes,report Unkown server）等,hbase,大數(shù)據(jù)$

三.RIT?region長(zhǎng)期處于OFFLINE

把region?assign

$hbase2.x hbck2處理region方案（長(zhǎng)期opening\closing\offline,Report Region Holes,report Unkown server）等,hbase,大數(shù)據(jù)$

四.某個(gè)hbase表已經(jīng)刪除，但是還有這個(gè)表相關(guān)的region處于RIT

處理步驟：

1.bypass 該region相關(guān)的procedure

2.從meta表查看該region的信息

3.deleteall從meta表刪除該region

$hbase2.x hbck2處理region方案（長(zhǎng)期opening\closing\offline,Report Region Holes,report Unkown server）等,hbase,大數(shù)據(jù)$

4.切換hmaster

hbase UI上的RIT應(yīng)該是從meta表里拿的狀態(tài)為OPENING、OFFLINE等中間狀態(tài)的region。從meta表里刪了的，切了hmaster之后就沒有了；狀態(tài)改為CLOSED的region, CLOSED不是中間狀態(tài)，是最終狀態(tài)了，所以也就沒有了。

五．hbase2 HBCK Report Region Holes

Hbck report中顯示有holes。Region Holes（Region空洞：Region不連續(xù)）

$hbase2.x hbck2處理region方案（長(zhǎng)期opening\closing\offline,Report Region Holes,report Unkown server）等,hbase,大數(shù)據(jù)$

查看該問題可通過master UI界面的HBCK Report查看

解決方法很簡(jiǎn)單，直接使用 hbck2 提供的 fixMeta 操作即可。

在 Usage 說明中能看到 fixMeta 能夠修復(fù) ‘holes’，‘overlaps’ 等 region 問題，但是需要注意必須確保 hbase:meta 是健康的狀態(tài)下進(jìn)行修復(fù)操作！也就是確保表里的所有 region 都是 OPEN 狀態(tài)再進(jìn)行此操作，確保不會(huì)對(duì)集群造成額外的影響。

執(zhí)行命令

hbase hbck -j $HBASE_HOME/lib/hbase-hbck2-1.3.0-SNAPSHOT.jar fixMeta

$hbase2.x hbck2處理region方案（長(zhǎng)期opening\closing\offline,Report Region Holes,report Unkown server）等,hbase,大數(shù)據(jù)$

等待一段時(shí)間，這個(gè)過程可以監(jiān)控 master 日志，如果一切順利問題就解決啦。

六．Hbck report Unkown server處理

base 查詢出現(xiàn)org.apache.hadoop.hbase.NotServingRegionException:

table.region is not online on hregionservername

重啟hmaster，出現(xiàn)region無法自動(dòng)分配，assign region也無法重新分配。

查看hbck report 發(fā)現(xiàn)有unknown servers的問題。

$hbase2.x hbck2處理region方案（長(zhǎng)期opening\closing\offline,Report Region Holes,report Unkown server）等,hbase,大數(shù)據(jù)$

原因：regionserver的name發(fā)生變化。
刪除掉當(dāng)前未知的regionsever，恢復(fù)正常

hbase hbck -j hbase-hbck2-1.3.0-SNAPSHOT.jar scheduleRecoveries unknowservername

? $hbase2.x hbck2處理region方案（長(zhǎng)期opening\closing\offline,Report Region Holes,report Unkown server）等,hbase,大數(shù)據(jù)$

附

批量腳本

如果有多個(gè)region需要處理可以使用批量腳本

1.批量bypass

從頁(yè)面http://hmaster主機(jī):16010/procedures.jsp拿到procedure?id列表

然后批量bypass

$hbase2.x hbck2處理region方案（長(zhǎng)期opening\closing\offline,Report Region Holes,report Unkown server）等,hbase,大數(shù)據(jù)$

2.批量unassign

從頁(yè)面http://hmaster主機(jī):16010/master.jsp拿到region列表

$hbase2.x hbck2處理region方案（長(zhǎng)期opening\closing\offline,Report Region Holes,report Unkown server）等,hbase,大數(shù)據(jù)$

3.批量assign

$hbase2.x hbck2處理region方案（長(zhǎng)期opening\closing\offline,Report Region Holes,report Unkown server）等,hbase,大數(shù)據(jù)$

4.批量set?offline

$hbase2.x hbck2處理region方案（長(zhǎng)期opening\closing\offline,Report Region Holes,report Unkown server）等,hbase,大數(shù)據(jù)$ 文章來源地址http://www.zghlxwxcb.cn/news/detail-770167.html

到了這里，關(guān)于hbase2.x hbck2處理region方案（長(zhǎng)期opening\closing\offline,Report Region Holes,report Unkown server）等的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！

本文來自互聯(lián)網(wǎng)用戶投稿，該文觀點(diǎn)僅代表作者本人，不代表本站立場(chǎng)。本站僅提供信息存儲(chǔ)空間服務(wù)，不擁有所有權(quán)，不承擔(dān)相關(guān)法律責(zé)任。如若轉(zhuǎn)載，請(qǐng)注明出處：如若內(nèi)容造成侵權(quán)/違法違規(guī)/事實(shí)不符，請(qǐng)點(diǎn)擊違法舉報(bào)進(jìn)行投訴反饋，一經(jīng)查實(shí)，立即刪除！

分享到：

領(lǐng)支付寶紅包贊助服務(wù)器費(fèi)用

Hbase2 基于hdfs恢復(fù)數(shù)據(jù)及遷移
故障描述某客戶因?yàn)閿?shù)據(jù)表數(shù)量過多，導(dǎo)致HBase Master無法初始化完成。根據(jù)日志判斷為Meta錯(cuò)誤。故障分析客戶頻繁操作HBase Master導(dǎo)致混亂，加載失敗。處理過程 ? ? ? ?1.判斷客戶hdfs數(shù)據(jù)正常，基于Hbase2特性，可以基于hdfs進(jìn)行數(shù)據(jù)恢復(fù) ? ? ? ?2.停用hbase服務(wù)； ? ? ? ?
2024年02月16日
瀏覽(13)
Hadoop(05) HBase2.5.5安裝和編程實(shí)踐指南
HBase是一個(gè)基于Apache Hadoop的分布式、可擴(kuò)展、面向列的NoSQL數(shù)據(jù)庫(kù)系統(tǒng) 。它被設(shè)計(jì)用于處理大規(guī)模數(shù)據(jù)集，并提供快速的讀寫訪問性能。以下是HBase的一些關(guān)鍵特點(diǎn)和概念：列存儲(chǔ)結(jié)構(gòu)：HBase使用列存儲(chǔ)結(jié)構(gòu)，意味著數(shù)據(jù)被組織成行和列的形式。每個(gè)表可以有靈活的列族定義
2024年02月03日
瀏覽(21)
Hbase split Region
Split(Region拆分) ? 自動(dòng)拆分根據(jù)region大小觸發(fā)拆分 ? 早期（0.94版本前）HBase僅根據(jù)Region中最大的列簇大小（即一個(gè)Store，也即HFile）進(jìn)行自動(dòng)拆分，默認(rèn)拆分閾值為10G，當(dāng)大小達(dá)到10G后，將這個(gè)region拆分為兩個(gè)region。參數(shù)為：根據(jù)文件大小動(dòng)態(tài)觸發(fā)拆分 ? 0.94版本之后，有
2024年02月16日
瀏覽(19)
Hbase中的region和rowkey
Region是HBase數(shù)據(jù)管理的基本單位,region有一點(diǎn)像關(guān)系型數(shù)據(jù)的分區(qū)。 Region中存儲(chǔ)這用戶的真實(shí)數(shù)據(jù)，而為了管理這些數(shù)據(jù)，HBase使用了RegionSever來管理region。一個(gè)表中可以包含一個(gè)或多個(gè)Region。每個(gè)Region只能被一個(gè)RS（RegionServer）提供服務(wù)，RS可以同時(shí)服務(wù)多個(gè)Region，來自不同
2024年02月08日
瀏覽(18)
【生產(chǎn)級(jí)實(shí)踐】Docker部署配置Hadoop3.x + HBase2.x實(shí)現(xiàn)真正分布式集群環(huán)境
網(wǎng)上找了很多資料，但能夠?qū)崿F(xiàn)Docker安裝Hadoop3.X和Hbase2.X真正分布式集群的教程很零散，坑很多，把經(jīng)驗(yàn)做了整理，避免趟坑。 1、機(jī)器環(huán)境這里采用三臺(tái)機(jī)器來部署分布式集群環(huán)境： 192.168.1.101 hadoop1 （docker管理節(jié)點(diǎn)） 192.168.1.102 hadoop2 192.168.1.103 hadoop3 2、下載Docker Hadoop的
2024年02月02日
瀏覽(25)
HBase基礎(chǔ)知識(shí)（三）：HBase架構(gòu)進(jìn)階、讀寫流程、MemStoreFlush、StoreFile Compaction、Region Split
1）StoreFile 保存實(shí)際數(shù)據(jù)的物理文件，StoreFile以HFile的形式存儲(chǔ)在HDFS上。每個(gè)Store會(huì)有一個(gè)或多個(gè)StoreFile（HFile），數(shù)據(jù)在每個(gè)StoreFile中都是有序的。 2）MemStore 寫緩存，由于HFile中的數(shù)據(jù)要求是有序的，所以數(shù)據(jù)是先存儲(chǔ)在MemStore中，排好序后，等到達(dá)刷寫時(shí)機(jī)才會(huì)刷寫到HFi
2024年01月17日
瀏覽(26)
Springboot+Hbase獲取regions信息并上報(bào)到metrics接口中
1. 添加HBase和Micrometer依賴 2. 新增HBase配置文件 3. 編寫服務(wù)獲取HBase Admin客戶端 4. 獲取regions信息并上報(bào) 5. 啟動(dòng)定時(shí)任務(wù)
2024年02月13日
瀏覽(14)
【計(jì)算機(jī)視覺 | 目標(biāo)檢測(cè)】CORA: Adapting CLIP for Open-Vocabulary Detection with Region Prompting and Anchor
基于區(qū)域提示和錨點(diǎn)預(yù)匹配的開放詞匯檢測(cè)。 CORA 在目標(biāo)檢測(cè)任務(wù)中提出了一種新的 CLIP 預(yù)訓(xùn)練模型適配方法，主要包括 Region Prompting 和 Anchor Pre-Matching 兩部分。這種方法能夠讓 CLIP 模型適應(yīng)目標(biāo)檢測(cè)的任務(wù)，能夠識(shí)別出圖像中的對(duì)象，并提供準(zhǔn)確的分類和定位信息。開放
2024年02月14日
瀏覽(29)
小程序一次性訂閱消息進(jìn)行長(zhǎng)期推送方案
由于小程序長(zhǎng)期只針對(duì)向政務(wù)民生、醫(yī)療、交通、金融、教育等線下公共服務(wù)開放，且目前的項(xiàng)目不符合這些主類目要求，所以只能從一次性模板進(jìn)行下手。一次性模板指的是用戶授權(quán)一次，可以推送一次消息，所以一次性模板想要長(zhǎng)期推送我用的方案是在點(diǎn)擊的地方都增加
2024年02月12日
瀏覽(20)
天池長(zhǎng)期賽：二手車價(jià)格預(yù)測(cè)（422方案分享）
前言一、賽題介紹及評(píng)測(cè)標(biāo)準(zhǔn) 二、數(shù)據(jù)探索（EDA） 1.讀取數(shù)據(jù)、缺失值可視化 2.特征描述性統(tǒng)計(jì) 3.測(cè)試集與驗(yàn)證集數(shù)據(jù)分布 4.特征相關(guān)性三、數(shù)據(jù)清洗四、特征工程 1.構(gòu)建時(shí)間特征 2.匿名特征交叉 3.平均數(shù)編碼五、建模調(diào)參六、模型融合總結(jié) 賽題屬于回歸類型，相比于
2024年02月01日
瀏覽(17)