1 簡介
HBase系統(tǒng)中主要有兩類服務(wù)進(jìn)程:Master進(jìn)程以及RegionServer進(jìn)程。Master主要負(fù)責(zé)集群管理調(diào)度,在實際生產(chǎn)線上并沒有非常大的壓力,因此發(fā)生軟件層面故障的概率非常低。RegionServer主要負(fù)責(zé)用戶的讀寫服務(wù),進(jìn)程中包含很多緩存組件以及與HDFS交互的組件,實際生產(chǎn)線上往往會有非常大的壓力,進(jìn)而造成的軟件層面故障會比較多。文章來源地址http://www.zghlxwxcb.cn/news/detail-822814.html
- Full GC異常:長時間的Full GC是導(dǎo)致RegionServer宕機(jī)的最主要原因,據(jù)不完全統(tǒng)計,80%以上的宕機(jī)原因都和JVM Full GC有關(guān)。導(dǎo)致JVM發(fā)生Full GC的原因有很多:HBase對于Java堆內(nèi)內(nèi)存管理的不完善,HBase未合理使用堆外內(nèi)存,JVM啟動參數(shù)設(shè)置不合理,業(yè)務(wù)寫入或讀取吞吐量太大,寫入讀取字段太大,等等。其中部分原因要歸結(jié)于HBase系統(tǒng)本身,另一部分原因和用戶業(yè)務(wù)以及HBase相關(guān)配置有關(guān)。
- HDFS異常:RegionServer寫入讀取數(shù)據(jù)都是直接操作HDFS的,如果HDFS發(fā)生異常會導(dǎo)致RegionServer直接宕機(jī)。
- 機(jī)器宕機(jī):物理節(jié)點直接宕機(jī)也是導(dǎo)致RegionServer進(jìn)程掛掉的一個重要原因。通常情況下,物理機(jī)直接宕機(jī)的情況相對比較少,但虛擬云主機(jī)發(fā)生宕機(jī)的頻率比較高。很多公司會將HBase系統(tǒng)部署在虛擬云環(huán)境,因為種種原因發(fā)生機(jī)器宕機(jī)的情況相對就會多一些。網(wǎng)絡(luò)環(huán)境不穩(wěn)定其實也可以歸屬于這類。
- HBase Bug :生產(chǎn)線上因為HBase系統(tǒng)本身bug導(dǎo)致RegionServer宕機(jī)的情況很少,比如之前版本存在:RegionServer經(jīng)常會因為耗盡了機(jī)器的端口資源而自行宕機(jī),這個bug的表現(xiàn)是,隨著時間的推移,處于close_wait狀
文章來源:http://www.zghlxwxcb.cn/news/detail-822814.html
到了這里,關(guān)于HBase學(xué)習(xí)五:運(yùn)維排障之宕機(jī)恢復(fù)的文章就介紹完了。如果您還想了解更多內(nèi)容,請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章,希望大家以后多多支持TOY模板網(wǎng)!