參數配置是一個富有技巧性的工作,每個參數的背后都隱藏著對應模塊的工作原理,如果不清楚這些工作原理,就沒辦法真正理解這些參數的核心意義。
1、Region相關參數
hbase.hregion.max.f ilesize:默認為10G,簡單理解為,Region中最大的Store中所有文件大小一旦大于該值整個Region就會執(zhí)行分裂。
解讀:實際生產環(huán)境中,建議對該值設置不要太大也不要太小。太大會導致系統(tǒng)后臺執(zhí)行compaction消耗大量系統(tǒng)資源,一定程度上影響業(yè)務響應;太小會導致Region分裂比較頻繁(分裂本身對業(yè)務讀寫會有一定影響)。太多Region會消耗大量系統(tǒng)資源,并且在RegionServer故障恢復時比較耗時。
2、BlockCache相關參數
BlockCache相關的參數非常多,而且比較容易混淆。不同的BlockCache策略對應不同的參數,并且這些參數配置會影響MemStore相關參數的配置。查詢相關書籍,推薦:RegionServer內存在20G以內的就選擇LRUBlockCache,大于20G的就選擇BucketCache中的offheap模式。
接下來所有的相關配置都基于BucketCache的offheap模型進行說明。
-
hf ile.block.cache.size :默認為0.4,該值用來設置LRUBlockCache的內存大小,0.4表示JVM內存的40%。文章來源:http://www.zghlxwxcb.cn/news/detail-805679.html
解讀:當前HBase系統(tǒng)默認采用LRUBlockCache策略,BlockCache大小和MemStore大小均為JVM的40%。對于BucketCache策略來講,Cache分為了兩層,文章來源地址http://www.zghlxwxcb.cn/news/detail-805679.html
到了這里,關于HBase學習八: 核心參數配置的文章就介紹完了。如果您還想了解更多內容,請在右上角搜索TOY模板網以前的文章或繼續(xù)瀏覽下面的相關文章,希望大家以后多多支持TOY模板網!