国产 无码 综合区,色欲AV无码国产永久播放,无码天堂亚洲国产AV,国产日韩欧美女同一区二区

大數(shù)據(jù)面試題:HBase讀寫數(shù)據(jù)流程

這篇具有很好參考價值的文章主要介紹了大數(shù)據(jù)面試題:HBase讀寫數(shù)據(jù)流程。希望對大家有所幫助。如果存在錯誤或未考慮完全的地方,請大家不吝賜教,您也可以點擊"舉報違法"按鈕提交疑問。

面試題來源:

《大數(shù)據(jù)面試題 V4.0》

大數(shù)據(jù)面試題V3.0,523道題,679頁,46w字

參考答案:

1、寫數(shù)據(jù)流程

大數(shù)據(jù)面試題:HBase讀寫數(shù)據(jù)流程,大數(shù)據(jù)面試題,大數(shù)據(jù),hbase,面試

1)Client先訪問zookeeper,獲取hbase:meta表位于哪個Region Server。

2)訪問對應(yīng)的Region Server,獲取hbase:meta表,根據(jù)讀請求的namespace:table/rowkey,查詢出目標(biāo)數(shù)據(jù)位于哪個Region Server中的哪個Region中。并將該table的region信息以及meta表的位置信息緩存在客戶端的meta cache,方便下次訪問。

3)與目標(biāo)Region Server進(jìn)行通訊;

4)將數(shù)據(jù)順序?qū)懭耄ㄗ芳樱┑絎AL;

5)將數(shù)據(jù)寫入對應(yīng)的MemStore,數(shù)據(jù)會在MemStore進(jìn)行排序;

6)向客戶端發(fā)送ack;

7)等達(dá)到MemStore的刷寫時機后,將數(shù)據(jù)刷寫到HFile。

2、讀數(shù)據(jù)流程

大數(shù)據(jù)面試題:HBase讀寫數(shù)據(jù)流程,大數(shù)據(jù)面試題,大數(shù)據(jù),hbase,面試

大數(shù)據(jù)面試題:HBase讀寫數(shù)據(jù)流程,大數(shù)據(jù)面試題,大數(shù)據(jù),hbase,面試

1)Client先訪問zookeeper,獲取hbase:meta表位于哪個Region Server。

2)訪問對應(yīng)的Region Server,獲取hbase:meta表,根據(jù)讀請求的namespace:table/rowkey,查詢出目標(biāo)數(shù)據(jù)位于哪個Region Server中的哪個Region中。并將該table的region信息以及meta表的位置信息緩存在客戶端的meta cache,方便下次訪問。

3)與目標(biāo)Region Server進(jìn)行通訊;

4)分別在Block Cache(讀緩存),MemStore和Store File(HFile)中查詢目標(biāo)數(shù)據(jù),并將查到的所有數(shù)據(jù)進(jìn)行合并。此處所有數(shù)據(jù)是指同一條數(shù)據(jù)的不同版本(time stamp)或者不同的類型(Put/Delete)。

5)將查詢到的數(shù)據(jù)塊(Block,HFile數(shù)據(jù)存儲單元,默認(rèn)大小為64KB)緩存到Block Cache。

6)將合并后的最終結(jié)果返回給客戶端。文章來源地址http://www.zghlxwxcb.cn/news/detail-608524.html

到了這里,關(guān)于大數(shù)據(jù)面試題:HBase讀寫數(shù)據(jù)流程的文章就介紹完了。如果您還想了解更多內(nèi)容,請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章,希望大家以后多多支持TOY模板網(wǎng)!

本文來自互聯(lián)網(wǎng)用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務(wù),不擁有所有權(quán),不承擔(dān)相關(guān)法律責(zé)任。如若轉(zhuǎn)載,請注明出處: 如若內(nèi)容造成侵權(quán)/違法違規(guī)/事實不符,請點擊違法舉報進(jìn)行投訴反饋,一經(jīng)查實,立即刪除!

領(lǐng)支付寶紅包贊助服務(wù)器費用

相關(guān)文章

  • 客戶端讀寫HBase數(shù)據(jù)庫的運行原理

    客戶端讀寫HBase數(shù)據(jù)庫的運行原理

    1.HBase的特點 HBase是一個數(shù)據(jù)庫,與RDMS相比,有以下特點: ① 它不支持SQL ② 不支持事務(wù) ③ 沒有表關(guān)系,不支持JOIN ④ 有列族,列族下可以有上百個列 ⑤ 單元格,即列值,可以存儲多個版本的值,每個版本都有對應(yīng)時間戳 ⑥ 行鍵按照字典序升序排列 ⑦ 元數(shù)據(jù) 和 數(shù)據(jù) 分

    2024年02月10日
    瀏覽(25)
  • 大數(shù)據(jù)面試題Hbase篇

    大數(shù)據(jù)面試題Hbase篇

    目錄 1.Hbase是什么? 2.HBase 的特點是什么? 3.HBase 和 Hive 的區(qū)別? 4.描述 HBase 的 rowKey 的設(shè)計原則? 5.請詳細(xì)描述 HBase 中一個 cell 的結(jié)構(gòu)? 6.hbase中分布式存儲的最小單元? 7.簡述 HBase 中 compact 用途是什么,什么時候觸發(fā),分為哪兩種,有什么區(qū)別,有哪些相關(guān)配置參數(shù)?

    2024年02月09日
    瀏覽(22)
  • 記錄「 Hbase的數(shù)據(jù)遷移與bulkload流程與實踐」

    記錄「 Hbase的數(shù)據(jù)遷移與bulkload流程與實踐」

    目錄 項目場景: 數(shù)據(jù)遷移方案 hbase和hadoop相關(guān)命令 方案介紹 DistCp分布式拷貝方案實施 遷移過程中遇到的一些問題 1.我在原集群先拷貝協(xié)處理器到目標(biāo)新節(jié)點過程中出現(xiàn)了如下的情況,hdfs的map任務(wù)一直處于卡住狀態(tài),通過頁面前兩行看到hadoop集群沒有資源, 有3個節(jié)點處于

    2024年02月04日
    瀏覽(18)
  • 大數(shù)據(jù)面試題:HBase為什么查詢快

    面試題來源: 《大數(shù)據(jù)面試題 V4.0》 大數(shù)據(jù)面試題V3.0,523道題,679頁,46w字 可回答:1)HBase為什么讀快;2)HBase是根據(jù)rowkey查詢,當(dāng)數(shù)據(jù)量相當(dāng)大的時候,是怎么讀的很快的 參考答案: 1、基于LSM樹的存儲方式 HBase采用基于LSM樹的存儲方式,這種存儲方式將數(shù)據(jù)分為內(nèi)存和

    2024年02月12日
    瀏覽(24)
  • 大數(shù)據(jù)面試題:HBase的RegionServer宕機以后怎么恢復(fù)的?

    大數(shù)據(jù)面試題:HBase的RegionServer宕機以后怎么恢復(fù)的?

    面試題來源: 《大數(shù)據(jù)面試題 V4.0》 大數(shù)據(jù)面試題V3.0,523道題,679頁,46w字 可回答:1)HBase一個節(jié)點宕機了怎么辦;2)HBase故障恢復(fù) 參考答案: 1、HBase常見故障 導(dǎo)致RegionServer故障的原因: FullGc引起長時間停頓 HBase對Jvm堆內(nèi)存管理不善,未合理使用堆外內(nèi)存 Jvm啟動參數(shù)配

    2024年02月14日
    瀏覽(28)
  • Hbase基本使用,讀寫原理,性能優(yōu)化學(xué)習(xí)

    Hbase基本使用,讀寫原理,性能優(yōu)化學(xué)習(xí)

    HBase簡介 HBase定義 Apache HBase 是以 hdfs 為數(shù)據(jù)存儲的,一種分布式、可擴展的 NoSQL 數(shù)據(jù)庫 HBase數(shù)據(jù)模型 HBase 的設(shè)計理念依據(jù) Google 的 BigTable 論文,論文中對于數(shù)據(jù)模型的首句介紹。 Bigtable 是一個稀疏的、分布式的、持久的多維排序 map。之后對于映射的解釋如下: 該映射由行

    2024年02月08日
    瀏覽(17)
  • HBase-寫流程

    HBase-寫流程

    寫流程順序正如API編寫順序,首先創(chuàng)建HBase的重量級連接 (1)讀取本地緩存中的Meta表信息;(第一次啟動客戶端為空) (2)向ZK發(fā)起讀取Meta表所在位置的請求; (3)ZK正常返回Meta表所在位置; (4)向Meta表所在位置的RegionServer發(fā)起請求讀取Meta表信息; (5)讀取到Meta表信

    2024年02月14日
    瀏覽(21)
  • HBase寫入流程詳解

    HBase寫入流程詳解

    HBase采用LSM樹架構(gòu),天生適用于寫多讀少的應(yīng)用場景。在真實生產(chǎn)線環(huán)境中,也正是因為HBase集群出色的寫入能力,才能支持當(dāng)下很多數(shù)據(jù)激增的業(yè)務(wù)。需要說明的是,HBase服務(wù)端并沒有提供update、delete接口,HBase中對數(shù)據(jù)的更新、刪除操作在服務(wù)器端也認(rèn)為是寫入操作,不同

    2024年02月14日
    瀏覽(27)
  • Hbase-面試題

    自動切分,默認(rèn)情況下 2.0版本,第一次region的數(shù)據(jù)達(dá)到256M,會進(jìn)行切分,以后就是每達(dá)到10G切分一次,切分完成后,會進(jìn)行負(fù)載均衡,均衡到其他regionserver 預(yù)分區(qū)+自定義rowkey 可以理解為預(yù)切分 比如預(yù)分區(qū),每個regionserver會有10個region,每個region都有startrow和endrow 生產(chǎn)上必

    2024年02月13日
    瀏覽(14)
  • HBase相關(guān)面試準(zhǔn)備問題

    HBase相關(guān)面試準(zhǔn)備問題

    1、海量存儲 Hbase適合存儲PB級別的海量數(shù)據(jù),在PB級別的數(shù),能在幾十到幾百毫秒內(nèi)返回數(shù)據(jù)。這與Hbase的極易擴展性息息相關(guān)。正是因為Hbase良好的擴展性,才為海量數(shù)據(jù)的存儲提供了便利。 2、列式存儲 這里的列式存儲其實說的是列族存儲,Hbase是根據(jù)列族來存儲數(shù)據(jù)的。

    2024年02月22日
    瀏覽(19)

覺得文章有用就打賞一下文章作者

支付寶掃一掃打賞

博客贊助

微信掃一掃打賞

請作者喝杯咖啡吧~博客贊助

支付寶掃一掃領(lǐng)取紅包,優(yōu)惠每天領(lǐng)

二維碼1

領(lǐng)取紅包

二維碼2

領(lǐng)紅包