国产 无码 综合区,色欲AV无码国产永久播放,无码天堂亚洲国产AV,国产日韩欧美女同一区二区

HBase在進(jìn)行模型設(shè)計(jì)時(shí)重點(diǎn)在什么地方?一張表中定義多少個(gè)Column Family最合適?為什么?

這篇具有很好參考價(jià)值的文章主要介紹了HBase在進(jìn)行模型設(shè)計(jì)時(shí)重點(diǎn)在什么地方?一張表中定義多少個(gè)Column Family最合適?為什么?。希望對(duì)大家有所幫助。如果存在錯(cuò)誤或未考慮完全的地方,請(qǐng)大家不吝賜教,您也可以點(diǎn)擊"舉報(bào)違法"按鈕提交疑問(wèn)。

?鎖屏面試題百日百刷,每個(gè)工作日?qǐng)?jiān)持更新面試題。請(qǐng)看到最后就能獲取你想要的,接下來(lái)的是今日的面試題:



?

1.Hbase中的memstore是用來(lái)做什么的?

hbase為了保證隨機(jī)讀取的性能,所以hfile里面的rowkey是有序的。當(dāng)客戶端的請(qǐng)求在到達(dá)regionserver之后,為了保證寫(xiě)入rowkey的有序性,所以不能將數(shù)據(jù)立刻寫(xiě)入到hfile中,而是將每個(gè)變更操作保存在內(nèi)存中,也就是memstore中。memstore能夠很方便的支持操作的隨機(jī)插入,并保證所有的操作在內(nèi)存中是有序的。當(dāng)memstore達(dá)到一定的量之后,會(huì)將memstore里面的數(shù)據(jù)flush到hfile中,這樣能充分利用hadoop寫(xiě)入大文件的性能優(yōu)勢(shì),提高寫(xiě)入性能。

由于memstore是存放在內(nèi)存中,如果regionserver因?yàn)槟撤N原因死了,會(huì)導(dǎo)致內(nèi)存中數(shù)據(jù)丟失。所有為了保證數(shù)據(jù)不丟失,hbase將更新操作在寫(xiě)入memstore之前會(huì)寫(xiě)入到一個(gè)write ahead log(WAL)中。WAL文件是追加、順序?qū)懭氲?,WAL每個(gè)regionserver只有一個(gè),同一個(gè)regionserver上所有region寫(xiě)入同一個(gè)的WAL文件。這樣當(dāng)某個(gè)regionserver失敗時(shí),可以通過(guò)WAL文件,將所有的操作順序重新加載到memstore中。

2.HBase在進(jìn)行模型設(shè)計(jì)時(shí)重點(diǎn)在什么地方?一張表中定義多少個(gè)Column Family最合適?為什么?

Column Family的個(gè)數(shù)具體看表的數(shù)據(jù),一般來(lái)說(shuō)劃分標(biāo)準(zhǔn)是根據(jù)數(shù)據(jù)訪問(wèn)頻度,如一張表里有些列訪問(wèn)相對(duì)頻繁,而另一些列訪問(wèn)很少,這時(shí)可以把這張表劃分成兩個(gè)列族,分開(kāi)存儲(chǔ),提高訪問(wèn)效率。

整體來(lái)說(shuō), 通常建議越少越好, 太多的列族會(huì)影響我們整個(gè)hbase的讀寫(xiě)效率,導(dǎo)致讀取一行數(shù)據(jù)需要跨越更多的列族(底層跨越更多的內(nèi)存頁(yè)和文件)

3.如何提高HBase客戶端的讀寫(xiě)性能?請(qǐng)舉例說(shuō)明

1 開(kāi)啟bloomfilter過(guò)濾器,開(kāi)啟bloomfilter比沒(méi)開(kāi)啟要快3、4倍

2 Hbase對(duì)于內(nèi)存有特別的需求,在硬件允許的情況下配足夠多的內(nèi)存給它

3 通過(guò)修改hbase-env.sh中的export HBASE_HEAPSIZE=3000 #這里默認(rèn)為1000m

4 增大RPC數(shù)量通過(guò)修改hbase-site.xml中的hbase.regionserver.handler.count屬性,可以適當(dāng)?shù)姆糯驲PC數(shù)量,默認(rèn)值為10有點(diǎn)小。

4.HBase集群安裝注意事項(xiàng)?

① HBase需要HDFS的支持,因此安裝HBase前確保Hadoop集群安裝完成;

② HBase需要ZooKeeper集群的支持,因此安裝HBase前確保ZooKeeper集群安裝完成;

③ 注意HBase與Hadoop的版本兼容性;

④ 注意hbase-env.sh配置文件和hbase-site.xml配置文件的正確配置;

⑤ 注意regionservers配置文件的修改;

5 注意集群中的各個(gè)節(jié)點(diǎn)的時(shí)間必須同步,否則啟動(dòng)HBase集群將會(huì)報(bào)錯(cuò);

5.請(qǐng)描述如何解決HBase中region太小和region太大帶來(lái)的沖突?

Region過(guò)大會(huì)發(fā)生多次compaction,將數(shù)據(jù)讀一遍并重寫(xiě)一遍到hdfs 上,占用io,region過(guò)小會(huì)造成多次split,region 會(huì)下線,影響訪問(wèn)服務(wù),最佳的解決方法是調(diào)整hbase.hregion. max.filesize 為256m。

6.Hbase是怎么進(jìn)行預(yù)分區(qū)操作?

解: 在Hbase中主要有二種預(yù)分區(qū)方案, 一種為手動(dòng)預(yù)分區(qū), 一種為自動(dòng)預(yù)分區(qū), 手動(dòng)預(yù)分區(qū)指的是我們?cè)诮ū淼臅r(shí)候, 通過(guò)命令或者的API進(jìn)行預(yù)分區(qū)操作, 在手動(dòng)分區(qū)下, 我們可以自定義分區(qū), 也可以基于hbase提供的分區(qū)算法來(lái)實(shí)現(xiàn), 分區(qū)后, 多個(gè)region會(huì)被master分配到不同的regionServer上進(jìn)行管理, 從而保證負(fù)載均衡. 而自動(dòng)預(yù)分區(qū)則指的是, 隨著我們表中數(shù)據(jù)越來(lái)越多 當(dāng)表中數(shù)據(jù), 也就是region中數(shù)據(jù)達(dá)到一定的閾值后, 會(huì)自動(dòng)進(jìn)行分區(qū), 閾值的多少取決于下面的這個(gè)公式來(lái)計(jì)算:

全部?jī)?nèi)容在[git](https://gitee.com/zjlalaforgit/interview)上,了解更多請(qǐng)點(diǎn)我頭像或到我的主頁(yè)去獲得,謝謝文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-408881.html

到了這里,關(guān)于HBase在進(jìn)行模型設(shè)計(jì)時(shí)重點(diǎn)在什么地方?一張表中定義多少個(gè)Column Family最合適?為什么?的文章就介紹完了。如果您還想了解更多內(nèi)容,請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章,希望大家以后多多支持TOY模板網(wǎng)!

本文來(lái)自互聯(lián)網(wǎng)用戶投稿,該文觀點(diǎn)僅代表作者本人,不代表本站立場(chǎng)。本站僅提供信息存儲(chǔ)空間服務(wù),不擁有所有權(quán),不承擔(dān)相關(guān)法律責(zé)任。如若轉(zhuǎn)載,請(qǐng)注明出處: 如若內(nèi)容造成侵權(quán)/違法違規(guī)/事實(shí)不符,請(qǐng)點(diǎn)擊違法舉報(bào)進(jìn)行投訴反饋,一經(jīng)查實(shí),立即刪除!

領(lǐng)支付寶紅包贊助服務(wù)器費(fèi)用

相關(guān)文章

  • sqlserver數(shù)據(jù)庫(kù)中把一張表中的數(shù)據(jù)復(fù)制到另一張表中

    我們?cè)谑褂肊RP時(shí)經(jīng)常會(huì)遇到,把老系統(tǒng)的單據(jù)直接拉過(guò)來(lái)使用,但是對(duì)應(yīng)的數(shù)據(jù)卻沒(méi)有,為空,這時(shí)候就需要把老系統(tǒng)數(shù)據(jù)庫(kù)里的數(shù)據(jù)復(fù)制一份到新系統(tǒng)里,(方法如下) 1、如果是整個(gè)表復(fù)制表達(dá)如下: 2、如果是有選擇性的復(fù)制數(shù)據(jù)表達(dá)如下: 3、一個(gè)數(shù)據(jù)庫(kù)中的表中的數(shù)

    2024年02月12日
    瀏覽(31)
  • springboot使用aop排除某些方法,更新從另外一張表,從另外一張表批量插入

    在Spring Boot中使用AOP時(shí),如果想要排除某些方法不被切面所影響,可以通過(guò)使用切面表達(dá)式中的!within來(lái)實(shí)現(xiàn)。以下是一個(gè)示例: 在上面的示例中,@Before注解用于定義切面的beforeAdvice方法。execution(* com.example.service. . (…))表示切入所有com.example.service包下的方法。而!wit

    2024年02月13日
    瀏覽(28)
  • SQL Server 數(shù)據(jù)庫(kù)中復(fù)制一張表數(shù)據(jù)到另一張表的詳細(xì)步驟與代碼示例

    在 SQL Server 數(shù)據(jù)庫(kù)中,有時(shí)需要將一張表中的數(shù)據(jù)復(fù)制到另一張表中,可能是為了備份數(shù)據(jù)、進(jìn)行數(shù)據(jù)遷移或其他目的。本文將詳細(xì)介紹如何在 SQL Server 數(shù)據(jù)庫(kù)中實(shí)現(xiàn)這個(gè)操作,并提供相關(guān)的 SQL 代碼示例。 最常見(jiàn)的方法是使用 SQL 的 INSERT INTO 語(yǔ)句將數(shù)據(jù)從一張表復(fù)制到另一

    2024年02月07日
    瀏覽(21)
  • mysql一張表可以創(chuàng)建多少字段

    在mysql中,每個(gè)數(shù)據(jù)庫(kù)最多可創(chuàng)建20億個(gè)表,一個(gè)表允許定義1024列,每行的最大長(zhǎng)度為8092字節(jié)(不包括文本和圖像類型的長(zhǎng)度)。當(dāng)表中定義有varchar、nvarchar或varbinary類型列時(shí),如果向表中插入的數(shù)據(jù)行超過(guò)8092字節(jié)時(shí)將導(dǎo)致Transact-SQL語(yǔ)句失敗,并產(chǎn)生錯(cuò)誤信息。SQL對(duì)每個(gè)表中行

    2023年04月09日
    瀏覽(26)
  • 一張表實(shí)現(xiàn)短視頻“評(píng)論區(qū)“完整功能

    一張表實(shí)現(xiàn)短視頻“評(píng)論區(qū)“完整功能

    前言 ? ? ? ? 現(xiàn)如今,不管是哪種類型的應(yīng)用,評(píng)論區(qū)都少不了。從工具類的到媒體信息流類的,評(píng)論留言都是最基本的互動(dòng)環(huán)節(jié)。比如抖音短視頻下,針對(duì)視頻每個(gè)用戶都可以發(fā)表自己的觀點(diǎn);而針對(duì)用戶的評(píng)論,其他的用戶又可以對(duì)其進(jìn)行評(píng)論,依次回復(fù)下去。 ? ? ?

    2024年02月16日
    瀏覽(17)
  • SQL - 將查詢結(jié)果插入到另一張表中

    注意:字段必須一致(位置一致,類型一致),否則會(huì)出現(xiàn)數(shù)據(jù)轉(zhuǎn)換錯(cuò)誤。 例如,要將 test 表插入到 newTest 表中,則可以通過(guò)如下SQL語(yǔ)句實(shí)現(xiàn): 使用場(chǎng)景: 從一個(gè)表中選取數(shù)據(jù),然后把數(shù)據(jù)插入另一個(gè)表中。常用于創(chuàng)建表的備份復(fù)件或者用于對(duì)記錄進(jìn)行存檔。

    2024年02月16日
    瀏覽(18)
  • 【mysql】給一張表添加外鍵的四種方法

    添加外鍵約束名字一定不能重復(fù) 如何添加外鍵 方法一:直接在屬性值后面添加 方法二: 方法三:添加約束 方法四:在表的定義外進(jìn)行添加 1.創(chuàng)建表的時(shí)候直接在表字段后,跟primary key。(一張表有且只能有一個(gè)主鍵,主鍵具有唯一性。) 2.在創(chuàng)建表的時(shí)候在所有字段

    2024年02月11日
    瀏覽(27)
  • 解放雙手!這個(gè)插件只要一張表就能生成CRUD代碼

    大家好,我是 Java陳序員 。 問(wèn)君能有幾多愁,代碼一行又一行! 作為碼農(nóng),代碼是寫(xiě)不完的,而偷懶又是人的天性,能少干一點(diǎn)就少干一點(diǎn)。 今天,給大家介紹一個(gè) IDEA 插件,幫助你快速生成出 CRUD 的代碼! 關(guān)注微信公眾號(hào):【Java陳序員】,獲取開(kāi)源項(xiàng)目分享、AI副業(yè)分享

    2024年03月25日
    瀏覽(18)
  • 使用finksql方式將mysql數(shù)據(jù)同步到kafka中,每次只能同步一張表

    使用finksql方式將mysql數(shù)據(jù)同步到kafka中,每次只能同步一張表

    2024年02月11日
    瀏覽(22)
  • oracle連表查詢in后邊跟另一張表中的字符串字段

    oracle連表查詢in后邊跟另一張表中的字符串字段

    今天在做通過(guò)in進(jìn)行連表查詢的時(shí)候發(fā)現(xiàn)以下問(wèn)題記錄下 我的需求是A,B兩張表連接查詢,A中有一個(gè)FOOD_TYPES字段 存的值類型為1,2,3 B表中的字段是FOOD_TYPE 存的是單個(gè)數(shù)字字符串 我需要where b.food_type in a.food_types 但是無(wú)論怎么寫(xiě)都無(wú)法實(shí)現(xiàn)這樣的查詢 最終使用了 b.food_type in

    2024年02月13日
    瀏覽(30)

覺(jué)得文章有用就打賞一下文章作者

支付寶掃一掃打賞

博客贊助

微信掃一掃打賞

請(qǐng)作者喝杯咖啡吧~博客贊助

支付寶掃一掃領(lǐng)取紅包,優(yōu)惠每天領(lǐng)

二維碼1

領(lǐng)取紅包

二維碼2

領(lǐng)紅包