国产 无码 综合区,色欲AV无码国产永久播放,无码天堂亚洲国产AV,国产日韩欧美女同一区二区

分布式數(shù)據(jù)庫HBase,它到底是怎么組成的?

這篇具有很好參考價值的文章主要介紹了分布式數(shù)據(jù)庫HBase,它到底是怎么組成的?。希望對大家有所幫助。如果存在錯誤或未考慮完全的地方,請大家不吝賜教,您也可以點擊"舉報違法"按鈕提交疑問。

原文鏈接:http://www.ibearzmblog.com/#/technology/info?id=8ac4902f82f525e1456624d5d7a545dc

前言

大數(shù)據(jù)的核心問題無非就是存儲和計算這兩個。Hadoop中的HDFS解決了數(shù)據(jù)存儲的問題,而HBase就是在HDFS上構(gòu)建,因此Hbase既能解決大數(shù)據(jù)存儲的問題,又能解決數(shù)據(jù)實時查詢的問題。
分布式數(shù)據(jù)庫HBase,它到底是怎么組成的?,分布式,Hadoop,分布式,數(shù)據(jù)庫,hbase

是什么

HBase是一個高可靠、高性能、可伸縮的分布式存儲系統(tǒng),是一個NoSQL數(shù)據(jù)塊,它同樣包含行和列,不過從底層來看,跟關(guān)系型數(shù)據(jù)庫比,本質(zhì)的數(shù)據(jù)存儲結(jié)果有著本質(zhì)的差別。

特點

Hbase是通過RowKey(即是行鍵)來檢索數(shù)據(jù)的,主要用于存儲非結(jié)構(gòu)化、板結(jié)構(gòu)化數(shù)據(jù),像圖片、視頻、視頻這些非結(jié)構(gòu)化數(shù)據(jù),XML這些半結(jié)構(gòu)化數(shù)據(jù)都可以用HBase來存儲。Hbase的特性跟HDFS也類似,主要依靠橫向擴展來提高自身的存儲和計算能力。

下面是一些HBase的重要特性:

  • 容量大:單表可以支持百億級的行、百萬級的列。
  • 無模式:同一個表的不同行可以有不同列。
  • 面向列:支持列獨立索引。
  • 稀疏性:表設(shè)計可以非常稀疏,當值為空的時候并不會占用存儲空間。
  • 擴展性:底層依賴HDFS,HDFS怎么樣它就怎么樣。
  • 高可靠性:提供了副本機制,防止數(shù)據(jù)丟失。

HBase的組成

HBase的模型由四個部分組成:表、行鍵、列簇、單元格。
分布式數(shù)據(jù)庫HBase,它到底是怎么組成的?,分布式,Hadoop,分布式,數(shù)據(jù)庫,hbase

表是HBase作為分布式數(shù)據(jù)庫的核心概念,跟傳統(tǒng)的關(guān)系型數(shù)據(jù)庫一樣,HBase的表也是由行和列組成的,多個列可以組成列簇。

行鍵(RowKey)

可以等同于關(guān)系型數(shù)據(jù)庫里的主鍵,HBase是按照RowKey進行排序的,所以需要設(shè)計良好的行鍵來提高查詢性能。

列簇(ColumnFamily)

HBase的每個列都會歸屬于某個列簇,每個列簇里的所有成員都會有相同的前綴,例如上圖bear:html、dog:blog.com和dog:view.com這三列,一共包含兩個列簇,分別是bear和dog,列名由列簇前綴+修飾符組成。

列簇是表結(jié)構(gòu)的一部分,在使用表前就需要提前定義好,而其中的列并不是必須的,可以在插入數(shù)據(jù)的時候生成。如果經(jīng)常一起查詢的多列建議都放在同一個列簇里,因為跨列簇查詢也會影響查詢效率。

單元格(Cell)

HBase中通過行鍵和列確定的一個存儲單元成為單元格。每個單元格的內(nèi)部都保存了同一份數(shù)據(jù)的多個版本,并且按時間戳倒敘排序,如下圖:
分布式數(shù)據(jù)庫HBase,它到底是怎么組成的?,分布式,Hadoop,分布式,數(shù)據(jù)庫,hbase
時間戳(TimeStamp)可以在用戶插入的時候賦值,或者讓RegionServer自動賦值。

HBase的物理模型

在實際的物理存儲上,HBase是按列分開存儲的,而列則是按列簇進行分組,而一個列簇的數(shù)據(jù)都會被同一個Region進行管理(這里是指同一個列簇的數(shù)據(jù)由同一個Region管理,并不是指一個Region只負責一個列簇)。
分布式數(shù)據(jù)庫HBase,它到底是怎么組成的?,分布式,Hadoop,分布式,數(shù)據(jù)庫,hbase

Region是Hbase數(shù)據(jù)管理的基本單位,數(shù)據(jù)的移動、分裂等等都是以Region來進行處理。HBase表的行會按照Rowkey進行排序,而在表里的行會被分割成多個Region,如下圖所示:
分布式數(shù)據(jù)庫HBase,它到底是怎么組成的?,分布式,Hadoop,分布式,數(shù)據(jù)庫,hbase
在初期數(shù)據(jù)不大的時候,默認只有一個Region,后面隨著記錄的瘋狂式增長,Region就會分裂,不同的Region會被Master分發(fā)到不同的RegionServer上。

但是在HBase中,Region雖然是分布式存儲的最小單元,但并不存儲的最小單元。Region由一個或多個Store組成,每個Store保存一個Column Family,每個Store又由一個memStore和多個StoreFile組成,memStore存儲在內(nèi)存中,StoreFile則是在HDFS上,結(jié)構(gòu)如下所示:
分布式數(shù)據(jù)庫HBase,它到底是怎么組成的?,分布式,Hadoop,分布式,數(shù)據(jù)庫,hbase

HBase的架構(gòu)

HBase包含4個核心模塊,分別是客戶端(Client)、協(xié)調(diào)服務(wù)(Zookeeper)、主節(jié)點(HMaster)、從節(jié)點(HRegionServer)。

客戶端(Client)

Client是HBase系統(tǒng)的入口,可以通過Client來操作HBase。Client都是通過RPC調(diào)用來與HMaster和RegionServer通信。

Zookeeper

負責管理HMaster的選舉,保證集群中只有一個HMaster是Active狀態(tài),實時監(jiān)控HRegionServer狀態(tài)并通知給HMaster。存儲HBase的Schema和Table的元數(shù)據(jù)。

HMater

在HBase中可以啟動多個HMaster,但是在正常情況下只有一個HMaster是對外提供服務(wù)的,而其他的HMaster則負責備用(一主多從結(jié)構(gòu)),這些由zookeeper來控制。HMaster的主要作用如下:

  1. 管理用戶對表的CRUD操作。
  2. 調(diào)整HRegion的分布,管理HRegionServer的負載均衡。
  3. HRegion分裂后,負責將新的HRegion分配到其他的HRegionServer上。
  4. 當某個HRegionServer失效后,負責遷移HRegion到正常的HRegionServer上。

HRegionServer

主要負責響應客戶端的I/O請求。HRegionServer內(nèi)部維護了一系列的HRegion對象,一個HRegion對象等于一個Region,每個HRegion對應多個HStore,每個HStore對應一個列簇,每個列簇就是一個集中的存儲單元。

總體架構(gòu)如下:
分布式數(shù)據(jù)庫HBase,它到底是怎么組成的?,分布式,Hadoop,分布式,數(shù)據(jù)庫,hbase

結(jié)尾

HBase的總體結(jié)構(gòu)介紹到這里,后面會更新它的部署方式。文章來源地址http://www.zghlxwxcb.cn/news/detail-559760.html

到了這里,關(guān)于分布式數(shù)據(jù)庫HBase,它到底是怎么組成的?的文章就介紹完了。如果您還想了解更多內(nèi)容,請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章,希望大家以后多多支持TOY模板網(wǎng)!

本文來自互聯(lián)網(wǎng)用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務(wù),不擁有所有權(quán),不承擔相關(guān)法律責任。如若轉(zhuǎn)載,請注明出處: 如若內(nèi)容造成侵權(quán)/違法違規(guī)/事實不符,請點擊違法舉報進行投訴反饋,一經(jīng)查實,立即刪除!

領(lǐng)支付寶紅包贊助服務(wù)器費用

相關(guān)文章

  • 解釋什么是分布式數(shù)據(jù)庫,列舉幾種常見的分布式數(shù)據(jù)庫系統(tǒng)

    敏感信息和隱私保護是指在收集、存儲和使用個人數(shù)據(jù)時,需要采取一系列措施來保護這些數(shù)據(jù)的安全和機密性,防止數(shù)據(jù)被未經(jīng)授權(quán)的第三方訪問、使用或泄露。這些措施包括加密、訪問控制、數(shù)據(jù)脫敏、數(shù)據(jù)加密、隱私政策等。 在隱私保護的技術(shù)手段方面,常用的技術(shù)包

    2024年02月08日
    瀏覽(32)
  • 分布式數(shù)據(jù)庫架構(gòu)

    分布式數(shù)據(jù)庫架構(gòu)

    對于mysql架構(gòu),一定會使用到讀寫分離,在此基礎(chǔ)上有五種常見架構(gòu)設(shè)計:一主一從或多從、主主復制、級聯(lián)復制、主主與級聯(lián)復制結(jié)合。 1.1、主從復制 這種架構(gòu)設(shè)計是使用的最多的。在讀寫分離的基礎(chǔ)上,會存在一臺master作為寫機,一個或多個slave作為讀機。因為在實際的

    2024年02月10日
    瀏覽(31)
  • 分析型數(shù)據(jù)庫:分布式分析型數(shù)據(jù)庫

    分析型數(shù)據(jù)庫:分布式分析型數(shù)據(jù)庫

    分析型數(shù)據(jù)庫的另外一個發(fā)展方向就是以分布式技術(shù)來代替MPP的并行計算,一方面分布式技術(shù)比MPP有更好的可擴展性,對底層的異構(gòu)軟硬件支持度更好,可以解決MPP數(shù)據(jù)庫的幾個關(guān)鍵架構(gòu)問題。本文介紹分布式分析型數(shù)據(jù)庫。 — 背景介紹— 目前在分布式分析型數(shù)據(jù)庫領(lǐng)域,

    2023年04月14日
    瀏覽(52)
  • 分布式數(shù)據(jù)庫-事務(wù)一致性

    分布式數(shù)據(jù)庫-事務(wù)一致性

    version: v-2023060601 author: 路__ 分布式數(shù)據(jù)庫的“強一致性”應該包含兩個方面: serializability(串行) and linearizability(線性一致) ,上述圖為“Highly Available Transactions: Virtues and Limitations”論文中對于一致性模型的介紹。圖中箭頭表示一致性模型之間的關(guān)系。對于異步網(wǎng)絡(luò)上的分

    2024年02月08日
    瀏覽(28)
  • 分布式數(shù)據(jù)庫NoSQL(二)——MongoDB 數(shù)據(jù)庫基本操作

    分布式數(shù)據(jù)庫NoSQL(二)——MongoDB 數(shù)據(jù)庫基本操作

    MongoDB 是一個基于分布式文件存儲的數(shù)據(jù)庫。由 C++ 語言編寫。旨在為 WEB 應用提供可擴展的高性能數(shù)據(jù)存儲解決方案。 MongoDB 是一個介于關(guān)系數(shù)據(jù)庫和非關(guān)系數(shù)據(jù)庫之間的產(chǎn)品,是非關(guān)系數(shù)據(jù)庫當中功能最豐富,最像關(guān)系數(shù)據(jù)庫的。它支持的數(shù)據(jù)結(jié)構(gòu)非常松散,是類似 json 的

    2024年02月06日
    瀏覽(33)
  • 11.云原生分布式數(shù)據(jù)庫之TIDB

    11.云原生分布式數(shù)據(jù)庫之TIDB

    云原生專欄大綱 從后端視角、運維視角和基礎(chǔ)架構(gòu)視角來看,使用 TiDB 作為數(shù)據(jù)庫系統(tǒng)可以獲得分布式架構(gòu)、高可用性、強一致性、事務(wù)支持、水平擴展、高性能、簡化運維、靈活的擴展和配置、集成的監(jiān)控和告警等優(yōu)勢。這些優(yōu)勢使得 TiDB 成為處理大規(guī)模數(shù)據(jù)和高并發(fā)請求

    2024年02月01日
    瀏覽(26)
  • 分布式數(shù)據(jù)庫Apache Doris簡易體驗

    ???????????? 哈嘍!大家好,我是【IT邦德】,江湖人稱jeames007,10余年DBA及大數(shù)據(jù)工作經(jīng)驗 一位上進心十足的【大數(shù)據(jù)領(lǐng)域博主】!?????? 中國DBA聯(lián)盟(ACDU)成員,目前服務(wù)于工業(yè)互聯(lián)網(wǎng) 擅長主流Oracle、MySQL、PG、高斯及Greenplum運維開發(fā),備份恢復,安裝遷移,性能優(yōu)

    2024年02月06日
    瀏覽(29)
  • 聊聊分布式 SQL 數(shù)據(jù)庫Doris(八)

    聊聊分布式 SQL 數(shù)據(jù)庫Doris(八)

    密集索引:文件中的每個搜索碼值都對應一個索引值,就是葉子節(jié)點保存了整行. 稀疏索引:文件只為索引碼的某些值建立索引項. 稀疏索引的創(chuàng)建過程包括將集合中的元素分段,并給每個分段中的最小元素創(chuàng)建索引。在搜索時,先定位到第一個大于搜索值的索引的前一個索引

    2024年02月05日
    瀏覽(30)
  • 聊聊分布式 SQL 數(shù)據(jù)庫Doris(五)

    聊聊分布式 SQL 數(shù)據(jù)庫Doris(五)

    閱讀 Doris SQL 原理解析,總結(jié)下Doris中SQL解析流程: 詞法識別:解析原始SQL文本,拆分token 語法識別:將token轉(zhuǎn)換成AST 單機邏輯查詢計劃:將AST經(jīng)過一系列的優(yōu)化(比如,謂詞下推等)成查詢計劃,提高執(zhí)行性能與效率。 分布式邏輯查詢計劃:根據(jù)分布式環(huán)境(數(shù)據(jù)分布信息

    2024年02月05日
    瀏覽(36)
  • 聊聊分布式 SQL 數(shù)據(jù)庫Doris(二)

    聊聊分布式 SQL 數(shù)據(jù)庫Doris(二)

    Doris中,Leader節(jié)點與非Leader節(jié)點和Observer節(jié)點之間的元數(shù)據(jù)高可用和一致性,是通過bdbje(全稱:Oracle Berkeley DB Java Edition)的一致性和高可用實現(xiàn)的。 元數(shù)據(jù)與同步流程 元數(shù)據(jù)主要存儲四類數(shù)據(jù): 用戶數(shù)據(jù)信息. 包括數(shù)據(jù)庫, 表的schema, 分片信息等 各類作業(yè)信息. 如導入作業(yè), clo

    2024年02月05日
    瀏覽(27)

覺得文章有用就打賞一下文章作者

支付寶掃一掃打賞

博客贊助

微信掃一掃打賞

請作者喝杯咖啡吧~博客贊助

支付寶掃一掃領(lǐng)取紅包,優(yōu)惠每天領(lǐng)

二維碼1

領(lǐng)取紅包

二維碼2

領(lǐng)紅包