1.1 歡迎使用 Apache Hbase

1.1.1 什么是 Hbase?

• Apache HBase 是 Hadoop 數(shù)據(jù)庫(kù)，一種分布式，可擴(kuò)展的大數(shù)據(jù)存儲(chǔ)。

1.1.2 Hbase的前世今生

• Apache HBase 是一個(gè)開源、分布式、版本化、非關(guān)系數(shù)據(jù)庫(kù), 模仿了 Google 的Bigtable： Chang等人的結(jié)構(gòu)化數(shù)據(jù)分布式存儲(chǔ)系統(tǒng)。
• Apache HBase 在 Hadoop 和 HDFS 之上提供類似 Bigtable 的功能，正如 Bigtable 利用 Google 文件系統(tǒng)提供的分布式數(shù)據(jù)存儲(chǔ)一樣，

• Google在當(dāng)年發(fā)布了風(fēng)靡一時(shí)的“三篇論文”——GFS、MapReduce、BigTable。

  • 《 GFS: The Google File System 》
    • Google在GFS該論文中第一次揭示了如何在大量廉價(jià)機(jī)器基礎(chǔ)上存儲(chǔ)海量數(shù)據(jù)。
  • 《 MapReduce: Simplified Data Processing on Large Clusters》
    • 論文論述了如何在大量廉價(jià)機(jī)器的基礎(chǔ)上穩(wěn)定地實(shí)現(xiàn)超大規(guī)模的并行數(shù)據(jù)處理。
  • 《 BigTable: A Distributed Storage System for Structured Data》
    • 用于解決Google內(nèi)部海量結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)以及高效讀寫問題，BigTable屬于分布式數(shù)據(jù)庫(kù)領(lǐng)域。

• Google的三篇論文論證了在大量廉價(jià)機(jī)器上存儲(chǔ)、處理海量數(shù)據(jù)（結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)）是可行的，然而并沒有給出開源方案。

• 2004年，Doug Cutting和Mike Cafarella在為他們的搜索引擎爬蟲（Nutch）實(shí)現(xiàn)分布式架構(gòu)的時(shí)候看到了Google的GFS論文以及MapReduce論文。

• 他們?cè)谥蟮膸讉€(gè)月里按照論文實(shí)現(xiàn)出一個(gè)簡(jiǎn)易版的HDFS和MapReduce，這也就是Hadoop的最早起源。

• 最初這個(gè)簡(jiǎn)易系統(tǒng)確實(shí)可以穩(wěn)定地運(yùn)行在幾十臺(tái)機(jī)器上，但是沒有經(jīng)過(guò)大規(guī)模使用的系統(tǒng)談不上完美。

• 所幸他們收到了Yahoo的橄欖枝。

• 在Yahoo，Doug領(lǐng)導(dǎo)的團(tuán)隊(duì)不斷地對(duì)系統(tǒng)進(jìn)行改進(jìn)，促成了Hadoop從幾十臺(tái)到幾百臺(tái)再到幾千臺(tái)機(jī)器規(guī)模的演變，直到這個(gè)時(shí)候，大數(shù)據(jù)才真正在普通公司實(shí)現(xiàn)落地。

• 一家叫做Powerset的公司，為了高效處理自然語(yǔ)言搜索產(chǎn)生的海量數(shù)據(jù)實(shí)現(xiàn)了BigTable的開源版本——HBase，并在發(fā)展了2年之后被Apache收錄為頂級(jí)項(xiàng)目，正式入駐Hadoop生態(tài)系統(tǒng)。”

1.1.3 HBase的技術(shù)選型？

那么當(dāng)企業(yè)有什么業(yè)務(wù)場(chǎng)景下的時(shí)候，可以嘗試使用 Apache Hbase呢?

• 當(dāng)我們需要對(duì)大數(shù)據(jù)進(jìn)行隨機(jī)，實(shí)時(shí)讀/寫訪問時(shí)，可以使用 Apache Hbase.
• 該項(xiàng)目的目標(biāo)是在商用硬件集群之上托管非常大的表（數(shù)十億行 X 數(shù)百萬(wàn)列）。
• Apache HBase 是一個(gè)開源、分布式、版本化、非關(guān)系數(shù)據(jù)庫(kù)，模仿了 Google 的Bigtable： Chang 等人的結(jié)構(gòu)化數(shù)據(jù)分布式存儲(chǔ)系統(tǒng)。
• 正如 Bigtable 利用 Google 文件系統(tǒng)提供的分布式數(shù)據(jù)存儲(chǔ)一樣，Apache HBase 在 Hadoop 和 HDFS 之上提供類似 Bigtable 的功能。

1.1.3.1 不適合使用 HBase的場(chǎng)景

當(dāng)你的情況大體上符合以下任意一種的時(shí)候：

• 主要需求是數(shù)據(jù)分析，比如做報(bào)表。
• 單表數(shù)據(jù)量不超過(guò)千萬(wàn)。

請(qǐng)不要使用HBase，使用MySQL或者Oracle之類的產(chǎn)品可以讓你的腦細(xì)胞免受折磨。

1.1.3.2 適合使用 HBase的場(chǎng)景

當(dāng)你的情況是：

• 單表數(shù)據(jù)量超千萬(wàn)，而且并發(fā)還挺高。
• 數(shù)據(jù)分析需求較弱，或者不需要那么靈活或者實(shí)時(shí)。請(qǐng)使用HBase，它不會(huì)讓你失望的。

請(qǐng)使用HBase，它不會(huì)讓你失望的。

1.1.4 HBase的特點(diǎn)

• 線性和模塊化的可擴(kuò)展性。
• 讀寫嚴(yán)格一致。
• 自動(dòng)且可配置的表分片
• RegionServer 之間的自動(dòng)故障轉(zhuǎn)移支持。
• 用于使用 Apache HBase 表支持 Hadoop MapReduce 作業(yè)的便捷基類。
• 易于使用 Java API 進(jìn)行客戶端訪問。
• 用于實(shí)時(shí)查詢的塊緩存和布隆過(guò)濾器。
• 通過(guò)服務(wù)器端過(guò)濾器下推查詢謂詞
• Thrift 網(wǎng)關(guān)和支持 XML、Protobuf 和二進(jìn)制數(shù)據(jù)編碼選項(xiàng)的 REST-ful Web 服務(wù)
• 基于 jruby (JIRB) 的可擴(kuò)展 shell
• 支持通過(guò) Hadoop 指標(biāo)子系統(tǒng)將指標(biāo)導(dǎo)出到文件或 Ganglia； 或通過(guò) JMX

1.1.4.1 HBase的優(yōu)點(diǎn)

與其他數(shù)據(jù)庫(kù)相比，HBase在系統(tǒng)設(shè)計(jì)以及實(shí)際實(shí)踐中有很多獨(dú)特的優(yōu)點(diǎn)。

• 容量巨大：HBase的單表可以支持千億行、百萬(wàn)列的數(shù)據(jù)規(guī)模，數(shù)據(jù)容量可以達(dá)到TB甚至PB級(jí)別。傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)，如Oracle和MySQL等，如果單表記錄條數(shù)超過(guò)億行，讀寫性能都會(huì)急劇下降，在HBase中并不會(huì)出現(xiàn)這樣的問題。
• 良好的可擴(kuò)展性：HBase集群可以非常方便地實(shí)現(xiàn)集群容量擴(kuò)展，主要包括數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)擴(kuò)展以及讀寫服務(wù)節(jié)點(diǎn)擴(kuò)展。HBase底層數(shù)據(jù)存儲(chǔ)依賴于HDFS系統(tǒng)，HDFS可以通過(guò)簡(jiǎn)單地增加DataNode實(shí)現(xiàn)擴(kuò)展，HBase讀寫服務(wù)節(jié)點(diǎn)也一樣，可以通過(guò)簡(jiǎn)單的增加RegionServer節(jié)點(diǎn)實(shí)現(xiàn)計(jì)算層的擴(kuò)展。
• 稀疏性：HBase支持大量稀疏存儲(chǔ)，即允許大量列值為空，并不占用任何存儲(chǔ)空間。這與傳統(tǒng)數(shù)據(jù)庫(kù)不同，傳統(tǒng)數(shù)據(jù)庫(kù)對(duì)于空值的處理要占用一定的存儲(chǔ)空間，這會(huì)造成一定程度的存儲(chǔ)空間浪費(fèi)。因此可以使用HBase存儲(chǔ)多至上百萬(wàn)列的數(shù)據(jù)，即使表中存在大量的空值，也不需要任何額外空間。
• 高性能：HBase目前主要擅長(zhǎng)于OLTP場(chǎng)景，數(shù)據(jù)寫操作性能強(qiáng)勁，對(duì)于隨機(jī)單點(diǎn)讀以及小范圍的掃描讀，其性能也能夠得到保證。對(duì)于大范圍的掃描讀可以使用MapReduce提供的API，以便實(shí)現(xiàn)更高效的并行掃描。
• 多版本：HBase支持多版本特性，即一個(gè)KV可以同時(shí)保留多個(gè)版本，用戶可以根據(jù)需要選擇最新版本或者某個(gè)歷史版本。
• 支持過(guò)期：HBase支持TTL過(guò)期特性，用戶只需要設(shè)置過(guò)期時(shí)間，超過(guò)TTL的數(shù)據(jù)就會(huì)被自動(dòng)清理，不需要用戶寫程序手動(dòng)刪除。
• Hadoop原生支持：HBase是Hadoop生態(tài)中的核心成員之一，很多生態(tài)組件都可以與其直接對(duì)接。HBase數(shù)據(jù)存儲(chǔ)依賴于HDFS，這樣的架構(gòu)可以帶來(lái)很多好處，比如用戶可以直接繞過(guò)HBase系統(tǒng)操作HDFS文件，高效地完成數(shù)據(jù)掃描或者數(shù)據(jù)導(dǎo)入工作；再比如可以利用HDFS提供的多級(jí)存儲(chǔ)特性（Archival Storage Feature），根據(jù)業(yè)務(wù)的重要程度將HBase進(jìn)行分級(jí)存儲(chǔ)，重要的業(yè)務(wù)放到SSD，不重要的業(yè)務(wù)放到HDD。或者用戶可以設(shè)置歸檔時(shí)間，進(jìn)而將最近的數(shù)據(jù)放在SSD，將歸檔數(shù)據(jù)文件放在HDD。另外，HBase對(duì)MapReduce的支持也已經(jīng)有了很多案例，后續(xù)還會(huì)針對(duì)Spark做更多的工作。

1.1.4.2 HBase的缺點(diǎn)

任何一個(gè)系統(tǒng)都不會(huì)完美，HBase也一樣。HBase不能適用于所有應(yīng)用場(chǎng)景，例如：

• HBase本身不支持很復(fù)雜的聚合運(yùn)算（如Join、GroupBy等）。如果業(yè)務(wù)中需要使用聚合運(yùn)算，可以在HBase之上架設(shè)Phoenix組件或者Spark組件，前者主要應(yīng)用于小規(guī)模聚合的OLTP場(chǎng)景，后者應(yīng)用于大規(guī)模聚合的OLAP場(chǎng)景。
• HBase本身并沒有實(shí)現(xiàn)二級(jí)索引功能，所以不支持二級(jí)索引查找。好在針對(duì)HBase實(shí)現(xiàn)的第三方二級(jí)索引方案非常豐富，比如目前比較普遍的使用Phoenix提供的二級(jí)索引功能。
• HBase原生不支持全局跨行事務(wù)，只支持單行事務(wù)模型。同樣，可以使用Phoenix提供的全局事務(wù)模型組件來(lái)彌補(bǔ)HBase的這個(gè)缺陷。

可以看到，HBase系統(tǒng)本身雖然不擅長(zhǎng)某些工作領(lǐng)域，但是借助于Hadoop強(qiáng)大的生態(tài)圈，用戶只需要在其上架設(shè)Phoenix組件、Spark組件或者其他第三方組件，就可以有效地協(xié)同工作。

1.1.5 HBase設(shè)計(jì)架構(gòu)

• HBase體系結(jié)構(gòu)借鑒了BigTable論文，是典型的Master-Slave模型。
• 系統(tǒng)中有一個(gè)管理集群的Master節(jié)點(diǎn)以及大量實(shí)際服務(wù)用戶讀寫的RegionServer節(jié)點(diǎn)。
• 除此之外，HBase中所有數(shù)據(jù)最終都存儲(chǔ)在HDFS系統(tǒng)中，這與BigTable實(shí)際數(shù)據(jù)存儲(chǔ)在GFS中相對(duì)應(yīng)；系統(tǒng)中還有一個(gè)ZooKeeper節(jié)點(diǎn)，協(xié)助Master對(duì)集群進(jìn)行管理。

HBase體系結(jié)構(gòu)如圖1-6所示。
文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-663475.html

• 從HBase的部署架構(gòu)上來(lái)說(shuō)，HBase有兩種服務(wù)器：Master服務(wù)器和RegionServer服務(wù)器。
• 一般一個(gè)HBase集群有一個(gè)Master服務(wù)器和幾個(gè)RegionServer服務(wù)器。
• 每個(gè)模塊的職責(zé)功能:
  
  • Client
    • HBase客戶端（Client）提供了Shell命令行接口、原生Java API編程接口、Thrift/REST API編程接口以及MapReduce編程接口。
    • HBase客戶端支持所有常見的DML操作以及DDL操作，即數(shù)據(jù)的增刪改查和表的日常維護(hù)等.
  • Master
    • Master服務(wù)器負(fù)責(zé)維護(hù)表結(jié)構(gòu)信息，實(shí)際的數(shù)據(jù)都存儲(chǔ)在RegionServer服務(wù)器上)
    • 客戶端獲取數(shù)據(jù)由客戶端直連RegionServer的，所以你會(huì)發(fā)現(xiàn)Master掛掉之后你依然可以查詢數(shù)據(jù)，但就是不能新建表了
  • RegionServer
    • RegionServer是直接負(fù)責(zé)存儲(chǔ)數(shù)據(jù)的服務(wù)器。
  • HDFS
    • RegionServer保存的表數(shù)據(jù)直接存儲(chǔ)在Hadoop的HDFS上；
    • HBase底層依賴HDFS組件存儲(chǔ)實(shí)際數(shù)據(jù)，包括用戶數(shù)據(jù)文件、HLog日志文件等最終都會(huì)寫入HDFS落盤。
  • Zookeeper:
    • 客戶端每次與HBase連接，其實(shí)都是先與ZooKeeper通信
    • ZooKeeper管理了HBase所有RegionServer的信息，包括具體的數(shù)據(jù)段存放在哪個(gè)RegionServer上。
    • 查詢出哪個(gè)RegionServer需要連接，然后再連接RegionServer。
    • 實(shí)現(xiàn)Master高可用
    • 管理系統(tǒng)核心元數(shù)據(jù)
    • 參與RegionServer宕機(jī)恢復(fù)
    • 實(shí)現(xiàn)分布式表鎖

1.2 附錄

1.2.1功能模塊與職責(zé)詳情

1.2.2 HBase中的基本概念

1.2.3 本文中涉及的思維導(dǎo)圖原件下載

• 點(diǎn)擊下載 揭開HBase的神秘面紗思維導(dǎo)圖原件

到了這里，關(guān)于1. HBase中文學(xué)習(xí)手冊(cè)之揭開Hbase的神秘面紗的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！