Hadoop是根據(jù)Google三大論文為基礎研發(fā)的，Google 三大論文分別是: MapReduce、 GFS和BigTable。

Hadoop的核心是兩個部分：

一、分布式存儲（HDFS，Hadoop Distributed File System）。

二、分布式計算（MapReduce）。

MapReduce

MapReduce是“ 任務的分解與結果的匯總”。

Map把數(shù)據(jù)切分——分布式存放、計算。

Reduce把分布計算得到的結果進行整合，匯總（Shuffle）得出最終的結果。

MapReduce是一種“分治”計算思想，把一個大任務分割成許多小單元，最后再將每個小任務單元結果匯總，求得最終結果。

HDFS

HDFS把文件切分成block塊進行存儲（默認block大小尺寸為128m），然后這些block塊被復制到多個計算機中（DataNode）。這有一個容錯機制，副本策略，默認一塊數(shù)據(jù)會有三個block，當前機器存儲一份（數(shù)據(jù)本地化），另外一個機架存儲一份，該機架的不同機器存儲一份。

Hadoop在處理大數(shù)據(jù)時候特別需要注意：

1、?? ?非常適合處理超大規(guī)模的數(shù)據(jù)集（TB，PB量級），非常不適合處理大量小文件。

2、?? ?Hadoop一次寫入，多次讀寫。Hadoop不支持隨機修改文件。

3、Hadoop數(shù)據(jù)處理高延遲，數(shù)據(jù)的實時性不高。原因很顯然，因為處理的數(shù)據(jù)規(guī)模非常大且是以分布式方式存儲，讀寫訪問需要花費更多時間。

Hadoop特點總結：不適合低延遲數(shù)據(jù)訪問、無法高效存儲大量小文件、不支持多用戶寫入及任意修改文件。

Hive

簡單說，Hive提供了一種獨特的SQL查詢語句，使得熟悉SQL的開發(fā)者通過編寫SQL語句即可訪問Hadoop存儲的海量數(shù)據(jù)，通過hive的SQL查詢語句，開發(fā)者可以在一定程度上繞過MapReduce。hive可以用SQL的語言轉化成Map Reduce任務對hdfs數(shù)據(jù)的查詢分析。hive的使用者無需寫Map Reduce任務，掌握SQL可完成查詢分析工作。

Hbase

Hbase是一種NoSQL數(shù)據(jù)庫。HBase是非關系型數(shù)據(jù)庫(Nosql)，在某些業(yè)務場景下，數(shù)據(jù)存儲查詢在Hbase的使用效率更高。

自我介紹一下，小編13年上海交大畢業(yè)，曾經(jīng)在小公司待過，也去過華為、OPPO等大廠，18年進入阿里一直到現(xiàn)在。

深知大多數(shù)初中級Android工程師，想要提升技能，往往是自己摸索成長或者是報班學習，但對于培訓機構動則近萬的學費，著實壓力不小。自己不成體系的自學效果低效又漫長，而且極易碰到天花板技術停滯不前！

因此收集整理了一份《2024年Android移動開發(fā)全套學習資料》，初衷也很簡單，就是希望能夠幫助到想自學提升又不知道該從何學起的朋友，同時減輕大家的負擔。

既有適合小白學習的零基礎資料，也有適合3年以上經(jīng)驗的小伙伴深入學習提升的進階課程，基本涵蓋了95%以上Android開發(fā)知識點，真正體系化！

由于文件比較大，這里只是將部分目錄截圖出來，每個節(jié)點里面都包含大廠面經(jīng)、學習筆記、源碼講義、實戰(zhàn)項目、講解視頻，并且會持續(xù)更新！

如果你覺得這些內容對你有幫助，可以掃碼獲取?。。▊渥ⅲ篈ndroid）

寫在最后

今天關于面試的分享就到這里，還是那句話，有些東西你不僅要懂，而且要能夠很好地表達出來，能夠讓面試官認可你的理解，例如Handler機制，這個是面試必問之題。有些晦澀的點，或許它只活在面試當中，實際工作當中你壓根不會用到它，但是你要知道它是什么東西。

最后在這里小編分享一份自己收錄整理上述技術體系圖相關的幾十套騰訊、頭條、阿里、美團等公司的面試題，把技術點整理成了視頻和PDF（實際上比預期多花了不少精力），包含知識脈絡 + 諸多細節(jié)，由于篇幅有限，這里以圖片的形式給大家展示一部分。

還有?高級架構技術進階腦圖、Android開發(fā)面試專題資料，高級進階架構資料 幫助大家學習提升進階，也節(jié)省大家在網(wǎng)上搜索資料的時間來學習，也可以分享給身邊好友一起學習。

【Android核心高級技術PDF文檔，BAT大廠面試真題解析】

【算法合集】

【延伸Android必備知識點】

《Android學習筆記總結+移動架構視頻+大廠面試真題+項目實戰(zhàn)源碼》，點擊傳送門即可獲取！

78)]文章來源地址http://www.zghlxwxcb.cn/news/detail-857615.html

《Android學習筆記總結+移動架構視頻+大廠面試真題+項目實戰(zhàn)源碼》，點擊傳送門即可獲?。?/strong>

到了這里，關于大數(shù)據(jù)：Hadoop基礎常識hive，hbase，MapReduce，Spark的文章就介紹完了。如果您還想了解更多內容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關文章，希望大家以后多多支持TOY模板網(wǎng)！