?一,分布式系統(tǒng)概述
Hadoop的兩大核心組件
HDFS(Hadoop Distributed Filesystem):是一個(gè)易于擴(kuò)展的分布式文件系統(tǒng),運(yùn)行在成百上千臺(tái)低成本的機(jī)器上。HDFS具有高度容錯(cuò)能力,旨在部署在低成本機(jī)器上。HDFS主要用于對(duì)海量文件信息進(jìn)行存儲(chǔ)和管理,也就是解決大數(shù)據(jù)文件(如TB乃至PB級(jí))的存儲(chǔ)問題,是目前應(yīng)用最廣泛的分布式文件系統(tǒng)。
分布式系統(tǒng)的演變:
傳統(tǒng)文件系統(tǒng)遇到的問題 :
傳統(tǒng)文件系統(tǒng)的問題:
?當(dāng)數(shù)據(jù)量越來越大時(shí),會(huì)遇到存儲(chǔ)瓶頸,需要擴(kuò)容;
?由于文件過大,上傳下載都非常耗時(shí)
分布式文件系統(tǒng)的雛形:
?橫向擴(kuò)容,即增加服務(wù)器數(shù)量,構(gòu)成計(jì)算機(jī)集群
?將大文件切割成多個(gè)數(shù)據(jù)塊,將數(shù)據(jù)塊以并行的方式,分布地在多個(gè)計(jì)算機(jī)節(jié)點(diǎn)上進(jìn)行存儲(chǔ)、讀取
DHFS集群架構(gòu):
- 普通Hadoop集群結(jié)構(gòu)由一個(gè)兩階網(wǎng)絡(luò)構(gòu)成。
- 機(jī)架內(nèi)的節(jié)點(diǎn)之間、機(jī)架之間,通過光纖高速交換機(jī)完成彼此的連接與交互。
- 每個(gè)機(jī)架(Rack)有30-40個(gè)服務(wù)器,配置一個(gè)1GB的交換機(jī),并向上連接到一個(gè)核心交換機(jī)或者路由器(1GB或以上)。
?HDFS的集群中的節(jié)點(diǎn)分為兩類:

支持超大文件 | 流式數(shù)據(jù)讀寫 | 高數(shù)據(jù)吞吐量 | 硬件設(shè)備要求低 | 高容錯(cuò)性 | …… |
? 一次寫入、多次讀取的流式數(shù)據(jù)訪問模式:
?一次寫入: | 從數(shù)據(jù)源收集或生成的數(shù)據(jù)集,向HDFS中的文件一次性寫入,關(guān)閉之后不可修改,只能在文件末尾追加。 |
?多次讀取: | 在該數(shù)據(jù)集上進(jìn)行各種分析,每次分析都需要讀取該數(shù)據(jù)集的大部分甚至全部數(shù)據(jù) |
?流式數(shù)據(jù)訪問: | 讀取數(shù)據(jù)文件就像流水一樣,不是一次性過來而是 “流”過來,來一部分、處理一部分。例如,下載電影,用迅雷邊下邊播。 |
?DHFS的缺點(diǎn):
不適合低延遲數(shù)據(jù)訪問 | 無法高效存儲(chǔ)大量小文件 | 不支持多用戶寫入和修改 | …… |
無法高效存儲(chǔ)大量小文件:
由于名稱節(jié)點(diǎn)將HDFS文件系統(tǒng)的元數(shù)據(jù)存儲(chǔ)在內(nèi)存中,因此該文件系統(tǒng)所能存儲(chǔ)的文件總數(shù)受限于名稱節(jié)點(diǎn)的內(nèi)存容量。一般每個(gè)文件、目錄和數(shù)據(jù)塊的元數(shù)據(jù)存儲(chǔ)信息大約占150字節(jié)(B)。因此,如果有一百萬個(gè)文件,且每個(gè)文件占一個(gè)數(shù)據(jù)塊,那至少需要300MB的內(nèi)存。盡管存儲(chǔ)上百萬個(gè)文件是可行的,但是存儲(chǔ)數(shù)十億個(gè)文件就超出了當(dāng)前硬件的能力。
二,相關(guān)的概念
1,(block)數(shù)據(jù)塊的概念:

2,元數(shù)據(jù)

3,(NameNode)名稱結(jié)點(diǎn)(我的理解是代理服務(wù)器)
???? 主要作用:
4,(DtaNode)數(shù)據(jù)節(jié)點(diǎn)
??? 數(shù)據(jù)節(jié)點(diǎn)是HDFS集群中的從服務(wù)器,稱為數(shù)據(jù)節(jié)點(diǎn),它與NameNode保持不斷的通信,其主要作用:文章來源:http://www.zghlxwxcb.cn/news/detail-416451.html

? ? ? 以上僅僅是我的理解,僅供參考。文章來源地址http://www.zghlxwxcb.cn/news/detail-416451.html
到了這里,關(guān)于大數(shù)據(jù)——HDFS(分布式文件系統(tǒng))的文章就介紹完了。如果您還想了解更多內(nèi)容,請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章,希望大家以后多多支持TOY模板網(wǎng)!