?一，分布式系統(tǒng)概述
Hadoop的兩大核心組件
HDFS（Hadoop Distributed Filesystem）：是一個(gè)易于擴(kuò)展的分布式文件系統(tǒng)，運(yùn)行在成百上千臺(tái)低成本的機(jī)器上。HDFS具有高度容錯(cuò)能力，旨在部署在低成本機(jī)器上。HDFS主要用于對(duì)海量文件信息進(jìn)行存儲(chǔ)和管理，也就是解決大數(shù)據(jù)文件（如TB乃至PB級(jí)）的存儲(chǔ)問題，是目前應(yīng)用最廣泛的分布式文件系統(tǒng)。
分布式系統(tǒng)的演變：
傳統(tǒng)文件系統(tǒng)遇到的問題 ：
傳統(tǒng)文件系統(tǒng)的問題：
?當(dāng)數(shù)據(jù)量越來越大時(shí)，會(huì)遇到存儲(chǔ)瓶頸，需要擴(kuò)容；
?由于文件過大，上傳下載都非常耗時(shí)
分布式文件系統(tǒng)的雛形：
?橫向擴(kuò)容，即增加服務(wù)器數(shù)量，構(gòu)成計(jì)算機(jī)集群
?將大文件切割成多個(gè)數(shù)據(jù)塊，將數(shù)據(jù)塊以并行的方式，分布地在多個(gè)計(jì)算機(jī)節(jié)點(diǎn)上進(jìn)行存儲(chǔ)、讀取
DHFS集群架構(gòu)：
- 普通Hadoop集群結(jié)構(gòu)由一個(gè)兩階網(wǎng)絡(luò)構(gòu)成。
- 機(jī)架內(nèi)的節(jié)點(diǎn)之間、機(jī)架之間，通過光纖高速交換機(jī)完成彼此的連接與交互。
- 每個(gè)機(jī)架（Rack）有30-40個(gè)服務(wù)器，配置一個(gè)1GB的交換機(jī)，并向上連接到一個(gè)核心交換機(jī)或者路由器（1GB或以上）。
?HDFS的集群中的節(jié)點(diǎn)分為兩類：
| 支持超大文件 | 流式數(shù)據(jù)讀寫 | 高數(shù)據(jù)吞吐量 | 硬件設(shè)備要求低 | 高容錯(cuò)性 | …… |
? 一次寫入、多次讀取的流式數(shù)據(jù)訪問模式：
| ?一次寫入： | 從數(shù)據(jù)源收集或生成的數(shù)據(jù)集，向HDFS中的文件一次性寫入，關(guān)閉之后不可修改，只能在文件末尾追加。 |
| ?多次讀取： | 在該數(shù)據(jù)集上進(jìn)行各種分析，每次分析都需要讀取該數(shù)據(jù)集的大部分甚至全部數(shù)據(jù) |
| ?流式數(shù)據(jù)訪問： | 讀取數(shù)據(jù)文件就像流水一樣，不是一次性過來而是 “流”過來，來一部分、處理一部分。例如，下載電影，用迅雷邊下邊播。 |
?DHFS的缺點(diǎn)：
| 不適合低延遲數(shù)據(jù)訪問 | 無法高效存儲(chǔ)大量小文件 | 不支持多用戶寫入和修改 | …… |
無法高效存儲(chǔ)大量小文件：
由于名稱節(jié)點(diǎn)將HDFS文件系統(tǒng)的元數(shù)據(jù)存儲(chǔ)在內(nèi)存中，因此該文件系統(tǒng)所能存儲(chǔ)的文件總數(shù)受限于名稱節(jié)點(diǎn)的內(nèi)存容量。一般每個(gè)文件、目錄和數(shù)據(jù)塊的元數(shù)據(jù)存儲(chǔ)信息大約占150字節(jié)（B）。因此，如果有一百萬個(gè)文件，且每個(gè)文件占一個(gè)數(shù)據(jù)塊，那至少需要300MB的內(nèi)存。盡管存儲(chǔ)上百萬個(gè)文件是可行的，但是存儲(chǔ)數(shù)十億個(gè)文件就超出了當(dāng)前硬件的能力。
二，相關(guān)的概念
1,(block）數(shù)據(jù)塊的概念：
2，元數(shù)據(jù)
3,(NameNode）名稱結(jié)點(diǎn)（我的理解是代理服務(wù)器）
???? 主要作用：
4,(DtaNode)數(shù)據(jù)節(jié)點(diǎn)
??? 數(shù)據(jù)節(jié)點(diǎn)是HDFS集群中的從服務(wù)器，稱為數(shù)據(jù)節(jié)點(diǎn)，它與NameNode保持不斷的通信，其主要作用：文章來源：http://www.zghlxwxcb.cn/news/detail-416451.html
? ? ? 以上僅僅是我的理解，僅供參考。文章來源地址http://www.zghlxwxcb.cn/news/detail-416451.html
到了這里，關(guān)于大數(shù)據(jù)——HDFS(分布式文件系統(tǒng)）的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！
