HDFS
整體概述舉例：
包括機架 rack1、rack2 包括5個Datanode,一個Namenode(主角色)帶領(lǐng)5個Datanode(從角色)，每一個rack中包含不同的block模塊文件為分塊存儲模式。塊與塊之間通過replication進行副本備份，進行冗余存儲，Namenode對存儲的元數(shù)據(jù)進行記錄。該架構(gòu)可以概括為一個抽象統(tǒng)一的目錄樹結(jié)構(gòu)。
-
主從架構(gòu)
HDFS集群是標(biāo)準(zhǔn)的master/slave主從架構(gòu)群，一般一個HDFS集群有一個Namenode和一定數(shù)目的Datanode組成，Namenode是HDFS主節(jié)點（維護元數(shù)據(jù)），Datanode（管理數(shù)據(jù)塊）是HDFS從節(jié)點，兩種角色共同完成分布式文件的存儲服務(wù)。
-
分塊存儲
HDFS中文件在物理上是分塊存儲的，每一塊默認(rèn)大小是128M，不足128M則自身為一塊。
塊的大小可以通過配置參數(shù)來規(guī)定，位于hdfs-default.xml中，dfs.blocksize。
-
副本機制
文件的每個block都會有副本，副本系數(shù)可以在文件創(chuàng)建的時候指定，也可以在之后通過命令改變，副本數(shù)量由參數(shù)dfs.replication控制，默認(rèn)數(shù)為3，連同本身共三塊副本。
-
元數(shù)據(jù)（解釋型數(shù)據(jù)）管理
HDFS中元數(shù)據(jù)包括兩種類型：
1）文件自身屬性信息：文件名稱、權(quán)限，修改時間、文件大小、復(fù)制因子、數(shù)據(jù)塊大小。
2）文件塊位置映射信息：記錄文件塊和Datenode之間的映射信息，即哪個塊位于哪個節(jié)點上。
-
抽象目錄樹（namespace）
即傳統(tǒng)的層次文件組織結(jié)構(gòu)。用戶可以創(chuàng)建目錄，然后將文件保存在目錄中，Namenode負(fù)責(zé)維護文件系統(tǒng)的namespace名稱空間，任何對文件系統(tǒng)名稱空間或?qū)傩缘男薷亩紝⒈籒amenode記錄下。
-
數(shù)據(jù)塊存儲
文件各個block的具體存儲管理由DataNode節(jié)點承擔(dān)，每一個block都可以在多個DataNode上存儲。
常用操作
文件系統(tǒng)的shell命令 hadoop fs [generic options]
hadoop fs -ls file:/// #操作本地文件系統(tǒng)
hadoop fs -ls hdfs://node1:8020/ #操作HDFS分布文件系統(tǒng)
hadoop fs -ls / #直接根目錄，沒有指定協(xié)議，將加載讀取fs.defaultFS
? 2.創(chuàng)建文件夾 hadoop fs -mkdir [-p]
… (-p 沿著路徑創(chuàng)建父目錄)
? 3.查看指定目錄下內(nèi)容 hadoop fs -ls [-h] [-R] [
…]
? 4.上傳文件到HDFS指定目錄下 hadoop fs -put [-f] [-p] … ( -f覆蓋目標(biāo)文件【已經(jīng)存在下】，-p保留訪問和修改時間，所有權(quán)和權(quán)限，localsrc本地文件系統(tǒng)， dst目標(biāo)文件系統(tǒng))
? 5.查看HDFS文件內(nèi)容 hadoop fs -cat … 讀取指定文件全部內(nèi)容，顯示在標(biāo)準(zhǔn)輸出控制臺。
? 6.下載HDFS文件 hadoop fs -get [-f] [-p] … (下載文件到本地文件系統(tǒng)指定目錄， localdst必須是目錄， -f 覆蓋目標(biāo)文件 -p保留訪問和修改時間，所有權(quán)和權(quán)限)
? 7.拷貝HDFS文件 hadoop fs -cp [-f] …(-f 覆蓋目標(biāo)文件)
? 8.追加數(shù)據(jù)到HDFS文件中 hadoop fs -appendToFile …(將所有給定本地文件的內(nèi)容追加到給定dst文件，dst如果不存在，將創(chuàng)建該文件)文章來源：http://www.zghlxwxcb.cn/news/detail-599706.html
工作流程
文章來源地址http://www.zghlxwxcb.cn/news/detail-599706.html
- 管道傳輸
- ACK校驗
- 副本原則
到了這里，關(guān)于HDFS Hadoop分布式文件存儲系統(tǒng)整體概述的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！
