HDFS shell大致可以分為操作命令、管理命令、其他命令三類。
注意：當(dāng)命令以“$”開頭時(shí)，當(dāng)前用戶為普通用戶；以“#”開頭時(shí)，當(dāng)前用戶為root用戶。
1 操作命令
操作命令是以“hdfs dfs”開頭的命令，用戶可以通過(guò)執(zhí)行這些命令，完成對(duì)文件的查找、上傳、刪除等操作。
1.1 創(chuàng)建文件夾
hdfs dfs -mkdir [-p] <paths>
[-p]：表示如果父目錄不存在，先創(chuàng)建父目錄
示例代碼如下：
#新建文件夾/202012716/mydemo2
hdfs dfs -mkdir /202012716/mydemo2
#新建文件夾/202012716/mydemo/x/y/z
hdfs dfs -mkdir -p /202012716/mydemo/x/y/z
#在/202012716目錄下新建文件夾mydemo3、mydemo4、mydemo5
hdfs dfs -mkdir /202012716/mydemo3 /202012716/mydemo4 /202012716/mydemo5
1.2 列出指定的文件和目錄
hdfs dfs -ls [-d] [-h] [-R] <paths>
[-d]：返回path。
[-h]：顯示文件大小。
[-R]：級(jí)聯(lián)顯示paths下的文件
示例 列出HDFS文件下名為/202012716/mydemo的文件夾中的文件：
hdfs dfs -ls /202012716/mydemo
輸出為：
1.3 上傳文件
hdfs dfs -put [-f] [-p] <localsrc> <dst>
hdfs dfs -copyFromLocal [-f] [-p] [-l] <localsrc> <dst>
put 或copyFromLocal 命令是將本地文件上傳到HDFS。
localsre：表示本地文件路徑。
dst：表示保存在HDFS上的路徑。
示例 將本地文件上傳到HDFS上：
#將本地目錄txt1.txt文件上傳到HDFS并重命名為hdfs1.txt
hdfs dfs -put txt1.txt /202012716/mydemo/hdfs1.txt
#將本地目錄txt2.txt文件上傳到HDFS并重命名為hdfs2.txt
hdfs dfs -copyFromLocal txt2.txt /202012716/mydemo/hdfs2.txt
1.4 下載文件
hdfs dfs -get [-p] <src> <localdst>
hdfs dfs -copyToLocal [-p] [-ignoreCrc] [-crc] <src> <localdst>
get 或copyToLocal 命令是將把文件從分布式系統(tǒng)保存至本地。
示例 將hdfs中的文件保存到本地并重命名：
#將HDFS中的hdfs1.txt文件復(fù)制到本地系統(tǒng)并重命名為txt11.txt
hdfs dfs -get /202012716/mydemo/hdfs1.txt txt11.txt
#將HDFS中的hdfs3.txt文件復(fù)制到本地系統(tǒng)并重命名為txt3.txt
hdfs dfs -copyToLocal /202012716/mydemo/hdfs3.txt txt3.txt
1.5 查看文件
hdfs dfs -cat/text [-ignoreCrc] <src>
hdfs dfs -tail [-f] <file>
-ignoreCrc：忽略循環(huán)檢驗(yàn)失敗的文件。
-f：動(dòng)態(tài)更新顯示數(shù)據(jù)。
示例 查看HDFS下/202012716/mydemo/hdfs2.txt文件中的內(nèi)容：
hdfs dfs -cat /202012716/mydemo/hdfs2.txt
輸出為：
1.6 刪除目錄或文件
hdfs dfs -rm [-f] [-r] <src>
-f：如果要?jiǎng)h除的文件不存在，不顯示錯(cuò)位信息。
-r/R：級(jí)聯(lián)刪除目錄下所有文件和子目錄下的文件。
示例 刪除HDFS下名為hdfs3的文件：
#級(jí)聯(lián)刪除hdfs3.txt
hdfs dfs -rm -r /202012716/mydemo/hdfs3.txt
輸出為：
1.7 文件或文件夾的復(fù)制、移動(dòng)
這里是hdfs內(nèi)部的文件移動(dòng)和復(fù)制，與文件和從本地到分布式系統(tǒng)的移動(dòng)不同。
hdfs dfs -cp [-f] [-p|-p[topax]] <src> <dst>
hdfs dfs -mv <src> <dst>
文件復(fù)制cp命令的參數(shù)：
-f：如果目標(biāo)文件存在，將其強(qiáng)行覆蓋。
-p：將保存文件的屬性。
示例 將hdfs1.txt復(fù)制到hdfs3.txt中，將hdfs3.txt移動(dòng)到hdfs4.txt中：
hdfs dfs -cp /202012716/mydemo/hdfs1.txt /202012716/mydemo/hdfs3.txt
hdfs dfs -mv /202012716/mydemo/hdfs3.txt /202012716/mydemo/hdfs4.txt
1.8 count統(tǒng)計(jì)
hdfs dfs -count [-p] [-h] <path>
count統(tǒng)計(jì)某個(gè)目錄下的子目錄與文件的個(gè)數(shù)及文件大小，統(tǒng)計(jì)結(jié)果包含目錄數(shù)、文件數(shù)、文件大小。
示例如下：
先將/202012716/mydemo下的文件合并成一個(gè)文件merge.txt，并用命令查看merge.txt的內(nèi)容。
#合并文件
hdfs dfs -getmerge /202012716/mydemo merge.txt
#查看merge.txt
cat merge.txt
merge.txt文件內(nèi)容如下：
查看/202012716/mydemo的目錄個(gè)數(shù)、文件個(gè)數(shù)、文件總計(jì)大小
hdfs dfs -count /202012716/mydemo
輸出為：
1.9 顯示占用的磁盤空間大小
hdfs dfs -du [-s] [-h] <path>
按字節(jié)顯示指定目錄所占空間大小。
-s：顯示目錄下文件總的大小。
-h：表示按照人性化的單位顯示文件大小。
示例 查看/202012716/mydemo目錄下文件的大?。?/p>
hdfs dfs -du /202012716/mydemo
輸出為：
2 管理命令
管理命令是以“hdfs dfsadmin”開頭的命令。
2.1 安全模式相關(guān)
安全模式是HDFS所處的一種特殊狀態(tài),在這種狀態(tài)下,文件系統(tǒng)只接受讀數(shù)據(jù)請(qǐng)求,而不接受刪除、修改等變更請(qǐng)求。
查看用戶是否處于安全模式：
hdfs dfsadmin -safemode get
進(jìn)入安全模式：
hdfs dfsadmin -safemode enter
離開安全模式：
hdfs dfsadmin -safemode leave
2.2 快照
快照功能為虛擬機(jī)保存了某個(gè)狀態(tài)，若系統(tǒng)遭到某種破壞，可快速?gòu)?fù)原。
開啟和禁用快照功能：
#開啟/202012716/mydemo的快照功能
hdfs dfsadmin -allowSnapshot /202012716/mydemo
#關(guān)閉/202012716/mydemo2的快照功能
hdfs dfsadmin -disallowSnapshot /202012716/mydemo
創(chuàng)建、重命名和刪除快照：文章來(lái)源：http://www.zghlxwxcb.cn/news/detail-410086.html
#為/202012716/mydemo創(chuàng)建快照s1
hdfs dfsadmin -createSnapshot /202012716/mydemo
#將/202012716/mydemo的快照改名為s2
hdfs dfsadmin -renameSnapshot /202012716/mydemo s1 s2
#刪除快照s2
hdfs dfsadmin -deleteSnapshot /202012716/mydemo s2
3 其他命令
我們把操作命令"hdfs dfs"、管理命令"hdfs dfsadmin"之外的命令稱為其他命令。
下面是輸入“hdfs”后支持的所有子命令：
文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-410086.html
到了這里，關(guān)于Hadoop大數(shù)據(jù)技術(shù)-通過(guò)shell命令訪問(wèn)HDFS的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！
