前言

主要涉及HDFS shell操作命令，包括創(chuàng)建目錄或文件、查看目錄或文件、上傳和拷貝文件到HDFS上、追加數(shù)據(jù)到HDFS上、從HDFS上下載文件到Linux本地、合并HDFS上多個文件并下載、刪除HDFS上的文件、查看各種命令的用法等。文章來源地址http://www.zghlxwxcb.cn/news/detail-714230.html

一、HDFS的相關(guān)命令

1、在HDFS創(chuàng)建目錄

#hdfs dfs -mkdir /要創(chuàng)建的目錄
hdfs dfs -mkdir /data
# -p表示創(chuàng)建多級目錄，父目錄和子目錄一起
hdfs dfs -mkdir -p /usr/opt/data

2、查看當前目錄

#ls 目錄名xxx:列出目錄名下的可見文件
#查看data目錄下的所有可見內(nèi)容
hdfs dfs -ls /usr/opt/data
#查看hdfs根目錄下的內(nèi)容
hdfs dfs -ls /
#查看本地Linux系統(tǒng)根目錄下的內(nèi)容
hdfs dfs -ls file:/// #相當于 ls /
#查看hdfs上目錄
hdfs dfs -ls hdfs://hadoop100:8020/
#顯示文件size
hdfs dfs -ls -h /data

3、查看目錄與子目錄

#查看根目錄下的目錄以及目錄下的子目錄
hdfs dfs -ls -R/

4、查看文件的內(nèi)容

#-cat命令：將文件內(nèi)容顯示出來(適合小文件)
hdfs dfs -cat /usr/opt/data/a.txt
#-haed命令：查看文件前1KB的內(nèi)容
hdfs dfs -head /usr/opt/data/a.txt
#-tail命令：查看文件最后1KB的內(nèi)容
hdfs dfs -tail /usr/opt/data/a.txt
#-tail -f命令：可以動態(tài)顯示文件中追加的內(nèi)容
#在Linux系統(tǒng)中
tail -f 1.txt 
#hdfs
hdfs dfs -tail -f /usr/opt/data/a.txt

5、創(chuàng)建文件

#本地創(chuàng)建文件 touch
touch a.txt b.txt c.txt
#創(chuàng)建不存在的文件，連續(xù)創(chuàng)建多個空文件，用空格隔開

6、上傳和拷貝文件

#-put命令：從本地文件系統(tǒng)拷貝到HDFS，其中/xxx/xxx/為hdfs中的路徑
hdfs dfs -put a.txt /usr/opt/data
#-copyFromLocal命令：從本地文件系統(tǒng)拷貝到HDFS，效果與-put命令等同
hdfs dfs -copyFromLocal b.txt /usr/opt/data
#-moveFromLocal命令：從本地文件系統(tǒng)剪切到HDFS，命令執(zhí)行完后本地文件就沒有了
hdfs dfs -moveFromLocal c.txt /usr/opt/data

7、追加數(shù)據(jù)到HDFS文件中

#-appendToFile命令：將所有給定本地文件的內(nèi)容追加到hdfs文件，hdf文件不存在，則創(chuàng)建該文件
hdfs dfs -appendToFile d.txt /usr/opt/data/a.txt

8、下載文件到Linux本地系統(tǒng)

#-get命令：獲取文件
#將hdfs上的a.txt文件，下載到本地Linux系統(tǒng)的root目錄下
hdfs dfs -get /usr/opt/data/a.txt /root/

9、合并HDFS上多個小文件，并下載到本地

#-getmerge命令：將hdfs中的文件合并到本地文件系統(tǒng)的單個文件
#將hdfs上data目錄下的文件，合并，并下載到Linux系統(tǒng)的指定目錄下
hdfs dfs -getmerge /usr/opt/data/ /opt/merge
#-getmerge -nl命令：在每個文件末尾添加換行符
#-getmerge -skip-empty-file命令：跳過空文件進行合并

10、刪除HDFS上的指定目錄下的文件

#刪除HDFS上usr/opt/data/目錄下的a.txt文件
#-rm命令：刪除文件,-r:目錄/子目錄下所有內(nèi)容
hdfs dfs -rm -r /usr/opt/data/a.txt

11、刪除HDFS上的指定目錄

#刪除HDFS上/usr/opt/data目錄的data目錄
hdfs dfs -rm -r /usr/opt/data

12、查看命令的詳細用法

#-help命令：輸出rm命令參數(shù)
hdfs dfs -help rm

13、查看HDFS磁盤空間

#-df -h命令：顯示文件系統(tǒng)的容量，可用空間和已用空間
hdfs dfs -df -h /

14、查看HDFS文件使用的空間量

#-du -s命令：表示顯示指定路徑文件長度的匯總摘要，不是單個文件的摘要
hdfs dfs -du -s 
#-du -h命令：人性化的顯示文件大小
hdfs dfs -du -s -h /usr/opt/data

15、HDFS數(shù)據(jù)移動操作

#-mv命令：移動文件到指定文件夾下，并且重命名文件的名稱
hdfs dfs -mv /usr/opt/data/a.txt /tmp/aaa.txt

16、修改HDFS文件副本個數(shù)

#-setrep -R：修改文件夾下及其所有
#-setrep -w:客戶端是否等待副本修改完畢
hdfs dfs -settrep 2 /usr/opt/data/a.txt

到了這里，關(guān)于HDFS的基本操作（創(chuàng)建目錄或文件、查看目錄或文件、上傳和拷貝文件到HDFS上、追加數(shù)據(jù)到HDFS上、從HDFS上下載文件到Linux本地、合并HDFS文件）的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！