Hadoop Shell命令在管理HDFS的時(shí)候還是比較常用的，Hadoop Shell命令與shell命令極為相似，但是方便查詢，在這里總結(jié)分享，大家enjoy~~

1，cat

語法格式：hadoop fs -cat URI [URI …]
含義：將路徑指定文件的內(nèi)容輸出到stdout。
示例：

hadoop fs -cat hdfs://host1:port1/file1 hdfs://host2:port2/file2
hadoop fs -cat file:///file3 /user/hadoop/file4

2，chgrp

語法格式：hadoop fs -chgrp [-R] GROUP URI [URI …]
含義：改變文件所屬的組。使用-R將使改變在目錄結(jié)構(gòu)下遞歸進(jìn)行。命令的使用者必須是文件的所有者或者超級用戶。

3，chmod

語法格式：hadoop fs -chmod [-R] <MODE[,MODE]… | OCTALMODE> URI [URI …]
含義：改變文件的權(quán)限。使用-R將使改變在目錄結(jié)構(gòu)下遞歸進(jìn)行。命令的使用者必須是文件的所有者或者超級用戶。
選項(xiàng)：
-R：遞歸修改文件。
< MODE >：模式與用于shell命令的模式相同。
< OCTALMODE>：數(shù)字表示。

4，chown

語法格式：hadoop fs -chown [-R] [OWNER][:[GROUP]] URI [URI ]
含義：改變文件的擁有者。使用-R將使改變在目錄結(jié)構(gòu)下遞歸進(jìn)行。命令的使用者必須是超級用戶。

5，put

語法格式：hadoop fs -put …
含義：從本地文件系統(tǒng)中復(fù)制單個(gè)或多個(gè)源路徑到目標(biāo)文件系統(tǒng)。也支持從標(biāo)準(zhǔn)輸入中讀取輸入寫入目標(biāo)文件系統(tǒng)。
選項(xiàng)：
-f：如果目標(biāo)已存在，則覆蓋該目標(biāo)。
-p：保留訪問和修改時(shí)間、所有權(quán)和模式。
-d：跳過臨時(shí)文件的創(chuàng)建。
示例：

hadoop fs -put localfile /user/hadoop/hadoopfile
hadoop fs -put localfile1 localfile2 /user/hadoop/hadoopdir
hadoop fs -put localfile hdfs://host:port/hadoop/hadoopfile
hadoop fs -put - hdfs://host:port/hadoop/hadoopfile

6，mv

語法格式：hadoop fs -mv URI [URI …]
含義：將文件從源路徑移動(dòng)到目標(biāo)路徑。這個(gè)命令允許有多個(gè)源路徑，此時(shí)目標(biāo)路徑必須是一個(gè)目錄。不允許在不同的文件系統(tǒng)間移動(dòng)文件。
示例：

hadoop fs -mv /user/hadoop/file1 /user/hadoop/file2
hadoop fs -mv hdfs://host:port/file1 hdfs://host:port/file2 hdfs://host:port/file3 hdfs://host:port/dir1

7，rm

語法格式：hadoop fs -rm URI [URI …]
含義：刪除指定的文件。只刪除非空目錄和文件。請參考rmr命令了解遞歸刪除。
選項(xiàng)：
-f：如果文件不存在，不顯示診斷消息或修改退出狀態(tài)以反映錯(cuò)誤。
-[rR]：遞歸刪除目錄。
-skipTrash：刪除時(shí)不經(jīng)過回收站，直接刪除。
-safely：需要安全確認(rèn)。
示例：

hadoop fs -rm hdfs://host:port/file /user/hadoop/emptydir

8，rmr

語法格式：hadoop fs -rmr URI [URI …]
含義：delete的遞歸版本。
示例：

hadoop fs -rmr /user/hadoop/dir
hadoop fs -rmr hdfs://host:port/user/hadoop/dir

9，tail

語法格式：hadoop fs -tail [-f] URI
含義：將文件尾部1K字節(jié)的內(nèi)容輸出到stdout。支持-f選項(xiàng)，行為和Unix中一致。
示例：

hadoop fs -tail pathname

10，test

語法格式：hadoop fs -test -[ezd] URI
參數(shù)：
-e 檢查文件是否存在。如果存在則返回0。
-z 檢查文件是否是0字節(jié)。如果是則返回0。
-d 如果路徑是個(gè)目錄，則返回1，否則返回0。
示例：

hadoop fs -test -e filename

11，text

語法格式：hadoop fs -text
含義：將源文件輸出為文本格式。允許的格式是zip和TextRecordInputStream。
示例：

12，touchz

語法格式：hadoop fs -touchz URI [URI …]
含義：創(chuàng)建一個(gè)0字節(jié)的空文件。
示例：

hadoop -touchz pathname

13，du

語法格式：hdfs dfs –du –s /directory/filename
含義：HDFS 命令檢查文件大小。
選項(xiàng)：
-s：顯示總使用情況，不顯示每個(gè)獨(dú)立目錄或文件的使用情況。
-h：以人類可讀的方式格式化文件大小，而不是按字節(jié)數(shù)。
-x：不計(jì)算快照。
示例：

hdfs dfs –du –s / new_edureka / sample

14，copyFromLocal

語法格式：hdfs dfs -copyFromLocal
含義：HDFS 命令將文件從本地文件系統(tǒng)復(fù)制到 HDFS。
示例：

hdfs dfs –copyFromLocal /home/test/test/new_test

注意： 這里測試的是本地目錄/home/test中的文件，命令執(zhí)行后測試文件將被復(fù)制到HDFS的/new_test目錄中。

15，copyToLocal

語法格式：hdfs dfs -copyToLocal
含義：HDFS 命令將文件從 HDFS 復(fù)制到本地文件系統(tǒng)。
示例：

hdfs dfs –copyToLocal /test/test/home/test

注意：這里的 test 是 HDFS 的 test目錄下的一個(gè)文件，執(zhí)行命令后，test 文件將被復(fù)制到本地目錄 /home/test

16，get

語法格式：hdfs dfs -get
含義：HDFS 命令將文件從 hdfs 復(fù)制到本地文件系統(tǒng)。
選項(xiàng)：
-f：如果目標(biāo)已存在，則覆蓋該目標(biāo)
-ignoreCrc：忽略CRC校驗(yàn)
-crc：使用CRC校驗(yàn)
示例：

hdfs dfs –get /user/test /home/test 

注意：命令 copyToLocal 類似于 get 命令，不同之處在于目標(biāo)僅限于本地文件引用。

17，count

語法格式：hdfs dfs -count
含義：HDFS 命令計(jì)算路徑下與指定文件模式匹配的目錄、文件和字節(jié)數(shù)。
示例：

hdfs dfs –count /user

18，cp

語法格式：hdfs dfs -cp
含義：HDFS 命令將文件從源復(fù)制到目標(biāo)。此命令也允許多個(gè)源，在這種情況下，目標(biāo)必須是目錄。
選項(xiàng)：
-f：如果目標(biāo)已存在，則覆蓋該目標(biāo)。
-p , -p[topax] ：保留狀態(tài)，參數(shù)[topax]分別表示（時(shí)間戳、所有權(quán)、權(quán)限、ACL、XAttr），無參數(shù)則不保留狀態(tài)。
-d：跳過臨時(shí)文件的創(chuàng)建。
示例：

hdfs dfs -cp /user/hadoop/file1 /user/hadoop/file2
hdfs dfs -cp /user/hadoop/file1 /user/hadoop/file2 /user/hadoop/dir

19，usage

語法格式：hdfs dfs -usage
含義：顯示給定命令的用法，如果未指定則顯示所有任何命令的用法。
選項(xiàng)：
-conf 指定一個(gè)應(yīng)用的配置文件
-D <property=value> 給定屬性的使用值
-fs <local|namenode:port> 指定一個(gè)namenode
-jt <local|resourcemanager:port> 指定一個(gè)ResourceManager
-files 指定使用逗號分隔被拷貝進(jìn)map reduce集群的文件
-libjars 指定要包含在classpath中的逗號分隔的jar文件
-archives 指定要在計(jì)算機(jī)上的逗號分隔的存檔文件

注意：通過使用 usage 命令，您可以獲得有關(guān)任何命令的信息。

20 ，mkdir

語法格式：hdfs dfs -mkdir [-p]

…
含義：通過 mkdir 命令可以實(shí)現(xiàn)在指定位置創(chuàng)建以 指定的文件名 命名的文件夾或目錄。要?jiǎng)?chuàng)建文件夾或目錄的用戶必須對所創(chuàng)建的文件夾的父文件夾具有寫權(quán)限。并且所創(chuàng)建的文件夾(目錄)不能與其父目錄(即父文件夾)中的文件名重名，即同一個(gè)目錄下不能有同名的(區(qū)分大小寫)。還可以設(shè)置目錄的權(quán)限。
示例：

hdfs dfs -mkdir /test1

21，df

語法格式：hdfs dfs -df -h /
含義：統(tǒng)計(jì)文件系統(tǒng)的可用空間信息
選項(xiàng)：
-h：以人類可讀的方式格式化文件大小，而不是按字節(jié)數(shù)。
示例：

hdfs dfs -df -h /

22，ls

語法格式：hdfs dfs -ls [-C] [-d] [-h] [-R] [-t] [-S] [-r] [-u] [

…]
含義：顯示目錄信息
選項(xiàng)：
-C：僅顯示文件和目錄的路徑。
-d：目錄列為普通文件。
-h：以人類可讀的方式格式化文件大小，而不是按字節(jié)數(shù)。
-R：遞歸地列出目錄的內(nèi)容。
-t：按修改時(shí)間對文件排序（最近的第一次）。
-S：按大小對文件進(jìn)行排序。
-r：顛倒排序順序。
-u：使用上次訪問的時(shí)間而不是修改來顯示和排序。
示例：

hdfs dfs -ls /  

23，help

語法格式：hdfs dfs -help [cmd …]
含義：幫助命令
選項(xiàng)：
-d：顯示命令簡短的主題描述。
-s：顯示命令簡短的語法描述。
cmd…：需要查詢的一個(gè)或多個(gè)命令。
示例：

hdfs dfs -help

以上內(nèi)容，一部分來自我平常工作學(xué)習(xí)中用到的命令，還有一部分來源于網(wǎng)絡(luò)的整理，僅供學(xué)習(xí)交流，如有侵犯，聯(lián)系刪除哦！文章來源地址http://www.zghlxwxcb.cn/news/detail-735339.html

到了這里，關(guān)于Hadoop Shell常用命令的文章就介紹完了。如果您還想了解更多內(nèi)容，請?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！