一、前言信息
官網(wǎng)命令說明查看
說明：
| 命令 | 適用范圍 |
|---|---|
| hadoop fs | 使用范圍最廣，建議使用，可操作任何對象 |
| hadoop dfs | 只可操作HDFS文件系統(tǒng)(已棄用) |
| hdfs fs | 只可操作HDFS文件系統(tǒng)，包括與Local FS間的操作 |
| hdfs dfs | 只可操作HDFS文件系統(tǒng)，常用 |
二、幫助信息查看
1、查看幫助信息
hadoop fs
[]表示可選參數(shù)，<>表示必須參數(shù)
2、幫助文檔（附帶命令的詳細說明）
hadoop fs –help
三、常用命令
1、創(chuàng)建目錄
hadoop fs –mkdir [-p] <path>
2、查看目錄下的內(nèi)容
hadoop fs –ls [-h] [-R] [<path>]
-h 人性化顯示文件大小
-R 遞歸查看指定目錄及子目錄
3、上傳文件
hadoop fs –put [-f] [-p] <localsrc> <dst>
-f 覆蓋目標文件(若文件已存在)
-p 保留訪問和修改時間、所有權(quán)和權(quán)限
localsrc 本地文件系統(tǒng)
dst 目標文件系統(tǒng)
4、上傳并刪除源文件
hadoop fs –moveFromLocal <localsrc> <dst>
這個和put唯一不同的地方就在于該命令會上傳完后會刪除源文件
5、查看文件內(nèi)容
讀取文件全部內(nèi)容顯示在標準輸出控制臺(大文件慎用)
hadoop fs –cat <src>
6、查看文件開頭內(nèi)容
查看文件前1KB的內(nèi)容
hadoop fs –head <src>
7、查看文件末尾內(nèi)容
查看文件末尾1KB的內(nèi)容
hadoop fs –tail [-f] <src>
-f 動態(tài)顯示文件中追加的內(nèi)容
8、下載文件
下載文件到本地指定目錄
hadoop fs –get [-f] [-p] <src> <localdst>
-f 覆蓋目標文件(目標文件存在)
-p 保留訪問和修改時間、所有權(quán)和權(quán)限
9、合并下載文件
將HDFS上一個目錄中所有的文件合并到一起輸出到一個本地文件上
hadoop fs –getmerge [-nl] [-skip-empty-file] <src> <localdst>
-nl 每個文件末尾添加換行符
-skip-empty-file 跳過空白文件
10、拷貝文件
將原始路徑的文件拷貝到新的路徑下
hadoop fs –cp [-f] <src> <dst>
-f 覆蓋目標文件(文件存在的情況下)
11、追加數(shù)據(jù)到文件中
將本地文件的內(nèi)容追加到hdfs指定的文件中
hadoop fs –appendToFile <localsrc> <dst>
localsrc 本地文件，如果為”-”，則輸入從標準輸入中讀取
dst 目標文件不存在則創(chuàng)建
從標準輸入讀取，ctrl+c結(jié)束輸入
12、查看磁盤空間
hadoop fs –df [-h] [<path>]
13、查看文件使用的空間
hadoop fs –du [-s] [-h] <path>
-s 顯示指定路徑文件長度的匯總摘要而不是單個文件的摘要
-h 人性化顯示文件大小
14、移動文件
移動文件到指定目錄下(也可重命名文件)
hadoop fs –mv <src> <dst>
15、修改文件副本個數(shù)
修改指定文件的副本個數(shù)
hadoop fs –setrep [-R] [-w] <rep> <path>
-R 表示遞歸修改文件夾及其子目錄所有
-w 客戶端是否等待副本修改完畢
16、查看校驗碼信息
hadoop fs –checksum <path>
17、顯示路徑下的目錄、文件和字節(jié)數(shù)
hadoop fs -count [-q] [-h] [-v] <paths>
-q 控制顯示的列
-v 顯示標題行
18、從本地拷貝文件
hadoop fs -copyFromLocal <localsrc> <dst>
注：該命令類似于put，不同的是拷貝的源地址必須是本地文件系統(tǒng)
19、拷貝文件到本地
注：該命令類似于get，不同的是拷貝目標地址必須為本地文件系統(tǒng)
hadoop fs –copyToLocal <path> <localdst>
20、查找目錄文件
hadoop fs –find <path> <expression>
expression說明：
-name pattern 查找的文件名
-iname pattern 忽略大小寫查找文件名
-print 打印(默認值)
-print0 打印在一行
21、刪除文件
刪除指定參數(shù)的文件，如果啟用了垃圾箱，文件系統(tǒng)會將刪除的文件移動到垃圾箱目錄，默認情況下禁用垃圾箱功能，用戶可以通過為參數(shù)fs.trash.interval（在core-site.xml中）設(shè)置大于零的值來啟用垃圾箱。
hadoop fs –rm [-f] [-R|-r][-skipTrash] <path>
-f 如果文件不存在，-f選項將不會顯示診斷消息或修改退出狀態(tài)以反映錯誤
-R 選項遞歸地刪除目錄及其下的任何內(nèi)容
-skipTrash 選項將繞過垃圾箱（如果啟用），并立即刪除指定的文件
文章來源：http://www.zghlxwxcb.cn/news/detail-419294.html
相關(guān)更多命令以及更詳細的用法可以通過官網(wǎng)學習。文章來源地址http://www.zghlxwxcb.cn/news/detail-419294.html
到了這里，關(guān)于HDFS常用命令匯總的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！
