前言:Hadoop HDFS shell的命令和Linux的shell命令有類似的地方,基本上會使用Linux命令的話,把HDFS的理論理解一下就可以了。
一、創(chuàng)建文件夾
hadoop fs -mkdir [-p] <path>
?path為待創(chuàng)建的目錄
?-p選項的行為與unix mkdir -p類似,他會沿著路經(jīng)創(chuàng)建父目錄
二、查看指定目錄下的內(nèi)容
hadoop fs -ls [-h] [-R] [<path>…]
?Path指定目錄路徑
-h人性化顯示文件size
?-R 遞歸查看指定目錄及其子目錄
三、上傳文件到HDFS指定目錄下
hadoop fs -put [-f] [- p]<localsrc>…<dst >
-f 覆蓋目標文件(已存在下)
-p 保留訪問和修改時間,所有權(quán)和權(quán)限。
localsrc 本地文件系統(tǒng)(客戶端所在機器)
dst 目標文件系統(tǒng)(HDFS)
四、查看HDFS文件內(nèi)容
hadoop fs -cat <src> ...
讀取指定文件全部內(nèi)容,顯示在標準輸出控制臺。
注意:對于大文件內(nèi)容讀取,慎重。
五、下載HDFS文件
hadoop fs -get [-f] [-p] <src> ... <localdst>
下載文件到本地文件系統(tǒng)指定目錄,localdst必須是目錄
-f 覆蓋目標文件(已存在下)
-p 保留訪問和修改時間,所有權(quán)和權(quán)限。
六、拷貝HDFS文件
hadoop fs -cp [-f] <src> ... <dst>
-f 覆蓋目標文件(已存在下)
七、追加數(shù)據(jù)到HDFS文件中
hadoop fs -appendToFile <localsrc> ... <dst>
將所有給定本地文件的內(nèi)容追加到給定dst文件。
dst如果文件不存在,將創(chuàng)建該文件。
如果<localSrc>為-,則輸入為從標準輸入中讀取
應(yīng)用場景:小文件合并
八、HDFS數(shù)據(jù)移動操作
hadoop fs -mv <src> ... <dst>
移動文件到指定文件夾下文章來源:http://www.zghlxwxcb.cn/news/detail-440390.html
可以使用該命令移動數(shù)據(jù),重命名文件的名稱文章來源地址http://www.zghlxwxcb.cn/news/detail-440390.html
到了這里,關(guān)于Hadoop HDFS shell 命令行常用操作的文章就介紹完了。如果您還想了解更多內(nèi)容,請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章,希望大家以后多多支持TOY模板網(wǎng)!