hdfs常用命令：

第一部分：hdfs文件系統(tǒng)命令

第一類：文件路徑增刪改查系列：

hdfs dfs -mkdir dir 創(chuàng)建文件夾

hdfs dfs -rmr dir 刪除文件夾dir

hdfs dfs -ls 查看目錄文件信息

hdfs dfs -lsr 遞歸查看文件目錄信息

hdfs dfs -stat path 返回指定路徑的信息

第二類：空間大小查看系列命令：

hdfs dfs -du -h dir 按照適合閱讀的形式人性化顯示文件大小

hdfs dfs -dus uri 遞歸顯示目標(biāo)文件的大小

hdfs dfs -du path/file顯示目標(biāo)文件file的大小

第三類：權(quán)限管理類：

hdfs dfs -chgrp group path 改變文件所屬組

hdfs dfs -chgrp -R /dir 遞歸更改dir目錄的所屬組

hdfs dfs -chmod [-R] 權(quán)限-path 改變文件的權(quán)限

hdfs dfs -chown owner[-group] /dir 改變文件的所有者

hdfs dfs -chown -R owner[-group] /dir 遞歸更改dir目錄的所屬用戶

第四類：文件操作（上傳下載復(fù)制）系列：

hdfs dfs -touchz a.txt 創(chuàng)建長度為0的空文件a.txt

hdfs dfs -rm file 刪除文件file

hdfs dfs -put file dir 向dir文件上傳file文件

hdfs dfs -put filea dir/fileb 向dir上傳文件filea并且把filea改名為fileb

hdfs dfs -get file dir 下載file到本地文件夾

hdfs dfs -getmerge hdfs://master:9000/data/SogouResult.txt CombinedResult 把hdfs里面的多個(gè)文件合并成一個(gè)文件，合并后文件位于本地系統(tǒng)

hdfs dfs -cat file 查看文件file

hdfs fs -text /dir/a.txt 如果文件是文本格式，相當(dāng)于cat，如果文件是壓縮格式，則會(huì)先解壓，再查看

hdfs fs -tail /dir/a.txt查看dir目錄下面a.txt文件的最后1000字節(jié)

hdfs dfs -copyFromLocal localsrc path 從本地復(fù)制文件

hdfs dfs -copyToLocal /hdfs/a.txt /local/a.txt 從hdfs拷貝到本地

hdfs dfs -copyFromLocal /dir/source /dir/target 把文件從原路徑拷貝到目標(biāo)路徑

hdfs dfs -mv /path/a.txt /path/b.txt 把文件從a目錄移動(dòng)到b目錄，可用于回收站恢復(fù)文件

第五類：判斷系列：

hdfs fs -test -e /dir/a.txt 判斷文件是否存在，正0負(fù)1

hdfs fs -test -d /dir 判斷dir是否為目錄，正0負(fù)1

hdfs fs -test -z /dir/a.txt 判斷文件是否為空，正0負(fù)1

第六類：系統(tǒng)功能管理類：

hdfs dfs -expunge 清空回收站

hdfs dfsadmin -safemode enter 進(jìn)入安全模式

hdfs dfsadmin -sfaemode leave 離開安全模式

hdfs dfsadmin -decommission datanodename 關(guān)閉某個(gè)datanode節(jié)點(diǎn)

hdfs dfsadmin -finalizeUpgrade 終結(jié)升級(jí)操作

hdfs dfsadmin -upgradeProcess status 查看升級(jí)操作狀態(tài)

hdfs version 查看hdfs版本

hdfs daemonlog -getlevel <host:port> <name> 打印運(yùn)行在<host:port>的守護(hù)進(jìn)程的日志級(jí)別

hdfs daemonlog -setlevel <host:port> <name> <level> 設(shè)置運(yùn)行在<host:port>的守護(hù)進(jìn)程的日志級(jí)別

hdfs dfs -setrep -w 副本數(shù) -R path 設(shè)置文件的副本數(shù)

第二部分：運(yùn)維命令

start-dfs.sh 啟動(dòng)namenode，datanode，啟動(dòng)文件系統(tǒng)

stop-dfs.sh 關(guān)閉文件系統(tǒng)

start-yarn.sh 啟動(dòng)resourcemanager,nodemanager

stop-yarn.sh 關(guān)閉resourcemanager,nodemanager

start-all.sh 啟動(dòng)hdfs，yarn

stop-all.sh 關(guān)閉hdfs，yarn

hdfs-daemon.sh start datanode 單獨(dú)啟動(dòng)datanode

start-balancer.sh -t 10% 啟動(dòng)負(fù)載均衡，盡量不要在namenode節(jié)點(diǎn)使用

hdfs namenode -format 格式化文件系統(tǒng)

hdfs namenode -upgrade 分發(fā)新的hdfs版本之后，namenode應(yīng)以upgrade選項(xiàng)啟動(dòng)

hdfs namenode -rollback 將namenode回滾到前一版本，這個(gè)選項(xiàng)要在停止集群，分發(fā)老的hdfs版本之后執(zhí)行

hdfs namenode -finalize finalize會(huì)刪除文件系統(tǒng)的前一狀態(tài)。最近的升級(jí)會(huì)被持久化，rollback選項(xiàng)將再不可用，升級(jí)終結(jié)操作之后，它會(huì)停掉namenode，分發(fā)老的hdfs版本后使用

hdfs namenode importCheckpoint 從檢查點(diǎn)目錄裝載鏡像并保存到當(dāng)前檢查點(diǎn)目錄，檢查點(diǎn)目錄由fs.checkpoint.dir指定

第三部分：mapreduce命令

hdfs jar file.jar 執(zhí)行jar包程序

hdfs job -kill job_201005310937_0053 殺死正在執(zhí)行的jar包程序

hdfs job -submit <job-file> 提交作業(yè)

hdfs job -status <job-id> 打印map和reduce完成百分比和所有計(jì)數(shù)器。

hdfs job -counter <job-id> <group-name> <counter-name> 打印計(jì)數(shù)器的值。

hdfs job -kill <job-id> 殺死指定作業(yè)。

hdfs job -events <job-id> <from-event-#> <#-of-events> 打印給定范圍內(nèi)jobtracker接收到的事件細(xì)節(jié)。

hdfs job -history [all] <jobOutputDir>

hdfs job -history <jobOutputDir> 打印作業(yè)的細(xì)節(jié)、失敗及被殺死原因的細(xì)節(jié)。更多的關(guān)于一個(gè)作業(yè)的細(xì)節(jié)比如成功的任務(wù)，做過的任務(wù)嘗試等信息可以通過指定[all]選項(xiàng)查看。

hdfs job -list [all] 顯示所有作業(yè)。-list只顯示將要完成的作業(yè)。

hdfs job -kill -task <task-id> 殺死任務(wù)。被殺死的任務(wù)不會(huì)不利于失敗嘗試。

hdfs job -fail -task <task-id> 使任務(wù)失敗。被失敗的任務(wù)會(huì)對(duì)失敗嘗試不利。

第四部分：hdfs系統(tǒng)檢查工具fsck

hdfs fsck <path> -move 移動(dòng)受損文件到/lost+found

hdfs fsck <path> -delete 刪除受損文件。

hdfs fsck <path> -openforwrite 打印出寫打開的文件。

hdfs fsck <path> -files 打印出正被檢查的文件。

hdfs fsck <path> -blocks 打印出塊信息報(bào)告。

hdfs fsck <path> -locations 打印出每個(gè)塊的位置信息。

hdfs fsck <path> -racks 打印出data-node的網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)。

第五部分：運(yùn)行pipies作業(yè)

hdfs pipes -conf <path> 作業(yè)的配置

hdfs pipes -jobconf <key=value>, <key=value>, ... 增加/覆蓋作業(yè)的配置項(xiàng)

hdfs pipes -input <path> 輸入目錄

hdfs pipes -output <path> 輸出目錄

hdfs pipes -jar <jar file> Jar文件名

hdfs pipes -inputformat <class> InputFormat類

hdfs pipes -map <class> Java Map類

hdfs pipes -partitioner <class> Java Partitioner

hdfs pipes -reduce <class> Java Reduce類

hdfs pipes -writer <class> Java RecordWriter

hdfs pipes -program <executable> 可執(zhí)行程序的URI

hdfs pipes -reduces <num> reduce個(gè)數(shù)文章來源地址http://www.zghlxwxcb.cn/news/detail-708059.html

到了這里，關(guān)于Hadoop-5-HDFS常用命令的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！