Hadoop上傳文件到hdfs中
hadoop常見指令:
-
hdfs dfs -copyFromLocal /local/data /hdfs/data
:將本地文件上傳到 hdfs
上(原路徑只能是一個(gè)文件) -
hdfs dfs -put /tmp/ /hdfs/
:和 copyFromLocal 區(qū)別是,put 原路徑可以是文件夾等 -
hadoop fs -ls /
:查看根目錄文件 -
hadoop fs -ls /tmp/data
:查看/tmp/data目錄 -
hadoop fs -cat /tmp/a.txt
:查看 a.txt,與 -text 一樣 -
hadoop fs -mkdir dir
:創(chuàng)建目錄dir -
hadoop fs -rmr dir
:刪除目錄dir
出現(xiàn) Call From master to localhost:9000 failed on connection exception…的錯(cuò)誤:
原因沒有打開權(quán)限:
修改 /hadoop/etc/hadoop/hdfs.site.xml
找到dfs.permissions屬性修改為false(默認(rèn)為true)OK了
出現(xiàn)hdfs.DFSClient: DataStreamer Exception的問題:
原因:在進(jìn)行namenode格式化時(shí)多次造成那么spaceID不一致。
1.刪除core.site.xml中臨時(shí)文件指定的目錄
2.重新進(jìn)行格式化
hadoop name -formate
3.啟動(dòng)集群
start-all.sh
4.創(chuàng)造目錄文章來源:http://www.zghlxwxcb.cn/news/detail-414626.html
hadoop fs -mkdir /user
hadoop fs -mkdir /user/root
5上傳文件文章來源地址http://www.zghlxwxcb.cn/news/detail-414626.html
hdfs dfs -put movie.csv /user/root/
到了這里,關(guān)于Hadoop上傳文件到hdfs中的文章就介紹完了。如果您還想了解更多內(nèi)容,請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章,希望大家以后多多支持TOY模板網(wǎng)!