国产 无码 综合区,色欲AV无码国产永久播放,无码天堂亚洲国产AV,国产日韩欧美女同一区二区

Hadoop原理與技術(shù)——hdfs命令行基本操作

這篇具有很好參考價值的文章主要介紹了Hadoop原理與技術(shù)——hdfs命令行基本操作。希望對大家有所幫助。如果存在錯誤或未考慮完全的地方,請大家不吝賜教,您也可以點擊"舉報違法"按鈕提交疑問。

點擊鏈接查看文檔

Hadoop原理與技術(shù)——hdfs命令行基本操作

一、實驗?zāi)康?br> 熟悉hdfs命令行基本操作
二、實驗環(huán)境
Windows 10
VMware Workstation Pro虛擬機
Hadoop環(huán)境
Jdk1.8
三、實驗內(nèi)容
1:hdfs常見命令:
(1)查看幫助:hdfs dfs -help

(2)查看當(dāng)前目錄信息:hdfs dfs -ls /

(3)創(chuàng)建文件夾:hdfs dfs -mkdir /文件夾名

(4)上傳文件:hdfs dfs -put /本地路徑 /hdfs路徑

(5)下載文件到本地:hdfs dfs -get /hdfs路徑 /本地路徑

(6)移動hdfs文件:hdfs dfs -mv /hdfs路徑 /hdfs路徑

(7)復(fù)制hdfs文件:hdfs dfs -cp /hdfs路徑 /hdfs路徑

(8)刪除hdfs文件:hdfs dfs -rm /文件名

(9)刪除hdfs文件夾:hdfs dfs -rm -r /文件夾名

(10)查看hdfs中的文件:hdfs dfs -cat /文件名

(11)查看文件夾中有多少個文件:hdfs dfs -count /文件夾名

(12)統(tǒng)計目錄下的對象數(shù):hdfs dfs -count /文件夾名

(13)統(tǒng)計目錄下的對象大?。篽dfs dfs -du [-s] [-h] /文件夾名

(14)顯示hdfs的容量、數(shù)據(jù)塊和數(shù)據(jù)節(jié)點的信息:hdfs dfsadmin -report

安全模式是hadoop的一種保護機制,用于保證集群中的數(shù)據(jù)塊的安全性。當(dāng)hdfs進入安全模式時不允許客戶端進行任何修改文件的操作,包括上傳文件,刪除文件,重命名,創(chuàng)建文件夾等操作。

(15)查看安全模式狀態(tài):hdfs dfsadmin -safemode get

(16)強制進入安全模式:hdfs dfsadmin -safemode enter

(17)強制離開安全模式:hdfs dfsadmin -safemode leave

hdfs常見命令運行:

(1)查看幫助:hdfs dfs -help

Hadoop原理與技術(shù)——hdfs命令行基本操作

(2)查看當(dāng)前目錄信息:hdfs dfs -ls /

Hadoop原理與技術(shù)——hdfs命令行基本操作

(3)創(chuàng)建文件夾hdfsTest:hdfs dfs -mkdir /hdfsTest

Hadoop原理與技術(shù)——hdfs命令行基本操作

(4)把本地路徑為/home/hadoop/rg34/input.txt的文件上傳到hdfs文件系統(tǒng)路徑為/hdfsTest/hdfsFile1的目錄下:hdfs dfs -put /home/hadoop/rg3 4/input.txt /hdfsTest/hdfsFile1

Hadoop原理與技術(shù)——hdfs命令行基本操作

(5)下載路徑為/hdfsTest/hdfsFile1/input.txt的hdfs文件到本地/home/hadoop/linusTest目錄下:hdfs dfs -get /hdfsTest/hdfsFile1/ input.txt /home/hadoop/linusTest

Hadoop原理與技術(shù)——hdfs命令行基本操作

(6)把路徑為/hdfsTest/hdfsFile1/input.txt的hdfs文件移動到/hdfsTest/hdfsFile2下:hdfs dfs -mv /hdfsTest/hdfsFile1/input.txt /hdfsTest/hdfsFile2

Hadoop原理與技術(shù)——hdfs命令行基本操作

(7)復(fù)制一份路徑為/hdfsTest/hdfsFile2/input.txt的hdfs文件到路徑為/hdfsTest/hdfsFile1目錄下:hdfs dfs -cp /hdfsTest/hdfsFile2/input. Txt /hdfsTest/hdfsFile1

Hadoop原理與技術(shù)——hdfs命令行基本操作

(8)刪除路徑為/hdfsTest/hdfsFile1/input.txt的hdfs文件:hdfs dfs -rm /hdfsTest/hdfsFile1/input.txt

Hadoop原理與技術(shù)——hdfs命令行基本操作

(9)刪除路徑為/hdfsTest/hdfsFile1的hdfs文件夾:hdfs dfs -rm -r /hdfsTest/hdfsFile1

Hadoop原理與技術(shù)——hdfs命令行基本操作

(10)查看路徑為/hdfsTest/hdfsFile2/input.txt的hdfs文件:hdfs dfs -cat /hdfsTest/hdfsFile2/input.txt
Hadoop原理與技術(shù)——hdfs命令行基本操作

(11)查看hdfsTest文件夾中有多少個文件:hdfs dfs -count /hdfsTest

Hadoop原理與技術(shù)——hdfs命令行基本操作(數(shù)字2表示有兩個文件夾,數(shù)據(jù)1表示有1個文件)

(12)統(tǒng)計某目錄下的對象數(shù):hdfs dfs -count /

Hadoop原理與技術(shù)——hdfs命令行基本操作

(13)統(tǒng)計某目錄下的對象大?。篽dfs dfs -du [-s] [-h] /

Hadoop原理與技術(shù)——hdfs命令行基本操作

(14)顯示hdfs的容量、數(shù)據(jù)塊和數(shù)據(jù)節(jié)點的信息: hdfs dfsadmin -report

Hadoop原理與技術(shù)——hdfs命令行基本操作安全模式是hadoop的一種保護機制,用于保證集群中的數(shù)據(jù)塊的安全性。當(dāng)hdfs進入安全模式時不允許客戶端進行任何修改文件的操作,包括上傳文件,刪除文件,重命名,創(chuàng)建文件夾等操作。

(15)查看安全模式狀態(tài):hdfs dfsadmin -safemode get

Hadoop原理與技術(shù)——hdfs命令行基本操作

(16)強制進入安全模式:hdfs dfsadmin -safemode enter

Hadoop原理與技術(shù)——hdfs命令行基本操作

(17)強制離開安全模式:hdfs dfsadmin -safemode leave

Hadoop原理與技術(shù)——hdfs命令行基本操作文章來源地址http://www.zghlxwxcb.cn/news/detail-415466.html

到了這里,關(guān)于Hadoop原理與技術(shù)——hdfs命令行基本操作的文章就介紹完了。如果您還想了解更多內(nèi)容,請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章,希望大家以后多多支持TOY模板網(wǎng)!

本文來自互聯(lián)網(wǎng)用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務(wù),不擁有所有權(quán),不承擔(dān)相關(guān)法律責(zé)任。如若轉(zhuǎn)載,請注明出處: 如若內(nèi)容造成侵權(quán)/違法違規(guī)/事實不符,請點擊違法舉報進行投訴反饋,一經(jīng)查實,立即刪除!

領(lǐng)支付寶紅包贊助服務(wù)器費用

相關(guān)文章

  • 黑馬大數(shù)據(jù)學(xué)習(xí)筆記2-HDFS基本操作

    黑馬大數(shù)據(jù)學(xué)習(xí)筆記2-HDFS基本操作

    https://www.bilibili.com/video/BV1WY4y197g7?p=26 切換到hadoop用戶 Hadoop HDFS組件內(nèi)置了HDFS集群的一鍵啟停腳本。 $HADOOP_HOME/sbin/start-dfs.sh,一鍵啟動HDFS集群 執(zhí)行原理: 在執(zhí)行此腳本的機器上,啟動SecondaryNameNode 讀取core-site.xml內(nèi)容(fs.defaultFS項),確認NameNode所在機器,啟動NameNode 讀取

    2024年02月16日
    瀏覽(19)
  • elasticsearch 7.9.3知識歸納整理(二)之 es基本原理及使用kibana操作es的常見命令

    elasticsearch 7.9.3知識歸納整理(二)之 es基本原理及使用kibana操作es的常見命令

    一、es的基本原理與基礎(chǔ)概念 1.1 倒排索引 倒排索引 源于實際應(yīng)用中需要根據(jù)屬性的值來查找記錄。這種索引表中的每一項都包括一個屬性值和具有該屬性值的各記錄的地址。由于不是由記錄來確定屬性值,而是由屬性值來確定記錄的位置,因而稱為倒排索引(inverted index)。帶

    2024年02月12日
    瀏覽(16)
  • 云計算與大數(shù)據(jù)實驗三 HDFS的基本操作

    云計算與大數(shù)據(jù)實驗三 HDFS的基本操作

    一、實驗?zāi)康?理解 HDFS 架構(gòu)和工作原理 掌握 HDFS 部署環(huán)境和步驟 掌握 HDFS( 集群的啟動 start-dfs.sh) 啟動 使用 Hadoop 命令 ( 文件的增 / 刪 / 改 / 查 / 上傳 / 下載 ) 來操作分布式文件系統(tǒng) 二、實驗內(nèi)容 HDFS 偽分布式環(huán)境搭建 HDFS( 集群的啟動 start-dfs.sh) 啟動 練習(xí) Hadoop 命令 ( 文件

    2024年02月04日
    瀏覽(20)
  • Hadoop Hdfs基本命令

    Hadoop Hdfs基本命令

    1.hadoop 安裝問題處理 2.hdfs 基本命令 3. 上傳/下載文件和文件夾 1.hadoop安裝問題處理 如果安裝有進程無法啟動,如下圖 重新檢查6個配置文件 Core-site.xml hdfs-site.xml hadoop-env.sh yarn-site.xml workers yarn-site.xml 來到hadoop313目錄 清空data和yarndata 重新初始化 測試 2.hadoop hdfs基本命

    2024年02月11日
    瀏覽(21)
  • Hadoop基本操作

    Hadoop基本操作

    Hadoop安全模式 安全模式是保證系統(tǒng)保密性、完整性及可用性的一種機制,在一定程度上可以防止系統(tǒng)里的資源遭到破壞、更改和泄露,使整個系統(tǒng)持續(xù)、可靠地正常運行。 了解Hadoop安全模式 安全模式是Hadoop的保護機制,保障系統(tǒng)不受破壞。當(dāng)處于安全模式時,文件系統(tǒng)只接

    2024年02月11日
    瀏覽(20)
  • 大數(shù)據(jù) | 實驗一:大數(shù)據(jù)系統(tǒng)基本實驗 | 熟悉常用的HDFS操作

    大數(shù)據(jù) | 實驗一:大數(shù)據(jù)系統(tǒng)基本實驗 | 熟悉常用的HDFS操作

    1 )理解 HDFS 在 Hadoop 體系結(jié)構(gòu)中的角色。 2 )熟練使用 HDFS 操作常用的 shell 命令。 3 )熟悉 HDFS 操作常用的 Java API。 1 )操作系統(tǒng):Linux; 2 )Hadoop 版本:3.2.2; 3 )JDK 版本:1.8; 4 )Java IDE:Eclipse。 編程實現(xiàn) 以下功能,并利用 Hadoop 提供的 Shell 命令 完成相同任務(wù) 1)向

    2024年02月02日
    瀏覽(24)
  • 【Hadoop-HDFS】HDFS常用操作命令

    hadoop fs -ls / 普通創(chuàng)建: hadoop fs -mkdir /xiaolin 遞歸創(chuàng)建: hadoop fs -mkdir -p /xiaolin/xiaoyin mkdir xuan.txt hadoop fs -moveFromLocal xuan.txt /xiaolin hadoop fs -copyFromLocal xuan.txt / hadoop fs -put xuan.txt / 文件名稱相同時覆蓋hdfs上的文件: -f hadoop fs -put -f xuan.txt / hadoop fs -copyToLocal /xiaolin ./ hadoop fs -get

    2024年02月05日
    瀏覽(20)
  • HDFS的基本操作(創(chuàng)建目錄或文件、查看目錄或文件、上傳和拷貝文件到HDFS上、追加數(shù)據(jù)到HDFS上、從HDFS上下載文件到Linux本地、合并HDFS文件)

    主要涉及HDFS shell操作命令,包括創(chuàng)建目錄或文件、查看目錄或文件、上傳和拷貝文件到HDFS上、追加數(shù)據(jù)到HDFS上、從HDFS上下載文件到Linux本地、合并HDFS上多個文件并下載、刪除HDFS上的文件、查看各種命令的用法等。

    2024年02月08日
    瀏覽(21)
  • 基于 Docker 搭建 Hadoop 分布式及 Docker 基本操作使用

    基于 Docker 搭建 Hadoop 分布式及 Docker 基本操作使用

    Docker的整個生命周期有三部分組成:鏡像(image)+容器(container)+倉庫(repository)簡單來講,鏡像是文件,容器是進程容器是基于鏡像創(chuàng)建的,即容器中的進程依賴于鏡像中的文件,在Docker的生命周期中,最核心的兩個部分,一個是鏡像 (Images),一個是容器 (Containers)。 鏡像

    2024年02月11日
    瀏覽(29)
  • Hadoop HDFS shell 命令行常用操作

    前言:Hadoop HDFS shell的命令和Linux的shell命令有類似的地方,基本上會使用Linux命令的話,把HDFS的理論理解一下就可以了。 一、創(chuàng)建文件夾 ?path為待創(chuàng)建的目錄 ?-p選項的行為與unix mkdir -p類似,他會沿著路經(jīng)創(chuàng)建父目錄 二、查看指定目錄下的內(nèi)容 ?Path指定目錄路徑 -h人性化顯

    2024年02月04日
    瀏覽(54)

覺得文章有用就打賞一下文章作者

支付寶掃一掃打賞

博客贊助

微信掃一掃打賞

請作者喝杯咖啡吧~博客贊助

支付寶掃一掃領(lǐng)取紅包,優(yōu)惠每天領(lǐng)

二維碼1

領(lǐng)取紅包

二維碼2

領(lǐng)紅包