国产 无码 综合区,色欲AV无码国产永久播放,无码天堂亚洲国产AV,国产日韩欧美女同一区二区

Hadoop HDFS shell 命令行常用操作

這篇具有很好參考價值的文章主要介紹了Hadoop HDFS shell 命令行常用操作。希望對大家有所幫助。如果存在錯誤或未考慮完全的地方,請大家不吝賜教,您也可以點擊"舉報違法"按鈕提交疑問。

前言:Hadoop HDFS shell的命令和Linux的shell命令有類似的地方,基本上會使用Linux命令的話,把HDFS的理論理解一下就可以了。

一、創(chuàng)建文件夾

hadoop fs -mkdir [-p] <path>

?path為待創(chuàng)建的目錄

?-p選項的行為與unix mkdir -p類似,他會沿著路經(jīng)創(chuàng)建父目錄

二、查看指定目錄下的內(nèi)容

hadoop fs -ls [-h] [-R] [<path>…]

?Path指定目錄路徑

-h人性化顯示文件size

?-R 遞歸查看指定目錄及其子目錄

三、上傳文件到HDFS指定目錄下

hadoop fs -put [-f] [- p]<localsrc>…<dst >

-f 覆蓋目標文件(已存在下)

-p 保留訪問和修改時間,所有權(quán)和權(quán)限。

localsrc 本地文件系統(tǒng)(客戶端所在機器)

dst 目標文件系統(tǒng)(HDFS)

四、查看HDFS文件內(nèi)容

hadoop fs -cat <src> ...

讀取指定文件全部內(nèi)容,顯示在標準輸出控制臺。

注意:對于大文件內(nèi)容讀取,慎重。

、下載HDFS文件

hadoop fs -get [-f] [-p] <src> ... <localdst>

下載文件到本地文件系統(tǒng)指定目錄,localdst必須是目錄

-f 覆蓋目標文件(已存在下)

-p 保留訪問和修改時間,所有權(quán)和權(quán)限。

六、拷貝HDFS文件

hadoop fs -cp [-f] <src> ... <dst>

-f 覆蓋目標文件(已存在下)

七、追加數(shù)據(jù)到HDFS文件中

hadoop fs -appendToFile <localsrc> ... <dst>

將所有給定本地文件的內(nèi)容追加到給定dst文件。

dst如果文件不存在,將創(chuàng)建該文件。

如果<localSrc>為-,則輸入為從標準輸入中讀取

應(yīng)用場景:小文件合并

八、HDFS數(shù)據(jù)移動操作

hadoop fs -mv <src> ... <dst>

移動文件到指定文件夾下

可以使用該命令移動數(shù)據(jù),重命名文件的名稱文章來源地址http://www.zghlxwxcb.cn/news/detail-440390.html

到了這里,關(guān)于Hadoop HDFS shell 命令行常用操作的文章就介紹完了。如果您還想了解更多內(nèi)容,請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章,希望大家以后多多支持TOY模板網(wǎng)!

本文來自互聯(lián)網(wǎng)用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務(wù),不擁有所有權(quán),不承擔相關(guān)法律責任。如若轉(zhuǎn)載,請注明出處: 如若內(nèi)容造成侵權(quán)/違法違規(guī)/事實不符,請點擊違法舉報進行投訴反饋,一經(jīng)查實,立即刪除!

領(lǐng)支付寶紅包贊助服務(wù)器費用

相關(guān)文章

  • 大數(shù)據(jù):HDFS的Shell常用命令操作

    大數(shù)據(jù):HDFS的Shell常用命令操作

    HDFS允許用戶數(shù)據(jù)組織成文件和文件夾的方式,它提供一個叫DFSShell的接口,使用戶可以和HDFS中的數(shù)據(jù)交互。命令集的語法跟其他用戶熟悉的shells(bash,csh)相似。 Shell在計算機科學中俗稱“殼”,是提供給使用者使用界面的進行與系統(tǒng)交互的軟件,通過接收用戶輸入的命令執(zhí)

    2023年04月09日
    瀏覽(35)
  • hadoop基礎(chǔ):通過 Shell 命令訪問 HDFS

    hadoop基礎(chǔ):通過 Shell 命令訪問 HDFS

    HDFS Shell 是由一系列類似 Linux Shell 的命令組成的。命令大致可分為 操作命令 、 管理命令 、 其他命令 三類 操作命令是以“ hdfs dfs ”開頭的命令。通過這些命令,用戶可以完成 HDFS 文件的 復(fù)制、刪除和查找 等操作,Shell 命令的一般格式如下。 hdfs dfs [通用選項] 其中,hdfs

    2023年04月08日
    瀏覽(27)
  • 【Hadoop】-HDFS的Shell操作[3]

    【Hadoop】-HDFS的Shell操作[3]

    目錄 前言 一、HDFS集群啟停命令 1.一鍵啟停腳本可用 2.獨立進程啟??捎??二、文件系統(tǒng)操作命令 1、創(chuàng)建文件夾 2、查看指定目錄下內(nèi)容 3、上傳文件到HDFS指定目錄下? 4、查看HDFS文件內(nèi)容 5、下載HDFS文件 6、拷貝HDFS文件 7、追加數(shù)據(jù)到HDFS文件中 8、HDFS數(shù)據(jù)移動操作 9、HDFS數(shù)

    2024年04月26日
    瀏覽(28)
  • Hadoop大數(shù)據(jù)技術(shù)-通過shell命令訪問HDFS

    Hadoop大數(shù)據(jù)技術(shù)-通過shell命令訪問HDFS

    HDFS shell大致可以分為操作命令、管理命令、其他命令三類。 注意:當命令以“$”開頭時,當前用戶為普通用戶;以“#”開頭時,當前用戶為root用戶。 操作命令是以“ hdfs dfs ”開頭的命令,用戶可以通過執(zhí)行這些命令,完成對文件的查找、上傳、刪除等操作。 [-p]:表示如

    2023年04月11日
    瀏覽(27)
  • 0202hdfs的shell操作-hadoop-大數(shù)據(jù)學習

    0202hdfs的shell操作-hadoop-大數(shù)據(jù)學習

    以下命令執(zhí)行默認配置了hadoop的環(huán)境變量,且使用新命令。 一鍵啟停腳本 獨立進程啟停 2.1 HDFS文件系統(tǒng)基本信息 HDFS作為分布式存儲的文件系統(tǒng),有其對數(shù)據(jù)的路徑表達式。如果熟悉Linux文件系統(tǒng),可以對比學習。 HDFS同Linux系統(tǒng)一樣,均是以/作為根目錄的組織形式 如何區(qū)分

    2024年02月10日
    瀏覽(31)
  • 從零開始的Hadoop學習(五)| HDFS概述、shell操作、API操作

    從零開始的Hadoop學習(五)| HDFS概述、shell操作、API操作

    1.1 HDFS 產(chǎn)出背景及定義 1) HDFS 產(chǎn)生背景 隨著數(shù)據(jù)量越來越大,在一個操作系統(tǒng)存不下所有的數(shù)據(jù),那么就分配到更多的操作系統(tǒng)管理的磁盤中,但是不方便管理和維護,迫切 需要一種系統(tǒng)來管理多臺機器上的文件 ,這就是分布式文件管理系統(tǒng)。 HDFS只是分布式文件管理系統(tǒng)

    2024年02月10日
    瀏覽(94)
  • Hadoop-5-HDFS常用命令

    第一類:文件路徑增刪改查系列: hdfs dfs -mkdir dir 創(chuàng)建文件夾 hdfs dfs -rmr dir 刪除文件夾dir hdfs dfs -ls 查看目錄文件信息 hdfs dfs -lsr 遞歸查看文件目錄信息 hdfs dfs -stat path 返回指定路徑的信息 第二類:空間大小查看系列命令: hdfs dfs -du -h dir 按照適合閱讀的形式人性化顯示文件

    2024年02月09日
    瀏覽(22)
  • Hadoop -HDFS常用操作指令

    path 指定目錄路徑 -h 人性化顯示文件size -R 遞歸查看指定目錄及其子目錄 -f 覆蓋目標文件(已存在下) -p 保留訪問和修改時間,所有權(quán)和權(quán)限。 localsrc 本地文件系統(tǒng)(客戶端所在機器 ) dst 目標文件系統(tǒng)(HDFS) 下載文件到本地文件系統(tǒng)指定目錄,localdst必須是目錄 -f 覆蓋目

    2024年02月10日
    瀏覽(42)
  • 實驗二 HDFS的Shell命令操作,和HDFS的API操作

    實驗二 HDFS的Shell命令操作,和HDFS的API操作

    來自博主卷毛迷你豬的授權(quán) ,這是我的老師的博客多多關(guān)注 掌握 Hadoop 中 HDFS 的 Shell 命令操作 掌握 Hadoop 中 HDFS 的API操作 ? 項目1:HDFS常見命令練習 ? 項目2:HDFS命令的綜合運用實踐 ? 項目3:HDFS的API使用實踐 ? 項目4:HDFS的API單元測試程序和更多思考(選做) ? HDFS是

    2024年04月26日
    瀏覽(25)
  • Hadoop Shell常用命令

    Hadoop Shell常用命令

    Hadoop Shell命令在管理HDFS的時候還是比較常用的,Hadoop Shell命令與shell命令極為相似,但是方便查詢,在這里總結(jié)分享,大家enjoy~~ 語法格式:hadoop fs -cat URI [URI …] 含義:將路徑指定文件的內(nèi)容輸出到stdout。 示例: 語法格式:hadoop fs -chgrp [-R] GROUP URI [URI …] 含義:改變文件所

    2024年02月06日
    瀏覽(24)

覺得文章有用就打賞一下文章作者

支付寶掃一掃打賞

博客贊助

微信掃一掃打賞

請作者喝杯咖啡吧~博客贊助

支付寶掃一掃領(lǐng)取紅包,優(yōu)惠每天領(lǐng)

二維碼1

領(lǐng)取紅包

二維碼2

領(lǐng)紅包