目錄

1，Hadoop簡介

2，分布式文件系統(tǒng)HDFS

1. HDFS簡介

2.HDFS體系結(jié)構(gòu)

3，Hadoop的安裝

1.使用WEB管理頁面操作HDFS

2.使用命令操作HDFS

?4，HDFS的基本使用方法

1）啟動(dòng)hadoop,為當(dāng)前登錄的Windows用戶在HDFS中創(chuàng)建用戶目錄

2）在用戶名user/zhangna下創(chuàng)建test目錄

3）將windows操作系統(tǒng)本地的一個(gè)文件上傳到hdfs的test目錄中

4）把test目錄復(fù)制到windows本地文件系統(tǒng)某個(gè)目錄下

5）我把hadoop使用命令停了

---

1，Hadoop簡介

Hadoop是一個(gè)能夠?qū)Υ罅繑?shù)據(jù)進(jìn)行分布式處理的軟件框架，并且是以一種可靠、高效、可伸縮的方式進(jìn)行處理的，它具有以下幾個(gè)方面的特性。 高可靠性。 高效性。 高可擴(kuò)展性。 高容錯(cuò)性。 成本低。 運(yùn)行在Linux平臺(tái)上。 支持多種編程語言。,2，分布式文件系統(tǒng)HDFS

2，分布式文件系統(tǒng)HDFS

1. HDFS簡介

Hadoop分布式文件系統(tǒng)（Hadoop Distributed File System，HDFS）是Hadoop項(xiàng)目的兩大核心之一，是針對谷歌文件系統(tǒng)（Google File System，GFS）的開源實(shí)現(xiàn)。 總體而言，HDFS要實(shí)現(xiàn)以下目標(biāo)： 兼容廉價(jià)的硬件設(shè)備。 流數(shù)據(jù)讀寫。 大數(shù)據(jù)集。 簡單的文件模型。 強(qiáng)大的跨平臺(tái)兼容性。

2.HDFS體系結(jié)構(gòu)

Hadoop包含了HDFS和MapReduce兩大核心組件，本教程主要使用HDFS，沒有使用MapReduce，但是，仍然要完整地安裝Hadoop。這里采用的Apache Hadoop版本是3.1.3。 Hadoop包括三種安裝模式：

單機(jī)模式：只在一臺(tái)機(jī)器上運(yùn)行，存儲(chǔ)是采用本地文件系統(tǒng)，沒有采用分布式文件系統(tǒng)HDFS；

偽分布式模式：存儲(chǔ)采用分布式文件系統(tǒng)HDFS，但是，HDFS的名稱節(jié)點(diǎn)和數(shù)據(jù)節(jié)點(diǎn)都在同一臺(tái)機(jī)器上；

分布式模式：存儲(chǔ)采用分布式文件系統(tǒng)HDFS，而且，HDFS的名稱節(jié)點(diǎn)和數(shù)據(jù)節(jié)點(diǎn)位于不同機(jī)器上。

3，Hadoop的安裝

這里介紹Hadoop偽分布式模式的安裝方法。

到Hadoop官網(wǎng)（https://archive.apache.org/dist/hadoop/common/hadoop-3.1.3/）下載Hadoop3.1.3安裝文件hadoop-3.1.3.tar.gz。

由于Hadoop不直接支持Windows系統(tǒng)，因此，需要使用工具集winutils進(jìn)行支持。到github.com網(wǎng)站（https://github.com/s911415/apache-hadoop-3.1.3-winutils）下載與Hadoop3.1.3配套的winutils。進(jìn)入下載頁面后，如圖2-16所示，點(diǎn)擊“Code”按鈕，然后在彈出的菜單中點(diǎn)擊“Download ZIP”即可下載得到壓縮文件apache-hadoop-3.1.3-winutils-master.zip，再將該壓縮文件進(jìn)行解壓縮。

把Hadoop3.1.3安裝文件hadoop-3.1.3.tar.gz解壓縮到“C:\”（或者其他目錄），使用winutils中的bin目錄整個(gè)替換Hadoop中的bin目錄。

在“C:\ hadoop-3.1.3”目錄下新建tmp目錄，再在tmp目錄下新建兩個(gè)子目錄，分別是datanode和namenode。

對“C:\ hadoop-3.1.3\etc\hadoop”下面的3個(gè)配置文件進(jìn)行修改。

把core-site.xml文件的配置修改為如下：

<configuration>
     <property>
        <name>fs.default.name</name>
        <value>hdfs://localhost:9000</value>
    </property>
 </configuration>

把hdfs-site.xml文件的配置修改為如下：

<configuration>
     <property>
         <name>dfs.replication</name>
         <value>1</value>
     </property>
     <property> 
      <name>dfs.permissions</name> 
      <value>false</value> 
     </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/C:/hadoop-3.1.3/tmp/namenode</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/C:/hadoop-3.1.3/tmp/datanode</value>
    </property>
</configuration>

修改hadoop-env.cmd文件，找到如下一行： set JAVA_HOME=%JAVA_HOME% 把%JAVA_HOME%替換成JDK的絕對路徑，比如： set JAVA_HOME=C:\ Java\jdk1.8.0_111 需要注意的是，如果JDK路徑中包含了空格，如果直接使用如下設(shè)置后面步驟會(huì)報(bào)錯(cuò)： set JAVA_HOME= C:\Program Files\Java\jdk1.8.0_111 如果采用這種帶有空格的路徑，后面運(yùn)行“hdfs namenode -format”命令時(shí)就會(huì)報(bào)錯(cuò)，因?yàn)镻rogram Files中存在空格。為了解決這個(gè)問題，可以使用下面兩種方式之一進(jìn)行處理：

（1）只需要用PROGRA~1 代替Program Files，即改為C:\PROGRA~1\Java\jdk1.8.0_111 （2）或是使用雙引號，即改為 “C:\Program Files”\Java\jdk1.8.0_111

然后，在Windows系統(tǒng)中打開一個(gè)cmd窗口，執(zhí)行如下命令對Hadoop系統(tǒng)進(jìn)行格式化：

> cd c:\hadoop-3.1.3\bin

> hdfs namenode -format

上述命令執(zhí)行以后，如果返回類似如下的信息則表示格式化成功：

\hadoop-3.1.3\tmp\namenode has been successfully formatted. 執(zhí)行如下命令啟動(dòng)

> cd c:\hadoop-3.1.3\sbin

> start-dfs.cmd 執(zhí)行該命令以后，會(huì)同時(shí)彈出另外2個(gè)cmd窗口，這2個(gè)新彈出的cmd窗口不要關(guān)閉，然后，在剛才執(zhí)行start-dfs.cmd命令的cmd窗口內(nèi)，繼續(xù)執(zhí)行JDK自帶的命令jps查看Hadoop已經(jīng)啟動(dòng)的進(jìn)程：

> jps

需要注意的是，這里在使用jps命令的時(shí)候，沒有帶上絕對路徑，是因?yàn)橐呀?jīng)把JDK添加到了Path環(huán)境變量中。 執(zhí)行jps命令以后，如果能夠看到“DataNode”和“NameNode”這兩個(gè)進(jìn)程，就說明Hadoop啟動(dòng)成功。 需要關(guān)閉Hadoop時(shí)，可以執(zhí)行如下命令：

> cd c:\hadoop-3.1.3\sbin > stop-dfs.cmd

1.使用WEB管理頁面操作HDFS

首先啟動(dòng)Hadoop，然后可以在瀏覽器中輸入“http://localhost:9870”，就可以訪問Hadoop的WEB管理頁面

在WEB管理頁面中，點(diǎn)擊頂部右側(cè)的菜單選項(xiàng)“Utilities”，在彈出的子菜單中點(diǎn)擊“Browse the file system”，會(huì)出現(xiàn)如圖2-20所示的HDFS文件系統(tǒng)操作頁面，在這個(gè)頁面中可以創(chuàng)建、查看、刪除目錄和文件

2.使用命令操作HDFS

除了在瀏覽器中通過WEB方式操作HDFS以外，還可以在cmd窗口中使用命令對HDFS進(jìn)行操作。

?4，HDFS的基本使用方法

1）啟動(dòng)hadoop,為當(dāng)前登錄的Windows用戶在HDFS中創(chuàng)建用戶目錄

?

2）在用戶名user/zhangna下創(chuàng)建test目錄

在user/zhangna下有了test目錄了

3）將windows操作系統(tǒng)本地的一個(gè)文件上傳到hdfs的test目錄中

我把文件保存到了D盤，并且用hadoop命令put把文件傳到了test目錄中

在cmd命令提示符中出現(xiàn)了亂碼，在瀏覽器查看hadoop可以顯示出內(nèi)容

4）把test目錄復(fù)制到windows本地文件系統(tǒng)某個(gè)目錄下

在D盤下面我創(chuàng)建的zhang的文件夾下有test目錄，并且有test.txt文件

文章來源地址http://www.zghlxwxcb.cn/news/detail-767354.html

5）我把hadoop使用命令停了

到了這里，關(guān)于Hadoop的安裝和使用，Windows使用shell命令簡單操作HDFS的文章就介紹完了。如果您還想了解更多內(nèi)容，請?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！