在Windows上安裝Hadoop時經(jīng)常會出現(xiàn)許多錯誤，很多用戶使用基于Linux的操作系統(tǒng)。本文詳細(xì)講述如何在Windows上安裝和運(yùn)行Apache Hadoop，如果遇到了問題，可以參考文章中的步驟進(jìn)行解決。

微信搜索關(guān)注《Java學(xué)研大本營》

在 Microsoft Windows 上運(yùn)行 Apache Hadoop 是比較繁瑣的任務(wù)，在安裝過程中會出現(xiàn)許多錯誤，最終，大多數(shù)用戶放棄了通過 Windows 使用 Hadoop，并轉(zhuǎn)而使用基于 Linux 的操作系統(tǒng)。

本文講述了有關(guān)如何在Windows上無誤安裝和運(yùn)行Apache Hadoop所有組件的各個方面。請先為以下先決條件準(zhǔn)備好PC/筆記本電腦：

1. Java開發(fā)工具包

Apache Hadoop 與最新版本的JDK不兼容。建議下載Java SE Development Kit版本15.0.x（可能需要注冊O(shè)racle帳戶）。

安裝鏈接：https://www.oracle.com/java/technologies/javase/jdk15-archive-downloads.html

2. 設(shè)置環(huán)境路徑

（僅在未安裝Java或從未設(shè)置Java路徑時才執(zhí)行此步驟）。

進(jìn)入設(shè)置 -> 搜索 "環(huán)境變量" -> 選擇 "編輯系統(tǒng)變量 "選項(xiàng)。出現(xiàn)以下對話框：

單擊“環(huán)境變量…”按鈕。出現(xiàn)以下窗口：

選擇新按鈕并在變量名稱中鍵入“JAVA_HOME”，將值設(shè)置為Java SDK的bin文件夾的路徑（通常為類型：C:\Program Files\Java\jdk-15.0.1\bin）。對于用戶和系統(tǒng)變量都執(zhí)行此步驟。

從用戶變量中選擇路徑選項(xiàng)（稍后同樣適用于系統(tǒng)變量）。單擊“編輯”并通過單擊“新建”按鈕（從右側(cè)）添加Java bin路徑。對于用戶和系統(tǒng)變量都執(zhí)行此步驟。

現(xiàn)在，通過滿足先決條件，已準(zhǔn)備好在Windows上安裝Apache Hadoop。

從以下鏈接中下載tar.gz文件（注意-最可能需要下載的是底部的第三個文件）。

安裝鏈接：https://downloads.apache.org/hadoop/common/hadoop-3.3.4/

確保將Hadoop文件夾提取到C：驅(qū)動器中（而不是任何文件夾或其他驅(qū)動器中）

提取后，請確保hadoop-3.3.4（文件夾名稱）對用戶具有寫入權(quán)限。

下面我們進(jìn)入安裝步驟的關(guān)鍵部分，設(shè)置Hadoop的配置，請仔細(xì)遵循這些步驟。我們需要更改以下文件：

1. 編輯文件C：\ Hadoop-3.3.4 \ etc \ hadoop \ core-site.xml，編輯xml代碼并保存：

<configuration>?
<property>?
<name>fs.defaultFS</name>?
<value>hdfs://localhost:9000</value>?
</property>?
</configuration>

注意：如果端口正在使用，則可能需要更改端口（此處為9000）。

1. 編輯文件C:\Hadoop-3.3.4\etc\hadoop\mapred-site.xml，編輯xml代碼并保存：

<configuration>?
<property>?
<name>mapreduce.framework.name</name>?
<value>yarn</value>?
</property>?
</configuration>

3. 編輯文件

編輯C:\Hadoop-3.3.4\etc\hadoop\hdfs-site.xml，編輯xml代碼并保存：

<configuration>?
<property>?
<name>dfs.replication</name>?
<value>1</value>?
</property>?
<property>?
<name>dfs.namenode.name.dir</name>?
<value>/hadoop-3.3.4/data/namenode</value>?
</property>?
<property>?
<name>dfs.datanode.data.dir</name>?
<value>/hadoop-3.3.4/data/datanode</value>?
</property>?
</configuration>

4. 創(chuàng)建目錄

創(chuàng)建以下目錄

a. 在“C：\ hadoop-3.3.4 \”下創(chuàng)建文件夾“data”

b. 在“C：\ hadoop-3.3.4 \ data \”下創(chuàng)建文件夾“datanode”

c. 在“C：\ hadoopo-3.3.4 \ data \”下創(chuàng)建文件夾“namenode”

5. 編輯文件

編輯文件C：\ Hadoop-3.3.4 \ etc \ hadoop \ yarn-site.xml，編輯xml代碼并保存：

<configuration>?
<property>?
<name>yarn.nodemanager.aux-services</name>?
<value>mapreduce_shuffle</value>?
</property>?
<property>?
<name>yarn.nodemanager.auservices.mapreduce.shuffle.class</name>?
<value>org.apache.hadoop.mapred.ShuffleHandler</value>?
</property>?
</configuration>

6. 編輯文件

編輯文件C:\Hadoop-3.3.4\etc\hadoop\hadoop-env.cmd，編輯以下行：

“JAVA_HOME=C:\\Progra~1\Java\jdk-15.0.1\bin”?instead?of?set?“JAVA_HOME=C:\Java”?

注意：可以使用JAVA_HOME變量，但由于路徑地址(Program Files)中存在空格，會引發(fā)錯誤。

到這一步已經(jīng)完成了編輯配置的工作?，F(xiàn)在，我們將在cmd中執(zhí)行命令以運(yùn)行Hadoop。

從下面鏈接中的bin文件夾中粘貼文件到Hadoop bin文件夾中，注意不要替換整個bin文件夾，復(fù)制文件并僅替換選定的文件。確保bin文件夾總共有22個項(xiàng)目。這一步很關(guān)鍵，因?yàn)楝F(xiàn)有的bin文件夾具有不完整的文件集，這些文件集是運(yùn)行資源管理器所需的。

安裝鏈接：https://drive.google.com/drive/folders/1fDbblP61sUKmDqvQ8pfU98nMt_we4b5J?usp=share_link

7. 為Hadoop設(shè)置環(huán)境和路徑變量

進(jìn)入設(shè)置->打開環(huán)境變量->在用戶變量中添加新變量：

變量名稱：HADOOP_HOME，值：C：\ hadoop-3.3.4 \ bin（到hadoop bin文件夾的路徑）。

進(jìn)入用戶變量中的路徑，點(diǎn)擊編輯，添加新路徑：

路徑值與上面相同（到Hadoop bin文件夾的路徑）。

將以下路徑值添加到系統(tǒng)變量中：

C：\ hadoop-3.3.4 \ bin

C：\ hadoop-3.3.4 \ sbin

以“管理員身份運(yùn)行”打開cmd（或powershell），并使用cd命令導(dǎo)航到Hadoop的bin目錄：

cd?C:\hadoop-3.3.4\bin\

8. 格式化目錄

使用相同的cmd（powershell）命令格式化“namenode”目錄；

hdfs?namenode?-format

9. 啟動組件

要啟動Hadoop組件，將當(dāng)前目錄改為sbin文件夾：

cd?C:\hadoop-3.3.4\sbin\

并運(yùn)行“start-all.cmd”可執(zhí)行文件?？梢酝ㄟ^在文件資源管理器中導(dǎo)航到sbin目錄中的start-all.cmd并選擇“以管理員身份運(yùn)行”來執(zhí)行此操作。

注意：如果通過執(zhí)行第8步，無法查看yarn終端（cmd），請從同一目錄中以管理員身份打開“start-yarn.cmd”。

現(xiàn)在就能看到四個終端(cmd)同時運(yùn)行。

確保所有四個組件都在運(yùn)行，這些組件是：

a. hadoop namenode

b. hadoop datanode

c. yarn resourcemanager

d. yarn nodemanager

注意：可以使用終端中的“jps”命令進(jìn)行驗(yàn)證。如果任何一個（或多個）進(jìn)程“關(guān)閉”，請檢查上一部分中的Hadoop配置步驟。

在成功運(yùn)行組件后，可以通過在Web瀏覽器中打開http://localhost:8088來訪問Hadoop默認(rèn)創(chuàng)建的群集。

上圖顯示了具有值1的活動節(jié)點(diǎn)的突出顯示字段，表示已創(chuàng)建一個節(jié)點(diǎn)并正在運(yùn)行。

單擊左側(cè)欄上的“節(jié)點(diǎn)”以查看所創(chuàng)建節(jié)點(diǎn)的詳細(xì)信息。

要檢查namenode的狀態(tài)，請在Web瀏覽器中打開http://localhost:9870?？梢酝ㄟ^頂部導(dǎo)航欄下的“實(shí)用程序”部分在GUI下訪問HDFS。

注意：圖中顯示 "localhost:9001"，因?yàn)槎丝谔?000已經(jīng)被我的電腦使用了。我已經(jīng)在Hadoop配置步驟中改變了它。(在core-site.xml文件中)。

恭喜，已成功在PC上安裝了Apache Hadoop?，F(xiàn)在，可以從本地計算機(jī)執(zhí)行map reduce任務(wù)，開始探索Hadoop Map Reduce的功能吧。

推薦書單

《Hadoop大數(shù)據(jù)分析實(shí)戰(zhàn)》

本書詳細(xì)闡述了與Hadoop 3大數(shù)據(jù)分析相關(guān)的基本解決方案，主要包括Hadoop簡介、大數(shù)據(jù)分析概述、基于MapReduce的大數(shù)據(jù)處理、Python-Hadoop科學(xué)計算和大數(shù)據(jù)分析、R-Hadoop統(tǒng)計數(shù)據(jù)計算、Apache Spark批處理分析、Apache Spark實(shí)時數(shù)據(jù)分析、Apache Flink批處理分析、Apache Flink流式處 理、大數(shù)據(jù)可視化技術(shù)、云計算簡介、使用亞馬Web服務(wù)等內(nèi)容。此外，本書還提供了相應(yīng)的示例、代碼，以幫助讀者進(jìn)一步理解相關(guān)方案的實(shí)現(xiàn)過程。

本書適合作為高等院校計算機(jī)及相關(guān)專業(yè)的教材和教學(xué)參考書，也可作為相關(guān)開發(fā)人員的自學(xué)教材和參考手冊。

《Hadoop大數(shù)據(jù)分析實(shí)戰(zhàn)》([美]，斯里達(dá)爾·奧拉)【摘要 書評 試讀】- 京東圖書京東JD.COM圖書頻道為您提供《Hadoop大數(shù)據(jù)分析實(shí)戰(zhàn)》在線選購，本書作者：，出版社：清華大學(xué)出版社。買圖書，到京東。網(wǎng)購圖書，享受最低優(yōu)惠折扣!https://item.jd.com/12613682.html

精彩回顧

一文講清RabbitMQ、Apache Kafka、ActiveMQ

一文講清數(shù)據(jù)集市、數(shù)據(jù)湖、數(shù)據(jù)網(wǎng)格、數(shù)據(jù)編織

分布式計算哪家強(qiáng)：Spark、Dask、Ray大比拼

使用FPGA制作低延時高性能的深度學(xué)習(xí)處理器

ChatGPT是如何運(yùn)行起來的？（下）

微信搜索關(guān)注《Java學(xué)研大本營》

訪問【IT今日熱榜】，發(fā)現(xiàn)每日技術(shù)熱點(diǎn)文章來源地址http://www.zghlxwxcb.cn/news/detail-714729.html

到了這里，關(guān)于9個步驟，手把手教你在Windows上安裝Hadoop的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！