1、hadoop 包下載

• 清華大學(xué)開源軟件鏡像站下載(速度較快，但版本不全)
• 官方各個版本

下載后解壓。
添加環(huán)境變量 HADOOP_HOME。并將 %HADOOP_HOME%/bin、%HADOOP_HOME%/sbin 添加到 path 中。

ps：本文使用的是 hadoop-3.3.2

2、windows 環(huán)境準(zhǔn)備

windows 所需文件：winutils.exe、hadoop.dll
可從 GitHub 下載（不全）。

• winutils.exe 放到 %HADOOP_HOME%/bin 下面。
• hadoop.dll 放到 windows\system32 下面（也可以放到 %HADOOP_HOME%/bin 下面，加到 path 環(huán)境變量就行）。

3、配置

（可選）修改 %HADOOP_HOME%/etc/hadoop 下面的腳本 hadoop-env.cmd，修改 JAVA_HOME 為本機jdk安裝時配置的目錄。

修改 %HADOOP_HOME%/etc/hadoop 下面的配置文件：core-site.xml、 hdfs-site.xml、 mapred-site.xml、 yarn-site.xml

• core-site.xml

<configuration>

	<property>
		<name>fs.default.name</name>
		<value>hdfs://0.0.0.0:8020</value>
	</property>

    <!--用來指定使用hadoop時產(chǎn)生文件的存放目錄, -->
    <property>
        <name>hadoop.tmp.dir</name> 
        <value>/D:/Programs/hadoop-3.3.2/temp</value>
    </property>
</configuration>

• hdfs-site.xml

<configuration>
    <!--指定hdfs保存數(shù)據(jù)的副本數(shù)量-->
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <!--指定hdfs中namenode的存儲位置-->
    <property>
        <name>dfs.namenode.name.dir</name> 
        <value>/D:/Programs/hadoop-3.3.2/data/namenode</value>
    </property>
    <!--指定hdfs中datanode的存儲位置-->
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/D:/Programs/hadoop-3.3.2/data/datanode</value>
    </property>
		
	<property>
        <name>dfs.http.address</name>
        <value>0.0.0.0:50070</value>
    </property>
</configuration>

• mapred-site.xml

<configuration>
	<!--告訴hadoop以后MR(Map/Reduce)運行在YARN上-->
	<property>
		<description>The hostname of the RM.</description>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
	</property>
</configuration>

• yarn-site.xml

<configuration>

<!-- Site specific YARN configuration properties -->

     <!--nomenodeManager獲取數(shù)據(jù)的方式是shuffle-->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <!--指定 ResourceManager 的地址-->     
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>0.0.0.0</value>
    </property> 
    <property>
    	<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
    	<value>org.apache.hadoop.mapred.ShuffleHandler</value>
	</property>
    <!--Yarn打印工作日志-->    
    <property>    
        <name>yarn.log-aggregation-enable</name> 
        <value>true</value>    
    </property>

</configuration>

第一次運行前，需要格式化HDFS：

hadoop namenode -format

運行：start-dfs.cmd、start-yarn.cmd(需要以管理員運行 cmd)；（或 start-all.cmd ）

然后訪問：

• http://localhost:8088 查看集群狀態(tài)
• http://localhost:50070 訪問hdfs
• http://localhost:19888 查看JobHistory（需要先啟動jobHistoryserver)

4、一些報錯

未指定 hadoop.tmp.dir（core-site.xml） ：

2023-07-03 11:05:24,913 INFO localizer.ResourceLocalizationService: usercache path : file:/tmp/hadoop-a/nm-local-dir/usercache_DEL_1688353524257
2023-07-03 11:05:24,945 WARN nativeio.NativeIO: NativeIO.getStat error (3): 系統(tǒng)找不到指定的路徑。
 -- file path: tmp/hadoop-a/nm-local-dir/filecache
2023-07-03 11:05:25,013 WARN nativeio.NativeIO: NativeIO.getStat error (3): 系統(tǒng)找不到指定的路徑。
 -- file path: tmp/hadoop-a/nm-local-dir/usercache
2023-07-03 11:05:25,072 WARN nativeio.NativeIO: NativeIO.getStat error (3): 系統(tǒng)找不到指定的路徑。
 -- file path: tmp/hadoop-a/nm-local-dir/nmPrivate

非管理員運行 start-yarn.cmd ：

org.apache.hadoop.yarn.exceptions.YarnRuntimeException: Failed to setup local dir D:/Programs/hadoop-3.3.2/temp/nm-local-dir, which was marked as good.

填指定 ip 時，則 只會監(jiān)聽該 ip。地址填 0.0.0.0 時，能夠監(jiān)聽本機其他 ip。

如 yarn-site.xml 中的 yarn.resourcemanager.hostname。填 10.10.3.16 時，只能通過 10.10.3.16:8088 訪問resourcemanager的webui，使用 localhost:8088 無法訪問。文章來源地址http://www.zghlxwxcb.cn/news/detail-601884.html

到了這里，關(guān)于windows hadoop 開發(fā)測試版快速搭建的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！