一、實(shí)驗(yàn)介紹
1.1 實(shí)驗(yàn)內(nèi)容
基于開源軟件搭建滿足企業(yè)需求的Hadoop生態(tài)系統(tǒng),構(gòu)建基礎(chǔ)的大數(shù)據(jù)分析平臺(tái)。
本實(shí)驗(yàn)采用4臺(tái)機(jī)器搭建Hadoop完全分布式集群，其中1臺(tái)機(jī)器作為Master節(jié)點(diǎn)，另外三臺(tái)機(jī)器作為Slave節(jié)點(diǎn)，主機(jī)名分別為Slave1，Slave2和Slave3。
1.2 實(shí)驗(yàn)知識(shí)點(diǎn)
Hadoop集群部署
HDFS分布式文件系統(tǒng)管理
1.3 實(shí)驗(yàn)環(huán)境
Hadoop2.7.3
VMware Workstation 16 Pro for Windows
1.4 實(shí)驗(yàn)資源
| 資源名稱 | 存儲(chǔ)目錄 |
|---|---|
| hadoop安裝包 | /opt/software/package/ |
1.5 實(shí)驗(yàn)步驟清單
檢查實(shí)驗(yàn)環(huán)境（防火墻、hosts配置、ssh互信）
可以參考搭建Hadoop集群環(huán)境
部署hadoop集群（安裝hadoop、創(chuàng)建hdfs數(shù)據(jù)文件、修改配置文件、主從節(jié)點(diǎn)同步）
測(cè)試hadoop集群（啟動(dòng)集群、驗(yàn)證集群）
二、實(shí)驗(yàn)架構(gòu)
| 序號(hào) | IP地址 | 機(jī)器名 |
|---|---|---|
| 1 | 172.25.10.140 | master |
| 2 | 172.25.10.141 | slave1 |
| 3 | 172.25.10.142 | slave2 |
| 4 | 172.25.10.143 | slave3 |
三、實(shí)驗(yàn)環(huán)境準(zhǔn)備
啟動(dòng)虛擬機(jī)master、slave1，slave2和slave3的快照。
輸入用戶名root密碼root登錄系統(tǒng)。
四、實(shí)驗(yàn)步驟
4.1 查看環(huán)境
#關(guān)閉防火墻命令systemctl stop firewalld
#檢查防火墻是否關(guān)閉firewall-cmd --state
#檢查四臺(tái)虛擬機(jī)hosts文件cat /etc/hosts
#檢查ssh環(huán)境ssh slave1 datessh slave2 datessh slave3 date
4.2部署Hadoop集群
4.2.1安裝hadoop(master)
#解壓安裝包tar zxvf /opt/software/package/hadoop-2.7.3.tar.gz -C /usr/local/
#重命名Hadoop安裝目錄mv /usr/local/hadoop-2.7.3 /usr/local/hadoop
4.2.2創(chuàng)建hdfs數(shù)據(jù)文件存儲(chǔ)目錄(master)
#刪除并創(chuàng)建hdfs數(shù)據(jù)文件存儲(chǔ)目錄rm -rf /home/hadoopdirmkdir /home/hadoopdir
#創(chuàng)建臨時(shí)文件存儲(chǔ)目錄mkdir /home/hadoopdir/tmp
#創(chuàng)建namenode數(shù)據(jù)目錄mkdir -p /home/hadoopdir/dfs/name
#創(chuàng)建datanode數(shù)據(jù)目錄mkdir /home/hadoopdir/dfs/data
4.2.3修改配置文件(master)
1、配置環(huán)境變量
#檢查環(huán)境變量
vim /etc/profile
#末尾添加
export HADOOP_INSTALL=/usr/local/hadoop
export PATH=${HADOOP_INSTALL}/bin:${HADOOP_INSTALL}/sbin:${PATH}
#/etc/profile文件生效source /etc/profile
#hadoop-env.sh配置JAVA_HOME
vim /usr/local/hadoop/etc/hadoop/hadoop-env.sh```
export JAVA_HOME=/usr/local/jdk/jre
#驗(yàn)證Hadoop版本
```hadoop version```
2、修改core-site.xml內(nèi)容參考如下
```vim /usr/local/hadoop/etc/hadoop/core-site.xml```
#修改配置文件vim /usr/local/hadoop/etc/hadoop/mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>master:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>master:19888</value>
</property>
<property>
<name>mapreduce.jobtracker.http.address</name>
<value>master:50030</value>
</property>
<property>
<name>mapred.job.tracker</name>
<value>master:9001</value>
</property>
</configuration>
5、修改 yarn-site.xmlvi /usr/local/hadoop/etc/hadoop/yarn-site.xml
<configuration>
<!-- Site specific YARN configuration properties -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>master</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>master:8032</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>master:8030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>master:8031</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>master:8033</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>master:8088</value>
</property>
</configuration>
6、修改 slaves文件vim /usr/local/hadoop/etc/hadoop/slaves
slave1
slave2
slave3
7、初始化HDFShadoop namenode -format
備注：最后出現(xiàn)“util.ExitUtil: Exiting with status 0”，表示成功。
4.2.4主從節(jié)點(diǎn)同步(master)
1、同步/usr/local/hadoop目錄文件到slave節(jié)點(diǎn)scp -r /usr/local/hadoop slave1:/usr/local/scp -r /usr/local/hadoop/ slave2:/usr/local/scp -r /usr/local/hadoop/ slave3:/usr/local/
2、同步/home/hadoopdir目錄文件到slave節(jié)點(diǎn)
#刪除目錄ssh slave1 rm -rf /home/hadoopdirssh slave2 rm -rf /home/hadoopdirssh slave3 rm -rf /home/hadoopdir
#同步目錄scp -r /home/hadoopdir slave1:/home/scp -r /home/hadoopdir slave2:/home/scp -r /home/hadoopdir slave3:/home/
3、同步環(huán)境信息scp /etc/profile slave1:/etc/profilescp /etc/profile slave2:/etc/profilescp /etc/profile slave3:/etc/profile
[root@slave1 ~]# source /etc/profile
``[root@slave2 ~]# source /etc/profile [root@slave3 ~]# source /etc/profile```
4.3測(cè)試Hadoop集群
4.3.1啟動(dòng)集群
#啟動(dòng)hadoop集群(master)start-all.sh 
4.3.2驗(yàn)證Hadoop集群
1、JPS查看Java進(jìn)程
#master
#slave1
#slave2
#slave3
2、登錄網(wǎng)頁查看
打開瀏覽器，登錄http://172.25.10.140:50070
打開瀏覽器，查看yarn環(huán)境，登錄http://172.25.10.140:8088
文章來源：http://www.zghlxwxcb.cn/news/detail-497336.html
五、實(shí)驗(yàn)總結(jié)
本次實(shí)驗(yàn)采用完全分布式集群安裝方式，需要提前部署JDK環(huán)境、SSH驗(yàn)證等過程。安裝并啟動(dòng)后可以訪問 Web 界面 http://localhost:50070 查看 NameNode 和 Datanode 信息，還可以在線查看 HDFS 中的文件。文章來源地址http://www.zghlxwxcb.cn/news/detail-497336.html
到了這里，關(guān)于接上篇文章，完成Hadoop集群部署實(shí)驗(yàn)的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！
