目錄
一、上傳、解壓&配置
（一）上傳
（二）解壓
（三）配置hadoop系統(tǒng)環(huán)境變量
1.配置hadoop環(huán)境變量
2.讓環(huán)境變量生效
3.驗證hadoop系統(tǒng)環(huán)境變量
二、修改配置文件
?（一）前置介紹
（二）更改配置文件
1.配置Hadoop集群主機點
2.修改core-site.xml文件
3.修改hdfs-site.xml文件
4.修改mapred-site.xml文件
5.修改yarn-site.文件
6.修改slaves文件
三、分發(fā)
（一）分發(fā)hadoop安裝目錄
?（二）分發(fā)系統(tǒng)變量文件
四、啟動集群
（一）格式化集群
（二）啟動集群
（三）通過UI查看Hadoop運行狀態(tài)
本文是以root身份來控制集群啟停的，后面會出一篇以hadoop用戶來控制集群啟停博客。
hadoop2.7.3.tar.gz 安裝包提取
鏈接：https://pan.baidu.com/s/1W3TidAVddQZ4n5Lm2NJB_Q?
提取碼：ay17
一、上傳、解壓&配置
（一）上傳
1.上傳hadoop安裝包到hp1節(jié)點中
（二）解壓
1.解壓縮安裝包到/export/server/中
tar -zxvf hadoop-2.7.3.tar.gz -C /export/server/
2.將 hadoop-2.7.3 改名為hadoop
首先進入相應(yīng)目錄
然后將 hadoop-2.7.3 改名為hadoop，命令為
mv hadoop-2.7.3 hadoop
（三）配置hadoop系統(tǒng)環(huán)境變量
1.配置hadoop環(huán)境變量
vi /etc/profile
?
在里面添加如下內(nèi)容：
export HADOOP_HOME=/export/server/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
2.讓環(huán)境變量生效
為了讓系統(tǒng)變量文件中添加的內(nèi)容生效，執(zhí)行 “?source /etc/profile ”命令初始化系統(tǒng)環(huán)境變量，使添加的hadoop系統(tǒng)環(huán)境變量生效。
3.驗證hadoop系統(tǒng)環(huán)境變量
在虛擬機hp1任意目錄執(zhí)行 “ hadoop version ” 命令，查看當(dāng)前虛擬機中hadoop的版本號
二、修改配置文件
?（一）前置介紹
配置HDFS集群，我們主要涉及到如下文件的修改：
| hadoop-env.sh |
配置Hadoop運行所需的環(huán)境變量 |
| yarn-env.sh |
配置YARN運行所需的環(huán)境變量 |
| core-site.xml |
Hadoop核心全局配置文件 |
| hdfs-site.xml |
HDFS核心配置文件 |
| mapred-site.xml |
MapReduce核心配置文件 |
| yarn-site.xml |
YARN核心配置文件 |
| slaves | 配置從節(jié)點（DataNode）有哪些 |
這些文件均存在于 $HADOOP_HOME/etc/hadoop文件夾中
PS: $HADOOP_HOME是后續(xù)我們要設(shè)置的環(huán)境變量，其指代Hadoop安裝文件夾即 /export/server/hadoop
修改文件之間需要進入到對應(yīng)目錄
（二）更改配置文件
1.配置Hadoop集群主機點
vim hadoop-env.sh
找到JAVA_HOME參數(shù)位置，進入如下修改（注意JDK路徑）
上述配置文件中設(shè)置的是Hadoop運行時需要的JDK環(huán)境變量，目的是讓Hadoop啟動時能夠執(zhí)行守護進程。
2.修改core-site.xml文件
vim core-site.xml
該文件是Hadoop的核心配置文件，其目的是配置HDFS地址、端口號，以及臨時文件目錄。打開配置文件后，在<configuration></configuration>之間添加如下內(nèi)容
? <property>
? ? ? ? <name>fs.defaultFS</name>
? ? ? ? <value>hdfs://hp1:9000</value>
? ? </property>
? ?<property>
? ? ? ? <name>hadoop.tmp.dir</name>
? ? ? ? <value>/export/server/hadoop/tmp</value>
? ? </property>
上述核心配置文件中，配置了HDFS的主進程NameNode運行主機（也就是此次Hadoop集群的主節(jié)點位置），同時配置了Hadoop運行時生成數(shù)據(jù)的臨時目錄。
3.修改hdfs-site.xml文件
vim hdfs-site.xml
該文件用于設(shè)置HDFS的NameNode和DataNode兩大進程。打開該配置文件，在<configuration></configuration>之間添加如下內(nèi)容
? ? <property>
? ? ? ? <name>dfs.replication</name>
? ? ? ? <value>3</value>
? ? </property>
? ? <property>
? ? ? ? <name>dfs.namenode.secondary.http-address</name>
? ? ? ? <value>hp2:50090</value>
? ? </property>
在上述配置文件中，配置了HDFS數(shù)據(jù)塊的副本數(shù)量（默認值就是3），并根據(jù)需要設(shè)置了Secondary NameNode所在服務(wù)的HTTP協(xié)議地址。
4.修改mapred-site.xml文件
該文件是MapReduce的核心配置文件，用于指定MapReduce運行時框架。因為hadoop版本不同，有些版本里面在/etc/hadoop/目錄中默認沒有該文件，需要先通過 “ cp mapred-site.xml.template?mapred-site.xml " 命令將文件復(fù)制并重命名為 “?mapred-site.xml "。接著，打開mapred-site.xml文件進行修改：
vim mapred-site.xml
在<configuration></configuration>之間添加如下內(nèi)容
? ? ? <property>
? ? ? ? ? ? <name>mapreduce.framework.name</name>
? ? ? ? ? ? <value>yarn</value>
? ? ? </property>
5.修改yarn-site.文件
vim yarn-site.xml
本文件是YARN框架的核心配置文件，需要指定YARN集群的管理者。
在<configuration></configuration>之間添加如下內(nèi)容
? ? ? <property>
? ? ? ? ? ? <name>yarn.resourcemanager.hostname</name>
? ? ? ? ? ? <value>hp1</value>
? ? ? </property>
? ? ? <property>
? ? ? ? ? ? <name>yarn.nodemanager.aux-services</name>
? ? ? ? ? ? <value>mapreduce_shuffle</value>
? ? ? </property>
在上述配置文件中，配置了YARN的主進程ResourceManager運行主機為hp1，同時配置了NodeManager運行時的附屬服務(wù)，需要配置為mapreduce_shuffle才能正常運行MapReduce默認程序。
6.修改slaves文件
如果是 hadoop 3.x版本即為workers文件
該文件用于記錄Hadoop集群所有從節(jié)點（HDFS的DataNode 和 YARN 的 NodeManager 所在主機）的主機名，用來配合一鍵啟動腳本啟動集群從節(jié)點（并且還需要保證關(guān)聯(lián)節(jié)點配置了SSH免密登錄）。打開該配置文件，先刪除里面的內(nèi)容（默認localhost），然后配置如下內(nèi)容
hp1
hp2
hp3
在上述配置中，配置了Hadoop集群所有從節(jié)點的主機名為hp1、hp2、hp3（這是因為此次在該3臺機器上搭建Hadoop集群，同時前面的配置文件hdfs-site.xml指定了HDFS服務(wù)副本數(shù)量為3）
三、分發(fā)
（一）分發(fā)hadoop安裝目錄
使用scp命令將虛擬機hp1的hadoop安裝目錄分發(fā)至虛擬機hp2和hp3中存放安裝程序的目錄
scp -r /export/server/hadoop root@hp2:/export/server/
scp -r /export/server/hadoop root@hp3:/export/server/
?（二）分發(fā)系統(tǒng)變量文件
scp /etc/profile hp2:/etc/profile
scp /etc/profile hp3:/etc/profile
執(zhí)行完上述所有指令后，還需要再其他子節(jié)點hp2、hp3上分別執(zhí)行 "source /etc/profile " 指令立即刷新配置文件。
至此，整個集群所有節(jié)點就都有了Hadoop運行所需的環(huán)境和文件，Hadoop集群也就安裝配置完成。
四、啟動集群
（一）格式化集群
hdfs namenode -format 或者 hadoop namenode -format
格式化指令只需要再Hadoop集群初次啟動前執(zhí)行即可，后續(xù)重復(fù)啟動就不需要執(zhí)行格式化了。
（二）啟動集群
一鍵啟動集群命令：start-all.sh
一鍵關(guān)閉集群命令：stop-all.sh
在整個Hadoop集群服務(wù)啟動完成之后，可以在各自機器上通過jps指令查看各節(jié)點的服務(wù)進程啟動情況
（三）通過UI查看Hadoop運行狀態(tài)
Hadoop集群正常啟動后，它默認開放了50070和8088兩個端口，分別用于監(jiān)控HDFS集群和YARN集群。通過UI可以方便地進行集群的管理和查看，只需要在本地操作系統(tǒng)的瀏覽器輸入集群服務(wù)的IP和對應(yīng)的端口號即可訪問。
http://hp1:50070（集群服務(wù)IP+端口號）?
查看HDFS集群狀態(tài)
http://hp1:8088 查看YARN集群狀態(tài)文章來源：http://www.zghlxwxcb.cn/news/detail-857458.html
文章來源地址http://www.zghlxwxcb.cn/news/detail-857458.html
到了這里，關(guān)于Hadoop集群部署（完全分布式模式、hadoop2.7.3+安裝包）的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！
