安裝前準備

一、設置ssh免密登錄

1.編輯hosts文件，添加主機名映射內(nèi)容

vim ?/etc/hosts

添加內(nèi)容：

172.17.0.2 ?????master

172.17.0.3 ?????slave1

172.17.0.4 ?????slave2

2.生成公鑰和私鑰

ssh-keygen –t rsa

然后按三次回車

3.復制公鑰到其他容器（包括自己）

ssh-copy-id master

ssh-copy-id slave1

ssh-copy-id slave2

填入yes回車，然后輸入root密碼即可

4.測試是否能免密登錄

ssh master

ssh slave1

ssh slave2

若回顯登錄界面，則設置成功

（另外兩個節(jié)點重復以上操作）

二、java安裝及環(huán)境變量配置

1.解壓jdk安裝包到/opt/module中

tar –zxvf jdk安裝包名 –C /opt/module

cd /opt/module

mv jdk1.8.0_192 jdk1.8（非必須）

（為了之后便利，可把jdk名改簡單點，下面都以jdk1.8來寫）

2.配置JAVA環(huán)境變量，編輯文件/etc/profile，添加內(nèi)容，輸入命令，使添加配置生效

vim ?/etc/profile

添加以下內(nèi)容

export JAVA_HOME=/opt/module/jdk1.8(該處填入jdk路徑)

export PATH=$PATH:$JAVA_HOME/bin

使配置生效

source /etc/profile

3.驗證java環(huán)境變量是否配置成功

java –version

javac

若正常回顯結果則代表安裝配置正確

hadoop平臺搭建

一、hadoop安裝及環(huán)境變量配置

1.解壓hadoop安裝包到/opt/module中

cd /opt/software

tar -zxvf hadoop包名 -C /opt/module

cd /opt/module

mv hadoop-3.2.3 hadoop3(非必須)

2.配置hadoop環(huán)境變量，編輯文件/etc/profile,添加內(nèi)容，輸入命令使其生效

vim /etc/profile

添加內(nèi)容

export?HADOOP_HOME=/opt/module/hadoop3

export?PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

使配置生效

source /etc/profile

3.驗證hadoop環(huán)境變量是否配置成功

hadoop version

slave1、slave2使用scp命令分發(fā)到slave1、slave2

scp傳輸文件命令：scp -r 要傳輸?shù)哪夸?主機名：傳輸?shù)降奈恢?/span>

-r傳輸目錄，傳送文件可不加

scp -r module slave1:/opt

scp -r module slave2:/opt

scp /etc/profile slave1:/etc/profile

scp /etc/profile slave2:/etc/profile

二、Hadoop集群配置

集群部署規(guī)劃

注意：

• Namenode和secondarynamenode不要安裝在同一臺服務器
• Resourcemanagery也很消耗內(nèi)存，不要和namenode、secondarynamenode配置在同一臺機器上

1.進入到/opt/module/hadoop3/etc/hadoop目錄下

cd /opt/module/hadoop3/etc/hadoop

2.修改core-site.xml，hdfs-site.xml，yarn-site.xml，mapred-site.xml四個配置文件

（hadoop默認配置文件在/opt/module/hadoop3/share/hadoop中）

核心配置文件core-site.xml

<configuration>

<!-- 指定NameNode的地址 -->

<property>

<name>fs.defaultFS</name>

<value>hdfs://master:9820</value>

</property>

<!-- 指定hadoop數(shù)據(jù)的存儲目錄 -->

（hadoop.tmp.dir是Hadoop文件系統(tǒng)依賴的基礎配置，默認存放在/tmp/{$user}下。但是存放在/tmp下是不安全的，因為系統(tǒng)重啟后文件有可能被刪除，所以會指向另外的路徑）

<property>

<name>hadoop.tmp.dir</name>

<value>/opt/module/hadoop3/data</value>

</property>

</configuration>

HDFS配置文件hdfs-site.xml

<configuration>

<!-- 指定NameNode的web端訪問地址 -->

<property>

<name>dfs.namenode.http-address</name>

<value>master:9870</value>

</property>

<!-- 指定SecondaryNameNode的web端訪問地址 -->(該部分可能不需要)

<property>

<name>dfs.namenode.secondary.http-address</name>

<value>slave2:9868</value>

</property>

</configuration>

YARN配置文件yarn-site.xml

<configuration>

<!-- 設置ResourceManager -->

<property>

<name>yarn.resourcemanager.hostname</name>

<value>slave1</value>

</property>

<!-- 配置yarn的shuffle服務 -->

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

</configuration>

MapReduce配置文件mapred-site.xml

<configuration>

<!-- 指定MapReduce作業(yè)執(zhí)行時，使用YARN進行資源調(diào)度-->

<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

</property>

</configuration>

3.修改hadoop-env.sh文件

vim hadoop-env.sh

添加內(nèi)容

export JAVA_HOME=/opt/module/jdk1.8

export HDFS_NAMENODE_USER=root

export HDFS_DATANODE_USER=root

export HDFS_SECONDARYNAMENODE_USER=root

export YARN_RESOURCEMANAGER_USER=root

export YARN_NODEMANAGER_USER=root

4.修改workers文件

vim workers

刪除原來的localhost修改為

master

slave1

slave2

5.用scp分發(fā)第一、二步的文件到所以節(jié)點

cd /opt/module

scp –r hadoop3 slave1:/opt/module

scp –r hadoop3 slave2:/opt/module

6.在master節(jié)點初始化namenode

hdfs namenode -format

7.啟動hadoop集群

start-dfs.sh

start-yarn.sh(yarn在哪個節(jié)點，就在哪個節(jié)點啟動)

或

start-all.sh

8.查看java進程

jps

9.檢查是否成功啟動hadoop集群

打開網(wǎng)址http://master:9870(成功打開則說明啟動成功)

擴展一、歷史服務器配置

1.配置mapred-site.xml

添加內(nèi)容：

<!--歷史服務器端地址-->

<property>

<name>mapreduce.jobhistory.address</name>

<value>master:10020</value>

</property>

<!—歷史服務器web端地址?-->

<property>

<name>mapreduce.jobhistory.webapp.address</name>

<value>master:19888</value>

</property>

2.分發(fā)配置到其他節(jié)點

3.啟動歷史服務器

mapred --daemon start historyserver

擴展二、日志聚集功能配置

1.配置yarn-site.xml

添加內(nèi)容

<!—開啟日志聚集功能-->

<property>

<name>yarn.log-aggregation-enable</name>

<value>true</value>

</property>

<!—設置日志聚集服務器地址-->

<property>

<name>yarn.log.server.url</name>

<value>http://master:19888/jobhistory/logs</value>

</property>

<!—設置日志保留時間為7天-->

<property>

<name>yarn.log-aggregation.retain</name>

<value>604800</value>

</property>

2.分發(fā)配置到其他節(jié)點

3.重啟yarn、historyserser文章來源地址http://www.zghlxwxcb.cn/news/detail-840817.html

到了這里，關于hadoop平臺完全分布式搭建的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關文章，希望大家以后多多支持TOY模板網(wǎng)！