一、安裝hadoop

1. 將hadoop-3.1.3.tar.gz復(fù)制到虛擬機(jī)/opt/software目錄下：

2.在/opt/software目錄下使用tar命令解壓hadoop-3.1.3.tar.gz到/opt/module目錄下：?

tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/

執(zhí)行結(jié)果如下：

3.在/opt/module目錄下修改文件夾名稱：

mv hadoop-3.1.3/ hadoop

執(zhí)行結(jié)果如下：

?4.打開(kāi)環(huán)境變量：

vim /etc/profile

執(zhí)行結(jié)果如下：

5.將光標(biāo)移至文件底部，按“i”鍵編輯并作出如下配置：

#hadoop
export HADOOP_HOME=/opt/module/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

6.按esc鍵退出編輯，并輸入冒號(hào)“：wq”? ，回車保存退出：

?7.將profile文件重新運(yùn)行：

source /etc/profile

8.?運(yùn)行hadoop?version檢驗(yàn)安裝結(jié)果：

hadoop version

執(zhí)行結(jié)果如下：

hadoop安裝成功！

二、前期準(zhǔn)備

1.關(guān)閉防火墻：

查看防火墻狀態(tài):

systemctl status firewalld.service

關(guān)閉防火墻：

systemctl stop firewalld.service

永久關(guān)閉防火墻：

systemctl disable firewalld.service

再次查看防火墻狀態(tài)：

systemctl status firewalld.service

?執(zhí)行結(jié)果如下：

2.設(shè)置免密登錄：

ssh-keygen -t rsa -P ''

ssh-copy-id localhost

ssh localhost

exit

執(zhí)行結(jié)果如下：

?3.啟用RSA認(rèn)證：

vim /etc/ssh/sshd_config

添加如下配置：

RSAAuthentication yes # 啟用 RSA 認(rèn)證

PubkeyAuthentication yes # 啟用公鑰私鑰配對(duì)認(rèn)證方式

AuthorizedKeysFile %h/.ssh/authorized_keys # 公鑰文件路徑

4.虛擬機(jī)關(guān)機(jī)，克隆虛擬機(jī)創(chuàng)建bigdata02、bigdata03節(jié)點(diǎn)：

?

?

?

?

?

?

?同樣的方式創(chuàng)建bigdata03節(jié)點(diǎn)這里不再進(jìn)行演示。

5.開(kāi)機(jī)，三個(gè)節(jié)點(diǎn)修改主機(jī)名：

vim /etc/hostname

修改完成后需要重啟虛擬機(jī)。

?6.三個(gè)節(jié)點(diǎn)設(shè)置靜態(tài)ip（之前博客有發(fā)這里不再進(jìn)行演示）。

7.三個(gè)節(jié)點(diǎn)設(shè)置ip映射：

vim /etc/hosts

在文件底部作出如下配置：

8.三個(gè)節(jié)點(diǎn)都測(cè)試?下配置是否成功:

ssh bigdata01

ssh bigdata02

ssh bigdata03

執(zhí)行結(jié)果如下：

?準(zhǔn)備完畢！

三、配置hadoop完全分布式

1.在/opt/module/hadoop/etc/hadoop/目錄下，編輯hadoop-env.sh、yarn-env.sh、mapred-env.sh文件：

vim hadoop-env.sh

vim yarn-env.sh

vim mapred-env.sh

均添加如下配置：

export JAVA_HOME=/opt/module/jdk

2.在/opt/module/hadoop/etc/hadoop/目錄下，編輯core-site.xml文件：

vim core-site.xml

在<configuration>下添加如下配置：

<property>
    <name>fs.defaultFS</name>
    <value>hdfs://bigdata01:9000</value>
</property>
<property>
    <name>hadoop.tmp.dir</name>
    <value>/opt/module/hadoop/dfs/tmp/</value>
</property>

3.在/opt/module/hadoop/etc/hadoop/目錄下，編輯hdfs-site.xml文件：

vim hdfs-site.xml

在<configuration>下添加如下配置：

<property>
    <name>dfs.replication</name>
    <value>3</value>
</property>
<property>
    <name>dfs.namenode.name.dir</name>
    <value>/opt/module/hadoop/dfs/name</value>
</property>
<property>
    <name>dfs.datanode.data.dir</name>
    <value>/opt/module/hadoop/dfs/data</value>
</property>

4.在/opt/module/hadoop/etc/hadoop/目錄下，編輯yarn-site.xml文件：

vim yarn-site.xml

在<configuration>下添加如下配置：

<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>
<property>
    <name>yarn.resourcemanager.hostname</name>
    <value>bigdata01</value>
</property>
<property>
    <name>yarn.nodemanager.pmem-check-enabled</name>
    <value>false</value>
</property>
<property>
    <name>yarn.nodemanager.vmem-check-enabled</name>
    <value>false</value>
</property>

5.在/opt/module/hadoop/etc/hadoop/目錄下，編輯mapred-site.xml文件：

vim mapred-site.xml

在<configuration>下添加如下配置：

<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>
<property>
    <name>yarn.app.mapreduce.am.env</name>
    <value>HADOOP_MAPRED_HOME=/opt/module/hadoop</value>
</property>
<property>
    <name>mapreduce.map.env</name>
    <value>HADOOP_MAPRED_HOME=/opt/module/hadoop</value>
</property>
<property>
    <name>mapreduce.reduce.env</name>
    <value>HADOOP_MAPRED_HOME=/opt/module/hadoop</value>
</property>

6.在/opt/module/hadoop/etc/hadoop/目錄下，編輯works：

vim workers

刪除原配置，添加如下配置：

bigdata01
bigdata02
bigdata03

7.在/etc/profile下配置hadoop的HDSF和YARN?戶：

vim /etc/profile

在文件底部添加如下配置：

export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

8.source使配置?件?效：

source /etc/profile

9.將hadoop和將/etc/profile拷?到bigdata02和bigdata03：

scp -r /opt/module/hadoop/ @bigdata02:/opt/module/

scp -r /opt/module/hadoop/ @bigdata03:/opt/module/

scp -r /etc/profile @bigdata02:/etc/

scp -r /etc/profile @bigdata03:/etc/

10.格式化namenode：

hdfs namenode -format

執(zhí)行結(jié)果如下：

?11.啟動(dòng)hadoop集群：

start-all.sh

執(zhí)行結(jié)果如下：

?12.查看jps進(jìn)程：

jps

bigdata01：

?bigdata02：

bigdata03：

?hadoop完全分布式配置完畢！文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-721683.html

到了這里，關(guān)于Hadoop3.1.3完全分布式安裝配置的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！