首先準(zhǔn)備好三臺服務(wù)器或者虛擬機(jī)，我本機(jī)安裝了三個(gè)虛擬機(jī)，安裝虛擬機(jī)的步驟參考我之前的一篇

virtualBox虛擬機(jī)安裝多個(gè)+主機(jī)訪問虛擬機(jī)+虛擬機(jī)訪問外網(wǎng)配置-CSDN博客

jdk安裝

參考文檔：Linux 環(huán)境下安裝JDK1.8并配置環(huán)境變量_linux安裝jdk1.8并配置環(huán)境變量_Xi-Yuan的博客-CSDN博客

一臺機(jī)器配置完成jdk之后，我們將已經(jīng)解壓完成的jdk分發(fā)到另外兩臺虛擬機(jī)上

我們的hosts中ip和域名沒有映射

或者通過ip分發(fā)，不用配置域名映射了

scp -r /usr/java/jdk1.8.0_391 192.168.137.16:/usr/java??

hosts配置，點(diǎn)擊多屏同時(shí)編輯

vi /etc/hosts

scp -r /usr/java/jdk1.8.0_391 hadoop02:/usr/java

分發(fā)完成之后記得其它兩臺機(jī)器的java配置一下

vi /etc/profile

export JAVA_HOME=/usr/java/jdk1.8.0_391
export PATH=$PATH:$JAVA_HOME/bin

source /etc/profile

hadoop包提前下載好，官網(wǎng)的下載速度實(shí)在太慢，我的下載地址如下：

We Transfer Gratuit. Envoi sécurisé de gros fichiers. (swisstransfer.com)

解壓縮到/usr目錄下

tar -zxvf?hadoop-2.9.2.tar.gz -C /usr

hadoop配置工作

cd /usr/hadoop-2.9.2/etc/hadoop

vi hadoop-env.sh

更改如下配置

JAVA_HOME=/usr/java/jdk1.8.0_391

vi core-site.xml

<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop01:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/hadoop-2.9.2/tmp</value>
</property>

?vi hdfs-site.xml

<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<property>
<name>dfs.permissions</name>
<value>true</value>
</property>

mv mapred-site.xml.template ?mapred-site.xml

vi?mapred-site.xml

<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>

vi yarn-site.xml

<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop01</value>
</property>
<property>
<name>yarn.nodemanager.aux-service</name>
<value>mapreduce_shuffle</value>
</property>

vi slaves

刪除已有的localhost

添加從節(jié)點(diǎn)域名

hadoop02

hadoop03

將hadoop01虛擬機(jī)上hadoop的文件分發(fā)到其它兩臺虛擬機(jī)

scp -r /usr/hadoop-2.9.2 hadoop02:/usr

scp -r /usr/hadoop-2.9.2 hadoop03:/usr

hadoop啟動(dòng)

#HADDOOP_HOME配置

source /ect/profile

#初始化

hdfs namenode -format

#一鍵啟動(dòng)之前配置好免密登錄功能，否則啟動(dòng)和停止時(shí)需要n次輸入密碼

cd /root

ssh-keygen

遇到需要輸入的直接回車即可

#查看.ssh目錄是否已經(jīng)生成

第一臺機(jī)器有known_hosts，因?yàn)槲覀冎霸诘谝慌_虛擬機(jī)上scp -r分發(fā)過文件給其他兩臺機(jī)器，所以建立過ssh連接，查看known_hosts

現(xiàn)在還沒有應(yīng)用出去

ssh-copy-id hadoop01

ssh-copy-id hadoop02

ssh-copy-id hadoop03

#一鍵啟動(dòng)，只在hadoop01機(jī)器上一鍵啟動(dòng)即可

#jps查看已經(jīng)啟動(dòng)起來的服務(wù)

至此hadoop分布式搭建完成

hadoop集群的web端訪問

#關(guān)閉防火墻

查看當(dāng)前防火墻狀態(tài)：systemctl status firewalld

臨時(shí)關(guān)閉防火墻：systemctl stop firewalld

永久關(guān)閉防火墻：systemctl disable firewalld

#HDFS web頁面訪問

第一臺虛擬機(jī)ip

http://192.168.137.16:50070/

可以看到其他兩個(gè)節(jié)點(diǎn)

yarn集群web頁面

http://192.168.137.16:8088/

文章來源地址http://www.zghlxwxcb.cn/news/detail-714503.html

到了這里，關(guān)于Hadoop分布式安裝的文章就介紹完了。如果您還想了解更多內(nèi)容，請?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！