以下是在VMware虛擬機(jī)中安裝centos 7去配置hadoop。所以要準(zhǔn)備的包

centos 7：Index of /apache/hadoop/common/hadoop-3.3.5

hadoop3.3.5：Index of /apache/hadoop/common/hadoop-3.3.5

#配置jdk環(huán)境

查看原本的jdk版本

?

其實(shí)原來(lái)的openjdk版本也是可用的，但是hadoop3.x不支持較低版本的jdk，所以這里卸載重新安裝新版本jdk文件

執(zhí)行yum remove *openjdk* 卸載原來(lái)的jdk

可以利用yum search openjdk命令查看源中有那些jdk版本，我這里選取的是java-11版本

執(zhí)行 yum install -y “java版本”安裝新的jdk?

?因?yàn)閛penjdk不配置jps包，所以得自行安裝

再執(zhí)行java -version查看java版本

java環(huán)境配置成功

#配置ssh

運(yùn)行rpm -qa|grep -E “openssh”查看是否安裝ssh

如果未安裝ssh，運(yùn)行yum install openssh-server -y、yum install openssh-clients -y

配置ssh（沒(méi)什么特殊需求默認(rèn)就行）

???

?運(yùn)行service sshd restart 重啟ssh,

開(kāi)放防火墻的22端口

用Xshell嘗試連接

運(yùn)行ip addr查看本機(jī)ip，

將信息填入新建的xshell中

???

?填入那臺(tái)機(jī)子的登錄賬號(hào)和密碼

???

?點(diǎn)擊連接，點(diǎn)擊接受并保存

連接成功，這樣接下來(lái)的命令操作基本上可以轉(zhuǎn)到xshell里面操作

#下載安裝hadoop?

因?yàn)槲覀兪且O(shè)置分布式的hadoop，首先我們要完成一些前序步驟，配置好單臺(tái)主機(jī)

關(guān)閉防火墻

?禁止防火墻開(kāi)機(jī)啟動(dòng)

修改設(shè)備名稱(chēng)為hadoop00，重啟計(jì)算機(jī)，配置結(jié)束后修改另外兩個(gè)從節(jié)點(diǎn)計(jì)算機(jī)名為hadoop01，hadoop02。這里可以自行定義主機(jī)名稱(chēng)，但是要分清楚哪個(gè)是master哪些是slave

修改hosts文件，先把想要定義的另外兩個(gè)從節(jié)點(diǎn)ip寫(xiě)入hosts

添加hadoop用戶，添加完成后重新更改xshell的配置連接主機(jī)用戶更換成hadoop

在根目錄下新建一個(gè)hadoop文件夾，將此文件夾所有者設(shè)置為hadoop用戶，方便以后存放hadoop相關(guān)文件

在剛才創(chuàng)建的hadoop文件中下載hadoop3.0，連接為頂上的連接

將下載的文件解壓到當(dāng)前文件夾中

運(yùn)行vim /data/hadoop/hadoop-3.3.5/etc/hadoop/hadoop-env.sh 添加下面語(yǔ)句

在/etc/profile里配置全局hadoop，source /etc/profile重新啟動(dòng)

單臺(tái)主機(jī)配置完成，可以開(kāi)始克隆出另外幾臺(tái)主機(jī)

關(guān)閉主機(jī)，開(kāi)始克隆

點(diǎn)擊管理里面的克隆，選擇創(chuàng)建完整克隆，選擇好克隆到的位置，設(shè)置好名稱(chēng)。克隆兩臺(tái)虛擬機(jī)

#搭建Hadoop集群

?修改兩臺(tái)新建虛擬機(jī)名稱(chēng)

為三臺(tái)虛擬機(jī)分別配置靜態(tài)ip地址，配置到ens33網(wǎng)卡中

三臺(tái)虛擬機(jī)分別進(jìn)入修改ifcig-en33文件

Hadoop00和hadoop01

???

Hadoop02類(lèi)似，IPADDR改為192.168.5.202，:wq保存退出，分別都運(yùn)行systemctl restart network重啟網(wǎng)卡

運(yùn)行ping -c 3 hadoop01 / hadoop02測(cè)試是否連通

連通無(wú)誤，網(wǎng)絡(luò)配置結(jié)束

根據(jù)第二層的第5步的將三臺(tái)主機(jī)配置到Xshell中，方便操作

為幾臺(tái)虛擬機(jī)配置免密登錄

?每臺(tái)虛擬機(jī)都切換到/root文件夾中，運(yùn)行 cd ~

???

接著運(yùn)行： ssh-keygen -t rsa -P ‘’ 生成密鑰 ，點(diǎn)擊兩次回車(chē)

查看密鑰是否生成

在三臺(tái)虛擬機(jī)的.ssh目錄下創(chuàng)建新的文件 authorized_keys ,將三臺(tái)虛擬機(jī)的ip_rsa.pub的密鑰復(fù)制到authorized_keys里面

?三臺(tái)機(jī)子都要配置好authorized_keys文件，這樣才能保證 每一臺(tái)機(jī)子都能免密登錄

在hadoop00中運(yùn)行ssh hadoop01 / hadoop02測(cè)試無(wú)密碼連通

輸入命令exit退出該主機(jī)

完成三臺(tái)虛擬機(jī)的無(wú)密碼登錄

配置hadoop，先在hadoop00節(jié)點(diǎn)上操作

在root文件夾中新建hadoop文件夾

在hadoop文件夾中新建多個(gè)文件夾，這些文件夾復(fù)制存儲(chǔ)hadoop的配置文件生成位置

??????

用scp 命令將文件推送到hadoop01，hadoop02從節(jié)

修改/data/hadoop/hadoop-3.3.5/etc/hadoop下的文件配置

?為hadoop-env.sh添加jdk環(huán)境在文件末尾添加

??

.xml文件配置都寫(xiě)在configuration標(biāo)簽當(dāng)中，當(dāng)中寫(xiě)入的內(nèi)容可以去看一下別的文章解析，這里就不過(guò)多分析了。

在 core-site.xml寫(xiě)入

在hdfs-site.xml寫(xiě)入

在mapred-site.xml寫(xiě)入

在workers寫(xiě)入從節(jié)點(diǎn)名稱(chēng)

在yarm-site.xml寫(xiě)入

回到上兩層文件夾，切換到/sbin文件夾

在start-dfs.sh和stop-dfs.sh寫(xiě)入

在start-yarn.sh和stop-yarn.sh寫(xiě)入

運(yùn)行vim /etc/selinux/config更改SELINUX值更改為 disabled

?將上面配置的Hadoop文件推送到從節(jié)點(diǎn)主機(jī)上

#配置完成，可以開(kāi)始嘗試啟動(dòng)Hadoop

初始化hadoop

切換到hadoop所在文件夾文件夾中

輸入命令 hdfs namende -format初始化hadoop，

運(yùn)行sbin/start-all.sh啟動(dòng)hadoop

?測(cè)試hadoop，打開(kāi)瀏覽器輸入 master主機(jī)ip+:9870

顯示三臺(tái)活躍主機(jī)

三臺(tái)機(jī)子的datanode都正常顯示

三臺(tái)機(jī)子用jps查看都顯示對(duì)應(yīng)的程序啟動(dòng)了

hadoop00主節(jié)點(diǎn)

hadoop01主從節(jié)點(diǎn)

hadoop02從節(jié)點(diǎn)

瀏覽器打開(kāi) resourcemanager節(jié)點(diǎn)ip+:8088 訪問(wèn)

?????? Hadoop分布式集群搭建完成

拓展

?????? 想要添加新的節(jié)點(diǎn)，只需要新配置好的從節(jié)點(diǎn)（直接克隆一臺(tái)機(jī)子），更改好ip和主機(jī)名稱(chēng)。將主機(jī)配置入etc/hadoop/workers再啟動(dòng)hadoop就成功完成添加新節(jié)點(diǎn)了

文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-429996.html

到了這里，關(guān)于基于CentOS 7 的 Hadoop3版本分布式環(huán)境配置搭建的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！