一、Linux環(huán)境準(zhǔn)備

1.1 虛擬機(jī)安裝

相關(guān)軟件下載準(zhǔn)備：（推薦）

• 虛擬機(jī)運(yùn)行環(huán)境：VMware 16.1.1
• 映像文件：CentOS-7-x86_64-DVD-1810.iso
• 遠(yuǎn)程登錄工具：Xshell-7.0.0090.exe
• Xftp傳輸工具：Xftp-7.0.0111p.exe
  首先掌握VMware的下載與安裝，有l(wèi)inux學(xué)習(xí)基礎(chǔ)的同學(xué)可以略看。
  參考鏈接：https://mp.weixin.qq.com/s/CUiauodcjCFPIXEFEx8fOw
  【軟件名稱】： VMware 16.1.1
  【軟件大小】：568MB
  【系統(tǒng)要求】：win7/win8\win10/win11或以上
  【下載鏈接】：https://pan.baidu.com/s/1bY1swCAxWjTIpOROlXaqnQ?pwd=1234
  【提取碼】：1234
  1.對下載的壓縮包進(jìn)行解壓縮
  
  2.打開解壓后的壓縮包，進(jìn)行如下步驟
  
  3.下一步
  
  4.接受許可，下一步
  
  5.更改軟件安裝目錄（自己在某個盤新建一個干凈的文件夾），下一步
  
  6. 取消紅框內(nèi)的勾選框，點下一步
  
  7. 點下一步
  
  8.點擊安裝
  
  9.輸入許可證激活
  
  輸入以下三個中任意一個即可，輸入后，點完成即可。
  ZF3R0-FHED2-M80TY-8QYGC-NPKYF
  YF390-0HF8P-M81RQ-2DXQE-M2UT6
  ZF71R-DMX85-08DQY-8YMNC-PPHV8
  10.安裝成功，桌面顯示圖標(biāo)。
  
  11.打開WMware16虛擬機(jī)，右鍵以管理員身份運(yùn)行。
  
  12.首頁創(chuàng)建新的虛擬機(jī)，接下來按照截圖步驟創(chuàng)建虛擬機(jī)。
  
  13
  
  14 關(guān)于硬件兼容性，根據(jù)安裝時系統(tǒng)自動選擇的版本項，不用變
  
  15
  
  16
  
  17.
  
  18.
  
  19
  
  20
  
  21
  
  22
  
  23
  
  24
  
  25
  
  26
  
  27，找到Centos的iso鏡像文件保存位置，并選擇它。
  
  28
  
  29
  
  30
  
  31
  
  32
  
  33
  
  34
  
  35
  
  36
  
  37.設(shè)置root用戶的密碼為123456；設(shè)置普通用戶的用戶名（~自定義）和密碼（123456）
  
  38
  
  39

mkdir -p /export/data
mkdir -p /export/servers
mkdir -p /export/software

1.2 Linux系統(tǒng)網(wǎng)絡(luò)配置

詳細(xì)步驟如下：

1. 虛擬機(jī)首頁菜單欄，找到【編輯】右鍵，選擇【虛擬網(wǎng)絡(luò)編輯器】
   
   2.修改子網(wǎng)IP
   
   3.選擇【NAT設(shè)置】
   4.將網(wǎng)關(guān)IP改為：192.168.121.2
   
   5. DHCP設(shè)置
   ip信息修改為紅色框內(nèi)的內(nèi)容
   
   之后點擊【應(yīng)用】，【確定】
   
   6.查看IP配置文件并修改ip配置信息

vim /etc/sysconfig/network-scripts/ifcfg-ens33

修改配置文件時：
? 將DHCP自動分配模式改為static
? 添加ip地址，網(wǎng)絡(luò)類型、網(wǎng)絡(luò)范圍和網(wǎng)絡(luò)位（即ip地址前三部分）必須和虛擬網(wǎng)絡(luò)編輯器中相同，主機(jī)位（最后一部分）自定義，這里hadoop01用的IP為 192.168.121.134。
? 添加網(wǎng)關(guān)和域名解析器，和虛擬網(wǎng)絡(luò)編輯器中相同。
執(zhí)行過程：（提醒，網(wǎng)絡(luò)配置信息不能出錯，出錯了后面網(wǎng)絡(luò)會不通）


7.配置好后，輸入如下命令，重啟網(wǎng)絡(luò)。

service network restart

8. 重啟后，請再次查看網(wǎng)絡(luò)ip，確定ip地址修改成功，之后測試是否能夠上網(wǎng)。
終端輸入命令：

ipconfig

出現(xiàn)如下信息，表示網(wǎng)絡(luò)配置成功。

Ping百度看是否能ping通。
輸入命令：

ping www.baidu.com

9. 接下來修改主機(jī)名和hosts映射文件
&查看主機(jī)名
輸入如下命令：

hostname

顯示出當(dāng)前虛擬機(jī)的主機(jī)名為：hadoop01
&修改hadoop01的hosts映射文件
注：后續(xù)在hadoop搭建階段虛擬機(jī)比較多，每次訪問類似192.168.121.134的ip地址比較麻煩，通常會采用主機(jī)名的方式進(jìn)行配置。
輸入如下命令：

vi /etc/hosts

添加下面三條：(其實就是三臺虛擬機(jī)IP及各自對應(yīng)的主機(jī)名)

192.168.121.134 hadoop01
192.168.121.135 hadoop02
192.168.121.136 hadoop03

&修改Windows的hosts文件
提醒?。?！Windows的hosts文件一般保存在C:\Windows\System32\drivers\etc下，打開hosts文件添加如下內(nèi)容并保存。
因為C盤里面的文件，修改一些文件需要權(quán)限比較高，如果無法保存成功，建議怎么做呢？首先，可以復(fù)制hosts文件到桌面，在桌面打開hosts文件修改并保存，之后覆蓋原文件。
將hosts文件復(fù)制到桌面一份。
添加如下三行映射內(nèi)容

192.168.121.134 hadoop01
192.168.121.135 hadoop02
192.168.121.136 hadoop03

將桌面保存后的hosts文件復(fù)制到此路徑下，C:\Windows\System32\drivers\etc，覆蓋掉原來的hosts文件。
.。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。

接下來打開Windows的命令提示符窗口，進(jìn)行測試，直接ping主機(jī)名，如果成功，說明修改完成。如下圖：
10. 關(guān)閉防火墻，防止防火墻開機(jī)自啟動
hadoop01虛擬機(jī)下分別執(zhí)行下面兩條命令：

systemctl stop firewalld
systemctl disable firewalld.service

11. 創(chuàng)建一個普通用戶，方便后期登錄普通用戶加sudo命令執(zhí)行root權(quán)限
? 執(zhí)行下面命令創(chuàng)建普通用戶并修改其密碼，用戶名為user，密碼為123456

useradd user
passwd user

? 執(zhí)行如下命令，修改相應(yīng)的配置文件，提高user用戶權(quán)限，使其具有root對等權(quán)限

vim /etc/sudoers

添加如下內(nèi)容：(縮進(jìn)根據(jù)文本內(nèi)容自主調(diào)整)

user         ALL=(ALL)         NOPASSWD:ALL

注意?。。?！user這一行必須放在%wheel這一行下面
? 創(chuàng)建在/opt下創(chuàng)建兩個文件夾并修改所屬主和所屬組

】首先創(chuàng)建module和software文件夾

mkdir /opt/module
mkdir /opt/software

】其次修改新創(chuàng)建的文件夾所屬主和所屬組為user用戶

chown user:user /opt/module
chown user:user /opt/software

】最后輸入命令ll：查看module和software的所屬主和所屬組

ll

12.安裝epel-release，相當(dāng)于是一個軟件倉庫

yum install -y epel-release

13.重啟虛擬機(jī)

reboot

1.3 虛擬機(jī)克隆

克隆過程如下：







hadoop02克隆完成；

接下來克隆hadoop03。（和克隆hadoop02一樣的操作）

注意！??！hadoop03文件夾就是前面提前在E盤建好的。選擇此路徑即可。

到此，三臺虛擬機(jī)克隆完成；
有時候為了方便管理，我們進(jìn)行如下步驟；

將三臺虛擬機(jī)拖進(jìn)新建的文件夾中，并排好順序即可。

到此虛擬機(jī)克隆完成。------------------------------------------------------------------------------

hadoop02和hadoop03克隆完成以后需要參照虛擬機(jī)hadoop01的執(zhí)行過程，配置一些信息。
首先，對于hadoop02,hadoop03：修改其ip配置文件：

vim /etc/sysconfig/network-scripts/ifcfg-ens33

hadoop02主機(jī)

hadoop03主機(jī)

其次****修改主機(jī)名為hadoop02，【因為】hadoop02是克隆來的，所以對與hadoop02來說，主機(jī)名現(xiàn)在依然是hadoop01，所以需要修改為hadoop02。hadoop03也同樣如此。

vi etc/hostname

hadoop02主機(jī)

hadoop03主機(jī)

再次，由于hosts映射文件已經(jīng)在hadoop01中修改過，即IP與主機(jī)名的映射關(guān)系，所以在hadoop02,hadoop03這里就不用修改了。
最后，查看網(wǎng)絡(luò)IP，確定各個主機(jī)IP對應(yīng)是否正確，并測試能否連接外網(wǎng)

1. hadoop01的IP為192.168.121.134
2. hadoop02的IP為192.168.121.135
3. hadoop03的IP為192.168.121.136

注意：一定確保各個主機(jī)IP配置正確，且能正常連網(wǎng)。

1.4 SSH服務(wù)配置

1. 查看虛擬機(jī)是否已經(jīng)安裝了ssh服務(wù)。

ps -e | grep sshd

已經(jīng)安裝有了，因此不需要額外的操作就可以做一個遠(yuǎn)程連接。
如果沒有安裝，則執(zhí)行如下命令：

yum install openssh-server

2. 在這里借助一款虛擬機(jī)遠(yuǎn)程連接工具【Xshell】，
   版本Xftp-7.0.0134p.exe和Xshell-7.0.0134p.exe的軟件安裝過程，這里不再詳述。
   遠(yuǎn)程連接過程如下：
   
   3. 接下來：
   輸入相應(yīng)的用戶名：root
   輸入相應(yīng)的密碼：123456
   三臺虛擬機(jī)連接后的效果：
   
   利用xftp，方面Window和虛擬機(jī)之間傳輸文件。
   1.新建連接。
   
   2. 輸入【名稱】，【主機(jī)名】
   確定后，輸入相應(yīng)的用戶名root和密碼123456
   
   三臺虛擬機(jī)連接完成后如下：
   
   3. 三臺主機(jī)之間的免密登錄。
   第一臺：hadoop01：
   輸入命令生成密鑰對：

ssh-keygen -t rsa

輸入以下命令，查看生成的公私鑰對：

cd .ssh
ls

同樣在hadoop02、hadoop03執(zhí)行上述同樣的操作生成密鑰對。
確保三臺虛擬機(jī)中，都生成了各種的公私鑰對。
接下來：
將三臺虛擬機(jī)的公鑰拷貝到一臺機(jī)器上

• 對于hadoop01機(jī)器：執(zhí)行命令：ssh-copy-id hadoop01
• 對于hadoop02機(jī)器：執(zhí)行命令：ssh-copy-id hadoop01
• 對于hadoop03機(jī)器：執(zhí)行命令：ssh-copy-id hadoop01

在hadoop01虛擬機(jī)中，定位到目錄.ssh下面，輸入ls，可以查看到出現(xiàn)一個文件authorized_keys，此文件保存的就是三臺機(jī)器的公鑰

再接下來
將此文件authorized_keys發(fā)送給其它機(jī)器。

scp /root/.ssh/authorized_keys hadoop02:/root/.ssh
scp /root/.ssh/authorized_keys hadoop03:/root/.ssh

最后試試免密登錄是否成功。
即利用ssh+【主機(jī)名】，無需輸入密碼，即可實現(xiàn)對應(yīng)主機(jī)登錄，方便后續(xù)操作。

二、JDK的安裝配置

安裝JDK。
1. 利用xftp軟件，將下載好的壓縮包上傳到虛擬機(jī)中。，直接選中【目標(biāo)文件】左右拖拽即可實現(xiàn)文件快速傳輸。因此將Windows下保存的jdk的壓縮包拖入到右側(cè)的虛擬機(jī)下，路徑為：/export/software（提前在虛擬機(jī)中建好的文件路徑）

2. 先定位到/export/software/目錄下，然后ll查看壓縮包是否存在，之后利用下面的tar命令進(jìn)行解壓縮

cd /export/software/
tar -zxvf jdk-8u161-linux-x64.tar.gz -C /export/servers/

3. 查看解壓縮后的jdk文件夾，并利用mv命令對文件夾進(jìn)行重命名。

cd /export/servers/
ls
mv jdk1.8.0_161/ jdk

4. 配置JDK環(huán)境變量

vim /etc/profile

添加如下內(nèi)容：

#JAVA_HOME
export JAVA_HOME=/export/servers/jdk
export PATH=$PATH:$JAVA_HOME/bin

5.編輯保存好后，重啟使配置文件生效。

source /etc/profile

6. jdk的環(huán)境驗證

java -version

三、Hadoop安裝及配置

1. 將hadoop2.7.4的安裝包拖入到hadoop01的路徑/export/software下。
   
   2.在xshell下的hadoop01節(jié)點，定位到此目錄/export/software

cd /export/software

之后解壓hadoop壓縮包。解壓后的目標(biāo)路徑為/export/servers

tar -zxvf hadoop-2.7.4.tar.gz -C /export/servers/

解壓成功后，進(jìn)入到/export/servers目錄下

cd /export/servers

ls
#查看解壓后的hadoop文件。

3. 配置Hadoop系統(tǒng)環(huán)境變量

 vim /etc/profile

添加如下內(nèi)容：

export HADOOP_HOME=/export/servers/hadoop-2.7.4
export PATH=:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

#輸入如下命令，使配置文件生效
source /etc/profile
#查看hadoop版本
hadoop version

4. 接下倆可以隨意查看一下hadoop壓縮包里面都有哪一些文件

查看一些重要的配置文件，如下：

接下來hadoop集群的搭建需要用到這些文件。
5. 配置Hadoop集群主節(jié)點。

（1）.修改hadoop-env.sh文件。
命令：
vim hadoop-env.sh
添加如下內(nèi)容：
export JAVA_HOME=/export/servers/jdk

(2).修改core-site.xml文件
命令：
vim core-site.xml
添加內(nèi)容如下：
<configuration>
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://hadoop01:9000</value>
        </property>
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/export/servers/hadoop-2.7.4/tmp</value>
        </property>
</configuration>

  (3). 修改hdfs-site.xml文件
 命令：
  vim hdfs-site.xml
  添加如下內(nèi)容：
<configuration>
        <property>
                <name>dfs.replication</name>
                <value>3</value>
        </property>
        <property>
                <name>dfs.namenode.secondary.http-address</name>
                <value>hadoop02:50090</value>
        </property>
</configuration>

(4). 修改mapred-site.xml
#這里我們首先需要拷貝下mapred-site.xml.template文件，命名為mapred-site.xml
命令如下：
cp mapred-site.xml.template mapred-site.xml
接下來編輯此文件
命令：
vim mapred-site.xml
添加的內(nèi)容如下：（指定MapReduce運(yùn)行時的框架，這里指定在Yarn上）
<configuration>
        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>
</configuration>

（5）.修改yarn-site.xml   
#Yarn 分布式資源調(diào)度系統(tǒng)。
命令：
vim yarn-site.xml
添加的內(nèi)容如下：
<configuration>
        <property>
                <name>yarn.resourcemanager.hostname</name>
                <value>hadoop01</value>
        </property>
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>
</configuration>

（6）修改slaves文件，打開該配置文件，先刪除里面的內(nèi)容（默認(rèn)是localhost）。
命令：
vim slaves
然后添加如下內(nèi)容：
hadoop01
hadoop02
hadoop03

到此一些集群主節(jié)點hadoop01中一些配置配置文件配置完成。
接下來將配置好的文件分發(fā)到另外兩個節(jié)點下hadoop02和hadoop03。

#執(zhí)行如下四條命令進(jìn)行分發(fā)
> scp /etc/profile hadoop02:/etc/profile
> scp /etc/profile hadoop03:/etc/profile
> scp -r /export/ hadoop02:/ 
> scp -r /export/ hadoop03:/

執(zhí)行結(jié)束后：還需要在hadoop02和hadoop03上執(zhí)行命令：

source /etc/profile

到此整個hadoop集群的配置就結(jié)束了。
還沒結(jié)束，，，

6.格式化文件系統(tǒng)（在主節(jié)點上執(zhí)行。即hadoop01這臺虛擬機(jī)上執(zhí)行）

hdfs namenode -format

注意?。?！格式化文件系統(tǒng)這個操作只能在第一次啟動hdfs集群時來操作，后面不能再進(jìn)行格式化）
成功被格式化：

7. 啟動和關(guān)閉Hadoop集群
包含HDFS集群和YARN兩個集群框架
啟動有兩種方式：

• 1 單節(jié)點逐個啟動
• 2. 使用腳本一鍵啟動

這里使用第二種方式，第一種方式自主學(xué)習(xí)。
使用腳本一鍵啟動

start-dfs.sh或stop-dfs.sh #啟動或關(guān)閉所有HDFS服務(wù)進(jìn)程
start-yarn.sh或stop-yarn.sh #啟動或關(guān)閉所有YARN服務(wù)進(jìn)程

對于hadoop01：

對于hadoop02：


對于hadoop03：

注：jps命令是查看開啟的進(jìn)程。
確保：
hadoop01有5個，hadoop02有4個，hadoop03有3個
8.最后，查看HDFS和YARN集群狀態(tài)
在瀏覽器訪問hadoop01:50070或者192.168.121.134:50070（格式為：主機(jī)名或IP地址+端口號）查看HDFS集群狀態(tài)

瀏覽器搜索hadoop01:8088或者192.168.121.134:8088（格式為：主機(jī)名或IP地址+端口號）可查看YARN集群管理頁面.

至此，hadoop集群搭建成功！??！文章來源地址http://www.zghlxwxcb.cn/news/detail-706128.html

到了這里，關(guān)于Hadoop集群部署-（完全分布式模式，hadoop-2.7.4）的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！