相關(guān)軟件下載鏈接：

Xshell：家庭/學校免費 - NetSarang Website

Xftp：家庭/學校免費 - NetSarang Website

Xshell與Xftp官網(wǎng)：XSHELL - NetSarang Website

Jdk：百度網(wǎng)盤 請輸入提取碼? 提取碼：jdhp

Hadoop：百度網(wǎng)盤 請輸入提取碼? ?提取碼：jdhp

需要配置好的虛擬機與相關(guān)環(huán)境的，可以點擊我的這篇文章獲?。篐adoop大數(shù)據(jù)平臺搭建環(huán)境 提供虛擬機相關(guān)配置_Crazy.宥思的博客-CSDN博客

1、在原來虛擬機的基礎(chǔ)上再克隆兩臺虛擬機

?????? （1）右鍵點擊虛擬機，點擊管理，點擊克隆，此步驟重復兩次

（2）檢查克隆機的ip地址是否與原虛擬機不同，若不同則要修改，我這里在克隆的時候就自動變化了ip地址，故不需要修改

2、修改機器名

?????? （1）在下圖紅箭頭處輸入修改名：stu2

命令：vi /etc/hostname

?????? （2）另外兩臺虛擬機也照此操作即可

?????? （3）重啟這三臺虛擬機

命令：reboot

????????????? 改完以后這三臺虛擬機的名字分別為：stu、stu2、stu3

3、關(guān)閉防火墻

?????? （1）查看防火墻是否關(guān)閉

? ? ?

????????????? 由于初始虛擬機上防火墻就已關(guān)閉，所以另外兩臺克隆機的防火墻也處于關(guān)閉狀態(tài)

?????? 4、配置三臺主機免密登錄

?????? （1）首先在stu（stu2、stu3）上，生成ssh密匙

????????????? 命令：ssh-keygen -t rsa??

回車，在接下來的提示中一直回車，不用輸入內(nèi)容

stu:

stu2:

stu3:

在家目錄下的.ssh目錄中出現(xiàn)以下兩個密鑰文件：

stu：

stu2：

stu3：

?????? （2）在stu（stu2、stu3）機器上，將目錄切換到.ssh目錄下

????????????? 命令：cd ~/.ssh

?????? （3）在.ssh目錄下新建文件authorized_keys文件

????????????? 命令：touch authorized_keys

?????? （4）將id_rsa.pub文件內(nèi)容拷貝到authorized_keys文件中

????????????? 命令：cat id_rsa.pub >> authorized_keys

?????? （5）查看authorized_keys文件中的內(nèi)容

????????????? 命令：cat authorized_keys

?????? ??????

?????? （6）將stu上.ssh目錄下的authorized_keys文件發(fā)送到stu2相應的目錄下

????????????? 命令：scp authorized_keys 192.168.80.129:$PWD

????????????? 在提示后面輸入yes，回車

????????????? 然后輸入密碼，回車，完成傳輸

?????? （7）切換到stu2機器上，進入~/.ssh目錄中

????????????? 命令：cd ~/.ssh

?????? （8）將stu2上.ssh目錄中id_rsa.pub文件內(nèi)容拷貝到authorized_keys文件中

命令：cat id_rsa.pub >> authorized_keys

（9）將stu2上.ssh目錄中的authorized_keys文件發(fā)送到stu3相應的目錄下

命令：scp authorized_keys 192.168.80.130:$PWD

在提示中輸入yes，回車，然后輸入密碼

?????? （10）切換到stu3機器上，進入~/.ssh目錄中

命令：cd ~/.ssh

（11）將stu3上.ssh目錄中id_rsa.pub文件內(nèi)容拷貝到authorized_keys文件中

命令：cat id_rsa.pub >> authorized_keys

（12）將stu3上.ssh目錄中authorized_keys文件回傳給stu1和stu2

命令：scp authorized_keys 192.168.80.128:$PWD

scp authorized_keys 192.168.80.129:$PWD

?????? （13）驗證（在stu上）

命令：ssh 192.168.80.130

?????????????

?????? 5、建立主機名與IP地址的映射

?????? （1）打開/etc/hosts文件（在stu上）

命令：vi /etc/hosts

在文件中添加：

192.168.80.128 stu

192.168.80.129 stu2

192.168.80.130 stu3

修改完畢后按ESC鍵，保存退出

?????? （2）將stu上/etc/hosts文件分別分發(fā)到stu2、stu3上。

命令：scp /etc/hosts 192.168.180.129:/etc/

scp /etc/hosts 192.168.180.130:/etc/

（3）驗證，在stu上ping stu2和stu3

命令：ping 192.168.80.129

命令：ping 192.168.80.130

6、安裝JDK（三臺機器都需要安裝JDK，以stu為例，其它兩臺操作是一樣的）

（1）首先檢查系統(tǒng)中是否自帶JDK

?????? 命令：rpm -qa | grep jdk

?????? ?

（2）用xftp軟件將jdk上傳到linux的用戶家目錄下

?????? （3）在根目錄下建服務器軟件服務目錄

????????????? 命令：mkdir -p /exports/servers

?????? （4）將家目錄下的jdk解壓到/exports/servers目錄下

命令：tar -zxvf jdk-11.0.7_linux-x64_bin.tar.gz -C /exports/servers

?????? （5）查看/exports/servers目錄下是否有解壓后的文件

????????????? 命令：ls /exports/servers

?????? ??????

?????? （6）配置環(huán)境變量

????????????? 1）將JDK的根目錄復制下來，將目錄切換到JDK的根目錄下

命令：cd /exports/servers/jdk-11.0.7/

2）復制出現(xiàn)的路徑

????????????? 命令：pwd

3）打開環(huán)境變量配置文件

命令：vi /etc/profile

4）在文件末尾添加：

export JAVA_HOME=/exports/servers/jdk-11.0.7

export PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin

5）保存并退出

??????

（6）重啟配置文件并驗證環(huán)境變量是否配置成功

命令：source /etc/profile

命令：java -version

（7）將stu上的/exports目錄的內(nèi)容分別傳輸?shù)絪tu2和stu3上

命令：scp -r /exports stu2:/

scp -r /exports stu3:/

?????? （8）將stu上的/etc/profile環(huán)境變量配置文件分別發(fā)送到stu2和stu3上

命令：scp /etc/profile stu2:/etc/

scp /etc/profile stu3:/etc/

（9）在stu2和stu3上分別執(zhí)行 source /etc/profile 命令

（10）分別驗證stu2和stu3上的環(huán)境變量是否配置成功

?????? stu2：

stu3：

7、安裝Hadoop（三臺機器都需要安裝Hadoop，操作都一樣，以stu操作為例）

（1）通過傳輸軟件將hadoop-2.7.2.tar.gz上傳到stu的root的家目錄下

（2）將hadoop-2.7.2.tar.gz解壓到/exports/servers目錄下

命令：tar -zxvf hadoop-2.7.2.tar.gz -C /exports/servers/

（3）切換到/exports/servers/hadoop-2.7.2目錄下

命令：cd /exports/servers/hadoop-2.7.2

（4）在Hadoop的根目錄下新建datas目錄

命令：mkdir datas

（5）配置Hadoop

進入etc/hadoop目錄下，

命令：cd /exports/servers/hadoop-2.7.2/etc/hadoop/

依次修改本目錄下的：hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml以及slaves文件：

• 修改hadoop-env.sh文件，在該文件中主要就是配置JAVA_HOME

命令：vi hadoop-env.sh

• 修改core-site.xml

命令：vi core-site.xml

• 修改hdfs-site.xml

命令：vi hdfs-site.xml

• 修改mapred-site.xml文件
• 在hadoop下沒有mapred-site.xml文件，我們需要將mapred-site.xml.template文件修改為mapred-site.xml

命令：cp mapred-site.xml.template mapred-site.xml

打開mapred-site.xml文件

命令：vi mapred-site.xml

• 修改yarn-site.xml

命令：vi yarn-site.xml

• 配置slaves文件

命令：vi slaves

刪除localhost，在文件中加入以下內(nèi)容：

stu

stu2

stu3

• 將hadoop根目錄下的bin中命令加入系統(tǒng)PATH中

命令：vi /etc/profile

加入以下內(nèi)容

最終文件如下：

export HADOOP_HOME=/exports/servers/hadoop-2.7.2

export PATH=$PATH:$HADOOP_HOME/bin

• 驗證hadoop

命令：hadoop version

出現(xiàn)如下界面，證明hadoop命令的環(huán)境變量配置成功

• 將/exports/servers下hadoop-2.7.2目錄中的內(nèi)容復制到stu2和stu3上

命令：scp -r /exports/servers/ hadoop-2.7.2/ stu2:/exports/servers/

scp -r /exports/servers/ hadoop-2.7.2/ stu3:/exports/servers/

• 將stu上的/etc/profile文件復制到stu2和stu3中

命令：scp /etc/profile stu2:/etc/

scp /etc/profile stu3:/etc/

在stu2和stu3上分別執(zhí)行命令：source /etc/profile，讓環(huán)境變量立即生效

8、啟動和驗證hadoop集群

（1）格式化namenode（stu上執(zhí)行）

命令：hadoop namenode -format

????????????????????

（2）啟動集群（stu上執(zhí)行）

將目錄切換到hadoop的sbin目錄下：

命令：cd /exports/servers/hadoop-2.7.2/sbin/

執(zhí)行命令：./start-dfs.sh

（3）驗證集群是否啟動成功

命令：jps

stu：

stu2：

stu3：

（4）打開瀏覽器，在瀏覽器中輸入http://192.168.80.128:50070/

文章來源地址http://www.zghlxwxcb.cn/news/detail-411745.html

到了這里，關(guān)于Hadoop大數(shù)據(jù)平臺搭建（超詳細步驟）的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！