目錄
一、VMware 虛擬機安裝
（1）虛擬機創(chuàng)建及配置?
（2）創(chuàng)建工作文件夾
二、克隆虛擬機
三、配置虛擬機的網(wǎng)絡(luò)
（1）虛擬網(wǎng)絡(luò)配置
（2）配置虛擬機 主機名
（3）配置虛擬機hosts
（4）配置DNS、網(wǎng)關(guān)等
（5）reboot 重啟虛擬機
四、配置SSH服務(wù)
（1）確認(rèn)ssh進程?
（2）生成秘鑰
（3）秘鑰拷貝
?五、JDK安裝
（1）把JDK安裝包傳輸?shù)教摂M機
（2）把JDK安裝包解壓到/export/software/
（3）配置JDK環(huán)境變量
六、Hadoop安裝
（1）安裝包上傳及解壓
（2）Hadoop系統(tǒng)環(huán)境配置?
（3）Hadoop集群境配置?
3.1?修改hadoop-env.sh文件
3.2?修改core-site.xml文件
3.3?修改hdfs-site.xml文件
3.4?修改mapred-site.xml文件
3.5?修改yarn-site.xml文件
3.6?修改workers文件
（4）將集群主節(jié)點的配置文件分發(fā)到其他子節(jié)點
（5）格式化文件系統(tǒng)
（6）集群啟動
七、瀏覽器查看Hadoop集群
（1）修改windows下ip映射
（2）防火墻關(guān)閉
（3）瀏覽器查看
一、VMware 虛擬機安裝
（1）虛擬機創(chuàng)建及配置?
VMware下載地址
VMware的安裝過程比較簡單，正常安裝就行，打開后是以下頁面：
?點擊文件==》新建虛擬機
?
?
?
?
?
?
?
?這里選擇提前下載好的CentOS鏡像：
?點擊開啟此虛擬機
?Enter回車，開始安裝CentOS鏡像：
?選擇語言：
?設(shè)置日期：
?安裝位置點進去，點擊完成：
?KDUMP禁用：
?網(wǎng)絡(luò)和主機名：
?
?點擊開始安裝：
?設(shè)置密碼
這里要是密碼設(shè)置過于簡單，點擊兩次完成即可，后面就會繼續(xù)執(zhí)行安裝了，等待執(zhí)行完成，店點擊重啟按鈕，重啟后進入一下界面：
輸入root和密碼之后進入虛擬機：
（2）創(chuàng)建工作文件夾
在hadoop01上執(zhí)行：
mkdir -p /export/data
mkdir -p /export/servers
mkdir -p /export/software二、克隆虛擬機
搭建集群需要3個虛擬機，hadoop01，hadoop02，hadoop03，已經(jīng)安裝了hadoop01，剩下兩個需要用到虛擬機克隆。
先關(guān)閉hadoop01虛擬機：
?點擊克隆
?
?
?
?
?同理，克隆出hadoop03即可，到這虛擬機創(chuàng)建及配置完畢。
三、配置虛擬機的網(wǎng)絡(luò)
三臺虛擬機的ip和域名映射關(guān)系如下：
192.168.121.221?hadoop01
192.168.121.222 hadoop02
192.168.121.223 hadoop03
（1）虛擬網(wǎng)絡(luò)配置
打開虛擬網(wǎng)絡(luò)編輯器：
選擇VMnet8?
?
?
?
?之后點擊確定即可。
?
?
?
（2）配置虛擬機 主機名
在hadoop01虛擬機下執(zhí)行：?
vi /etc/hostnamevi的insert、save等基本操作參考：https://blog.csdn.net/weixin_41231928
修改后如下：?
?
?同理修改hadoop02和hadoop03的hostname為 hadoop02 和 hadoop03，原因是hadoop02和hadoop03是由hadoop01克隆來的，不修改的話，hostname都是hadoop01，修改后如下：
（3）配置虛擬機hosts
?其實就是配置ip和域名的映射關(guān)系。
vi /etc/hosts上面的命令編輯hosts，在3個虛擬機都里面添加：
192.168.121.221?hadoop01
192.168.121.222 hadoop02
192.168.121.223 hadoop03
（4）配置DNS、網(wǎng)關(guān)等
在3個虛擬機下新增以下ip設(shè)置
IPADDR="192.168.121.221"
NETMASK="255.255.255.0"
GATEWAY="192.168.121.2"
DNS1="114.114.114.114"
?執(zhí)行以下命令：
vi /etc/sysconfig/network-scripts/ifcfg-ens33
（5）reboot 重啟虛擬機
?以上所有配置完成后，執(zhí)行：
reboot然后可以驗證下網(wǎng)絡(luò)是否通，出現(xiàn)一下說明配置正常：
四、配置SSH服務(wù)
SSH服務(wù)的作用一般是有兩方面：一是便于虛擬機節(jié)點之間免密訪問，二是傳輸數(shù)據(jù)時會有加解密的過程安全性更高。為了這三個節(jié)點間免密登錄，比如后面在啟動hadoop服務(wù)時，主節(jié)點啟動其它從節(jié)點，就需要免密去執(zhí)行。所以3臺機器都執(zhí)行以下流程，這樣三臺機器就可以使用ssh連接而無需輸入密碼了。
（1）確認(rèn)ssh進程?
輸入以下命令，查看ssh進程是否存在（默認(rèn)是開啟的）：?
ps -e | grep sshd如下便是開啟狀態(tài)：?
?
（2）生成秘鑰
ssh-keygen -t rsa執(zhí)行以上命令，不用輸入，按3次回車：
（3）秘鑰拷貝
三臺機器的秘鑰分別生成之后，需要將各自的秘鑰拷貝到其他2臺機器，3臺機器都執(zhí)行以下命令：
ssh-copy-id hadoop01
ssh-copy-id hadoop02
ssh-copy-id hadoop03每條命令中間會有詢問，輸入“yes”回車，然后輸入密碼即可：
驗證下ssh配置：
在hadoop01下執(zhí)行ssh hadoop02 和ssh hadoop03，能成功登錄：
?五、JDK安裝
下載一個linux版本的JDK，這里是?jdk-8u161-linux-x64.tar.gz，3臺機器均要執(zhí)行以下。
（1）把JDK安裝包傳輸?shù)教摂M機
這里我們需要借助ftcp文件傳輸軟件，這里使用的是MobaxTerm，也可以使用別的文件傳輸軟件，WinSCP\PuTTY\Xshell都可以。
MobaxTerm新建SFTP類型的session：
?可以新建一個root用戶，把3個虛擬機的密碼輸入：
?
點擊ok后：
?選擇jdk文件，拖入之前建好的/export/software文件夾：
?
（2）把JDK安裝包解壓到/export/software/
執(zhí)行以下命令：
cd /export/software/
tar -zxvf jdk-8u161-linux-x64.tar.gz -C /export/servers/
cd /export/servers/
mv jdk1.8.0_161/ jdk
（3）配置JDK環(huán)境變量
執(zhí)行：
vim /etc/profile在文末添加：
export JAVA_HOME=/export/servers/jdk
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
注意：
修改??/etc/profile 文件最后都要執(zhí)行下?
source /etc/profile才能是修改生效。最后執(zhí)行java -version看下是否配置成功。
六、Hadoop安裝
?Hadoop下載地址
這里使用的是?hadoop-3.1.3.tar.gz
（1）安裝包上傳及解壓
跟前面JDK一樣，先用?mobaxterm 將 hadoop-3.1.3.tar.gz 上傳到3臺機器的 /export/software:
執(zhí)行下面解壓命令：
tar -zxvf hadoop-3.1.3.tar.gz -C /export/servers/
（2）Hadoop系統(tǒng)環(huán)境配置?
執(zhí)行：
vim /etc/profile添加一下內(nèi)容：
export HADOOP_HOME=/export/servers/hadoop-3.1.3
export PATH=:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root
?一樣，修改??/etc/profile 文件最后都要執(zhí)行下 “vim /etc/profile”。
執(zhí)行驗證下：
hadoop version
（3）Hadoop集群境配置?
3.1?修改hadoop-env.sh文件
執(zhí)行：
cd /export/servers/hadoop-3.1.3/etc/hadoop
vim hadoop-env.sh找到export JAVA_HOME的位置修改：
export JAVA_HOME=/export/servers/jdk
3.2?修改core-site.xml文件
vim core-site.xml添加以下配置：
<configuration>
? ? ? ?<property>
? ? ? ? ? ? ? <name>fs.defaultFS</name>
? ? ? ? ? ? ? <value>hdfs://hadoop01:9000</value>
? ? ? ?</property>
? ? ? ?<property>
? ? ? ? ? ? ? <name>hadoop.tmp.dir</name>
? ? ? ? ? ? ? <value>/export/servers/hadoop-3.1.3/tmp</value>
? ? ? ?</property>
</configuration>
?hadoop02、hadoop03修改時，把對于域名修改成hadoop02、hadoop03即可。
3.3?修改hdfs-site.xml文件
vim hdfs-site.xml添加以下配置：
<configuration>
? ? ? ?<property>
? ? ? ? ? ? ? <name>dfs.replication</name>
? ? ? ? ? ? ? <value>3</value>
? ? ? ?</property>
? ? ? ?<property>
? ? ? ? ? ? ? <name>dfs.namenode.secondary.http-address</name>
? ? ? ? ? ? ? <value>hadoop02:50090</value>
? ? ? ?</property>
</configuration>
dfs.namenode.secondary.http-address這配置在hadoop02、hadoop03不用配置。
3.4?修改mapred-site.xml文件
vim mapred-site.xml添加以下配置：
<configuration>
<!-- 指定MapReduce運行時框架，這里指定在Yarn上，默認(rèn)是local -->
? ? ? ?<property>
? ? ? ? ? ? ? <name>mapreduce.framework.name</name>
? ? ? ? ? ? ? <value>yarn</value>
? ? ? ?</property>start
</configuration>
3.5?修改yarn-site.xml文件
vi yarn-site.xml添加以下配置：
<configuration>
? ?<property>
? ? ? ? ? ? ? <name>yarn.resourcemanager.hostname</name>
? ? ? ? ? ? ? <value>hadoop01</value>
? ? ? ?</property>
? ? ? ?<property>
? ? ? ? ? ? ? <name>yarn.nodemanager.aux-services</name>
? ? ? ? ? ? ? <value>mapreduce_shuffle</value>
? ? ? ?</property>
</configuration>
另外，需要執(zhí)行下：
hadoop classpath
?將返回的地址也寫入配置文件：
3.6?修改workers文件
vim workers刪除默認(rèn)的localhost，添加以下內(nèi)容：?
hadoop01
hadoop02
hadoop03
?
（4）將集群主節(jié)點的配置文件分發(fā)到其他子節(jié)點
執(zhí)行：
scp /etc/profile hadoop02:/etc/profile
scp /etc/profile hadoop03:/etc/profile
scp -r /export/ hadoop02:/
scp -r /export/ hadoop03:/
傳完之后要在hadoop02和hadoop03上分別執(zhí)行?source /etc/profile?命令。
（5）格式化文件系統(tǒng)
hdfs namenode -format
這個執(zhí)行成功以后，不要二次執(zhí)行。
（6）集群啟動
執(zhí)行：
start-dfs.sh
??
然后3個機器分別?jps 查看進程情況：
在主節(jié)點hadoop01上執(zhí)行
start-yarn.sh?啟動resourcemanager和nodemanager：
?jps：
?
?
?
?如果想要關(guān)閉，輸入：
stop-dfs.sh以上hadoop安裝配置就完成了。
七、瀏覽器查看Hadoop集群
（1）修改windows下ip映射
修改?C:\Windows\System32\drivers\etc下的hosts文件，添加以下內(nèi)容：
192.168.121.221 hadoop01
192.168.121.222 hadoop02
192.168.121.223 hadoop03
?這樣就可以通過hadoop01、hadoop02、hadoop03這樣的域名來訪問了。
（2）防火墻關(guān)閉
在3臺虛擬機上均執(zhí)行以下命令（一個是臨時關(guān)閉，一個是開機就關(guān)閉即永久關(guān)閉，兩個命令執(zhí)行其中一個即可）：
systemctl stop firewalld.service
systemctl disable firewalld.service（3）瀏覽器查看
在瀏覽器輸入：
http://hadoop01:9870
http://hadoop01:8088
即可訪問?HDFS?和?Yarn
文章來源：http://www.zghlxwxcb.cn/news/detail-715358.html
以上已經(jīng)將Hadoop集群搭建完畢！文章來源地址http://www.zghlxwxcb.cn/news/detail-715358.html
到了這里，關(guān)于VMware搭建Hadoop集群 for Windows（完整詳細，實測可用）的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！
