一、第一臺(tái)的操作搭建
修改主機(jī)名
使用hostnamectl set-hostname 修改當(dāng)前主機(jī)名
關(guān)閉防火墻和SELlinux
1，使用
systemctl stop firewalld
systemctl disable firewalld
關(guān)閉防火墻
2，使用
vim /etc/selinux/config
修改為 SELINUX=disabled
使用NAT模式配置靜態(tài)IP
1，修改網(wǎng)絡(luò)配置
vim /etc/sysconfig/network-scripts/ifcfg-ens33
修改如下三項(xiàng)內(nèi)容：
BOOTPROTO=static
ONBOOT=yes
IPADDR=自己想要設(shè)置的IP。這個(gè)ip參考vmware的虛擬網(wǎng)絡(luò)編輯器的vmnet8的IP地址進(jìn)行設(shè)置。
2，重啟網(wǎng)絡(luò)。
二、克隆虛擬機(jī)
克隆虛擬機(jī)
1，克隆
2，
3，
修改克隆后的虛擬機(jī)的靜態(tài)IP
修改IP為192.168.248.102. 同理第三臺(tái)虛擬機(jī)同樣的修改。
可以修改一下hadoop02，hadoop03的主機(jī)名
使用hostnamectl set-hostname 修改當(dāng)前主機(jī)名
三、主機(jī)映射
為后面的hadoop的核心配置文件做準(zhǔn)備的。
vim /etc/hosts
因?yàn)榕渲萌齻€(gè)集群節(jié)點(diǎn)。所以如下配置。
在另外兩臺(tái)節(jié)點(diǎn)，也修改上面的文件vim /etc/hosts
四、設(shè)置免密登錄
管理集群不可能每個(gè)都要輸入賬號(hào)密碼進(jìn)行登錄，那可太費(fèi)勁了。
所以需要借助公鑰、私鑰免密登錄
1，在第一臺(tái)節(jié)點(diǎn)上，使用 ssh-keygen -t rsa 生成公鑰私鑰
2，使用ssh-copy-id 目標(biāo)節(jié)點(diǎn)。拷貝到這三臺(tái)節(jié)點(diǎn)上
（1）先拷貝給自己。 先拷貝到hadoop01， 然后會(huì)要求輸入當(dāng)前節(jié)點(diǎn)的登錄密碼。
（2）拷貝到hadoop02
（3）拷貝到hadoop03
3，在hadoop02， hadoop03 兩個(gè)節(jié)點(diǎn)上，重復(fù)上面的1和2步驟
五、集群時(shí)間同步
一種是從節(jié)點(diǎn)同步主節(jié)點(diǎn)的時(shí)間。
一種是所有節(jié)點(diǎn)同步網(wǎng)絡(luò)時(shí)間。
這里讓所有節(jié)點(diǎn)同步網(wǎng)絡(luò)時(shí)間
1，在3臺(tái)節(jié)點(diǎn)上都執(zhí)行如下命令
crontab -e
2，然后輸入如下內(nèi)容：
* * * * * /usr/sbin/ntpdate -u ntp.aliyun.com >/var/null 2>&1
六、在第一臺(tái)虛擬機(jī)上安裝配置jdk和hadoop
參考：https://blog.csdn.net/qq_45860901/article/details/135676494?spm=1001.2014.3001.5502
七、配置hadoop配置文件
1，切換到hadoop的home 目錄下。
2，切到etc目錄下， 里面只有一個(gè)hadoop文件夾
3，進(jìn)入到這個(gè)hadoop文件夾，就有我們的核心配置文件了。
4，修改配置core-site.xml 文件
注意端口：在hadoop1.x 使用9000端口
hadoop2.x使用8020
hadoop3.x使用9820
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://192.168.248.101:9820</value>
</property>
<!--hdfs基礎(chǔ)數(shù)據(jù)路徑，放在hadoop文件夾下的tmp文件夾，這個(gè)文件不需要提前創(chuàng)建，讓hadoop自己創(chuàng)建-->
</configuration>
5，修改hdfs-site.xml
對(duì)外http服務(wù)的地址
<configuration>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>192.168.248.102:9868</value>
</property>
<property>
<name>dfs.namenode.http-address</name>
<value>192.168.248.101:9870</value>
</property>
<!--namenode守護(hù)進(jìn)程運(yùn)行數(shù)據(jù)路徑-->
<property>
<name>dfs.namenode.name.dir</name>
<value>/usr/local/app/hadoop/hadoop-3.3.5/tmp/name</value>
</property>
<!--datanode守護(hù)進(jìn)程運(yùn)行數(shù)據(jù)路徑-->
<property>
<name>dfs.datanode.data.dir</name>
<value>/usr/local/app/hadoop/hadoop-3.3.5/tmp/data</value>
</property>
</configuration>
6,修改hadoop-env.sh 文件
配置hadoop允許的配置
export JAVA_HOME=/usr/local/app/java/jdk8
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
7,配置workers 集群文件。 這個(gè)是指定datanode 在哪些節(jié)點(diǎn)上，因?yàn)橐谌_(tái)節(jié)點(diǎn)上都要配置Datanode，所以都要寫(xiě)。 里面會(huì)有一個(gè)localhost ，要去掉。
hadoop01
hadoop02
hadoop03
拷貝
為了避免再去多個(gè)主機(jī)上進(jìn)行上面的配置操作，使用scp 命令拷貝分發(fā)。
1，拷貝hadoop和Jdk文件分發(fā)給其他節(jié)點(diǎn).
（1）下面命令是遞歸的將hadoop-3.3.5文件夾，拷貝到hadoop02的當(dāng)前目錄下，當(dāng)前目錄就是在hadoop01同級(jí)的目錄下。
scp -r hadoop-3.3.5/ hadoop02:$PWD
（2）hadoop03也執(zhí)行上面操作。
2， 拷貝 /etc/profile 給其他節(jié)點(diǎn)
（1）將 profile 文件，拷貝到 hadoop02的 /etc目錄下。
scp /etc/profile hadoop02:/etc/
（2）hadoop03也執(zhí)行上面操作。
格式化集群
在 hadoop01節(jié)點(diǎn)上執(zhí)行下面的命令：hdfs namenode -format
得到如下結(jié)果：
啟動(dòng)集群
執(zhí)行：start-dfs.sh
使用JPS命令查看所有運(yùn)行的java程序：
訪問(wèn)hadoop的web界面
http://192.168.248.101:9870
成功進(jìn)入：
界面介紹
1，Datanode相關(guān)界面負(fù)載信息
2，這個(gè)查看 HDFS的相關(guān)信息
文章來(lái)源：http://www.zghlxwxcb.cn/news/detail-811295.html
如果重啟后沒(méi)有Datanode節(jié)點(diǎn)
先停止集群：stop-all.sh
如果按照上面配置代碼，則把/usr/local/app/hadoop/hadoop-3.3.5/tmp 文件夾徹底清空刪除。
然后再重新格式化：hdfs namenode -format
然后再啟動(dòng)。文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-811295.html
到了這里，關(guān)于Hadoop3完全分布式搭建的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！
