大數(shù)據(jù)-安裝 Hadoop3.1.3 詳細(xì)教程-偽分布式配置(Centos7)
**相關(guān)資源：**https://musetransfer.com/s/q43oznf6f（有效期至2023年3月16日）｜【Muse】你有一份文件待查收，請(qǐng)點(diǎn)擊鏈接獲取文件
1.檢查是否安裝ssh （CentOS 7 即使是最小化安裝也已附帶openssh 可跳過(guò)本步驟）
rpm -qa | grep ssh
若已安裝進(jìn)行下一步驟 若未安裝 請(qǐng)自行百度 本教程不做過(guò)多講解
2.配置ssh，實(shí)現(xiàn)無(wú)密碼登錄
1.開(kāi)啟sshd服務(wù)
systemctl start sshd.service
2.進(jìn)入 ~/.ssh 文件夾
cd ~/.ssh
若不存在該文件夾 可使用以下命令 使用root賬戶(hù)登錄后生成
ssh root@localhost
然后輸入yes 并輸入本機(jī)root密碼
3.進(jìn)入 .ssh目錄后 執(zhí)行
ssh-keygen -t rsa
一路按回車(chē)就可以
4.做ssh免密認(rèn)證 執(zhí)行以下命令即可
cat id_rsa.pub >> authorized_keys
5.修改文件權(quán)限
chmod 644 authorized_keys
6.檢測(cè)是否可以免密登錄
ssh root@localhost
無(wú)需輸入密碼登錄 即為成功
3上傳jdk，并配置環(huán)境變量
將文件上傳至CentOS7 的 /usr/local/java 文件夾中
進(jìn)入文件夾并進(jìn)行解壓縮
tar -zxvf jdk-8u212-linux-x64.tar.gz
將壓縮包刪除
新建/etc/profile.d/my_env.sh 文件
vim /etc/profile.d/my_env.sh
添加如下內(nèi)容:
#JAVA_HOME
export JAVA_HOME=/usr/local/java/jdk1.8.0_212
export PATH=$PATH:$JAVA_HOME/bin
保存后退出 :wq!
source 一下/etc/profile 文件，讓新的環(huán)境變量 PATH 生效
source /etc/profile
測(cè)試 JDK 是否安裝成功
java -version
4上傳Hadoop，并配置環(huán)境變量
將文件上傳至CentOS7 的 /usr/local/hadoop 文件夾中
進(jìn)入文件夾并進(jìn)行解壓縮
tar -zxvf hadoop-3.1.3.tar.gz
將壓縮包刪除
將 Hadoop 添加到環(huán)境變量
vim /etc/profile.d/my_env.sh
保存后退出 :wq!
source 一下/etc/profile 文件，讓新的環(huán)境變量 PATH 生效
source /etc/profile
測(cè)試 hadoop 是否安裝成功
hadoop version
5 hadoop準(zhǔn)備工作
創(chuàng)建hadoop存放數(shù)據(jù)的目錄
cd 到hadoop目錄下。執(zhí)行以下命令
mkdir temp
創(chuàng)建namenode 存放 name table 的目錄
cd 到 temp目錄下創(chuàng)建dfs目錄，再dfs目錄下創(chuàng)建name目錄
cd temp/
mkdir dfs
ls
cd dfs/
mkdir name
ls
創(chuàng)建 datanode 存放 數(shù)據(jù) block 的目錄
dfs目錄下創(chuàng)建data目錄
mkdir data
ls
修改/usr/local/hadoop/hadoop-3.1.3/etc/hadoop文件夾下的core-site.xml配置文件
默認(rèn)情況下，Hadoop將數(shù)據(jù)保存在/tmp下，當(dāng)重啟系統(tǒng)時(shí)，/tmp中的內(nèi)容將被自動(dòng)清空，所以我們需要制定自己的一個(gè)Hadoop的目錄，用來(lái)存放數(shù)據(jù)。另外需要配置Hadoop所使用的默認(rèn)文件系統(tǒng)，以及Namenode進(jìn)程所在的主機(jī)
vim core-site.xml
打開(kāi) core-site.xml 文件后，將其中的
<configuration>
</configuration>
修改為以下的配置：
<configuration>
<property>
<!-- 指定hadoop運(yùn)行時(shí)產(chǎn)生文件的存儲(chǔ)路徑-->
<name>hadoop.tmp.dir</name>
<value>/opt/module/temp</value>
<description>A base for other temporary directories.</description>
</property>
<property>
<!--hdfs namenode的通信地址-->
<name>fs.defaultFS</name>
<value>hdfs://192.168.119.129:9000</value>
</property>
<property>
<name>hadoop.http.staticuser.user</name>
<value>root</value>
</property>
修改/usr/local/hadoop/hadoop-3.1.3/etc/hadoop文件夾下的hdfs-site.xml配置文件
該文件指定與HDFS相關(guān)的配置信息。需要修改HDFS默認(rèn)的塊的副本屬性，因?yàn)镠DFS默認(rèn)情況下每個(gè)數(shù)據(jù)塊保存3個(gè)副本，而在偽分布式模式下運(yùn)行時(shí)，由于只有一個(gè)數(shù)據(jù)節(jié)點(diǎn)，所以需要將副本個(gè)數(shù)改為1,否則Hadoop程序會(huì)報(bào)錯(cuò)
執(zhí)行以下命令修改 hdfs-site.xml 文件：
vim hdfs-site.xml # 編輯 hdfs-site.xml 文件
打開(kāi) hdfs-site.xml 文件后，將其中的
<configuration>
</configuration>
修改為以下的配置：
<configuration>
<property>
<!--指定HDFS儲(chǔ)存數(shù)據(jù)的副本數(shù)目，默認(rèn)情況下為3份-->
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<!--name node 存放 name table 的目錄-->
<name>dfs.namenode.name.dir</name>
<value>file:/usr/local/hadoop/tmp/dfs/name</value>
</property>
<property>
<!--data node 存放數(shù)據(jù) block 的目錄-->
<name>dfs.datanode.data.dir</name>
<value>file:/usr/local/hadoop/tmp/dfs/data</value>
</property>
<property>
<!--設(shè)置監(jiān)控頁(yè)面的端口及地址-->
<name>dfs.http.address</name>
<value>0.0.0.0:50070</value>
</property>
</configuration>
修改/usr/local/hadoop/hadoop-3.1.3/etc/hadoop文件夾下的mapred-site.xml配置文件
vim mapred-site.xml
打開(kāi) mapred-site.xml文件后，將其中的
<configuration>
</configuration>
修改為以下的配置：
<configuration>
<property>
<!-- 指定mapreduce 編程模型運(yùn)行在yarn上 -->
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
修改/usr/local/hadoop/hadoop-3.1.1/etc/hadoop文件夾下的yarn-site.xml配置文件
vim yarn-site.xml
打開(kāi) mapred-site.xml文件后，將其中的
<configuration>
</configuration>
修改為以下的配置：
<configuration>
<!-- Site specific YARN configuration properties -->
<property>
<!-- 指定mapreduce 編程模型運(yùn)行在yarn上 -->
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
分別編輯開(kāi)始和關(guān)閉腳本
分別/usr/local/hadoop/hadoop-3.1.3/sbin 下的 start-dfs.sh 和 stop-dfs.sh , start-yarn.sh 和 stop-yarn.sh
vim start-dfs.sh
在最上方 #/usr/bin/env bash 下空白處添加以下內(nèi)容
HDFS_DATANODE_USER=root
HADOOP_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root
vim stop-dfs.sh
在最上方 #/usr/bin/env bash 下空白處添加以下內(nèi)容
HDFS_DATANODE_USER=root
HADOOP_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root
vim start-yarn.sh
在最上方 #/usr/bin/env bash 下空白處添加以下內(nèi)容
YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root
vim stop-yarn.sh
在最上方 #/usr/bin/env bash 下空白處添加以下內(nèi)容
YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root
格式化namenode，只格式化一次即可
cd 到/usr/local/hadoop/hadoop-3.1.3/etc/hadoop 目錄下
執(zhí)行
hadoop namenode -format
啟動(dòng)hadoop
start-all.sh
查看進(jìn)程，檢查是否啟動(dòng)
jps
至此已經(jīng)成功安裝完成Hadoop （記得在防火墻里面放行以下的端口）
HDFS Web界面：自己的IP地址:50070
ResourceManager Web界面：自己的IP地址:8088文章來(lái)源：http://www.zghlxwxcb.cn/news/detail-404629.html
文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-404629.html
到了這里，關(guān)于大數(shù)據(jù)-安裝 Hadoop3.1.3 詳細(xì)教程-偽分布式配置(Centos7)的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！
