一、安裝JDK
1、創(chuàng)建文件夾tools和training用于存放壓縮包和解壓使用,tools存放壓縮包,training用于解壓后安裝jdk和hadoop的路徑。
1)回到路徑為 / 的位置
cd /
2) 創(chuàng)建 tools 和 training
mkdir tools
mkdir training
3) 進(jìn)入tools文件夾
cd tools
4) 左邊mobaxterm里面點(diǎn)擊進(jìn)入/tools文件夾,將發(fā)給大家的壓縮包直接鼠標(biāo)拖入進(jìn)去,拖的是tar.gz壓縮包,不要在電腦里面解壓過了!,拖的時(shí)候有進(jìn)度條,上傳完后如圖所示
2、JDK解壓
1) 在控制臺(tái)輸入以下命令,將文件解壓至training文件夾,如圖所示,路徑在tools里面,會(huì)有一堆進(jìn)度條,等他運(yùn)行停止以后進(jìn)行下一步
tar -zvxf jdk-8u144-linux-x64.tar.gz -C /training/
2) 查看mobaxterm左邊,點(diǎn)擊文件夾進(jìn)到training里面查看解壓情況,有這個(gè)文件夾了就說明解壓成功了。
3、JDK安裝
1)控制臺(tái)輸入此命令回車進(jìn)行環(huán)境配置
vi ~/.bash_profile
2) 進(jìn)入文件后是不可編輯的閱讀狀態(tài),使用鍵盤上下左右鍵將光標(biāo)移動(dòng)到藍(lán)色的export PATH 的H上面,按一下電腦的 i 鍵盤,進(jìn)入編輯模式,按右鍵挪到H的后面,然后回車兩次,在進(jìn)行下一步。
3) 在文件中添加此配置,直接復(fù)制粘貼,若java版本不是從我這下的,和我不同,請(qǐng)自行在配置里更改版本編號(hào)144,具體如圖
#java
export JAVA_HOME=/training/jdk1.8.0_144
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JRE_HOME/lib
export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin
4) 按一下esc退出編輯模式
5) 輸入 冒號(hào)wq,然后回車, 不可復(fù)制,直接鍵盤自己輸,此操作是保存文件并退出,w是保存,q是退出,后面不會(huì)講這么細(xì),忘記可以翻回來看,如果不下心改錯(cuò)了,不想保存退出,則使用 :wq! ,就是不保存退出。
:wq
6) 環(huán)境變量更改以后,需要讓他生效,所以輸入一下命令讓環(huán)境變量生效。
source ~/.bash_profile
7) 輸入此命令,檢查java是否安裝完畢,如果彈出對(duì)應(yīng)版本信息則成功安裝java。
java -version
二、安裝Hadoop
1、關(guān)閉centos的防火墻,不然影響后面hadoop遠(yuǎn)程連接
systemctl stop firewalld.service
systemctl disable firewalld.service
2、更改主機(jī)名為niit和我一樣,方便后續(xù)文件直接復(fù)制粘貼不用更改,更改后不會(huì)馬上顯示,關(guān)掉mobaxterm重新連接一下就好了。
hostnamectl --static set-hostname niit
3、配置映射關(guān)系
1)進(jìn)入centos的hosts映射文件
vi /etc/hosts
2)添加ip編號(hào) 空格 主機(jī)名
(每個(gè)人ip都不一樣,自己用自己的)
具體怎么添加的參考上面的詳細(xì)環(huán)境變量文件更改和保存操作,一樣的。
192.168.163.137 niit
3):wq保存退出
:wq
4、配置另一個(gè)映射文件
1)進(jìn)入文件
vi /etc/sysconfig/network
2)添加主機(jī)名在這個(gè)文件里
niit
3) :wq 保存退出
:wq
5、進(jìn)入/tools文件夾
cd /tools
6、解壓hadoop壓縮包到training文件夾
tar -zvxf /tools/hadoop-3.3.0.tar.gz -C /training/
7、Hadoop環(huán)境配置
1)再次進(jìn)入環(huán)境變量配置文件
vi ~/.bash_profile
2)添加如下配置,別動(dòng)到之前的java,在后面換行添加就行
#hadoop
export HADOOP_HOME=/training/hadoop-3.3.0
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
3):wq保存退出
4)生效環(huán)境變量
source ~/.bash_profile
5)輸入hdfs檢查hadoop是否安裝成功,如果有這些東西出來了,說明成功安裝,接下來去進(jìn)行hadoop配置文件的配置。
hdfs
三、Hadoop免密登錄配置
1、創(chuàng)建免密登錄數(shù)據(jù)存放文件
1)在hadoop安裝路徑下創(chuàng)建一個(gè)tmp文件夾用于存放配置數(shù)據(jù)
mkdir /training/hadoop-3.3.0/tmp
2、免密配置
1)進(jìn)行hadoop ssh免密配置
a、輸入以下代碼,回車四次,什么都不要輸入,快速回車4次,然后你會(huì)得到一個(gè)密碼圖形,每個(gè)人不一樣,不用看我的圖,有圖形就好了
ssh-keygen -t rsa
b、輸入以下命令
cd ~/.ssh/
c、輸入以下命令(niit是主機(jī)名,和我不一樣得換自己的)
具體如圖所示
ssh-copy-id -i id_rsa.pub root@niit
四、Hadoop5個(gè)配置文件設(shè)置
1、進(jìn)入Hadoop配置文件地址
cd /training/hadoop-3.3.0/etc/hadoop/
2、第一個(gè)配置文件:hadoop-env.sh,用于設(shè)置jdk的
1)輸入命令進(jìn)入編輯
vi hadoop-env.sh
2)進(jìn)去后長(zhǎng)這樣
3)往下滑動(dòng)鼠標(biāo)找到
4)進(jìn)入編輯模式,在這一行下面一行添加此內(nèi)容
export JAVA_HOME=/training/jdk1.8.0_144
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root
5):wq保存退出
3、第二個(gè)配置文件:hdfs-site.xml,用于設(shè)置權(quán)限和數(shù)據(jù)塊備份數(shù)量
1)進(jìn)入文件
vi hdfs-site.xml
2)進(jìn)去長(zhǎng)這樣,在兩個(gè)configuration中間添加配置
3)進(jìn)入編輯模式添加內(nèi)容
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
4):wq保存退出
4、第三個(gè)配置文件:core-site.xml,用于設(shè)置主節(jié)點(diǎn)和臨時(shí)文件夾
1)進(jìn)入文件
vi core-site.xml
2)進(jìn)去長(zhǎng)這樣,在configuration中間加
3)添加內(nèi)容,niit是主機(jī)名,不一樣記得改,8020不用動(dòng)
<property>
<name>fs.defaultFS</name>
<value>hdfs://niit:8020</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/training/hadoop-3.3.0/tmp</value>
</property>
4):wq保存退出
5、第四個(gè)配置文件:mapred-site.xml,用于設(shè)置mapreduce的運(yùn)行環(huán)境
1)進(jìn)入文件
vi mapred-site.xml
2)進(jìn)去長(zhǎng)這樣,在configuration中間加
3)添加內(nèi)容
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
6、第五個(gè)配置文件:yarn-site.xml,用于設(shè)置yarn
1)進(jìn)入文件
vi yarn-site.xml
2)進(jìn)入長(zhǎng)這樣,在箭頭處添加
3)添加內(nèi)容
<property>
<name>yarn.resourcemanager.hostname</name>
<value>niit</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
4):wq保存退出
五、Hadoop格式化主節(jié)點(diǎn)
hdfs namenode -format
#注意: 如果格式化成功,你可以看到如下信息:
common.Storage: Storage directory /training/hadoop-3.3.0/tmp/dfs/name has been successfully formatted.
六、Hadoop啟動(dòng)與關(guān)閉
1、啟動(dòng)Hadoop
1)啟動(dòng)命令
start-all.sh
2)是否啟動(dòng)成功進(jìn)程檢查
jps
成功會(huì)有5個(gè)進(jìn)程,1個(gè)jps進(jìn)程
如果成功看到5個(gè)hadoop進(jìn)程恭喜你成功了,只要少了任何一個(gè)進(jìn)程說明上述所有步驟一點(diǎn)點(diǎn)小問題都會(huì)有影響,從頭檢查一遍。文章來源:http://www.zghlxwxcb.cn/news/detail-704882.html
2、關(guān)閉Hadoop
stop-all.sh
文章來源地址http://www.zghlxwxcb.cn/news/detail-704882.html
到了這里,關(guān)于CentOS7 Hadoop3.3.0 安裝與配置的文章就介紹完了。如果您還想了解更多內(nèi)容,請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章,希望大家以后多多支持TOY模板網(wǎng)!