1.配置靜態(tài)ip
2.關閉防火墻
3.修改主機名為 master ,并重啟虛擬機
vi /etc/hostname
4.修改主機名與ip映射
5.設置SSH免密登錄
6.安裝配置java環(huán)境
可以使用XFTP,用物理主機鏈接虛擬機的centos傳送java文件,或者直接去java官網(wǎng)下載文件,解壓。配置文件,啟動配置。
驗證java是否配置好
輸入:
java
javac
java -version
----------------------正式Hadoop配置
1.移動安裝包到合適位置
2.解壓安裝包并重命名
3.配置環(huán)境變量
4.修改hadoop的核心配置文件:
修改六個配置文件hadoop-env.sh
5.啟動與停止Hadoop
5.1NameNode格式化
啟動hadoop之前需要格式化(具體在出現(xiàn)的問題第六點)
5.2啟動、停止HDFS
驗證:
5.3啟動停止yarn
出現(xiàn)錯誤,解決和驗證見問題8
成功:(到此hadoop安裝配置就完結啦?。?/strong>
6.訪問Hadoop
通過web 瀏覽器訪問Hadoop的集群環(huán)境
出現(xiàn)的問題:
1.
在/etc目錄下修改sudoers文件,賦予權限。
2.為什么有步驟4
3.
下載hbase.bin.tar.gz(這里下的是2.2.2,因為我的hadoop是3.1.3版本的)
下載地址:https://archive.apache.org/dist/hbase/2.2.2/
4.為什么從8020變成了9000
5.配置完hadoop-env.sh文件后,運行命令:hadoop version
出現(xiàn)報錯:ERROR: /usr/lib/jvm/bin/java is not executable
解決:本文件中的路徑要與Java的配置文件(/etc/profile中的完全一致)
解決后,再次運行hadoop version
出現(xiàn)內(nèi)容如下:
6.格式化錯誤
WARNING: /usr/local/hadoop/logs does not exist. Creating.
mkdir: 無法創(chuàng)建目錄"/usr/local/hadoop/logs": 權限不夠
命令如下:
7.報錯:Warning: Permanently added ‘localhost’ (ECDSA) to the list of known hosts.
(還沒去解決)文章來源:http://www.zghlxwxcb.cn/news/detail-715866.html
8.報錯:start-yarn.sh Starting resourcemanagers on [] ERROR: /usr/lib/jvm/bin/java is not executable.
解決:
yarn-env.sh文件配置錯誤,java環(huán)境錯誤,要與java_home的完全一致文章來源地址http://www.zghlxwxcb.cn/news/detail-715866.html
到了這里,關于CentOS7搭建偽分布式Hadoop(全過程2023)的文章就介紹完了。如果您還想了解更多內(nèi)容,請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關文章,希望大家以后多多支持TOY模板網(wǎng)!