目錄
前言
一.JDK的下載安裝配置
1.JDK 下載
2.JDK 安裝
3.JDK 環(huán)境變量配置
4.驗(yàn)證JDK安裝是否成功
5.重點(diǎn)?
二.Hadoop部署以及工具集winutils
1.下載Hadoop解壓/下載winutils以及"安裝"
? ? ? ? 下載Hadoop和winutils
????????"安裝"winutils
2.配置Hadoop環(huán)境變量/配置Hadoop文件
Hadoop配置環(huán)境變量
?hadoop-env.cmd
core-site.xml
創(chuàng)建data文件夾以及datanode和namenode
hdfs-site.xml
初始化namenode
啟動(dòng)hadopp
打開WEB管理頁面
3.Hadoop部署過程的重點(diǎn)?
總結(jié)
前言
如題這是一個(gè)我個(gè)人的學(xué)習(xí)記錄,學(xué)習(xí)目標(biāo)就是Hadoop的偽分布模式的部署,所以在Hadoop,JDK等等背景不做過多介紹,直接開始部署吧.
一.JDK的下載安裝配置
1.JDK 下載
下載地址:Java Archive Downloads - Java SE 8u211 and later
頁面下滑找到對(duì)應(yīng)自己電腦系統(tǒng)和版本的 JDK?源文件,我下載的是Windows系統(tǒng)64位版本
2.JDK 安裝
小tips: 像這樣開發(fā)環(huán)境還有python雜七雜八的環(huán)境,能就盡可能放在自定義目錄當(dāng)中,易于管理(但這里我的話就選擇直接默認(rèn)安裝了,畢竟不怎么用管啥哈哈哈)
直接雙擊打開就行:
"歡迎儀式",點(diǎn)擊下一步:
再下一步:
"狀態(tài)"滿了之后會(huì)回空靜止,會(huì)彈出一個(gè)新的窗口:
這個(gè)是安裝 JAVA 的路徑,剛才安裝的是 JDK 同樣有需要可以更改路徑,確認(rèn)好路徑就可以下一步了::
很快啊,啪的一下就完成了:
同時(shí)這個(gè)也會(huì)成功
可以去安裝路徑看一眼good(路徑待會(huì)得用到可以留著窗口復(fù)制)
3.JDK 環(huán)境變量配置
我個(gè)人會(huì)使用Win+R 輸入,感覺比較方便
sysdm.cpl
點(diǎn)擊高級(jí)就可以看到環(huán)境變量了
在系統(tǒng)變量中新建:
新建一個(gè)變量名位 JAVA_HOME ,變量值為剛才安裝 jdk的安裝路徑,如果路徑跟我一樣也可以直接復(fù)制:
C:\Program Files\Java\jdk-1.8設(shè)置完點(diǎn)擊確認(rèn):
找到系統(tǒng)變量里的Path點(diǎn)進(jìn)去
新建兩個(gè)環(huán)境變量,因?yàn)閷W(xué)習(xí)過程中發(fā)現(xiàn)網(wǎng)絡(luò)上很多出現(xiàn)因?yàn)橹辉O(shè)置" \bin "路徑導(dǎo)致的某些錯(cuò)誤,我索性就直接兩個(gè)都設(shè)置了
%JAVA_HOME%\jre\bin%JAVA_HOME%\bin
也可以絕對(duì)路徑配置環(huán)境變量像這樣
4.驗(yàn)證JDK安裝是否成功
最簡(jiǎn)單的驗(yàn)證方法,嘗試獲取版本:
Win + R? --> cmd?
輸入:
java -version如果如圖顯示了你所下載版本的版本號(hào),說明JDK安裝成功!
5.重點(diǎn)?
!!!一定要確定環(huán)境變量路徑正確,這是在這個(gè)環(huán)節(jié)我目前能總結(jié)的唯一問題!!!
二.Hadoop部署以及工具集winutils
1.下載Hadoop解壓/下載winutils以及"安裝"
? ? ? ? 下載Hadoop和winutils
Hadoop下載地址:Index of /dist/hadoop/common/hadoop-3.2.0 (apache.org)
winutils? 下載地址:cdarlint/winutils: winutils.exe hadoop.dll and hdfs.dll binaries for hadoop windows (github.com)
可以根據(jù)你需要的版本進(jìn)行下載我這里選擇的是3.2.0版本
!!!Hadoop版本和winutils版本一定要相同!!!
?Hadoop下載" hadoop-3.2.0.tar.gz "
?
下載winutils,點(diǎn)擊"? code" -->download zip(下載壓縮包),為什么不之下3.2.0的winutils,原因是......我不知道怎么在GitHub上單獨(dú)下載一個(gè)文件夾,樂.(但是winutils所有版本加起來也沒多大,問題不大)
下載完成:
我有360壓縮可行所以我就直接用360解壓了
也可以無需任何軟件解壓:
Win + R --> cmd --> 輸入" G: " 再輸入你的Hadoop壓縮包的位置 (注意是你自己電腦的壓縮包位置),如圖劃線部位,說明你已經(jīng)進(jìn)入了壓縮包的位置,再輸入
# tar -zxvf 你下載的版本的壓縮包全稱包括后綴名,如果你的位置只有這個(gè)壓縮包 Tab鍵可以直接補(bǔ)全
tar -zxvf hadoop-3.2.0.tar.gz?等待解壓:
解壓出hadoop-3.2.0文件夾如下圖:
????????
????????"安裝"winutils
?打開壓縮包找到對(duì)應(yīng)版本bin全部放到hadoop\bin里建議先將winutils壓縮包里的bin解壓出來再復(fù)制粘貼,因?yàn)槲野l(fā)現(xiàn)從360解壓拖到Hadoop的bin無法全部成功替換,如第二張?zhí)鎿Q解說圖
先解壓出來再復(fù)制粘貼到 hadoop-3.2.0文件夾下的 bin
這樣就算是" 安裝"好了.
2.配置Hadoop環(huán)境變量/配置Hadoop文件
Hadoop配置環(huán)境變量
如JAVA_HOME一樣,不做贅述
?hadoop-env.cmd
還有一個(gè)重要的點(diǎn),進(jìn)入 hadoop-3.2.0 的 etc再進(jìn)入hadoop 文件夾 找到hadoop-env.cmd,右鍵在記事本中編輯
將%JAVA_HOME%更改為JDK 的絕對(duì)路徑 (路徑中不能存在空格) 我的路徑在" C:\Program Files\Java\jdk-1.8 "所以更改為如下,"?PROGRA~1 " 和 "?Program Files "是一樣的等價(jià)替換的.
C:\PROGRA~1\Java\jdk-1.8
修改完這個(gè)路徑以及環(huán)境變量后,嘗試獲取版本號(hào).
hadoop version
????????接下來還需要配置核心文件?core-site.xml 和?hdfs-site.xml
core-site.xml
同樣以右鍵筆記本中編輯,配置內(nèi)容可以直接覆蓋使用
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
創(chuàng)建data文件夾以及datanode和namenode
在hadoop-3.2.0目錄下新建data文件夾,然后在data目錄下再新建datanode和namenode文件夾
hdfs-site.xml
?這里的路徑一定要和你自己namenode和datanode路徑相同且在盤路徑前也需要'/'
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/G:/Hadoop/hadoop-3.2.0/data/namenode</value>這里的路徑
一定要和你自己namenode路徑相同且在盤路徑前也需要'/'
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/G:/Hadoop/hadoop-3.2.0/data/datanode</value>這里的路徑
一定要和你自己datanode路徑相同且在盤路徑前也需要'/'
</property>
</configuration>
初始化namenode
先打開hadoop-3.2.0/bin文件夾在路徑欄直接輸入cmd,也可以直接在當(dāng)前目錄打開命令提示符(cmd)
輸入:
hdfs namenode -format
顯示了如圖信息說明初始化成功:
啟動(dòng)hadopp
命令提示符(cmd)窗口進(jìn)入hadoop-3.2.0目錄下的 sbin (記得是sbin文件夾一開始我傻子以為教程寫錯(cuò)了進(jìn)了bin......) 也可以直接在sbin目錄的路徑欄cmd在當(dāng)前位置打開cmd
輸入并回車啟動(dòng)服務(wù):
start-dfs.cmd
?這時(shí)會(huì)彈出兩個(gè)命令提示符窗口,千萬不要關(guān)閉,且就我的經(jīng)驗(yàn)來說,如果兩個(gè)彈出窗口都沒有回到可輸入狀態(tài),如圖,說明服務(wù)已經(jīng)啟動(dòng)成功!
?不要管這兩個(gè)窗口在最開始輸入start-dfs.cmd的窗口輸入" jps " 檢查啟動(dòng)的服務(wù)
?輸入jps 如果出現(xiàn)以下進(jìn)程說明Hadoop啟動(dòng)成功
打開WEB管理頁面
成功后可以打開WEB管理頁面查看Hadoop的狀態(tài)以及操作,啟動(dòng)服務(wù)后不要關(guān)閉命令提示符窗口,在瀏覽器中打開如下網(wǎng)址即是Hadoop的網(wǎng)頁管理界面
http://localhost:9870
在這里可以進(jìn)行文件的相關(guān)操作了?
3.Hadoop部署過程的重點(diǎn)?
確保操作中的路徑正確
winutils版本要和Hadoop匹配
Java環(huán)境變量配置正確文章來源：http://www.zghlxwxcb.cn/news/detail-849501.html
總結(jié)
以上就是我一次又一次配置失敗,一次又一次不甘心,一次次嘗試最后成功的學(xué)習(xí)筆記,回想起來有些操作失誤真的挺傻的,真可惡啊,有些教程講的不明白導(dǎo)致我沒看明白(好吧是我基礎(chǔ)不夠沒能理解),我現(xiàn)在作為傻瓜來設(shè)計(jì)了這么一個(gè)直達(dá)式教程希望對(duì)你有用.goodgood,接下來要嘗試創(chuàng)建虛擬機(jī)來部署Hadoop,要是可以的話還會(huì)再出.See U文章來源地址http://www.zghlxwxcb.cn/news/detail-849501.html
到了這里，關(guān)于基于Windows系統(tǒng)的Hadoop偽分布式模式部署-從零開始(我的學(xué)習(xí)記錄)的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！
