Ubuntu 20.0.4 Hadoop3.3.2 安裝與配置全流程保姆級教程

準(zhǔn)備工作

我下載的壓縮包是基于 Windows 系統(tǒng) x86 指令集的，如果你是蘋果電腦可能需要選擇 ARM 版本
3.21 更新：hadoop 某些功能不支持 JDK11 及以上版本(如網(wǎng)頁管理無法查看文件系統(tǒng))，所以下載時選擇 JDK8，官網(wǎng)需要登陸甲骨文賬號下載

1. 全新的 ubuntu 虛擬機(jī) https://ubuntu.com/download/desktop
2. JDK 壓縮包（for linux x64 Compressed Archive） https://www.oracle.com/java/technologies/downloads/
3. Hadoop 壓縮包（Binary download） https://hadoop.apache.org/releases.html
4. 充分使用 VMware 虛擬機(jī)的快照功能，在出錯時進(jìn)行回檔
5. 你的雙手以及專注認(rèn)真的美好品格

一、配置你的新系統(tǒng)

此時我使用的是剛裝好的全新虛擬機(jī)，后面的流程以及截圖我會全部使用此虛擬機(jī)重進(jìn)操作，如果你已經(jīng)擁有配置良好的虛擬機(jī)可以在目錄跳轉(zhuǎn)到你需要的章節(jié)

1. 更換國內(nèi)源并更新軟件

進(jìn)入新系統(tǒng)后會提示你更新軟件，這時我們先選擇跳過，因為速度很慢。為了提升軟件更新的速度，建議使用國內(nèi)源，可大幅提升更新速度，我們點擊桌面左下角的全部軟件
點擊紫色的這個圖標(biāo)進(jìn)入軟件與更新設(shè)置
在 Download from 選擇框點擊 Other 選項
點擊 Select Best Server 自動尋找最佳服務(wù)器，根據(jù)我自己的測試，直接在這里選擇就好，不需要去改文件
等待查詢完畢
完成后直接點擊 Choose Server
點擊 Reload 更新依賴
關(guān)閉設(shè)置界面回到桌面，再次點擊左下角，這次打開銀色的這個軟件更新器
更新軟件，等待更新完成，我這里能跑到十幾兆每秒的速度，都沒來得及截圖就進(jìn)入到了安裝步驟

更新完成后選擇立即重啟

軟件更新完成

2. 將事先準(zhǔn)備的壓縮包復(fù)制到虛擬機(jī)

根據(jù)自己的喜好選擇一個位置存放我們準(zhǔn)備好的壓縮包，我選擇放在用戶主文件夾下的 Downloads 文件夾下

3. 其他注意事項

1. 在你自定義你的虛擬機(jī)設(shè)置時做好不要更換你的桌面圖片，如果你直接從主機(jī)上找來張圖片放進(jìn)虛擬機(jī)并設(shè)為壁紙，之后重啟登陸進(jìn)入系統(tǒng)可能會導(dǎo)致黑屏，具體原因不詳，我自己因為這種原因重裝了兩次系統(tǒng)（屬實大坑）
2. 安裝過程中遇到一些諸如權(quán)限不足時盡量使用管理員身份執(zhí)行，而不要去隨意改動系統(tǒng)文件夾的歸屬權(quán)
3. 本文會使用系統(tǒng)自帶的編輯器進(jìn)行文件的修改，如果不習(xí)慣可以安裝一個 VS Code 修改文件很方便，權(quán)限不足時可以輸入管理員密碼直接保存更改
4. 每完成一部分配置最好保存一個虛擬機(jī)快照，在后續(xù)配置出錯時能回檔

二、安裝與配置 Java 環(huán)境

1. 解壓 JDK 壓縮包并移動位置

在之前存放壓縮包的文件夾右鍵打開菜單，選擇在終端打開
3.21更新：后續(xù)測試發(fā)現(xiàn)網(wǎng)頁管理 hdfs 文件時出現(xiàn)錯誤，所以 JDK 版本更改為 1.8.0_x

使用指令 tar -zxvf jdk-17_linux-x64_bin.tar.gz 解壓 JDK 壓縮包（后面的文件名是你自己下載的壓縮文件名）
注意不同壓縮格式解壓指令不同，我以通常情況下的 tar.gz 壓縮包為例
解壓完成后原目錄會出現(xiàn)解壓后的文件夾

繼續(xù)在終端輸入指令 sudo mv jdk-17.0.2 /usr/java 將解壓后的文件夾移動到 /usr/java 下（需要輸入管理員密碼）

檢查移動是否成功

2. 配置環(huán)境變量

打開 Home 文件夾，在右上角選項中選中顯示隱藏文件

找到名為 .profile 的文件，用文本編輯器打開它，然后在末尾添加如下代碼

export JAVA_HOME=/usr/java

# JDK8 添加 JRE_HOME 和 CLASSPATH 配置
export JRE_HOME=$JAVA_HOME/jre
CLASSPATH=$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib

export PATH=${JAVA_HOME}/bin:${JRE_HOME}/bin:$PATH

注意不要多空格或少空格，建議直接復(fù)制，修改完成后點擊 Save 進(jìn)行保存
下面圖片與上面代碼不一致，請以上述代碼為準(zhǔn)

終端輸入 source ~/.profile 應(yīng)用我們配置的環(huán)境變量

建立系統(tǒng)軟鏈接
sudo update-alternatives --install /usr/bin/javac javac /usr/java/bin/javac 1
sudo update-alternatives --install /usr/bin/javac java /usr/java/bin/java 1

3. 檢查安裝

終端輸入 java --version 或 java -version 檢查是否配置成功，出現(xiàn)下面的 java 版本提示說明配置成功
3.21更新：為兼容 Hadoop，Java 版本更改為 Java 1.8.0_x

三、安裝與配置 Hadoop

1. 解壓 Hadoop 壓縮包并移動位置

我們回到存放壓縮包的文件夾，同樣右鍵選擇在終端打開

使用指令 tar -zxvf hadoop-3.3.2.tar.gz 解壓壓縮包，目錄下會出現(xiàn)解壓后的文件夾
繼續(xù)使用指令 sudo mv hadoop-3.3.2 /usr/hadoop 將文件夾移動到 /usr/hadoop 目錄下（需要管理員密碼）

2. 配置 JDK 路徑

打開文件管理器，找到 Hadoop 安裝目錄下的 /etc/hadoop/hadoop-env.sh 并使用文本編輯器打開（默認(rèn)雙擊）
注意此處是 hadoop-env.sh 而不是 hadoop-env.cmd
在文件末尾添加以下代碼（建議直接復(fù)制）并保存退出

export JAVA_HOME=/usr/java

3. 配置 Hadoop

在剛剛的目錄下找到 core-site.xml 文件，用文本編輯器打開
在 <configuration> 標(biāo)簽中添加下面的配置，保存并退出

  <property>
    <name>hadoop.tmp.dir</name>
    <value>file:/usr/hadoop/tmp</value>
  </property>

  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9000</value>
  </property>

繼續(xù)在文件夾中找到 hdfs-site.xml 文件，用文本編輯器打開
在 <configuration> 標(biāo)簽中添加下面的配置，保存并退出

  <property>
    <name>dfs.replication</name>
    <value>3</value>
  </property>

  <property>
    <name>dfs.namenode.name.dir</name>
    <value>file:/usr/hadoop/tmp/dfs/name</value>
  </property>

  <property>
    <name>dfs.datanode.data.dir</name>
    <value>file:/usr/hadoop/tmp/dfs/data</value>
  </property>

  <property>
    <name>dfs.http.address</name>
    <value>0.0.0.0:50070</value>
  </property>

4. 啟動

打開任意終端，進(jìn)入 /hadoop/bin 路徑 cd /usr/hadoop/bin
執(zhí)行指令 ./hdfs namenode -format 進(jìn)行格式化

進(jìn)入 /hadoop/sbin 路徑 cd /usr/hadoop/sbin
執(zhí)行指令 ./start-all.sh 啟動 hadoop

執(zhí)行指令 jps 查看運行的進(jìn)程

打開瀏覽器輸入 http://localhost:50070 進(jìn)入 web 管理頁面

至此 Hadoop 配置完成

四、附錄

1. ssh 免密登陸設(shè)置

安裝 openssh 服務(wù) sudo apt-get install openssh-server
使用管理員密碼驗證，詢問是否繼續(xù)時輸入 y

登陸主機(jī) ssh localhost
詢問是否繼續(xù)時輸入 yes 然后輸入管理員密碼進(jìn)行登錄

退出主機(jī) exit

打開文件管理器，在 Home 中找到 .ssh 文件夾，進(jìn)入
這個文件夾默認(rèn)是隱藏的，但前面我們開啟了顯示隱藏文件
進(jìn)入 .ssh 文件夾后右鍵，選擇在終端打開
在終端輸入指令 ssh-keygen -t rsa 創(chuàng)建公鑰與私鑰
過程中需要按幾次回車，直到創(chuàng)建完畢

我們創(chuàng)建的公私鑰文件

繼續(xù)在終端輸入 cat ./id_rsa.pub >> ./authorized_keys 進(jìn)行免秘鑰登陸授權(quán)

此時設(shè)置完成，再使用 ssh localhost 登陸主機(jī)已經(jīng)不需要密碼了
將私鑰文件復(fù)制并注冊到另一臺計算機(jī)，可以實現(xiàn)遠(yuǎn)程訪問

2. VS Code 安裝與使用

不要直接在應(yīng)用商店下載 VSCode，因為會出現(xiàn)無法輸入中文的問題
官方下載地址：https://code.visualstudio.com/Download
下載 .deb 安裝包直接運行安裝

安裝中文擴(kuò)展
在擴(kuò)展商店搜索 Chinese 找到第一個擴(kuò)展點擊 Install 安裝，完成后在右下角彈窗中點擊 Change Language and Restart
重啟后即可應(yīng)用中文界面

安裝 Java 擴(kuò)展
在 擴(kuò)展商店搜索 java 選擇 Extension Pack for Java 安裝后即可秒變 IDE 開始創(chuàng)建 java 項目


創(chuàng)建完成的示例可直接運行，按 F5
文章來源地址http://www.zghlxwxcb.cn/news/detail-730683.html

到了這里，關(guān)于Ubuntu 20.0.4 Hadoop3.3.2 安裝與配置全流程保姆教程的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！