1 準(zhǔn)備安裝之前：
1.1 安裝前說(shuō)明：
很多初學(xué)者在安裝的時(shí)候會(huì)碰到各種各樣的問(wèn)題，尤其各種版本的搭配問(wèn)題。所以特意做一個(gè)初步安裝的引導(dǎo)，希望大家都能一次調(diào)試出來(lái)。
經(jīng)過(guò)測(cè)試，jdk11 + scala2.13.13 + hadoop3.3.6+spark3.5.1，這是暫時(shí)來(lái)說(shuō)scalsa2能支持的最完美的搭配。Hadoop能支持到的java最完美的最后版本為jdk11，后面的版本也可以使用，但是java 11后面的版本去掉了javax.activation，導(dǎo)致無(wú)法瀏覽服務(wù)端的文件夾以及文件。
?1.2?安裝順序：
- 安裝JDK(無(wú)需安裝Jre，安裝也沒(méi)有影響)
- 安裝Scala
- 安裝ssh，并設(shè)置免密登錄
- 安裝Hadoop
- 配置YARN
- 安裝Spark
2 安裝前準(zhǔn)備：
2.1 更新系統(tǒng)，確保ubuntu為最新版
sudo apt update
sudo apt upgrade
注：
- 舊版使用apt-get命令，新版也可以使用；
- 所有的默認(rèn)安裝目錄都在/usr/local下；
- 下面凡是出現(xiàn)localhost的地方，都可以用具體ip地址或主機(jī)名替代。
2.2 為安裝Hadoop做準(zhǔn)備
2.2.1建立hadoop用戶，并給出默認(rèn)shell
sudo useradd -m hadoop -s /bin/bash
#等效命令
adduser hadoop
passwd hadoop
2.2.2 修改hadoop密碼：
sudo passwd hadoop
2.2.3 增加hadoop用戶的管理員權(quán)限
sudo adduser hadoop sudo
#下面是給hadoop賦予root權(quán)限
sudo nano /etc/sudoers
如果使用root為hadoop的默認(rèn)用戶，則使用root登錄然后開(kāi)始安裝即可。
但是后續(xù)需要修改些東西，比如修改ssh的root登錄問(wèn)題(ubuntu下適用)
2.3?如果已經(jīng)安裝了新版本java，可以先徹底刪除掉
刪除java的過(guò)程：
2.3.1 查看是否安裝了java
$ java -version
openjdk version "11.0.10" 2024-01-16
OpenJDK Runtime Environment (build 17.0.10+7-Ubuntu-122.04.1)
OpenJDK 64-Bit Server VM (build 17.0.10+7-Ubuntu-122.04.1, mixed mode, sharing)
#或者
update-alternatives --list java
#或者
type -p java
2.3.2 查找jdk安裝包，包括jdk和jre
dpkg -l | grep -i jdk
#或者
dpkg -L openjdk-11-jdk
2.3.3 刪除所有老版java
sudo apt --purge remove openjdk-11-jdk
sudo apt --purge remove openjdk-11-jdk-headless
sudo apt --purge remove openjdk-11-jre
sudo apt --purge remove openjdk-11-jre-headless
2.3.4 刪除殘余的java文件及文件夾
sudo rm -rf /usr/lib/jvm/*
2.3.5 查看環(huán)境變量中是否存在java
vim /etc/environment
3 安裝JDK
3.1 安裝JAVA
sudo apt-get install openjdk-11-jre openjdk-11-jdk
或者
sudo apt install openjdk-11-jre openjdk-11-jdk
3.2?配置JAVA_HOME
在~/.bashrc文件中添加JAVA_HOME，可添加到文件最后，如果使用的root用戶，則.bashrc文件在/root下，其他用戶都在/home/用戶名 下。
export JAVA_HOME=/usr/lib/jvm/java-11-openjdk-amd64
4 安裝Scala
4.1 下載及安裝Scala
因?yàn)镾cala2與Scala3存在不少區(qū)別，所以建議下載Scala2，最新版本是2.13.13版。
4.2 安裝步驟
4.2.1 建立一個(gè)下載文件夾
sudo mkdir 下載
#或者使用鼠標(biāo)在桌面新建一個(gè)文件夾，名字叫”下載”
4.2.2 解壓及安裝
# 解壓到/usr/local中
sudo tar -zxf ~/下載/scala-2.13.13.tgz -C /usr/local??
cd /usr/local/
sudo mv ./scala-2.13.13 ./scala???????? # 將文件夾名改為scala
# 修改文件權(quán)限，用hadoop用戶擁有對(duì)scala目錄的權(quán)限
sudo chown -R hadoop ./scala???????
在~/.bashrc文件中添加scala文件執(zhí)行的路徑
export PATH=$PATH:/usr/local/scala/bin
直接執(zhí)行source命令，讓路徑生效
source ./bashrc
驗(yàn)證是否成功：
VM:/usr/local$ scala
Welcome to Scala 2.13.13 (OpenJDK 64-Bit Server VM, Java 17.0.10).
Type in expressions for evaluation. Or try :help.
scala>
5 安裝ssh
5.1 安裝過(guò)程
5.1.1 安裝ssh
sudo apt install openssh-server
5.1.2 第一次登錄自己需要輸入密碼
ssh localhost
5.1.3 切換到root用戶
su -
如果不記得密碼了
sudo passwd root
5.1.4 必須設(shè)置免密碼登錄，否則Hadoop啟動(dòng)會(huì)出問(wèn)題，下面是修改步驟
首先修改sshd_config文件(/etc/ssh/sshd_conifg)
將PermitRootLogin prohibie-password 修改為：PermitRootLogin yes
將PasswordAuthentication 后修改為yes
方法1：
exit?????????????????????????? # 退出剛才的 ssh localhost
cat ./id_rsa.pub >> ./authorized_keys? # 加入授權(quán)
cd ~/.ssh/???????????????????? # 若沒(méi)有該目錄，請(qǐng)先執(zhí)行一次ssh localhost,然后再輸入命令
ssh-keygen -t rsa????????????? # 會(huì)有提示，都按回車就可以
方法2：
ssh-keygen -t rsa?? #指定密鑰類型為rsa，一直回車就好
ssh-copy-id root@hadoop01? #將公鑰復(fù)制到遠(yuǎn)程服務(wù)器
注：
ssh-keygen -t rsa -P ""
#-P ""的意思是指設(shè)置密鑰對(duì)的密碼為空。
#實(shí)際上沒(méi)有意義，因?yàn)閟sh-copy-id將公鑰復(fù)制到遠(yuǎn)程服務(wù)器上了，等同于無(wú)需輸入密鑰。文章來(lái)源：http://www.zghlxwxcb.cn/news/detail-856621.html
測(cè)試：ssh root@主機(jī)名文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-856621.html
到了這里，關(guān)于ubuntu下Hadoop以及Spark的偽分布式安裝：一的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！
