目錄
安裝偽分布式hadoop
安裝 JAVA 環(huán)境
實(shí)現(xiàn)免密登陸
Hadoop環(huán)境的安裝與配置
安裝偽分布式spark
?安裝偽分布式scala
安裝偽分布式hadoop
安裝 JAVA 環(huán)境
步驟一：下載 JDK 安裝包（jdk-8u152-linuxx64.tar.gz）
官網(wǎng)地址：https://www.oracle.com/java /technologies /javase-jdk8-downloads.html
步驟二：卸載自帶 OpenJDK
[root@master ~]# rpm -qa | grep java
卸載相關(guān)服務(wù)，鍵入命令 rpm –e –-nodeps 刪除的包
?[root@master ~]# rpm -qa | grep java
[root@master ~]# java --version
bash: java: 未找到命令
步驟三：安裝 JDK
安裝命令如下，將安裝包解壓到/usr/local/src 目錄下，將安裝包放在了root目錄下
[root@master ~]# tar -zxvf jdk-8u152-linux-x64.tar.gz -C /usr/local/src/
[root@master ~]# ls /usr/local/src/
jdk1.8.0_152
步驟四：設(shè)置 JAVA 環(huán)境變量
[root@master ~]# vi /etc/profile
在文件的最后增加如下兩行：
export JAVA_HOME=/usr/local/src/jdk1.8.0_152
export PATH=$PATH:$JAVA_HOME/bin
執(zhí)行 source 使設(shè)置生效：
[root@master ~]# source /etc/profile
檢查 JAVA 是否可用。
[root@master ~]# echo $JAVA_HOME /usr/local/src/jdk1.8.0_152
[root@master ~]# java -version
java version "1.8.0_152"
Java(TM) SE Runtime Environment (build 1.8.0_152-b16)
Java HotSpot(TM) 64-Bit Server VM (build 25.152-b16, mixed mode)
能夠正常顯示 Java 版本則說明 JDK 安裝并配置成功。
實(shí)現(xiàn)免密登陸
步驟一：創(chuàng)建ssh秘鑰，輸入如下命令，生成公私密鑰
[root@master ~]# ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
步驟二：將master公鑰id_dsa復(fù)制到master進(jìn)行公鑰認(rèn)證，實(shí)現(xiàn)本機(jī)免密登陸，測試完exit退出
[root@master ~]# ssh-copy-id -i /root/.ssh/id_dsa.pub master
[root@master ~]# ssh master
[root@master ~]# exit
Hadoop環(huán)境的安裝與配置
步驟一：將/root/runajian下的hadoop-2.7.7.tar.gz壓縮包解壓到/opt目錄下，并將解壓文件改名為hadoop
步驟二：修改環(huán)境變量
[root@master ~]# vim /etc/profile
export HADOOP_HOME=/opt/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
[root@master ~]# source /etc/profile?
步驟三：編輯/opt/hadoop/etc/hadoop/hadoop-env.sh文件
[root@master ~]# vi /opt/hadoop/etc/hadoop/hadoop-env.sh
修改配置文件為jdk的安裝路徑：
export JAVA_HOME=/usr/local/src/jdk1.8.0_152
步驟四：編輯/opt/hadoop/etc/hadoop/core-site.xml文件
[root@master ~]# vi /opt/hadoop/etc/hadoop/core-site.xml
修改配置文件為：<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://master</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/hadoop/tmp</value>
</property>
</configuration>
步驟五：編輯/opt/hadoop/etc/hadoop/hdfs-site.xml文件
[root@master ~]#? vi /opt/hadoop/etc/hadoop/hdfs-site.xml
修改配置文件：
<configuration>
<property>
<name>dfs.replication</name>
<value>3</value>
</property></configuration>
步驟六：
復(fù)制/opt/hadoop/etc/hadoop/mapred-site.xml.tmplate 名為mapred-site.xml?
[root@master ~]# cp /opt/hadoop/etc/hadoop/mapred-site.xml.template /opt/hadoop/etc/hadoop/mapred-site.xml
編輯/opt/hadoop/etc/hadoop/mapred-site.xml文件
[root@master ~]#?vi /opt/hadoop/etc/hadoop/mapred-site.xml
修改配置為：<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
步驟七：編輯/opt/hadoop/etc/hadoop/yarn-site.xml文件
[root@master ~]# vi /opt/hadoop/etc/hadoop/yarn-site.xml
修改配置為：
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property></configuration>
?步驟八：編輯/opt/hadoop/etc/hadoop/slaves文件
[root@master ~]# vim /opt/hadoop/etc/hadoop/slaves
步驟九： 格式化hdfs
[root@master ~]#?hdfs namenode -format
?步驟十：啟動集群 jps查看,登錄網(wǎng)頁
[root@master ~]#?start-all.sh
[root@master ~]#?jps
在瀏覽器的地址欄輸入http://master:50070，進(jìn)入頁面可以查看NameNode和DataNode 信息?
安裝偽分布式spark
步驟一：安裝命令如下，將安裝包解壓到/usr/local目錄下，將安裝包放在了root目錄下
[root@master ~]# tar -zxf spark-2.0.0-bin-hadoop2.6.tgz -C /usr/local/
步驟二：復(fù)制和重命名后得到spark-env.sh，打開spark-env.sh添加內(nèi)容
[root@master bin]# cd /usr/local/spark-2.0.0-bin-hadoop2.6/conf/
[root@master conf]# cp spark-env.sh.template spark-env.sh
[root@master conf]# vi spark-env.shexport JAVA_HOME=/usr/local/src/jdk1.8.0_152
export HADOOP_HOME=/opt/hadoop
export HADOOP_CONF_DIR=/opt/hadoop/etc/hadoop
export SPARK_MASTER_IP=master
export SPART_LOCAL_IP=master
步驟三：進(jìn)入spark目錄的/sbin下啟動spark集群，jps查看
[root@master conf]# cd /usr/local/spark-2.0.0-bin-hadoop2.6/sbin/
[root@master sbin]# ./start-all.sh
[root@master sbin]# jps
步驟四：啟動spark-ahell
[root@master ~]# cd /usr/local/spark-2.0.0-bin-hadoop2.6/
[root@master spark-2.0.0-bin-hadoop2.6]# ./bin/spark-shell
步驟五：查看網(wǎng)頁http://master：8080
?安裝偽分布式scala
步驟一：安裝命令如下，將安裝包解壓到/usr/local目錄下，將安裝包放在了root目錄下
[root@master ~]# tar -zxf scala-2.11.8.tgz -C /usr/local
?
步驟二：配置scala環(huán)境變量，重新加載配置文件，運(yùn)行scala
[root@master ~]# vim /etc/profile
export SCALA_HOME=/usr/local/scala-2.11.8
export PATH=$PATH:$SCALA_HOME/bin
?[root@master ~]# source /etc/profile
[root@master ~]# scala
Welcome to Scala 2.11.8 (Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0_152).
Type in expressions for evaluation. Or try :help.文章來源：http://www.zghlxwxcb.cn/news/detail-859708.html
文章來源地址http://www.zghlxwxcb.cn/news/detail-859708.html
到了這里，關(guān)于偽分布式hadoop+spark+scala 超詳細(xì)搭建的文章就介紹完了。如果您還想了解更多內(nèi)容，請?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！
