本案例軟件包：鏈接：https://pan.baidu.com/s/1zABhjj2umontXe2CYBW_DQ?
提取碼：1123（若鏈接失效在下面評論，我會及時更新）.
目錄
（1）安裝Spark
1.先用xftp將安裝包傳到home/hadoop/Downloads文件夾下，然后解壓安裝。
2.解壓縮：
3. 更改文件夾名稱：
4.修改hadoop用戶對文件夾spark的訪問權(quán)限：
（2）配置
1.復(fù)制一份由Spark安裝文件自帶的配置文件模板：
2.使用vim編輯器打開spark-env.sh，再第一行添加配置信息：
3.驗證Spark安裝是否成功：
4.?啟動HDFS后，Spark可以對HDFS中的數(shù)據(jù)進(jìn)行讀寫。
（3）Spark-shell的啟動
1.啟動
2. 讀取文件，統(tǒng)計行數(shù)
（3）?Spark集群環(huán)境搭建
1.按照上面的（1）部分安裝與配置完spark
2.配置環(huán)境變量
?????????3.配置Spark
a：在master（主機）配置slaves文件
b： 在master節(jié)點配置spark-env.sh文件
c：配置slave節(jié)點
4.啟動spark
（1）安裝Spark
1.先用xftp將安裝包傳到home/hadoop/Downloads文件夾下，然后解壓安裝。
2.解壓縮：
sudo tar -zxf spark-2.1.0-bin-without-hadoop.tgz -C /usr/local
3. 更改文件夾名稱：
cd /usr/local
sudo mv spark-2.1.0-bin-without-hadoop spark
4.修改hadoop用戶對文件夾spark的訪問權(quán)限：
sudo chown -R hadoop:hadoop ./spark（2）配置
1.復(fù)制一份由Spark安裝文件自帶的配置文件模板：
cd /usr/local/spark
cp ./conf/spark-env.sh.template ./conf/spark-env.sh
vim ./conf/spark-env.sh2.使用vim編輯器打開spark-env.sh，再第一行添加配置信息：
export SPARK_DIST_CLASSPATH=$(/usr/local/hadoop/bin/hadoop classpath)3.驗證Spark安裝是否成功：
cd /usr/local/spark
bin/run-example SparkPi 2>&1 | grep "Pi is roughly"
?如圖所示：返回結(jié)果：Pi is roughly 3.144115720578603
既安裝成功！??！
4.?啟動HDFS后，Spark可以對HDFS中的數(shù)據(jù)進(jìn)行讀寫。
（3）Spark-shell的啟動
1.啟動
cd /usr/local/spark
./bin/spark-shell
2. 讀取文件，統(tǒng)計行數(shù)
scala> val textFile = sc.textFile("file:///usr/local/spark/README.md")
scala> textFile.count()
?返回結(jié)果如上圖所示?。。?/p>
（3）?Spark集群環(huán)境搭建
1.按照上面的（1）部分安裝與配置完spark
2.配置環(huán)境變量
在master（主節(jié)點）配置環(huán)境變量
sudo vim ~/.bashrc在.bashrc文件中增加：
#spark
export SPARK_HOME=/usr/local/spark
export PATH=$PATH:$SCALA_HOME/bin:$SPARK_HOME/bin:$SPARK_HOME/sbin使用source命令使配置生效：
source ~/.bashrc?3.配置Spark
a：在master（主機）配置slaves文件
cd /usr/local/spark
cp ./conf/slaves.template ./conf/slaves?在salves文件中設(shè)置Spark集群的Worker節(jié)點
[hadoop@master spark]$ vim ./conf/slaves添加以下內(nèi)容：?
b： 在master節(jié)點配置spark-env.sh文件
[hadoop@master spark]$ cp ./conf/spark-env.sh.template ./conf/spark-env.sh編輯spark-env.sh文件：
[hadoop@master spark]$ vim ./conf/spark-env.sh#!/usr/bin/env bash
export SPARK_DIST_CLASSPATH=$(/usr/local/hadoop/bin/hadoop classpath)
export HADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop
#export SPARK_MASTER_IP=192.168.242.129 //自己maser的IP
export SPARK_MASTER_HOST=192.168.242.129
?c：配置slave節(jié)點
啟動slave01和slave02節(jié)點，然后，在master節(jié)點執(zhí)行如下命令，將master節(jié)點的/usr/local/spark文件夾復(fù)制到各個slave節(jié)點：
[hadoop@master local]$ tar -zcf ~/spark.master.tar.gz ./spark
[hadoop@master local]$ cd
[hadoop@master ~]$ scp ./spark.master.tar.gz slave01:/home/hadoop
[hadoop@master ~]$ scp ./spark.master.tar.gz slave02:/home/hadoop
?在slave01和slave02節(jié)點上分別執(zhí)行如下命令（下面以slave01為例）：
sudo rm -rf /usr/local/spark
sudo tar -zcf sparm.master.tar.gz -C /usr/local
sudo chown -R hadoop:hadoop /usr/local/spark4.啟動spark
在master主機上啟動hdfs yarn
在master上再啟動spark
cd /usr/local/spark
sbin/start-master.sh
sbin/start-slaves.sh?如下圖已開啟spark進(jìn)程
?測試：鏈接http://192.168.242.129:8080
在master節(jié)點上，通過瀏覽器查看集群信息有兩個worker
?5.關(guān)閉spark文章來源：http://www.zghlxwxcb.cn/news/detail-459449.html
stop-master.sh
stop-slaves.sh
stop-yarn.sh
stop-dfs.sh文章來源地址http://www.zghlxwxcb.cn/news/detail-459449.html
到了這里，關(guān)于11.Linux下Spark的安裝配置以及spark-shell的啟動和 Spark集群環(huán)境搭建的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！
