目錄
1.準(zhǔn)備工作
2.下載spark-3.1.1-bin-hadoop2.7和scala-2.12.13并解壓
3.配置環(huán)境變量
4.配置文件$SPARK_HOME/conf/spark-env.sh
6.配置spark的歷史服務(wù)?($SPARK_HOME/conf/)
7.配置文件$SPARK_HOME/conf/workers
8.配置文件拷貝
9.集群的啟動和停止
10.錯誤排查方法
1.準(zhǔn)備工作
- 具備java環(huán)境
- 配置主機(jī)名
- 配置免密碼登錄
- 防火墻關(guān)閉
2.下載spark-3.1.1-bin-hadoop2.7和scala-2.12.13并解壓
下載路徑：Downloads | Apache Spark
tar -zxvf 壓縮包路徑
?Spark目錄介紹
- bin —— Spark操作命令
- conf —— 配置文件
- data —— Spark測試文件
- examples —— Spark示例程序
- jars
- LICENSE
- licenses
- NOTICE
- python
- R
- README.md
- RELEASE
- sbin —— Spark集群命令
- yarn —— Spark-yarn配置
3.配置環(huán)境變量
#scala
export SCALA_HOME=/home/Group10/scala-2.12.10
export PATH=${SCALA_HOME}/bin:$PATH
#spark
export SPARK_HOME=/home/Group10/spark-3.1.1/spark-3.1.1-bin-hadoop2.7
export PATH=${SPARK_HOME}/bin:$PATH
使環(huán)境生效：
source .bashrc4.配置文件$SPARK_HOME/conf/spark-env.sh
export ?JAVA_HOME=/home/Group10/jdk1.8.0_271
export ?SCALA_HOME=/home/Group10/scala-2.12.13
export ?SPARK_WORKER_MEMORY=5G
export ?SPARK_WORKER_CORES=3
export ?SPARK_WORKER_INSTANCES=1
export ?SPARK_MASTER_IP=10.103.105.94
export SPARK_DIST_CLASSPATH=$(/home/Group10/hadoop/hadoop-2.7.6/bin/hadoop classpath)
export ?HADOOP_CONF_DIR=/home/Group10/hadoop/hadoop-2.7.6/etc/hadoop/
export SPARK_HISTORY_OPTS="-Dspark.history.ui.port=18080 -Dspark.history.retainedApplications=50 -Dspark.history.fs.logDirectory=hdfs://10.103.105.94:8020/data/spark/sparklog"
6.配置spark的歷史服務(wù)?($SPARK_HOME/conf/)
由于spark-shell停止掉后，hadoop頁面就看不到歷史任務(wù)的運(yùn)行情況，所以開發(fā)時都配置歷史服務(wù)器記錄任務(wù)運(yùn)行情況。
（1）復(fù)制一份spark-default.conf.template文件并改名為spark-default.conf
cp spark-defaults.conf.template spark-defaults.conf（2）配置日志存儲路徑
vim spark-defaults.confspark.eventLog.enabled true
spark.eventLog.dir hdfs://10.103.105.94:8020/data/spark/sparklog
spark.eventLog.compress true
#spark.yarn.historyServer.address=10.103.105.98:18080
#spark.history.ui.port=18080
spark.history.fs.logDirectory hdfs://10.103.105.94:8020/data/spark/sparklog
?(3)在配置文件spark-env.sh中添加入下內(nèi)容(上一步配置已經(jīng)添加過）
export SPARK_HISTORY_OPTS="
-Dspark.history.ui.port=18080?
-Dspark.history.fs.logDirectory=hdfs://10.103.105.94:8020/data/spark/sparklog
-Dspark.history.retainedApplications=50"
7.配置文件$SPARK_HOME/conf/workers
westgisB095
westgisB096
westgisB097
westgisB098
8.配置文件拷貝
scp -r /home/Group10/spark-3.1.1/spark-3.1.1-bin-hadoop2.7/conf/spark-env.sh Group10@10.103.105.95:/home/Group10/spark-3.1.1/spark-3.1.1-bin-hadoop2.7/conf/
scp -r /home/Group10/spark-3.1.1/spark-3.1.1-bin-hadoop2.7/conf/spark-defaults.conf Group10@10.103.105.95:/home/Group10/spark-3.1.1/spark-3.1.1-bin-hadoop2.7/conf/
scp -r /home/Group10/spark-3.1.1/spark-3.1.1-bin-hadoop2.7/conf/workers Group10@10.103.105.95:/home/Group10/spark-3.1.1/spark-3.1.1-bin-hadoop2.7/conf/其他從節(jié)點同樣的拷貝方法
9.集群的啟動和停止
(1)先啟動HDFS集群
$HADOOP_HOME/sbin/start-dfs.sh(2)啟動spark集群
在主節(jié)點執(zhí)行以下兩個腳本:
$SPARK_HOME/sbin/start-master.sh
$SPARK_HOME/sbin/start-workers.sh(3)查看監(jiān)控界面
在瀏覽器輸入:
http://10.103.104.94:8080
(4)查看節(jié)點進(jìn)程
在主節(jié)點和從節(jié)點上使用jps命令查看節(jié)點進(jìn)程，或使用ps aux|grep java 命令查看節(jié)點進(jìn)程。
如果是主節(jié)點，應(yīng)該出現(xiàn)Master、NameNode、SecondaryNameNode等三個守護(hù)進(jìn)程；如果是從節(jié)點，應(yīng)該出現(xiàn)Worker和DataNode兩個守護(hù)進(jìn)程。
如果發(fā)現(xiàn)進(jìn)程缺失，查看對應(yīng)的日志文件尋找錯誤原因。
(5)啟動spark-shell交互式工具
spark-shell
(6)查看歷史任務(wù)監(jiān)控界面
啟動命令：
./sbin/start-history-server.shhttp://10.103.105.94:18080/
?(7)停止Spark集群
在主節(jié)點執(zhí)行以下兩個腳本:
$SPARK_HOME/sbin/stop-workers.sh
$SPARK_HOME/sbin/stop-master.sh
(8)關(guān)閉HDFS集群
$HADOOP_HOME/sbin/stop-dfs.sh
10.錯誤排查方法
(1)查看端口是否開啟
運(yùn)行命令? netstat–tunlp|grep 8080
查看8080端口是否開啟。
(2)查看占用端口的進(jìn)程
運(yùn)行命令lsof–i:8080
查看8080端口被那個進(jìn)程占用。
(3)查看運(yùn)行日志
Spark主節(jié)點日志文件路徑：
$SPARK_HOME/logs/*-Master-.log
$SPARK_HOME/logs/*-Master-.out
Spark從節(jié)點日志文件路徑：
$SPARK_HOME/logs/*-Worker-.log文章來源：http://www.zghlxwxcb.cn/news/detail-450733.html
$SPARK_HOME/logs/*-Worker-.out文章來源地址http://www.zghlxwxcb.cn/news/detail-450733.html
到了這里，關(guān)于spark安裝配置的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！
