前言：七八九用于Spark的編程實驗
大數(shù)據(jù)開源框架之基于Spark的氣象數(shù)據(jù)處理與分析_木子一個Lee的博客-CSDN博客_spark輿情分析
目錄
實驗環(huán)境：
實驗步驟：
一、解壓
二、配置環(huán)境變量：?
三、修改配置文件?
1.修改spark-env.sh配置文件：
2.修改配置文件slaves:
3.分發(fā)配置文件：
四、測試：
五、網(wǎng)頁測試：
?六、解決能啟動Spark Shell但是報錯：
七、安裝python3.6
八、Jupyter Notebook
1.安裝pip
2.安裝jupyter
3.配置環(huán)境變量
4.創(chuàng)建Jupyter默認配置文件?
5.啟動和測試
九、Pip安裝matplotlib
實驗環(huán)境：
操作系統(tǒng)：Ubuntu 18.04
Python：3.6.9
Spark版本：2.4.0
實驗步驟：
一、解壓
tar -zxf ./spark-2.4.0-bin-without-hadoop.tgz -C /usr/local
修改文件名字
mv spark-2.4.0-bin-without-hadoop spark
二、配置環(huán)境變量：?
vim /etc/profile?添加：
export SPARK_HOME=/usr/local/spark
export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin
三、修改配置文件?
1.修改spark-env.sh配置文件：
cd /usr/local/spark/conf
cp spark-env.sh.template spark-env.sh:
添加(最后一項不添加也行)：
export JAVA_HOME=/usr/local/jdk
export SPARK_DIST_CLASSPATH=$(/usr/local/hadoop/bin/hadoop classpath)
export HADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop
export SPARK_MASTER_HOST=master
export SPARK_MAETER_PORT=7070
#spark默認web訪問端口為8080,為了防止沖突，可以修改(不改也行)
2.修改配置文件slaves:
cp slaves.template slaves
添加slave1和slave2：?
3.分發(fā)配置文件：
scp -r /usr/local/spark root@slave1:/usr/local/scp -r /usr/local/spark root@slave2:/usr/local/
四、測試：
先啟動hadoop
start-dfs.shstart-yarn.sh?再啟動spark:
啟動spark master節(jié)點:
start-master.sh
啟動spark所有slave節(jié)點:
start-slaves.sh
Jps:
master節(jié)點：
slaves:
五、網(wǎng)頁測試：
在master瀏覽器打開
?http://master:8080?
Spark的關(guān)閉：
關(guān)閉Master節(jié)點
stop-master.sh關(guān)閉Worker節(jié)點
sbin/stop-slaves.sh關(guān)閉Hadoop集群
stop-dfs.shstop-yarn.sh?測試自帶樣例：
./run-example sparkPi 2>&1|grep "Pi is"
六、解決能啟動Spark Shell但是報錯：
解決：
vim /etc/profile添加：
export TERM=xterm-color
刷新環(huán)境變量：?
source /etc/profile
重新啟動即可
shark-shell
七、安裝python3.6
apt-get install python3.6-tk
查看版本：
八、Jupyter Notebook
1.安裝pip
apt-get install -y python3-pip
更新pip:
2.安裝jupyter
python3 - pip install jupyter
3.配置環(huán)境變量
vim /etc/profile添加如下代碼?
export PATH=$PATH:~/.local/bin退出編輯并執(zhí)行
source /etc/profile
4.創(chuàng)建Jupyter默認配置文件?
jupyter notebook --generate-config
生成SHA1加密的密鑰，保存密鑰，如''argon2:$argon2idXXX''
ipythonfrom notebook.auth import passwd下面命令需要自己自定義一個密碼：?
passwd()exit()
?把這個argon2字符串復(fù)制粘貼到一個文件中保存起來，后面用于配置密碼。(每個人都不一樣！??！)
'argon2:$argon2id$v=19$m=10240,t=10,p=8$0o4PUoInp4ez5ieMPdBn4Q$PzBU/k+PjTRNXnDnZYXXvE9MB/AR5dTLwwZfdZCo1io'(每個人都不一樣！??！)
設(shè)置密鑰，修改配置文件
執(zhí)行?
vim /root/.jupyter/jupyter_notebook_config.py添加：
c.NotebookApp.ip='*'???????????????????? # 就是設(shè)置所有ip皆可訪問
c.NotebookApp.password = 'argon2:$argon2id$v=19$m=10240,t=10,p=8$0o4PUoInp4ez5ieMPdBn4Q$PzBU/k+PjTRNXnDnZYXXvE9MB/AR5dTLwwZfdZCo1io'
???? # 上面復(fù)制的那個argon2密文'
c.NotebookApp.open_browser = False?????? # 禁止自動打開瀏覽器
c.NotebookApp.port =8888????????????? # 端口需要注意的是，在配置文件中，c.NotebookApp.password的值，就是剛才前面生成以后保存到文件中的sha1密文。另外，c.NotebookApp.notebook_dir = '/home/hadoop/jupyternotebook' 這行用于設(shè)置Notebook啟動進入的目錄，由于該目錄還不存在，所以需要在終端中執(zhí)行如下命令創(chuàng)建：
mkdir -p /home/hadoop/jupyternotebook
5.啟動和測試
jupyter notebook報錯：
繞過root用戶運行：
jupyter notebook --allow-root
測試：
以上步驟參考：Ubuntu 安裝jupyter notebook - Leon_梁遠 - 博客園 (cnblogs.com)
或可以首先安裝Anaconda，然后再配置Jupyter Notebook：
使用Jupyter Notebook調(diào)試PySpark程序_廈大數(shù)據(jù)庫實驗室博客 (xmu.edu.cn)
九、Pip安裝matplotlib
這個會報錯：
可以用
???????apt-get install python3-matplotlib
文章來源：http://www.zghlxwxcb.cn/news/detail-502022.html
配置完成?文章來源地址http://www.zghlxwxcb.cn/news/detail-502022.html
到了這里，關(guān)于大數(shù)據(jù)開源框架環(huán)境搭建(七)——Spark完全分布式集群的安裝部署的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！
