引言
- 本文為個人本地部署pyspark遇到的問題以及解決辦法，包含個人的一些理解，僅供參考。
- 設(shè)備： Mac M2
安裝過程
安裝HomeBrew
- Mac 上用來管理安裝包的，可能早期的 Macos 自帶但是起碼我個人的 Mac 是需要安裝的(以下安裝方法個人為測試，之前這個包已經(jīng)裝過了)
- zsh 和 bash 應(yīng)該是都可以的，僅供參考。
/bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install.sh)"
/bin/zsh -c "$(curl -fsSL https://gitee.com/cunkai/HomebrewCN/raw/master/Homebrew.sh)"
安裝Java和 Scala
- spark是使用scala語言來完成編寫的，而scala語言是依賴于java虛擬機(jī)來運(yùn)行的，因此我們需要安裝這兩者
brew cask install java # 可能無效
brew install scala
brew 安裝
單獨安裝 Java
-
由于上面指令雖然沒有報錯但是在下面配置 Java 環(huán)境的時候找不到對應(yīng)的目錄，說明大概率是沒有正確安裝成功的(如圖找不到對應(yīng)的路徑)。
Java 官網(wǎng)地址
-
選擇你對應(yīng)的版本即可(M 選擇 ARM，intel 選擇 X64)
-
驗證 Java 安裝成功可以使用
java -version來驗證文章來源：http://www.zghlxwxcb.cn/news/detail-814937.html -
查找 Java 安裝路徑可以使用
/usr/libexec/java_home -V
文章來源地址http://www.zghlxwxcb.cn/news/detail-814937.html
安裝 apache-spark
brew install apache-spark
檢查依賴
brew doctor
- 可以檢查出是否缺少依賴的包，根據(jù)提示安裝就行
安裝pyspark(可以使用國內(nèi)鏡像源)
pip install pyspark
配置環(huán)境
- Mac新操作系統(tǒng)的shell用zsh，因此需要設(shè)置.zshrc（沒有的話在用戶home目錄下創(chuàng)建一個新的），如果是老系統(tǒng)的話shell使用的是bash，因此需要對應(yīng)的設(shè)置.bashrc文件, 其實吧，我用下面這個指令就可以
vim ~/.bash_profile
配置 Java
export JAVA_HOME=/Library/java/JavaVirtualMachines/adoptopenjdk-8.jdk/contents/Home/
export JRE_HOME=/Library/java/JavaVirtualMachines/adoptopenjdk-8.jdk/Contents/Home/jre/
- Java 路徑如何查看上方已經(jīng)寫了，替換為自己的路徑即可
- Java 沒變量沒配置好可能出現(xiàn)
配置 spark
export SPARK_HOME=/usr/local/Cellar/apache-spark/2.4.5/libexec
export PATH=/usr/local/Cellar/apache-spark/2.4.5/bin:$PATH
- 如何查找自己的 spark 安裝目錄
- 顯然下面這個是不行的
- 顯然下面這個是不行的
- 其實查找的是apache-spark的目錄
brew info apache-spark - 找到后替換 spark 的路徑
配置 scala
- 雖然參考資料里有的配置了有的沒配置，個人還是配置了 Scala 路徑，hadoop 沒有下載也未配置，本地測試貌似不需要
-
brew info scala模仿 java 的配置信息即可
設(shè)置 pyspark 的環(huán)境變量
which python
- 首先替換自己的 Python 路徑，然后此處設(shè)置的設(shè)備是 jupyter notebook，如果不使用可以不配置
export PYSPARK_PYTHON=/Users/duan/.virtualenvs/py3/bin/python3
export PYSPARK_DRIVER_PYTHON=jupyter
export PYSPARK_DRIVER_PYTHON_OPTS='notebook'
- 如果配置好了就會出現(xiàn)下圖情況，此處設(shè)置了(jupyter)
結(jié)尾
- 以下參考文章都或多或少需要個人參考的時候遇到了新的問題，可以酌情參考
- 關(guān)于本文安裝的 pyspark 因為配置的是 jupyter，如果單獨使用的配置，后續(xù)隨著測試的進(jìn)行可能會進(jìn)行修改，所以本文僅供參考。
- 參考 1
- 參考 2
- 參考 3
到了這里，關(guān)于Pyspark 安裝(Mac M2版)的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！
