第一步(安裝python3.6.8):
安裝參考步驟:python3.6.8環(huán)境安裝文章來源:http://www.zghlxwxcb.cn/news/detail-722741.html
第二步(安裝和創(chuàng)建python3虛擬環(huán)境):
# 安裝virtualenv
pip install virtualenv
# virtualenv低版本低于1.11,配置python3環(huán)境可能出現(xiàn)錯(cuò)誤,建議嘗試更新virtualenv版本。
pip install --upgrade virtualenv
# 創(chuàng)建python3虛擬環(huán)境
virtualenv env -p /usr/local/python3/bin/python3 (virtualenv 虛擬環(huán)境名 -p python3路徑)
# 運(yùn)行python3虛擬環(huán)境
source env/bin/activate
# 退出python3虛擬環(huán)境
deactivate
第三步(在虛擬環(huán)境安裝依賴包):
# 從正式環(huán)境中導(dǎo)出已安裝的包和版本到需要部署的機(jī)器批量安裝【當(dāng)前環(huán)境依賴見本文末】
pip3 freeze > requirements.txt 批量導(dǎo)出
pip3 install -i https://pypi.doubanio.com/simple --timeout 300 -r requirements.txt 批量安裝
第四步(安裝chrome和chromedriver):
使用google-chrome --version查看版本,下載對應(yīng)版本的chromedriver
所有chromedriver版本下載地址:http://chromedriver.storage.googleapis.com/index.html
大版本一致就可以,當(dāng)前使用版本: Google Chrome 78.0.3904.108可以選擇78.0.3904.105版本驅(qū)動(dòng)
百度網(wǎng)盤:鏈接: https://pan.baidu.com/s/1eSpjyPpPL7REOU6hgkgLPA?pwd=aqn5 提取碼: aqn5
第五步(安裝scrapyd環(huán)境):
pip3 install scrapyd (第三步已安裝)
pip3 install scrapyd-client (第三步已安裝)
# 修改scrapyd配置文件: env/lib/python3.6/site-packages/scrapyd/default_scrapyd.conf
bind_address = 0.0.0.0 允許外網(wǎng)訪問
第六步(安裝虛擬圖像環(huán)境Xvfb):
yum install Xvfb
pip3 install pyvirtualdisplay (第三步已安裝)
運(yùn)行實(shí)例代碼測試:
# -*- coding:utf-8 -*-
from pyvirtualdisplay import Display
from selenium import webdriver
display = Display(visible=0, size = (800, 600))
display.start()
path = "$chromedriver路徑"
driver = webdriver.Chrome(path)
driver.get("http://www.baidu.com")
print(driver.page_source)
driver.quit()
display.stop()
如果出現(xiàn)錯(cuò)誤:OSError: [Errno 8] Exec format error
檢查chrome和driver的版本是否兼容再重新測試,返回頁面源碼證明chrome和虛擬圖像環(huán)境可以使用
ps:當(dāng)前依賴:requirements.txt
百度網(wǎng)盤:鏈接: https://pan.baidu.com/s/1wU6LZ6UeU9fXX1cpLg_adw?pwd=bnsx 提取碼: bnsx文章來源地址http://www.zghlxwxcb.cn/news/detail-722741.html
到了這里,關(guān)于linux服務(wù)器搭建python+selenium+chrome運(yùn)行環(huán)境的文章就介紹完了。如果您還想了解更多內(nèi)容,請?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章,希望大家以后多多支持TOY模板網(wǎng)!