目錄
前言
什么是selenium？
配置selenium
安裝selenium庫(kù)
安裝瀏覽器驅(qū)動(dòng)（以Chrome為例）?
使用selenium庫(kù)
例1：實(shí)現(xiàn)打開(kāi)網(wǎng)頁(yè)拿取網(wǎng)頁(yè)標(biāo)題
運(yùn)行效果
例2：實(shí)現(xiàn)抓取某招聘網(wǎng)站Python崗位的職位信息
運(yùn)行效果
例3：實(shí)現(xiàn)抓取推薦新聞的標(biāo)題和正文（涉及子頁(yè)面的切換）
運(yùn)行效果
例4：處理iframe內(nèi)聯(lián)框架（視頻播放器、表格數(shù)據(jù)等常見(jiàn)）
運(yùn)行效果
例5：“無(wú)頭瀏覽器”，即瀏覽器在后端運(yùn)行抓取數(shù)據(jù)，效果等同低效率的爬蟲(chóng)程序
運(yùn)行效果
總結(jié)
前言
爬蟲(chóng)走到今天，我們已經(jīng)學(xué)習(xí)過(guò)不少方法，來(lái)解析網(wǎng)頁(yè)源代碼、抓包、審查元素、加密解密......但是我們有時(shí)會(huì)不會(huì)這樣想：可不可以直接拿到瀏覽器直接顯示的信息呢？？？
因?yàn)槲覀兘?jīng)常看到，數(shù)據(jù)明明就擺在我們?yōu)g覽器的頁(yè)面上，但是苦于源代碼的空洞，我們不得不翻箱倒柜的去找json，去找js請(qǐng)求等等。很多時(shí)候數(shù)據(jù)特別隱蔽，令人十分崩潰，有時(shí)甚至?xí)胫苯釉跒g覽器CV了之！
所以，有想法，那就解決！你不是能顯示在瀏覽器上嗎？你不是能CV不能截取信息嗎？OK，我讓Python自動(dòng)幫我運(yùn)行瀏覽器，拿我想要的內(nèi)容：selenium就這樣應(yīng)運(yùn)而來(lái)了。
什么是selenium？
來(lái)自百度百科：
Selenium是一個(gè)用于Web應(yīng)用程序測(cè)試的工具。Selenium測(cè)試直接運(yùn)行在瀏覽器中，就像真正的用戶在操作一樣。支持的瀏覽器包括IE（7, 8, 9, 10, 11），Mozilla Firefox，Safari，Google?Chrome，Opera，Edge等。這個(gè)工具的主要功能包括：測(cè)試與瀏覽器的兼容性——測(cè)試應(yīng)用程序看是否能夠很好得工作在不同瀏覽器和操作系統(tǒng)之上。測(cè)試系統(tǒng)功能——?jiǎng)?chuàng)建回歸測(cè)試檢驗(yàn)軟件功能和用戶需求。支持自動(dòng)錄制動(dòng)作和自動(dòng)生成.Net、Java、Perl等不同語(yǔ)言的測(cè)試腳本。
由上述簡(jiǎn)介可得，selenium可以幫助我們自動(dòng)打開(kāi)瀏覽器運(yùn)行打開(kāi)想要的網(wǎng)頁(yè)，并且模仿人的CV操作、輸入操作等，進(jìn)而獲取一大堆我們需要的信息。
配置selenium
selenium需要兩方面，第一個(gè)當(dāng)然就是安裝對(duì)應(yīng)的庫(kù)，而另一方面就是要安裝瀏覽器對(duì)應(yīng)的驅(qū)動(dòng)程序，并移動(dòng)到Python解釋器所在路徑。
安裝selenium庫(kù)
安裝就很簡(jiǎn)單了，直接在Terminal中pip install selenium，當(dāng)然在cmd里、anaconda里都是一樣的
安裝瀏覽器驅(qū)動(dòng)（以Chrome為例）?
1. 訪問(wèn)ChromeDriver - WebDriver for Chrome - Downloads (chromium.org)
2. 根據(jù)自己Chrome瀏覽器的版本號(hào)選擇驅(qū)動(dòng)文件（找不到就向下取最接近的，比如你是109.0.9，但是沒(méi)有，那就下載109.0.5，一般都是向下兼容的）?
如何查看瀏覽器版本號(hào)？
按上圖所示，點(diǎn)擊關(guān)于Google Chrome，彈出以下界面：
這里顯示的就是版本號(hào)了，依據(jù)這個(gè)到第一點(diǎn)所說(shuō)的網(wǎng)站里去選驅(qū)動(dòng)，這里我根據(jù)版本號(hào)選擇109版本的：
由于我是Windows系統(tǒng)，所以選擇第四個(gè)，mac的同學(xué)自行選擇前面對(duì)應(yīng)的
（別擔(dān)心，32位64位都可選win32，再說(shuō)也沒(méi)win64選項(xiàng)嘛）
?3. 下載解壓
如圖所示，解壓出來(lái)是兩個(gè)文件，將它們剪切，粘貼到Python解釋器所在路徑。
不知道解釋器在哪里？?
1. 如果你是Anaconda虛擬環(huán)境，直接去“Anaconda3/envs/虛擬環(huán)境名”路徑就行
2. 其他渠道環(huán)境：只需要在PyCharm或者其他軟件里運(yùn)行一下就看得到解釋器位置了：
復(fù)制進(jìn)去，配置完畢。（我的是Anaconda環(huán)境，僅供參考）
使用selenium庫(kù)
例1：實(shí)現(xiàn)打開(kāi)網(wǎng)頁(yè)拿取網(wǎng)頁(yè)標(biāo)題
from selenium import webdriver
# 讓selenium啟動(dòng)谷歌瀏覽器
# 1.創(chuàng)建瀏覽器對(duì)象
# 設(shè)置
options = webdriver.ChromeOptions()
options.add_experimental_option('detach', True)
options.add_argument('--start-maximized') # 瀏覽器窗口最大
web = webdriver.Chrome(options=options)
# 2.打開(kāi)一個(gè)網(wǎng)址
web.get("http://www.baidu.com")
print(web.title)由于當(dāng)前Python3.8版本會(huì)默認(rèn)在執(zhí)行完任務(wù)后關(guān)閉瀏覽器，我們?nèi)绻肟葱Ч麜?huì)轉(zhuǎn)瞬即逝，所以我們需要配置一下webdriver：
第一項(xiàng)就是控制執(zhí)行完畢以后不關(guān)閉瀏覽器窗口，第二項(xiàng)就是讓瀏覽器彈出時(shí)是最大化窗口。
運(yùn)行效果
可以看到效果是非常成功的，瀏覽器自動(dòng)運(yùn)行了，并且輸出了期望結(jié)果，也說(shuō)明環(huán)境搭建成功。
例2：實(shí)現(xiàn)抓取某招聘網(wǎng)站Python崗位的職位信息
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys
import time
# 讓selenium啟動(dòng)谷歌瀏覽器
# 1.創(chuàng)建瀏覽器對(duì)象
# 設(shè)置
options = webdriver.ChromeOptions()
options.add_experimental_option('detach', True)
options.add_argument('--start-maximized') # 瀏覽器窗口最大
web = webdriver.Chrome(options=options)
# 2.打開(kāi)一個(gè)網(wǎng)址
web.get("http://lagou.com")
# 找到某個(gè)元素. 點(diǎn)擊它
el = web.find_element(By.XPATH, '//*[@id="changeCityBox"]/ul/li[1]/a')
el.click() # 點(diǎn)擊事件
time.sleep(1) # 讓瀏覽器緩一會(huì)兒
# 找到輸入框. 輸入python => 輸入回車/點(diǎn)擊搜索按鈕
web.find_element(By.XPATH, '//*[@id="search_input"]').send_keys("python", Keys.ENTER)
time.sleep(1)
# 查找存放數(shù)據(jù)的位置. 進(jìn)行數(shù)據(jù)提取
# 找到頁(yè)面中存放數(shù)據(jù)的所有的li
item_list = web.find_elements(By.XPATH, '//*[@id="jobList"]/div[1]/div')
for item in item_list:
job_name = item.find_element(By.XPATH, "./div[1]/div[1]/div[1]/a").text
job_price = item.find_element(By.XPATH, "./div[1]/div[1]/div[2]/span").text
company_name = item.find_element(By.XPATH, './div[1]/div[2]/div[1]/a').text
print(company_name, job_name, job_price)這里結(jié)合了XPath的知識(shí)，我們只需要根據(jù)在當(dāng)前頁(yè)面的操作，然后在審查元素中找到對(duì)應(yīng)的XPath路徑，套入函數(shù)就可以了。
我們是要先點(diǎn)擊選擇所在城市，然后輸入要搜索的文本（python），最后獲取頁(yè)面中存放數(shù)據(jù)的所有l(wèi)i，打印輸出即可。
這里只是一個(gè)粗糙的例子，目的是為了讓大家了解selenium的功能，完善這個(gè)小項(xiàng)目大家可以自己動(dòng)手試一試，后面有時(shí)間的話我也會(huì)寫(xiě)一寫(xiě)補(bǔ)充下來(lái)。
運(yùn)行效果
可以看到也是成功抓取到了，更加細(xì)化的工作交給大家來(lái)完成，我就不贅述了。
例3：實(shí)現(xiàn)抓取推薦新聞的標(biāo)題和正文（涉及子頁(yè)面的切換）
from selenium import webdriver
from selenium.webdriver.common.by import By
import time
# 讓selenium啟動(dòng)谷歌瀏覽器
# 1.創(chuàng)建瀏覽器對(duì)象
# 設(shè)置
options = webdriver.ChromeOptions()
options.add_experimental_option('detach', True)
options.add_argument('--start-maximized') # 瀏覽器窗口最大
web = webdriver.Chrome(options=options)
# 2.打開(kāi)一個(gè)網(wǎng)址
web.get("http://tuijian.hao123.com/")
# 拿到新聞標(biāo)題
news_header = web.find_element(By.XPATH, '//*[@id="sdIndex"]/ul/li[1]/a/span').text
# 點(diǎn)擊進(jìn)入首頁(yè)推薦的第一個(gè)橫幅新聞
web.find_element(By.XPATH, '//*[@id="sdIndex"]/ul/li[1]/a/span').click()
time.sleep(1)
# 進(jìn)入到進(jìn)窗口中進(jìn)行提取
# 注意, 在selenium的眼中. 新窗口默認(rèn)是不切換過(guò)來(lái)的！
web.switch_to.window(web.window_handles[-1])
# 在新窗口中提取內(nèi)容
news_detail = web.find_element(By.XPATH, '//*[@id="main-content"]/div[1]/div/div[2]').text
print(news_header)
print(news_detail)
time.sleep(1)
# 關(guān)掉子窗口
web.close()
# 變更selenium的窗口視角. 回到原來(lái)的窗口中
web.switch_to.window(web.window_handles[0])
print(web.title)這個(gè)就和上一個(gè)例子大同小異，最大的不同點(diǎn)就在于新聞內(nèi)容是在子頁(yè)面獲取的，并且獲取完畢以后切換回了主頁(yè)面，可以繼續(xù)爬取其他新聞。
這里使用的是web.switch_to.window這個(gè)api，用web.window_handles[num]來(lái)代指第num+1個(gè)瀏覽器標(biāo)簽頁(yè)。
運(yùn)行效果
?
成功拿到了想要的數(shù)據(jù)，這個(gè)自動(dòng)化的過(guò)程還是非常有B格的！
例4：處理iframe內(nèi)聯(lián)框架（視頻播放器、表格數(shù)據(jù)等常見(jiàn)）
from selenium import webdriver
from selenium.webdriver.common.by import By
import time
# 如果頁(yè)面中遇到了 iframe如何處理
web.get("https://www.csdn.net/?spm=1010.2135.3001.4476")
time.sleep(3)
# 處理iframe的話. 必須先拿到iframe. 然后切換視角到iframe . 再然后才可以拿數(shù)據(jù)
iframe = web.find_element(By.XPATH, '//*[@id="kp_box_589"]/iframe')
web.switch_to.frame(iframe) # 切換到iframe
time.sleep(1)
print(web.find_element(By.XPATH, '//*[@id="1001319"]/div/div/span').text)
web.switch_to.default_content() # 切換回原頁(yè)面
time.sleep(1)
print(web.find_element(By.XPATH, '//*[@id="www-home-right"]/div[1]/div[1]/div[2]/div/span').text)
以我們C站的主頁(yè)與廣告欄為例，我們可以看到已經(jīng)可以成功切換進(jìn)廣告欄（iframe）并且切出來(lái)
運(yùn)行效果
例5：“無(wú)頭瀏覽器”，即瀏覽器在后端運(yùn)行抓取數(shù)據(jù)，效果等同低效率的爬蟲(chóng)程序
from selenium.webdriver import Chrome
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.support.select import Select
from selenium.webdriver.common.by import By
import time
# 準(zhǔn)備好參數(shù)配置
opt = Options()
opt.add_argument("--headless")
opt.add_argument("--disable-gpu")
web = Chrome(options=opt) # 把參數(shù)配置設(shè)置到瀏覽器中
web.get("https://www.endata.com.cn/BoxOffice/BO/Year/index.html")
time.sleep(2)
# 定位到下拉列表
sel_el = web.find_element(By.XPATH, '//*[@id="OptionDate"]')
# 對(duì)元素進(jìn)行包裝, 包裝成下拉菜單
sel = Select(sel_el)
# 讓瀏覽器進(jìn)行調(diào)整選項(xiàng)
for i in range(len(sel.options)): # i就是每一個(gè)下拉框選項(xiàng)的索引位置
sel.select_by_index(i) # 按照索引進(jìn)行切換
time.sleep(2)
table = web.find_element(By.XPATH, '//*[@id="TableList"]/table')
print(table.text) # 打印所有文本信息
print("===================================")
print("運(yùn)行完畢. ")
web.close()
# 如何拿到頁(yè)面代碼Elements(經(jīng)過(guò)數(shù)據(jù)加載以及js執(zhí)行之后的結(jié)果的html內(nèi)容)
print(web.page_source)
其實(shí)“無(wú)頭”的實(shí)現(xiàn)很簡(jiǎn)單，也是通過(guò)配置瀏覽器接口的設(shè)置參數(shù)，headless就是不顯示頁(yè)面，disable-gpu就是為了節(jié)約算力，不去調(diào)用gpu資源。
其余代碼很明顯，按部就班獲取XPath，然后拿到對(duì)應(yīng)的數(shù)據(jù)即可。
這里涉及到一個(gè)下拉菜單的知識(shí)點(diǎn)，我們先用XPath定位到這個(gè)元素，隨后用Select接口將其包裝成下拉菜單元素就可以讓selenium將其識(shí)別了，從而進(jìn)行一系列切換操作。注意切換以后一定要等待幾秒鐘，否則數(shù)據(jù)加載不全就完了。
運(yùn)行發(fā)現(xiàn)我們所需要的電影票房記錄已經(jīng)全部按年份拿到了：
運(yùn)行效果
文章來(lái)源：http://www.zghlxwxcb.cn/news/detail-439460.html
總結(jié)
通過(guò)本節(jié)學(xué)習(xí)，我們認(rèn)識(shí)了selenium模塊并用它寫(xiě)了五個(gè)可完善的實(shí)例，讓自動(dòng)化測(cè)試工具代替爬蟲(chóng)繁瑣的解密抓包等過(guò)程，在特定場(chǎng)景下是有奇效的。文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-439460.html
到了這里，關(guān)于26. selenium：瀏覽器自動(dòng)測(cè)試模塊——一款方便且能裝X的爬蟲(chóng)工具（附多個(gè)實(shí)例）的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！
