此篇文章主要介紹如何使用 Selenium 模塊實現(xiàn) 無界面模式 & 執(zhí)行JS腳本(把滾動條拉到底部)，并以具體的示例進行展示。

1、Selenium 設(shè)置無界面模式

創(chuàng)建瀏覽器對象之前，創(chuàng)建 options 功能對象 ：options = webdriver.ChromeOptions()
添加無界面功能參數(shù)：options.add_argument("--headless")
構(gòu)造瀏覽器對象，打開瀏覽器，并設(shè)置 options 參數(shù)：

browser = webdriver.Chrome(options=options)

from selenium import webdriver

options = webdriver.ChromeOptions() ?# 創(chuàng)建瀏覽器對象之前，創(chuàng)建options功能對象
options.add_argument("--headless") ?# 添加無界面功能參數(shù)
browser = webdriver.Chrome(options=options) ?# 構(gòu)造瀏覽器對象，打開瀏覽器

2、Selenium 執(zhí)行JS腳本

創(chuàng)建瀏覽器對象：browser = webdriver.Chrome()
執(zhí)行JS腳本：browser.execute_script()
最常用腳本 - 把滾動條拉到底部：browser.execute_script('window.scrollTo(0,document.body.scrollHeight)')
from selenium import webdriver

browser = webdriver.Chrome() # 創(chuàng)建瀏覽器對象
browser.execute_script(
? ? 'window.scrollTo(0,document.body.scrollHeight)'
) # 把滾動條拉到最底部

3、Selenium 設(shè)置無界面模式 & 執(zhí)行JS腳本 案例

3.1 需求分析
基于 Selenium + Chrome 抓取 `http://www.jd.com/` 下 “python書籍” 的信息

3.2 爬蟲思路
打開瀏覽器輸入主頁地址：https://www.jd.com/
使用 Selenium 的 Xpath 找到 信息輸入框 和 點擊搜索 節(jié)點：'//*[@id="key"]' & '//*[@id="search"]/div/div[2]/button'

輸入 “python書籍” 并點擊 點擊搜索按鈕；
使用 Selenium 的 Xpath 找到 書籍信息 節(jié)點對象列表： '//*[@id="J_goodsList"]/ul/li'；?
依次遍歷每個元素，并依次提取每本書籍信息；
爬取完一頁信息后，需要判斷是否是最后一頁

可以看到：
最后一頁的節(jié)點信息為：pn-next disabled
非最后一頁的節(jié)點信息為：pn-next
如果不是最后一頁，點擊下一頁繼續(xù)進行爬?。?//*[@id="J_bottomPage"]/span[1]/a[9]'

3.3 程序?qū)崿F(xiàn)

初始化函數(shù)
? ? def __init__(self):
? ? ? ? # 設(shè)置為無界面
? ? ? ? self.options = webdriver.ChromeOptions() ?# 創(chuàng)建瀏覽器對象之前，創(chuàng)建options功能對象
? ? ? ? self.options.add_argument('--headless') ?# 添加無界面功能參數(shù)
? ? ? ? self.driver = webdriver.Chrome(options=self.options) ?# 構(gòu)造瀏覽器對象，打開瀏覽器
? ? ? ? self.driver.get(url="http://www.jd.com/") ?# 進入主頁
? ? ? ? # 搜索框發(fā)送：python書籍，點擊搜索按鈕
? ? ? ? self.inputJD = self.driver.find_element(By.XPATH, '//*[@id="key"]') ?# 搜索框xpath://*[@id="key"]
? ? ? ? self.inputJD.send_keys("python書籍")
? ? ? ? self.driver.find_element(By.XPATH,
? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?'//*[@id="search"]/div/div[2]/button').click() ?# 搜索按鈕xpath：//*[@id="search"]/div/div[2]/button 并點擊
? ? ? ? time.sleep(1) ?# 要給頁面元素加載預(yù)留時間

提取數(shù)據(jù)函數(shù)

? ? def parse_html(self):
? ? ? ? """
? ? ? ? function: ?具體提取數(shù)據(jù)方法
? ? ? ? ? ? ? in: ?None
? ? ? ? ? ? ?out: ?None
? ? ? ? ? return: ?None
? ? ? ? ? others: ?Data Extraction Func
? ? ? ? """
? ? ? ? self.driver.execute_script(
? ? ? ? ? ? 'window.scrollTo(0,document.body.scrollHeight)'
? ? ? ? ) ?# 先把滾動條拉到最底部，等待所有商品加載完成再進行數(shù)據(jù)爬取
? ? ? ? time.sleep(3) ?# 給頁面元素加載預(yù)留時間
? ? ? ? # 具體提取數(shù)據(jù)
? ? ? ? li_list = self.driver.find_elements(By.XPATH,
? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? '//*[@id="J_goodsList"]/ul/li') ?# 基準xpath：//*[@id="J_goodsList"]/ul/li 每一個商品對應(yīng)一個li節(jié)點
? ? ? ? item = {} ?# 定義一個空字典
? ? ? ? for li in li_list:
? ? ? ? ? ? item["名稱"] = li.find_element(By.XPATH, './/div[@class="p-name"]/a/em').text.strip()
? ? ? ? ? ? item["價格"] = li.find_element(By.XPATH, './/div[@class="p-price"]/strong').text.strip()
? ? ? ? ? ? item["評價"] = li.find_element(By.XPATH, './/div[@class="p-commit"]/strong').text.strip()
? ? ? ? ? ? item["商家"] = li.find_element(By.XPATH, './/div[@class="p-shopnum"]').text.strip()
? ? ? ? ? ? print(item) ?# 打印

程序入口函數(shù)

? ? def run(self):
? ? ? ? """
? ? ? ? function: ?程序入口函數(shù)
? ? ? ? ? ? ? in: ?None
? ? ? ? ? ? ?out: ?None
? ? ? ? ? return: ?None
? ? ? ? ? others: ?Program Entry Func
? ? ? ? """
? ? ? ? while True:
? ? ? ? ? ? self.parse_html()
? ? ? ? ? ? # 不是最后一頁：pn-next
? ? ? ? ? ? # 最后一頁：pn-next disabled
? ? ? ? ? ? if self.driver.page_source.find("pn-next disabled") == -1: ?# 沒有找到 pn-next disabled，說明不是最后一頁
? ? ? ? ? ? ? ? self.driver.find_element(By.XPATH, '//*[@id="J_bottomPage"]/span[1]/a[9]').click()
? ? ? ? ? ? ? ? time.sleep(1)
? ? ? ? ? ? else:
? ? ? ? ? ? ? ? self.driver.quit()
? ? ? ? ? ? ? ? break

3.4 完整代碼

import time
from selenium import webdriver
from selenium.webdriver.common.by import By

class JDSpider:
? ? def __init__(self):
? ? ? ? # 設(shè)置為無界面
? ? ? ? self.options = webdriver.ChromeOptions() ?# 創(chuàng)建瀏覽器對象之前，創(chuàng)建options功能對象
? ? ? ? self.options.add_argument('--headless') ?# 添加無界面功能參數(shù)
? ? ? ? self.driver = webdriver.Chrome(options=self.options) ?# 構(gòu)造瀏覽器對象，打開瀏覽器
? ? ? ? self.driver.get(url="http://www.jd.com/") ?# 進入主頁
? ? ? ? # 搜索框發(fā)送：python書籍，點擊搜索按鈕
? ? ? ? self.inputJD = self.driver.find_element(By.XPATH, '//*[@id="key"]') ?# 搜索框xpath://*[@id="key"]
? ? ? ? self.inputJD.send_keys("python書籍")
? ? ? ? self.driver.find_element(By.XPATH,
? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?'//*[@id="search"]/div/div[2]/button').click() ?# 搜索按鈕xpath：//*[@id="search"]/div/div[2]/button 并點擊
? ? ? ? time.sleep(1) ?# 要給頁面元素加載預(yù)留時間

? ? def parse_html(self):
? ? ? ? """
? ? ? ? function: ?具體提取數(shù)據(jù)方法
? ? ? ? ? ? ? in: ?None
? ? ? ? ? ? ?out: ?None
? ? ? ? ? return: ?None
? ? ? ? ? others: ?Data Extraction Func
? ? ? ? """
? ? ? ? self.driver.execute_script(
? ? ? ? ? ? 'window.scrollTo(0,document.body.scrollHeight)'
? ? ? ? ) ?# 先把滾動條拉到最底部，等待所有商品加載完成再進行數(shù)據(jù)爬取
? ? ? ? time.sleep(3) ?# 給頁面元素加載預(yù)留時間
? ? ? ? # 具體提取數(shù)據(jù)
? ? ? ? li_list = self.driver.find_elements(By.XPATH,
? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? '//*[@id="J_goodsList"]/ul/li') ?# 基準xpath：//*[@id="J_goodsList"]/ul/li 每一個商品對應(yīng)一個li節(jié)點
? ? ? ? item = {} ?# 定義一個空字典
? ? ? ? for li in li_list:
? ? ? ? ? ? item["名稱"] = li.find_element(By.XPATH, './/div[@class="p-name"]/a/em').text.strip()
? ? ? ? ? ? item["價格"] = li.find_element(By.XPATH, './/div[@class="p-price"]/strong').text.strip()
? ? ? ? ? ? item["評價"] = li.find_element(By.XPATH, './/div[@class="p-commit"]/strong').text.strip()
? ? ? ? ? ? item["商家"] = li.find_element(By.XPATH, './/div[@class="p-shopnum"]').text.strip()
? ? ? ? ? ? print(item) ?# 打印

? ? def run(self):
? ? ? ? """
? ? ? ? function: ?程序入口函數(shù)
? ? ? ? ? ? ? in: ?None
? ? ? ? ? ? ?out: ?None
? ? ? ? ? return: ?None
? ? ? ? ? others: ?Program Entry Func
? ? ? ? """
? ? ? ? while True:
? ? ? ? ? ? self.parse_html()
? ? ? ? ? ? # 不是最后一頁：pn-next
? ? ? ? ? ? # 最后一頁：pn-next disabled
? ? ? ? ? ? if self.driver.page_source.find("pn-next disabled") == -1: ?# 沒有找到 pn-next disabled，說明不是最后一頁
? ? ? ? ? ? ? ? self.driver.find_element(By.XPATH, '//*[@id="J_bottomPage"]/span[1]/a[9]').click()
? ? ? ? ? ? ? ? time.sleep(1)
? ? ? ? ? ? else:
? ? ? ? ? ? ? ? self.driver.quit()
? ? ? ? ? ? ? ? break

if __name__ == '__main__':
? ? spider = JDSpider()
? ? spider.run()

3.5 實現(xiàn)效果

?文章來源地址http://www.zghlxwxcb.cn/news/detail-637790.html

到了這里，關(guān)于基于Selenium模塊實現(xiàn)無界面模式 & 執(zhí)行JS腳本的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！