国产 无码 综合区,色欲AV无码国产永久播放,无码天堂亚洲国产AV,国产日韩欧美女同一区二区

Python-爬蟲、自動(dòng)化(selenium,動(dòng)態(tài)網(wǎng)頁翻頁,模擬搜索,下拉列表選擇、selenium行為鏈)

這篇具有很好參考價(jià)值的文章主要介紹了Python-爬蟲、自動(dòng)化(selenium,動(dòng)態(tài)網(wǎng)頁翻頁,模擬搜索,下拉列表選擇、selenium行為鏈)。希望對(duì)大家有所幫助。如果存在錯(cuò)誤或未考慮完全的地方,請(qǐng)大家不吝賜教,您也可以點(diǎn)擊"舉報(bào)違法"按鈕提交疑問。

selenium是一個(gè)Web自動(dòng)化測(cè)試工具,可以直接運(yùn)行在瀏覽器上·支持所有主流的瀏覽器.可以根據(jù)我們的指令,讓瀏覽器自動(dòng)加載頁面,獲取需要的數(shù)據(jù),基礎(chǔ)頁面截圖等。

使用pip install selenium命令下載selenium模塊。

運(yùn)行下列代碼:

from selenium import webdriver

driver = webdriver.Chrome()

python selenium 翻頁,# 爬蟲,python,爬蟲,自動(dòng)化
說明沒有下載對(duì)應(yīng)瀏覽器的驅(qū)動(dòng),這里使用谷歌瀏覽器

注意:
需要根據(jù)瀏覽器版本下載對(duì)應(yīng)插件。
插件下載地址
python selenium 翻頁,# 爬蟲,python,爬蟲,自動(dòng)化
python selenium 翻頁,# 爬蟲,python,爬蟲,自動(dòng)化
如果沒有對(duì)應(yīng)版本,直接選擇最近版本的插件下載即可,這里選擇.52版本即可
python selenium 翻頁,# 爬蟲,python,爬蟲,自動(dòng)化
下載對(duì)應(yīng)平臺(tái)即可。

下載好后,解壓,把可執(zhí)行程序放到項(xiàng)目同級(jí)目錄下,或者可以在函數(shù)webdriver.Chrome()上傳遞這個(gè)插件路徑driver = webdriver.Chrome(executable_path=r"F:\chrome\chromedriver.exe")(可能會(huì)因方法棄用爆紅字,忽略即可)
python selenium 翻頁,# 爬蟲,python,爬蟲,自動(dòng)化
重新運(yùn)行代碼可以發(fā)現(xiàn)不報(bào)錯(cuò)了。
python selenium 翻頁,# 爬蟲,python,爬蟲,自動(dòng)化

1. selenium練習(xí)

selenium有很多種定位方式,如下表
python selenium 翻頁,# 爬蟲,python,爬蟲,自動(dòng)化

自動(dòng)搜索

import time

from selenium import webdriver
from selenium.webdriver.common.by import By

driver = webdriver.Chrome()

driver.get("https://www.baidu.com/")

# 通過xpath找百度網(wǎng)頁搜索框
search = driver.find_element(By.XPATH, '//*[@id="kw"]')
search.send_keys('筆記本')

time.sleep(5)

# 通過id找搜索按鈕
submit = driver.find_element(By.ID, 'su')
submit.click()

time.sleep(5)

driver.close()

python selenium 翻頁,# 爬蟲,python,爬蟲,自動(dòng)化


網(wǎng)頁下拉框選擇測(cè)試

網(wǎng)頁下拉框:
python selenium 翻頁,# 爬蟲,python,爬蟲,自動(dòng)化
python selenium 翻頁,# 爬蟲,python,爬蟲,自動(dòng)化

通過導(dǎo)入from selenium.webdriver.support.ui import Select來實(shí)現(xiàn)下拉框的選擇
從selenium.webdriver.Support.ui導(dǎo)入選擇

Select().select_by_index()索引獲取
Select().select_by_value() value獲取
Select().deselect_by_visible_text()文本獲取
import time

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import Select

driver = webdriver.Chrome()
driver.get("https://kyfw.12306.cn/otn/regist/init")

index = driver.find_element(By.ID, 'cardType')

select = Select(index)

# 通過下標(biāo)選擇,列表是從0號(hào)下標(biāo)開始
select.select_by_index(3)

time.sleep(5)

driver.close()

python selenium 翻頁,# 爬蟲,python,爬蟲,自動(dòng)化

動(dòng)態(tài)頁面翻頁

from selenium import webdriver
import time

driver = webdriver.Chrome()

driver.get('https://www.duitang.com/search/?kw=%E7%BE%8E%E5%A5%B3&type=feed')

for i in range(1, 200, 5):  # 實(shí)現(xiàn)網(wǎng)頁下拉
    js = 'window.scrollTo(0,%s)' % (i * 100)
    driver.execute_script(js)
    time.sleep(0.3)

print(driver.page_source)

input()
# 關(guān)閉頁面
driver.close()

python selenium 翻頁,# 爬蟲,python,爬蟲,自動(dòng)化
通過selenium可以直接獲取到數(shù)據(jù)。

2. selenium行為鏈

為了更好的讓selenium模擬人的行為,所以引出了 selenium行為鏈

這里以搜索行為鏈為例學(xué)習(xí):from selenium.webdriver.common. action_chains import ActionChains導(dǎo)入selenium行為鏈模塊

基本操作為:

action = ActionChains(driver)  # 在driver創(chuàng)建行為鏈對(duì)象
inp = driver.find_element(By.ID, 'kw')  # 獲取到輸入框位置
action.move_to_element(inp)  # 把鼠標(biāo)移動(dòng)到輸入框
action.send_keys_to_element(inp, '百度貼吧')  # 模擬輸入,函數(shù)中自動(dòng)包括點(diǎn)擊搜索框行為

btn = driver.find_element(By.ID, 'su')  # 獲取搜索按鈕
action.move_to_element(btn)  # 移動(dòng)鼠標(biāo)到搜索按鈕
action.click(btn)  # 模擬點(diǎn)擊
action.perform()  # 執(zhí)行行為
from selenium.webdriver.common.action_chains import ActionChains
from selenium import webdriver
from selenium.webdriver.common.by import By

driver = webdriver.Chrome()
driver.get("https://www.baidu.com/")

# 通過xpath找百度網(wǎng)頁搜索框
search = driver.find_element(By.XPATH, '//*[@id="kw"]')
# 通過id找搜索按鈕
submit = driver.find_element(By.ID, 'su')

action = ActionChains(driver)
action.move_to_element(search)
action.send_keys_to_element(search, 'python')
action.move_to_element(submit)
action.click(submit)
action.perform()

input()

driver.close()

python selenium 翻頁,# 爬蟲,python,爬蟲,自動(dòng)化文章來源地址http://www.zghlxwxcb.cn/news/detail-790321.html

到了這里,關(guān)于Python-爬蟲、自動(dòng)化(selenium,動(dòng)態(tài)網(wǎng)頁翻頁,模擬搜索,下拉列表選擇、selenium行為鏈)的文章就介紹完了。如果您還想了解更多內(nèi)容,請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章,希望大家以后多多支持TOY模板網(wǎng)!

本文來自互聯(lián)網(wǎng)用戶投稿,該文觀點(diǎn)僅代表作者本人,不代表本站立場(chǎng)。本站僅提供信息存儲(chǔ)空間服務(wù),不擁有所有權(quán),不承擔(dān)相關(guān)法律責(zé)任。如若轉(zhuǎn)載,請(qǐng)注明出處: 如若內(nèi)容造成侵權(quán)/違法違規(guī)/事實(shí)不符,請(qǐng)點(diǎn)擊違法舉報(bào)進(jìn)行投訴反饋,一經(jīng)查實(shí),立即刪除!

領(lǐng)支付寶紅包贊助服務(wù)器費(fèi)用

相關(guān)文章

  • Python爬蟲之自動(dòng)化測(cè)試Selenium#7

    Python爬蟲之自動(dòng)化測(cè)試Selenium#7

    在前一章中,我們了解了 Ajax 的分析和抓取方式,這其實(shí)也是 JavaScript 動(dòng)態(tài)渲染的頁面的一種情形,通過直接分析 Ajax,我們?nèi)匀豢梢越柚?requests 或 urllib 來實(shí)現(xiàn)數(shù)據(jù)爬取。 不過 JavaScript 動(dòng)態(tài)渲染的頁面不止 Ajax 這一種。比如中國(guó)青年網(wǎng)(詳見 國(guó)內(nèi)_新聞?lì)l道_中國(guó)青年網(wǎng)),

    2024年02月20日
    瀏覽(21)
  • python腳本——selenium自動(dòng)化執(zhí)行一些網(wǎng)頁上的操作

    通過python的selenium模塊,自動(dòng)化執(zhí)行一些網(wǎng)頁上的重復(fù)的無聊的工作。 chromdriver下載地址

    2024年02月13日
    瀏覽(21)
  • Python+VS Code+Selenium+EdgeDriver實(shí)現(xiàn)網(wǎng)頁自動(dòng)化

    Python+VS Code+Selenium+EdgeDriver實(shí)現(xiàn)網(wǎng)頁自動(dòng)化

    一:安裝Selenium 這里用 pip 安裝Selenium?3.3.1 1,打開 CMD ,輸入 pip install selenium==3.3.1 2,出現(xiàn) Successfully Install 后關(guān)閉窗口( 我是卸載后安裝,第一次安裝的界面與此不同 ) ?3,使用pip show selenium 可以查看版本 注意:非必要不安裝4.0及以上版本,新版本調(diào)用Pack時(shí)語法發(fā)生改動(dòng)

    2024年01月19日
    瀏覽(28)
  • Python爬蟲實(shí)戰(zhàn)——Lazada商品數(shù)據(jù)(selenium自動(dòng)化爬蟲,xpath定位)

    Python爬蟲實(shí)戰(zhàn)——Lazada商品數(shù)據(jù)(selenium自動(dòng)化爬蟲,xpath定位)

    ? ? ? ? 在此說明,這個(gè)項(xiàng)目是我第一次真正去爬的一個(gè)網(wǎng)站,里面寫的代碼我自己都看不下去,但是已經(jīng)不想花時(shí)間去重構(gòu)了,所以看個(gè)樂呵就好,要噴也可以(下手輕一點(diǎn))。這篇文算是記錄我的學(xué)習(xí)中出現(xiàn)的一些問題,不建議拿來學(xué)習(xí)和真拿我的代碼去爬Lazada的數(shù)據(jù),

    2024年02月02日
    瀏覽(22)
  • Python爬蟲技術(shù)之Selenium自動(dòng)化測(cè)試及模擬點(diǎn)擊頁面爬蟲最全知識(shí)

    Python爬蟲技術(shù)之Selenium自動(dòng)化測(cè)試及模擬點(diǎn)擊頁面爬蟲最全知識(shí)

    Selenium是一套Web網(wǎng)站的程序自動(dòng)化操作解決方案(比如點(diǎn)擊界面按鈕,在文本框中輸入文字等操作) Selenium的自動(dòng)化原理如下 3.1 下載selenium庫(kù)的命令 3.2 下載谷歌瀏覽器Chrome對(duì)應(yīng)的驅(qū)動(dòng) 驅(qū)動(dòng)庫(kù)網(wǎng)址:http://chromedriver.storage.googleapis.com/index.html 注意:根據(jù)自己的Chrome版本進(jìn)行選擇

    2024年01月16日
    瀏覽(94)
  • Python爬蟲技術(shù)系列-06selenium完成自動(dòng)化測(cè)試V01

    Python爬蟲技術(shù)系列-06selenium完成自動(dòng)化測(cè)試V01

    使用selenium庫(kù)完成動(dòng)點(diǎn)擊下一頁,點(diǎn)擊視頻操作等過程, 如果你非要說這是XX,那我也不過多辯解,畢竟 批評(píng)不自由,贊美無意義 。 本案例僅是技術(shù)演示,所以會(huì)隱去相關(guān)網(wǎng)址等,讀者可以重點(diǎn)查看這里使用的selenium技術(shù)點(diǎn)即可。另外本版本為V01版本,所以僅僅是可用,很多

    2024年02月05日
    瀏覽(25)
  • 爬蟲實(shí)戰(zhàn)(一)Python+selenium自動(dòng)化獲取數(shù)據(jù)存儲(chǔ)到Mysql中

    爬蟲實(shí)戰(zhàn)(一)Python+selenium自動(dòng)化獲取數(shù)據(jù)存儲(chǔ)到Mysql中

    ??行話說得好,“爬蟲學(xué)得好,牢飯吃到飽!”哈哈博主是因這句話入的坑,不為別的就為邀大家一起鐵窗淚(bushi),本人雖小牛一只,但是喜愛搗鼓技術(shù),有興趣的小伙伴們可以共同探討,也歡迎各位大佬們的指點(diǎn),愿共同進(jìn)步! ??這次計(jì)劃是翻墻爬取外網(wǎng)某網(wǎng)站

    2024年01月17日
    瀏覽(34)
  • 從零開始學(xué)習(xí)Python控制開源Selenium庫(kù)自動(dòng)化瀏覽器操作,實(shí)現(xiàn)爬蟲,自動(dòng)化測(cè)試等功能(一)

    從零開始學(xué)習(xí)Python控制開源Selenium庫(kù)自動(dòng)化瀏覽器操作,實(shí)現(xiàn)爬蟲,自動(dòng)化測(cè)試等功能(一)

    介紹Selenium : Selenium是一個(gè)用于自動(dòng)化瀏覽器操作的開源工具和庫(kù)。它最初是為Web應(yīng)用測(cè)試而創(chuàng)建的,但隨著時(shí)間的推移,它被廣泛用于Web數(shù)據(jù)抓取和網(wǎng)頁自動(dòng)化操作。Selenium 支持多種編程語言,包括Python,Java,C#等。 這里我們主要實(shí)現(xiàn)采用Python的方式 Selenium 的主要特點(diǎn)和

    2024年01月22日
    瀏覽(92)
  • 爬蟲 — 自動(dòng)化爬蟲 Selenium

    爬蟲 — 自動(dòng)化爬蟲 Selenium

    用 Selenium 爬取網(wǎng)頁時(shí),當(dāng)前訪問的 url 就是爬蟲當(dāng)中的目標(biāo) url,獲取內(nèi)容只要是頁面上可見的,都可以爬?。?可見即可爬 )。 步驟 Selenium + 瀏覽器 + 瀏覽器驅(qū)動(dòng) 1、導(dǎo)入 2、url(找動(dòng)態(tài) url,抓取到的數(shù)據(jù)是加密的) 3、獲取內(nèi)容,做解析 Selenium 是一個(gè)用于 Web 應(yīng)用 程序測(cè)試

    2024年02月07日
    瀏覽(23)
  • 爬蟲-9-selenium自動(dòng)化

    爬蟲-9-selenium自動(dòng)化

    #所謂自動(dòng)化,就是模擬人。去操作... #自動(dòng)化需要瀏覽器驅(qū)動(dòng)器,那么這個(gè)瀏覽器需要停止一下自動(dòng)更新(減少麻煩)。 #以下都以谷歌瀏覽器為例。 #谷歌瀏覽器禁止更新詳見: https://blog.csdn.net/weixin_48337566/article/details/123242827 ? ? ?

    2024年01月19日
    瀏覽(23)

覺得文章有用就打賞一下文章作者

支付寶掃一掃打賞

博客贊助

微信掃一掃打賞

請(qǐng)作者喝杯咖啡吧~博客贊助

支付寶掃一掃領(lǐng)取紅包,優(yōu)惠每天領(lǐng)

二維碼1

領(lǐng)取紅包

二維碼2

領(lǐng)紅包