国产 无码 综合区,色欲AV无码国产永久播放,无码天堂亚洲国产AV,国产日韩欧美女同一区二区

python爬蟲selenium頁面滑動案例,作為一個Python程序員你還不會JetPack

這篇具有很好參考價值的文章主要介紹了python爬蟲selenium頁面滑動案例,作為一個Python程序員你還不會JetPack。希望對大家有所幫助。如果存在錯誤或未考慮完全的地方,請大家不吝賜教,您也可以點擊"舉報違法"按鈕提交疑問。

定義翻頁函數(shù)

def up_page(self):

time.sleep(1)

點擊下一頁

self.driver.find_element(By.XPATH,‘//*[text()=“下一頁”]’).click()

定義保存頁面源碼函數(shù)

def save_page(self, n=1):

time.sleep(2)

保存數(shù)據(jù)

with open(f’第{n}頁.html’, ‘w’, encoding=‘utf-8’) as f:

f.write(self.driver.page_source)

定義總的執(zhí)行函數(shù)

def run(self):

try:

self.save_page() # 第一頁

for n in range(2, 6): # 第二三四五頁

self.scroll()

self.up_page()

self.save_page(n)

except Exception as e:

print(e)

finally:

self.clear_driver()

if name == ‘main’:

lianjia = LianJia()

lianjia.run()

獲取頁面源碼則對瀏覽器驅(qū)動對象self.driver調(diào)用page_source屬性。

執(zhí)行JavaScript代碼使用execute_script() 方法。

其中還涉及一點關(guān)于翻頁的簡單的JavaScript代碼語句:

document.body.scrollHeight表示獲取頁面高度,

先獲取頁面高度,然后使用將頁面向下翻動該數(shù)量的高度,然后再獲取一次頁面高度。如果頁面高度此時沒有發(fā)生變化,即判斷剛剛的高度等于現(xiàn)在的高度,則說明已經(jīng)翻到底了,跳出while循環(huán),可以進一步去定位到“下一頁”按鈕處的element,并使用click() 方法點擊。
window.scrollTo(x,y) 表示頁面的滑動,滑動到指定位置,這里x軸無需滑動,則將x軸寫為0,y軸寫入要滑到的位置。
window.scrollBy(x,y) 表示滑動一定單位距離。
這樣,翻動并點擊的一個簡單案例就實現(xiàn)啦。祝您學習順利!

做了那么多年開發(fā),自學了很多門編程語言,我很明白學習資源對于學一門新語言的重要性,這些年也收藏了不少的Python干貨,對我來說這些東西確實已經(jīng)用不到了,但對于準備自學Python的人來說,或許它就是一個寶藏,可以給你省去很多的時間和精力。

別在網(wǎng)上瞎學了,我最近也做了一些資源的更新,只要你是我的粉絲,這期福利你都可拿走。

我先來介紹一下這些東西怎么用,文末抱走。


(1)Python所有方向的學習路線(新版)

這是我花了幾天的時間去把Python所有方向的技術(shù)點做的整理,形成各個領(lǐng)域的知識點匯總,它的用處就在于,你可以按照上面的知識點去找對應(yīng)的學習資源,保證自己學得較為全面。

最近我才對這些路線做了一下新的更新,知識體系更全面了。

python selenium 翻頁,2024年程序員學習,python,爬蟲,selenium

(2)Python學習視頻

包含了Python入門、爬蟲、數(shù)據(jù)分析和web開發(fā)的學習視頻,總共100多個,雖然沒有那么全面,但是對于入門來說是沒問題的,學完這些之后,你可以按照我上面的學習路線去網(wǎng)上找其他的知識資源進行進階。

python selenium 翻頁,2024年程序員學習,python,爬蟲,selenium

(3)100多個練手項目

我們在看視頻學習的時候,不能光動眼動腦不動手,比較科學的學習方法是在理解之后運用它們,這時候練手項目就很適合了,只是里面的項目比較多,水平也是參差不齊,大家可以挑自己能做的項目去練練。

python selenium 翻頁,2024年程序員學習,python,爬蟲,selenium

(4)200多本電子書

這些年我也收藏了很多電子書,大概200多本,有時候帶實體書不方便的話,我就會去打開電子書看看,書籍可不一定比視頻教程差,尤其是權(quán)威的技術(shù)書籍。

基本上主流的和經(jīng)典的都有,這里我就不放圖了,版權(quán)問題,個人看看是沒有問題的。

(5)Python知識點匯總

知識點匯總有點像學習路線,但與學習路線不同的點就在于,知識點匯總更為細致,里面包含了對具體知識點的簡單說明,而我們的學習路線則更為抽象和簡單,只是為了方便大家只是某個領(lǐng)域你應(yīng)該學習哪些技術(shù)棧。

python selenium 翻頁,2024年程序員學習,python,爬蟲,selenium

(6)其他資料

還有其他的一些東西,比如說我自己出的Python入門圖文類教程,沒有電腦的時候用手機也可以學習知識,學會了理論之后再去敲代碼實踐驗證,還有Python中文版的庫資料、MySQL和HTML標簽大全等等,這些都是可以送給粉絲們的東西。

python selenium 翻頁,2024年程序員學習,python,爬蟲,selenium

這些都不是什么非常值錢的東西,但對于沒有資源或者資源不是很好的學習者來說確實很不錯,你要是用得到的話都可以直接抱走,關(guān)注過我的人都知道,這些都是可以拿到的。

小編13年上海交大畢業(yè),曾經(jīng)在小公司待過,也去過華為、OPPO等大廠,18年進入阿里一直到現(xiàn)在。

深知大多數(shù)初中級Python工程師,想要提升技能,往往是自己摸索成長或者是報班學習,但自己不成體系的自學效果低效又漫長,而且極易碰到天花板技術(shù)停滯不前!

因此收集整理了一份《2024年P(guān)ython爬蟲全套學習資料》送給大家,初衷也很簡單,就是希望能夠幫助到想自學提升又不知道該從何學起的朋友,同時減輕大家的負擔。

由于文件比較大,這里只是將部分目錄截圖出來,每個節(jié)點里面都包含大廠面經(jīng)、學習筆記、源碼講義、實戰(zhàn)項目、講解視頻

如果你覺得這些內(nèi)容對你有幫助,可以添加下面V無償領(lǐng)?。。▊渥ⅲ簆ython)
python selenium 翻頁,2024年程序員學習,python,爬蟲,selenium

道該從何學起的朋友,同時減輕大家的負擔。**

由于文件比較大,這里只是將部分目錄截圖出來,每個節(jié)點里面都包含大廠面經(jīng)、學習筆記、源碼講義、實戰(zhàn)項目、講解視頻

如果你覺得這些內(nèi)容對你有幫助,可以添加下面V無償領(lǐng)?。。▊渥ⅲ簆ython)
[外鏈圖片轉(zhuǎn)存中…(img-gNcwR7ei-1711199348349)]文章來源地址http://www.zghlxwxcb.cn/news/detail-855227.html

到了這里,關(guān)于python爬蟲selenium頁面滑動案例,作為一個Python程序員你還不會JetPack的文章就介紹完了。如果您還想了解更多內(nèi)容,請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章,希望大家以后多多支持TOY模板網(wǎng)!

本文來自互聯(lián)網(wǎng)用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務(wù),不擁有所有權(quán),不承擔相關(guān)法律責任。如若轉(zhuǎn)載,請注明出處: 如若內(nèi)容造成侵權(quán)/違法違規(guī)/事實不符,請點擊違法舉報進行投訴反饋,一經(jīng)查實,立即刪除!

領(lǐng)支付寶紅包贊助服務(wù)器費用

相關(guān)文章

  • 〖Python網(wǎng)絡(luò)爬蟲實戰(zhàn)?〗- Selenium案例實戰(zhàn)(三)

    訂閱:新手可以訂閱我的其他專欄。免費階段訂閱量1000+? ????????????????python項目實戰(zhàn) ???????????????? Python編程基礎(chǔ)教程系列(零基礎(chǔ)小白搬磚逆襲) 說明:本專欄持續(xù)更新中,目前專欄免費訂閱,在轉(zhuǎn)為付費專欄前訂閱本專欄的,可以免費訂閱付費專欄,

    2024年02月07日
    瀏覽(51)
  • Python爬蟲入門系列之Selenium實現(xiàn)動態(tài)頁面爬取

    在前一篇博客中,我們學習了如何使用多線程優(yōu)化爬蟲程序。但是,如果要爬取的網(wǎng)頁是動態(tài)生成的或者包含大量JavaScript代碼,單純的靜態(tài)頁面爬取就不足夠了。為了解決這個問題,我們可以使用Selenium庫來模擬真實的瀏覽器行為,從而實現(xiàn)動態(tài)頁面的爬取。 Selenium是一個用

    2024年02月11日
    瀏覽(19)
  • Python爬蟲技術(shù)之Selenium自動化測試及模擬點擊頁面爬蟲最全知識

    Python爬蟲技術(shù)之Selenium自動化測試及模擬點擊頁面爬蟲最全知識

    Selenium是一套Web網(wǎng)站的程序自動化操作解決方案(比如點擊界面按鈕,在文本框中輸入文字等操作) Selenium的自動化原理如下 3.1 下載selenium庫的命令 3.2 下載谷歌瀏覽器Chrome對應(yīng)的驅(qū)動 驅(qū)動庫網(wǎng)址:http://chromedriver.storage.googleapis.com/index.html 注意:根據(jù)自己的Chrome版本進行選擇

    2024年01月16日
    瀏覽(95)
  • python網(wǎng)絡(luò)爬蟲selenium打開多窗口與切換頁面,附詳細答案解析

    python網(wǎng)絡(luò)爬蟲selenium打開多窗口與切換頁面,附詳細答案解析

    time.sleep(2) win2 = driver.window_handles[1] driver.switch_to.window(win2) print(driver.current_url) 關(guān)于句柄在列表中的順序, 建議一般最好只額外打開一個網(wǎng)頁,不建議打開更多的網(wǎng)頁進行切換。當打開的網(wǎng)頁數(shù)量超過兩個時,句柄列表中的元素分別代表哪個網(wǎng)頁,其順序是不太好確定的。以下

    2024年04月09日
    瀏覽(22)
  • 一個月學通Python(二十九):Python獲取網(wǎng)絡(luò)資源及解析HTML頁面(爬蟲)

    結(jié)合自身經(jīng)驗和內(nèi)部資料總結(jié)的Python教程,每天3-5章,最短1個月就能全方位的完成Python的學習并進行實戰(zhàn)開發(fā),學完了定能成為大佬!加油吧!卷起來! 全部文章請訪問專欄:《Python全棧教程(0基礎(chǔ))》

    2024年02月14日
    瀏覽(23)
  • Python爬蟲:一個爬取豆瓣電影人像的小案例

    Python爬蟲:一個爬取豆瓣電影人像的小案例

    從谷歌瀏覽器的開發(fā)工具進入 選擇圖片右鍵點擊檢查 翻頁之后發(fā)現(xiàn)網(wǎng)址變化的只有start數(shù)值,每次變化值為30 Python代碼 把爬取的圖片全部放到新建的文件夾中存放

    2024年02月10日
    瀏覽(88)
  • python爬蟲之selenium庫,瀏覽器訪問搜索頁面并提取信息,及隱藏瀏覽器運行

    python爬蟲之selenium庫,瀏覽器訪問搜索頁面并提取信息,及隱藏瀏覽器運行

    如果鏈接簡單,爬蟲可以通過鏈接用requests庫提取頁面信息,如爬取豆瓣top250影片信息,鏈接簡單易懂。參考:爬取豆瓣top250影片信息 但如果遇到一些搜索之類的,基于js動態(tài)加載的網(wǎng)頁,以上就不適合,如爬蟲b站,搜索“爬蟲”頁面,第一頁鏈接如下,第二頁又是很長沒規(guī)

    2024年01月23日
    瀏覽(228)
  • Python爬蟲之極驗滑動驗證碼的識別

    Python爬蟲之極驗滑動驗證碼的識別

    上節(jié)我們了解了可以直接利用 tesserocr 來識別簡單的圖形驗證碼。近幾年出現(xiàn)了一些新型驗證碼,其中比較有代表性的就是極驗驗證碼,它需要拖動拼合滑塊才可以完成驗證,相對圖形驗證碼來說識別難度上升了幾個等級。本節(jié)將講解極驗驗證碼的識別過程。 1. 本節(jié)目標 我們

    2024年02月22日
    瀏覽(29)
  • Python如何用爬蟲破解滑動驗證碼?這五步簡單易用

    Python如何用爬蟲破解滑動驗證碼?這五步簡單易用

    在使用python爬蟲抓取數(shù)據(jù)的時候經(jīng)常會遇到網(wǎng)站為了防止機器人登錄而設(shè)置了驗證,除了最基本的字符驗證之外還有滑塊驗證、圖片驗證、順序驗證等等驗證方式。那我們今天就來講一下python如何用爬蟲破解滑動驗證碼,一起來看看吧。 1.讀取圖片:在命令行控制臺輸入pip

    2024年02月14日
    瀏覽(92)
  • Selenium 自動滑動頁面

    Selenium 自動滑動頁面

    有寫數(shù)據(jù)是需要把頁面完全瀏覽才會出現(xiàn),或者頁面數(shù)據(jù)需要滑動對應(yīng)的位置才會加載(圖片等) 。在csdn找了一圈,沒找的想要的。。? 改變頁面中滾動條距離頂部的距離 具體代碼 測試這段代碼 隨便打開一個網(wǎng)站直接復制到控制臺(注意滾動條) ?測試成功 直接復制進行(idea會

    2024年02月05日
    瀏覽(12)

覺得文章有用就打賞一下文章作者

支付寶掃一掃打賞

博客贊助

微信掃一掃打賞

請作者喝杯咖啡吧~博客贊助

支付寶掃一掃領(lǐng)取紅包,優(yōu)惠每天領(lǐng)

二維碼1

領(lǐng)取紅包

二維碼2

領(lǐng)紅包