視頻版教程：一天掌握python爬蟲(chóng)【基礎(chǔ)篇】 涵蓋 requests、beautifulsoup、selenium
在某些需要登錄的網(wǎng)站或者或者應(yīng)用，假如我們需要抓取登錄后的內(nèi)容，技術(shù)上本質(zhì)通過(guò)session會(huì)話實(shí)現(xiàn)。服務(wù)器端存會(huì)話信息，瀏覽器通過(guò)Cookie攜帶客戶端訪問(wèn)用戶信息，來(lái)實(shí)現(xiàn)會(huì)話機(jī)制。
requests對(duì)Cookie有很好的支持。
我們看一個(gè)實(shí)例。
http://download.java1234.com/這個(gè)網(wǎng)站，假如需要看抓取登錄后的用戶下載的資源信息
http://download.java1234.com/user/userDownload/list/1這時(shí)候的思路是先post方式登錄系統(tǒng)，獲取返回的cookie，然后我們帶上cookie再請(qǐng)求用戶下載資源信息url。文章來(lái)源：http://www.zghlxwxcb.cn/news/detail-720910.html
參考代碼：文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-720910.html
import requests
url = "http://download.java1234.com/user/login"
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/117.0.0.0 Safari/537.36'
}
data = {
'userName': 'python222',
'password': '123456'
}
r = requests.post(url=url, data=data, headers=headers)
print(r.text)
print(r.headers)
cookieJar = r.cookies
for c in cookieJar:
print(c.name, c.value)
targetUrl = "http://download.java1234.com/user/userDownload/list/1"
r2 = requests.get(url=targetUrl, headers=headers, cookies=cookieJar)
print(r2.text)到了這里，關(guān)于Python requests之Cookie的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！
