国产 无码 综合区,色欲AV无码国产永久播放,无码天堂亚洲国产AV,国产日韩欧美女同一区二区

python爬蟲_requests入門指引

這篇具有很好參考價(jià)值的文章主要介紹了python爬蟲_requests入門指引。希望對(duì)大家有所幫助。如果存在錯(cuò)誤或未考慮完全的地方,請(qǐng)大家不吝賜教,您也可以點(diǎn)擊"舉報(bào)違法"按鈕提交疑問。

?前言

大家好,我是yma16,本文分享關(guān)于python的requests庫用法。
該系列文章:
python爬蟲_基本數(shù)據(jù)類型
python爬蟲_函數(shù)的使用

?requests庫

requests可以用來發(fā)送http請(qǐng)求。
對(duì)比瀏覽器發(fā)送的請(qǐng)求

  • requests是在python的運(yùn)行環(huán)境發(fā)送請(qǐng)求,不存在限制跨域,無ui界面,優(yōu)勢(shì)在于自動(dòng)化
  • 瀏覽器發(fā)送請(qǐng)求被瀏覽器的安全機(jī)制限制,會(huì)存在跨域(協(xié)議、端口、域名),ui界面,用戶體驗(yàn)好

?? pip安裝requests

pip安裝

$ pip install requests

requests的api方法

api description
delete(url, args) 發(fā)送 DELETE 請(qǐng)求到指定 url
get(url, params, args) 發(fā)送 GET 請(qǐng)求到指定 url
head(url, args) 發(fā)送 HEAD 請(qǐng)求到指定 url
patch(url, data, args) 發(fā)送 PATCH 請(qǐng)求到指定 url
post(url, data, json, args) 發(fā)送 POST 請(qǐng)求到指定 url
put(url, data, args) 發(fā)送 PUT 請(qǐng)求到指定 url
request(method, url, args) 向指定的 url 發(fā)送指定的請(qǐng)求方法

requests返回的api方法

api description
apparent_encoding 編碼方式
close() 關(guān)閉與服務(wù)器的連接
content 返回響應(yīng)的內(nèi)容,以字節(jié)為單位
cookies 返回一個(gè) CookieJar 對(duì)象,包含了從服務(wù)器發(fā)回的 cookie
elapsed 返回一個(gè) timedelta 對(duì)象,包含了從發(fā)送請(qǐng)求到響應(yīng)到達(dá)之間經(jīng)過的時(shí)間量,可以用于測(cè)試響應(yīng)速度。比如 r.elapsed.microseconds 表示響應(yīng)到達(dá)需要多少微秒。
encoding 解碼 r.text 的編碼方式
headers 返回響應(yīng)頭,字典格式
history 返回包含請(qǐng)求歷史的響應(yīng)對(duì)象列表(url)
is_permanent_redirect 如果響應(yīng)是永久重定向的 url,則返回 True,否則返回 False
is_redirect 如果響應(yīng)被重定向,則返回 True,否則返回 False
iter_content() 迭代響應(yīng)
iter_lines() 迭代響應(yīng)的行
json() 返回結(jié)果的 JSON 對(duì)象 (結(jié)果需要以 JSON 格式編寫的,否則會(huì)引發(fā)錯(cuò)誤)
links 返回響應(yīng)的解析頭鏈接
next 返回重定向鏈中下一個(gè)請(qǐng)求的 PreparedRequest 對(duì)象
ok 檢查 “status_code” 的值,如果小于400,則返回 True,如果不小于 400,則返回 False
raise_for_status() 如果發(fā)生錯(cuò)誤,方法返回一個(gè) HTTPError 對(duì)象
reason 響應(yīng)狀態(tài)的描述,比如 “Not Found” 或 “OK”
request 返回請(qǐng)求此響應(yīng)的請(qǐng)求對(duì)象
status_code 返回 http 的狀態(tài)碼,比如 404 和 200(200 是 OK,404 是 Not Found)
text 返回響應(yīng)的內(nèi)容,unicode 類型數(shù)據(jù)
url 返回響應(yīng)的 URL

?? requests get

訪問 csdn主頁html
目標(biāo)網(wǎng)站:https://www.csdn.net/

python爬蟲_requests入門指引,python,python,爬蟲,開發(fā)語言
示例:

# 導(dǎo)入 requests 
import requests

# 發(fā)送請(qǐng)求
response = requests.get('https://www.csdn.net/')

print(response)
print(response.text)

運(yùn)行結(jié)果:
python爬蟲_requests入門指引,python,python,爬蟲,開發(fā)語言
訪問 查詢CSDN用戶
接口:https://so.csdn.net/api/v1/relevant-search
參數(shù)

  • query {string} 用戶名稱,如 yma16
  • platform {string} 平臺(tái),如 PC

模擬請(qǐng)求查詢 名為 yma16的csdn用戶

# 導(dǎo)入 requests
import requests
url='https://so.csdn.net/api/v1/relevant-search'
params = {'query':'yma16','platform':'pc'}
# 設(shè)置請(qǐng)求頭
headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36"}
response = requests.get(url=url,params=params,headers=headers)

print(response)
print(response.json())

運(yùn)行結(jié)果:
python爬蟲_requests入門指引,python,python,爬蟲,開發(fā)語言
與瀏覽器中csdn查詢一致
python爬蟲_requests入門指引,python,python,爬蟲,開發(fā)語言

?? requests post

post點(diǎn)贊csdn博客
接口:https://blog.csdn.net//phoenix/web/v1/article/like
參數(shù)

  • userId 用戶id
  • articleId 文章id
    示例給yma16的博客點(diǎn)贊
    注意:需要配置請(qǐng)求頭cookie,這里我把cookie放在txt然后讀入
# 導(dǎo)入 requests
import requests
# 讀取cookie
def readTxtFile():
    path='./'
    with open(path+'cookie.txt', 'r', encoding='utf-8') as file:
        lines = file.read().splitlines()  # 讀取第一行
        return str(lines[0])

# 點(diǎn)贊
def like_articleId(userId,articleId):#傳遞文章id
    requestUrl='https://blog.csdn.net//phoenix/web/v1/article/like'
    refererUrl="https://blog.csdn.net/{userId}/article/details/{articleId}"
    refererUrl.format(userId=userId,articleId=articleId)
    headers = {
        "user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36",
        "cookie": readTxtFile(),
        "origin": "https://blog.csdn.net",
        "referer": refererUrl
    }
    data={
        'articleId':articleId
    }
    resp=requests.post(requestUrl,headers=headers,data=data)
    print(resp)
    print(resp.json())

if __name__ == '__main__':
    like_articleId('qq_38870145','131350469')

運(yùn)行結(jié)果:
python爬蟲_requests入門指引,python,python,爬蟲,開發(fā)語言
點(diǎn)贊成功:
python爬蟲_requests入門指引,python,python,爬蟲,開發(fā)語言

結(jié)束

本文分享python的requests使用到這結(jié)束!
python爬蟲_requests入門指引,python,python,爬蟲,開發(fā)語言

?? 點(diǎn)贊,是我創(chuàng)作的動(dòng)力!
?? 收藏,是我努力的方向!
?? 評(píng)論,是我進(jìn)步的財(cái)富!
?? 感謝你的閱讀!文章來源地址http://www.zghlxwxcb.cn/news/detail-516105.html

到了這里,關(guān)于python爬蟲_requests入門指引的文章就介紹完了。如果您還想了解更多內(nèi)容,請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章,希望大家以后多多支持TOY模板網(wǎng)!

本文來自互聯(lián)網(wǎng)用戶投稿,該文觀點(diǎn)僅代表作者本人,不代表本站立場(chǎng)。本站僅提供信息存儲(chǔ)空間服務(wù),不擁有所有權(quán),不承擔(dān)相關(guān)法律責(zé)任。如若轉(zhuǎn)載,請(qǐng)注明出處: 如若內(nèi)容造成侵權(quán)/違法違規(guī)/事實(shí)不符,請(qǐng)點(diǎn)擊違法舉報(bào)進(jìn)行投訴反饋,一經(jīng)查實(shí),立即刪除!

領(lǐng)支付寶紅包贊助服務(wù)器費(fèi)用

相關(guān)文章

  • 【100天精通python】Day42:python網(wǎng)絡(luò)爬蟲開發(fā)_HTTP請(qǐng)求庫requests 常用語法與實(shí)戰(zhàn)

    目錄 1 HTTP協(xié)議 2??HTTP與HTTPS 3 HTTP請(qǐng)求過程 ?3.1 HTTP請(qǐng)求過程 3.2 GET請(qǐng)求與POST請(qǐng)求

    2024年02月12日
    瀏覽(26)
  • Python爬蟲開發(fā)入門及開發(fā)技巧大全

    Python爬蟲開發(fā)入門及開發(fā)技巧大全

    get方法 post方法 這在某些情況下比較有用, 比如IP被封了,或者比如IP訪問的次數(shù)受到限制等等。 是的沒錯(cuò),如果想同時(shí)用代理和cookie, 那就加入proxy_support然后operner改為 ,如下: 某些網(wǎng)站反感爬蟲的到訪,于是對(duì)爬蟲一律拒絕請(qǐng)求。 這時(shí)候我們需要偽裝成瀏覽器, 這可以

    2023年04月15日
    瀏覽(21)
  • 網(wǎng)絡(luò)爬蟲-Requests庫入門

    網(wǎng)絡(luò)爬蟲-Requests庫入門

    一、Requests庫的安裝 以管理員身份運(yùn)行命令控制臺(tái),輸入? pip install -i https://pypi.tuna.tsinghua.edu.cn/simple requests 測(cè)試:打開IDLE 此時(shí)百度的html頁面被抓取成功 二、requests庫的7個(gè)主要方法 三、Requests庫的get()方法:獲得一個(gè)網(wǎng)頁 完整使用方法: Requests庫的get()方法源代碼:get方法

    2024年02月08日
    瀏覽(24)
  • python爬蟲入門(1)-開發(fā)環(huán)境配置

    ? ? ? 所謂的爬蟲,就是通過模擬點(diǎn)擊瀏覽器發(fā)送網(wǎng)絡(luò)請(qǐng)求,接收站點(diǎn)請(qǐng)求響應(yīng),獲取互聯(lián)網(wǎng)信息的一組自動(dòng)化程序。 也就是,只要瀏覽器(客戶端)能做的事情,爬蟲都能夠做。 ? ? ? 現(xiàn)在的互聯(lián)網(wǎng)大數(shù)據(jù)時(shí)代,給予我們的是生活的便利以及海量數(shù)據(jù)爆炸式的出現(xiàn)在網(wǎng)絡(luò)中。

    2024年02月08日
    瀏覽(21)
  • 【100天精通python】Day41:python網(wǎng)絡(luò)爬蟲開發(fā)_爬蟲基礎(chǔ)入門

    目錄 ?專欄導(dǎo)讀? 1網(wǎng)絡(luò)爬蟲概述 1.1?工作原理 1.2 應(yīng)用場(chǎng)景 1.3 爬蟲策略

    2024年02月12日
    瀏覽(34)
  • 【Python爬蟲開發(fā)】selenium從入門到精通

    【Python爬蟲開發(fā)】selenium從入門到精通

    1、概述 selenium本身是一個(gè)自動(dòng)化測(cè)試工具。它可以讓python代碼調(diào)用瀏覽器。并獲取到瀏覽器中加載的各種資源。 我們可以利用selenium提供的各項(xiàng)功能。 幫助我們完成數(shù)據(jù)的抓取。 2、學(xué)習(xí)目標(biāo) 掌握 selenium發(fā)送請(qǐng)求,加載網(wǎng)頁的方法 掌握 selenium簡(jiǎn)單的元素定位的方法 掌握 s

    2024年02月03日
    瀏覽(18)
  • 爬蟲入門04——requests庫中的User-Agent請(qǐng)求頭

    爬蟲入門04——requests庫中的User-Agent請(qǐng)求頭

    “Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.95 Safari/537.36 OPR/26.0.1656.60”, “Opera/8.0 (Windows NT 5.1; U; en)”, “Mozilla/5.0 (Windows NT 5.1; U; en; rv:1.8.1) Gecko/20061208 Firefox/2.0.0 Opera 9.50”, “Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; en) Opera 9.50”, “Opera/9.80 (Macin

    2024年02月13日
    瀏覽(21)
  • python爬蟲—requests

    python爬蟲—requests

    類型 : models.Response r.text : 獲取網(wǎng)站源碼 r.encoding :訪問或定制編碼方式 r.url :獲取請(qǐng)求的 url r.content :響應(yīng)的字節(jié)類型 r.status_code :響應(yīng)的狀態(tài)碼 r.headers :響應(yīng)的頭信息 找登錄接口 ?找參數(shù)的值 python代碼 登錄超級(jí)鷹官網(wǎng):超級(jí)鷹驗(yàn)證碼識(shí)別-專業(yè)的驗(yàn)證碼云端識(shí)別服務(wù)

    2024年02月10日
    瀏覽(19)
  • python-網(wǎng)絡(luò)爬蟲.Request

    python-網(wǎng)絡(luò)爬蟲.Request

    Request python中requests庫使用方法詳解: 一簡(jiǎn)介: ????????Requests 是Python語言編寫,基于urllib, ????????采用Apache2 Licensed開源協(xié)議的 HTTP 庫。 ????????與urllib相比,Requests更加方便,處理URL資源特別流暢。 ????????可以節(jié)約我們大量的工作,建議爬蟲使用Requests庫

    2024年02月14日
    瀏覽(27)
  • 【Python爬蟲】requests庫

    【Python爬蟲】requests庫

    1.requests庫的介紹 ? requests 是 Python 語言編寫,基于 urllib3 ,采用 Apache2 Licensed 開源協(xié)議的HTTP庫。它比 urllib 更加方便,可以節(jié)約我們大量的工作,完全滿足 HTTP 測(cè)試需求。是 Python 實(shí)現(xiàn)的簡(jiǎn)單易用的 HTTP 庫。 Requests 中文文檔:http://docs.pythonrequests.org/zh_CN/latest/index.html ? 解決

    2024年02月16日
    瀏覽(22)

覺得文章有用就打賞一下文章作者

支付寶掃一掃打賞

博客贊助

微信掃一掃打賞

請(qǐng)作者喝杯咖啡吧~博客贊助

支付寶掃一掃領(lǐng)取紅包,優(yōu)惠每天領(lǐng)

二維碼1

領(lǐng)取紅包

二維碼2

領(lǐng)紅包