requests模塊中proxies參數(shù)用法
前言
此篇文章中介紹requests模塊中的代理IP參數(shù)proxies的詳細用法。
正文
1、proxies參數(shù)介紹
proxies參數(shù)：代替本機的IP地址， 去對接網(wǎng)絡(luò)的IP地址；其作用是，隱藏真實IP，避免被目標網(wǎng)站封掉。
2、代理IP分類
常見兩種分類依據(jù)：匿名度、協(xié)議
2.1、根據(jù)匿名度分類
- 高匿代理：Web端只能看到代理IP；
- 普通代理：Web端知道有人通過此代理IP訪問，但不知用戶真實IP；
- 透明代理：Web端能看到用戶真實IP，也能看到代理IP。
2.2、根據(jù)協(xié)議分類
- http代理：目標url為http協(xié)議；
- https代理：目標url為https協(xié)議；
- socks代理 ：簡單的傳遞數(shù)據(jù)包，不關(guān)心是何種協(xié)議，比http和https代理消耗小， 可以轉(zhuǎn)發(fā)http和https的請求。
3、獲取代理IP的網(wǎng)站
西刺代理、快代理(https://www.kuaidaili.com/free/)、全網(wǎng)代理、代理精靈…
4、proxies參數(shù)語法格式
使用免費代理IP：
免費代理IP：公網(wǎng)IP；每天可用IP數(shù)量>30000個；穩(wěn)定性較差；訪問網(wǎng)頁的速度較慢；適合代理IP數(shù)量需求很大，對穩(wěn)定性要求不是很高的客戶。
proxies={"協(xié)議":"協(xié)議://IP:端口號"}
5、proxies參數(shù)用法示例
使用免費代理IP：
proxies={
‘http’:'http://IP:端口號',
‘https’:'https://IP:端口號',
}
注意：當抓取的地址為http時，則會選擇proxies中的http，反之選擇https
6、proxies參數(shù)具體示例
使用免費代理IP訪問測試網(wǎng)站（http://httpbin.org/get）并確認IP。
import requests
from fake_useragent import UserAgent
url = "http://httpbin.org/get" # 測試網(wǎng)站url地址
headers = {'User-Agent': UserAgent().random} # 請求頭
proxies = {
'http': 'http://222.74.73.202:42055',
'https': 'https://222.74.73.202:42055'
}
html = requests.get(url=url, headers=headers, proxies=proxies).text # 獲取響應(yīng)內(nèi)容
print(html)
可以看到IP為：222.74.73.202
7、私密代理和獨享代理
7.1、私密代理
私密代理IP：自營服務(wù)器IP；每天可用IP數(shù)量>50000個；穩(wěn)定性較好；訪問網(wǎng)頁的速度較快；適合代理IP數(shù)量要求很大，對代理品質(zhì)要求高的客戶。
7.2、獨享代理
獨享代理IP：自建服務(wù)器IP；每天可用IP數(shù)量>100個，按數(shù)量購買；穩(wěn)定性很好；訪問網(wǎng)頁的速度很快；適合代理IP數(shù)量需求不大，但對穩(wěn)定性要求極高的客戶。文章來源：http://www.zghlxwxcb.cn/news/detail-548948.html
7.3、私密代理和獨享代理特點
特點：私密代理和獨享代理 使用需要用戶名和密碼的認證，用戶名和密碼在對應(yīng)代理IP網(wǎng)站上查找文章來源地址http://www.zghlxwxcb.cn/news/detail-548948.html
7.4、私密代理和獨享代理語法格式
proxies={'協(xié)議':'協(xié)議://用戶名:密碼@IP:端口號'}
7.5、私密代理和獨享代理用法示例
proxies={
‘http’:'http://用戶名:密碼@IP:端口號'',
‘https’:'https://用戶名:密碼@IP:端口號'',
}
到了這里，關(guān)于【Python_requests學習筆記（五）】requests模塊中proxies參數(shù)用法的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！
