目錄
一、前言
二、requests 請(qǐng)求庫(kù)
1、requests 安裝
2、requests 的基本使用
三、Beautiful Soup
1、Beautiful Soup 安裝
2、BeautifulSoup對(duì)象介紹與創(chuàng)建
3、BeautifulSoup對(duì)象的find方法
四、總結(jié)
一、前言
什么是爬蟲(chóng)？
網(wǎng)絡(luò)爬蟲(chóng)（又被稱為網(wǎng)頁(yè)蜘蛛，網(wǎng)絡(luò)機(jī)器人）就是模擬客戶端發(fā)送網(wǎng)絡(luò)請(qǐng)求，獲取響應(yīng)數(shù)據(jù)，一種按照一定的規(guī)則，自動(dòng)地抓取萬(wàn)維網(wǎng)信息的程序或腳本。
他的作用是什么？
從萬(wàn)維網(wǎng)上獲取, 我們需要的信息。
二、requests 請(qǐng)求庫(kù)
requests 是一個(gè)基于 Python 的 HTTP 請(qǐng)求庫(kù)，它簡(jiǎn)化了發(fā)送 HTTP 請(qǐng)求和處理響應(yīng)的過(guò)程。使用 requests 庫(kù)，開(kāi)發(fā)者可以輕松地發(fā)送 GET、POST、PUT、DELETE 等類(lèi)型的請(qǐng)求，并處理返回的數(shù)據(jù)。requests 庫(kù)提供了簡(jiǎn)潔易用的 API 接口，使得進(jìn)行 HTTP 請(qǐng)求變得非常方便。它支持 SSL、連接池、Cookie 持久化、代理、認(rèn)證等功能，是 Python 中常用的 HTTP 請(qǐng)求庫(kù)之一，廣泛應(yīng)用于網(wǎng)絡(luò)爬蟲(chóng)、Web 開(kāi)發(fā)等領(lǐng)域。
1、requests 安裝
在終端(命令行工具) 運(yùn)行這個(gè)簡(jiǎn)單命令即可 “pip install requests”。
注意：
如果你要安裝Python虛擬環(huán)境中, 先進(jìn)入虛擬機(jī)環(huán)境再執(zhí)行上述命令
如果系統(tǒng)中既安裝了Python2 又安裝了 Python3, 需要安裝Python3環(huán)境中: ?pip3 install requests
2、requests 的基本使用
導(dǎo)入模塊、發(fā)送get請(qǐng)求, 獲取響應(yīng): 、從響應(yīng)中獲取數(shù)據(jù):?
這串代碼的作用是什么呢？常見(jiàn)屬性又是什么呢？
response.text : ?響應(yīng)體 str類(lèi)型
response.ecoding : ?二進(jìn)制轉(zhuǎn)換字符使用的編碼
respones.content: ?響應(yīng)體 bytes類(lèi)型
三、Beautiful Soup
Beautiful Soup 是一個(gè)用于解析 HTML 和 XML 文檔的 Python 庫(kù)。它可以幫助開(kāi)發(fā)者從網(wǎng)頁(yè)中提取數(shù)據(jù)，進(jìn)行信息檢索和數(shù)據(jù)挖掘等操作。通過(guò) Beautiful Soup，開(kāi)發(fā)者可以方便地遍歷文檔樹(shù)、搜索特定內(nèi)容，并提取所需信息。這個(gè)庫(kù)提供了簡(jiǎn)單又靈活的方式來(lái)處理復(fù)雜的 HTML 和 XML 結(jié)構(gòu)，是 Python 爬蟲(chóng)和數(shù)據(jù)抓取中常用的工具之一。
1、Beautiful Soup 安裝
# 安裝 Beautiful Soup 4
pip install bs4
# 安裝 lxml
pip install lxml
2、BeautifulSoup對(duì)象介紹與創(chuàng)建
BeautifulSoup對(duì)象: 代表要解析整個(gè)文檔樹(shù),
它支持?遍歷文檔樹(shù)?和?搜索文檔樹(shù)?中描述的大部分的方法.
創(chuàng)建 BeautifulSoup 對(duì)象
注意：可能存在警告問(wèn)題
解決警告問(wèn)題
3、BeautifulSoup對(duì)象的find方法
四、總結(jié)
利用Python爬蟲(chóng)獲取xx數(shù)據(jù)前置環(huán)境要求完成，下一篇就開(kāi)始正片了。文章來(lái)源：http://www.zghlxwxcb.cn/news/detail-841741.html
文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-841741.html
到了這里，關(guān)于利用Python爬蟲(chóng)獲取xx數(shù)據(jù)的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！
