第十一章 Python第三方庫(kù)縱覽
11.1 網(wǎng)絡(luò)爬蟲(chóng)方向
網(wǎng)絡(luò)爬蟲(chóng)是自動(dòng)進(jìn)行HTTP訪問(wèn)并捕獲HTML頁(yè)面的程序。Python語(yǔ)言提供了多個(gè)具備網(wǎng)絡(luò)爬蟲(chóng)功能的第三方庫(kù)。這里介紹兩個(gè)常用的Python網(wǎng)絡(luò)爬蟲(chóng)庫(kù):requests和scrapy。
11.1.1 requests
<requests庫(kù)是一個(gè)簡(jiǎn)潔且簡(jiǎn)單的處理HTTP請(qǐng)求的第三方庫(kù),其最大優(yōu)點(diǎn)是程序編寫過(guò)程更接近正常URL訪問(wèn)過(guò)程。這個(gè)庫(kù)建立在Python語(yǔ)言的urllib3庫(kù)基礎(chǔ)上。
requests庫(kù)支持非常豐富的鏈接訪問(wèn)功能,包括國(guó)際域名和URL獲取、HTTP長(zhǎng)連接和連接緩存、HTTP會(huì)話和cookie保存、瀏覽器使用風(fēng)格的SSL驗(yàn)證、基本的摘要認(rèn)證、有效的鍵值對(duì)cookie記錄、自動(dòng)解壓縮、自動(dòng)內(nèi)容解碼、文件分塊上傳、HTTP(S)代理功能、連接超時(shí)處理、流數(shù)據(jù)下載等。文章來(lái)源:http://www.zghlxwxcb.cn/news/detail-473466.html
安裝requests庫(kù)方法如下:文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-473466.html
到了這里,關(guān)于第十一章 Python第三方庫(kù)縱覽的文章就介紹完了。如果您還想了解更多內(nèi)容,請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章,希望大家以后多多支持TOY模板網(wǎng)!