1、基本抓取網(wǎng)頁

get方法

post方法

2.使用代理服務(wù)器

這在某些情況下比較有用，

比如IP被封了，或者比如IP訪問的次數(shù)受到限制等等。

3.Cookies處理

是的沒錯，如果想同時用代理和cookie，

那就加入proxy_support然后operner改為 ，如下：

4.偽裝成瀏覽器訪問

某些網(wǎng)站反感爬蟲的到訪，于是對爬蟲一律拒絕請求。

這時候我們需要偽裝成瀏覽器，

這可以通過修改http包中的header來實現(xiàn)：

5、頁面解析

對于頁面解析最強大的當(dāng)然是正則表達式，

這個對于不同網(wǎng)站不同的使用者都不一樣，就不用過多的說明。

其次就是解析庫了，常用的有兩個lxml和BeautifulSoup。

對于這兩個庫，我的評價是，

都是HTML/XML的處理庫，Beautifulsoup純python實現(xiàn)，效率低，

但是功能實用，比如能用通過結(jié)果搜索獲得某個HTML節(jié)點的源碼；

lxmlC語言編碼，高效，支持Xpath。

6.驗證碼的處理

碰到驗證碼咋辦？

這里分兩種情況處理：

google那種驗證碼，沒辦法。

簡單的驗證碼：字符個數(shù)有限，只使用了簡單的平移或旋轉(zhuǎn)加噪音而沒有扭曲的，

這種還是有可能可以處理的，一般思路是旋轉(zhuǎn)的轉(zhuǎn)回來，噪音去掉，

然后劃分單個字符，劃分好了以后再通過特征提取的方法(例如PCA)降維并生成特征庫，

然后把驗證碼和特征庫進行比較。

這個比較復(fù)雜，這里就不展開了，

具體做法請弄本相關(guān)教科書好好研究一下。

7. gzip/deflate支持

現(xiàn)在的網(wǎng)頁普遍支持gzip壓縮，這往往可以解決大量傳輸時間，

以VeryCD的主頁為例，未壓縮版本247K，壓縮了以后45K，為原來的1/5。

這就意味著抓取速度會快5倍。

然而python的urllib/urllib2默認(rèn)都不支持壓縮

要返回壓縮格式，必須在request的header里面寫明’accept-encoding’，

然后讀取response后更要檢查header查看是否有’content-encoding’一項來判斷是否需要解碼，很繁瑣瑣碎。

如何讓urllib2自動支持gzip, defalte呢？

其實可以繼承BaseHanlder類，

然后build_opener的方式來處理：

8、多線程并發(fā)抓取

單線程太慢的話，就需要多線程了，

這里給個簡單的線程池模板 這個程序只是簡單地打印了1-10，

但是可以看出是并發(fā)的。

雖然說Python的多線程很雞肋

但是對于爬蟲這種網(wǎng)絡(luò)頻繁型，

還是能一定程度提高效率的。

9. 總結(jié)

閱讀Python編寫的代碼感覺像在閱讀英語一樣，這讓使用者可以專注于解決問題而不是去搞明白語言本身。

Python雖然是基于C語言編寫，但是摒棄了C中復(fù)雜的指針，使其變得簡明易學(xué)。

并且作為開源軟件，Python允許對代碼進行閱讀，拷貝甚至改進。

這些性能成就了Python的高效率，有“人生苦短，我用Python”之說，是一種十分精彩又強大的語言。

總而言之，開始學(xué)Python一定要注意這4點：文章來源地址http://www.zghlxwxcb.cn/news/detail-413844.html

1. 代碼規(guī)范，這本身就是一個非常好的習(xí)慣，如果開始不養(yǎng)好好的代碼規(guī)劃，以后會很痛苦。
2. 多動手，少看書，很多人學(xué)Python就一味的看書，這不是學(xué)數(shù)學(xué)物理，你看例題可能就會了，學(xué)習(xí)Python主要是學(xué)習(xí)編程思想。
3. 勤練習(xí)，學(xué)完新的知識點，一定要記得如何去應(yīng)用，不然學(xué)完就會忘，學(xué)我們這行主要都是實際操作。
4. 學(xué)習(xí)要有效率，如果自己都覺得效率非常低，那就停不停，找一下原因，去問問過來人這是為什么。

到了這里，關(guān)于Python爬蟲開發(fā)入門及開發(fā)技巧大全的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！