前言
本文是該專欄的第45篇，后面會(huì)持續(xù)分享python爬蟲干貨知識(shí)，記得關(guān)注。
在面對(duì)海量數(shù)據(jù)的采集需求時(shí)，使用分布式爬蟲是非常有必要的。繼上一篇，詳細(xì)介紹主從分布式爬蟲架構(gòu)，對(duì)主從分布式相關(guān)知識(shí)感興趣的同學(xué)，可往前翻閱。而本文，筆者再單獨(dú)來詳細(xì)介紹分布式爬蟲架構(gòu)的另一個(gè)——對(duì)等分布式。
對(duì)等分布式是指分布式系統(tǒng)中的所有工作節(jié)點(diǎn)之間沒有主從之分，雖然它們?cè)谙嗤沫h(huán)境下具有相同的功能，但是既沒有控制中心主節(jié)點(diǎn)，也沒有被調(diào)度的子節(jié)點(diǎn)，組成分布式系統(tǒng)的所有節(jié)點(diǎn)都是對(duì)等的。
下面跟著筆者直接往下探索，對(duì)等分布式爬蟲架構(gòu)的詳細(xì)知識(shí)點(diǎn)，以及主從分布式和對(duì)等分布式兩者之間的優(yōu)缺點(diǎn)。
正文文章來源：http://www.zghlxwxcb.cn/news/detail-424360.html
對(duì)等分布式，在爬蟲架構(gòu)中的具體體現(xiàn)是每個(gè)對(duì)等節(jié)點(diǎn)根據(jù)特定規(guī)則主動(dòng)從共享任務(wù)隊(duì)列中，取出自己負(fù)責(zé)管理的采集任務(wù)，然后開始負(fù)責(zé)各自的采集任務(wù)，每個(gè)對(duì)等節(jié)點(diǎn)之間互不干擾，如下圖所示：文章來源地址http://www.zghlxwxcb.cn/news/detail-424360.html
到了這里，關(guān)于分布式爬蟲架構(gòu)-對(duì)等分布式（2）的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！
