事出原由

遇到一個(gè)需要采集境外電商的需求，相比國(guó)內(nèi)各種層出不窮的反爬手段，境外產(chǎn)品更注重于用戶(hù)行為和指紋上。

所以筆者在想是否有類(lèi)似于指紋瀏覽器的環(huán)境可以提供給爬蟲(chóng)采集器使用。

經(jīng)過(guò)檢索，找到了一種名為爬蟲(chóng)網(wǎng)絡(luò)解鎖器的新興產(chǎn)品。

爬蟲(chóng)網(wǎng)絡(luò)解鎖器

所謂的網(wǎng)絡(luò)解鎖器，是指能夠突破網(wǎng)絡(luò)限制，讓用戶(hù)能夠訪問(wèn)被封鎖網(wǎng)站的工具。

而在爬蟲(chóng)領(lǐng)域，爬蟲(chóng)網(wǎng)絡(luò)解鎖器（本質(zhì)上也屬于一種代理通道）可以幫助爬蟲(chóng)程序訪問(wèn)一些具有反爬限制或被封鎖的網(wǎng)站或數(shù)據(jù)源。

有時(shí)候逆向分析過(guò)于繁瑣，人力開(kāi)發(fā)成本過(guò)高，通過(guò)網(wǎng)絡(luò)解鎖器不必為了反爬限制增加人力和工時(shí)消耗，它在后臺(tái)完全模擬真實(shí)用戶(hù)操作，讓你能獲得完美暢通的響應(yīng)。當(dāng)然這并不代表所有的反爬都能繞過(guò)，相對(duì)于一些基于Cookie、指紋校驗(yàn)、行為記錄 的網(wǎng)站會(huì)有更好的收益。

不過(guò)需要注意的是，使用不當(dāng)?shù)木W(wǎng)絡(luò)解鎖器可能會(huì)違反相關(guān)法律法規(guī)或者用戶(hù)協(xié)議。

爬蟲(chóng)使用網(wǎng)絡(luò)解鎖器時(shí)則需要格外小心，以免觸犯相關(guān)規(guī)定導(dǎo)致法律風(fēng)險(xiǎn)。

解鎖服務(wù)提供商

筆者大概找了一些廠商，沒(méi)有全部進(jìn)行測(cè)試，后續(xù)等空閑時(shí)間對(duì)此類(lèi)解鎖器進(jìn)行測(cè)評(píng)。具體嘗試了行業(yè)內(nèi)擁有類(lèi)似產(chǎn)品的三家供應(yīng)商，包括以色列的亮數(shù)據(jù)。

有一些網(wǎng)絡(luò)解鎖器服務(wù)提供商，它們提供付費(fèi)或者免費(fèi)的解鎖服務(wù)。需要注意的是，有些解鎖服務(wù)提供商在提供解鎖服務(wù)的同時(shí)，可能會(huì)進(jìn)行數(shù)據(jù)監(jiān)測(cè)和收集，這可能涉及到您的數(shù)據(jù)隱私問(wèn)題，因此在選擇解鎖服務(wù)提供商時(shí)需要格外慎重。

比較下來(lái)，覺(jué)得 BrightData的產(chǎn)品亮網(wǎng)絡(luò)解鎖器好用，以下為示例。

如何使用

1、訪問(wèn)官網(wǎng)：點(diǎn)擊 注冊(cè)賬號(hào)， 建議使用企業(yè)郵箱注冊(cè)，因?yàn)榭梢悦赓M(fèi)試用。

2、注冊(cè)需要驗(yàn)證，登錄后，可轉(zhuǎn)到后臺(tái)控制面板。

3、選擇Proxies & Scraping Infrastructure

4、創(chuàng)建通道，選擇解鎖器

5、查看訪問(wèn)參數(shù)

參數(shù)中有用戶(hù)名和密碼，可使用右側(cè)的curl命令進(jìn)行測(cè)試。

在 Check out code and integration examples 中，可選擇適合自己開(kāi)發(fā)語(yǔ)言的demo。

6、用python語(yǔ)言進(jìn)行測(cè)試。

#!/usr/bin/env python
# -*- coding: utf-8 -*-
import requests

ProxyHandler = {
    'http': '用戶(hù)名:密碼@主機(jī)',
    'https': '用戶(hù)名:密碼@主機(jī)'
}

print(requests.get('http://lumtest.com/myip.json',proxies=ProxyHandler).text)

先運(yùn)行測(cè)試代碼查看自己的代理是否使用成功，當(dāng)返回的IP不再是本機(jī)IP則說(shuō)明使用成功了。

測(cè)試案例 Amazn

Amazn具有驗(yàn)證碼、Cookie跟蹤，IP訪問(wèn)頻率限制，訪問(wèn)軌跡跟蹤等反爬措施。

正常訪問(wèn) https://www.amazon.com/dp/B00O4VR7B6?th=1&psc=1直接進(jìn)入驗(yàn)證界面。

當(dāng)我們用普通代理訪問(wèn)時(shí)會(huì)被防火墻檢測(cè)到，并觸發(fā)驗(yàn)證碼。同時(shí)想要用程序大量訪問(wèn)接口時(shí)，則需要拿到經(jīng)過(guò)人機(jī)驗(yàn)證后的參數(shù)。如果做逆向的話，需要開(kāi)發(fā)時(shí)間和人力成本。此時(shí)不如采用網(wǎng)絡(luò)解鎖器來(lái)進(jìn)行訪問(wèn)。

#!/usr/bin/env python
# -*- coding: utf-8 -*-

import requests

ProxyHandler = {
    'http': '',
    'https': ''}

headers = {
    "user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/112.0.0.0 Safari/537.36"
}

url = 'https://www.amazon.com/dp/B00O4VR7B6?th=1&psc=1'
print(requests.get(url,proxies=ProxyHandler,verify=False,headers=headers).text)

所以通過(guò)解鎖器訪問(wèn)Amazn可以不考慮風(fēng)控，用其動(dòng)態(tài)住宅代理網(wǎng)絡(luò)繞過(guò)行為校驗(yàn)，解鎖Header、指紋等。

不過(guò)需要注意的是解鎖器并不能通用于所有站點(diǎn)，由于一些網(wǎng)站的特殊性和代理行為的安全性，動(dòng)態(tài)住宅都有風(fēng)控，也就是說(shuō)不管是誰(shuí)來(lái)用這個(gè)動(dòng)態(tài)住宅，都必須通過(guò)代理商的風(fēng)控，很多不合法不合規(guī)的用例是不允許的。

查看了以下亮網(wǎng)絡(luò)解鎖器能用的網(wǎng)站，超過(guò)2千個(gè)，涵蓋了各領(lǐng)域流行平臺(tái)。

所以使用之前先聯(lián)系廠商咨詢(xún)是否可用于自己的需求。我本來(lái)是要測(cè)試臺(tái)灣的Dcard網(wǎng)站，結(jié)果顯示無(wú)法使用亮數(shù)據(jù)的解鎖器，一經(jīng)詢(xún)問(wèn)，技術(shù)支持告知凡是沒(méi)有搜錄到可使用這個(gè)產(chǎn)品的網(wǎng)站，需要先提交給他們，等待納入后即可使用。

更多內(nèi)容可到官網(wǎng)查看。

測(cè)試案例二 Yandex

Yandex是俄羅斯的一款搜索引擎,也有人把它比作俄羅斯的谷歌。其反爬蟲(chóng)措施也是基于多層的cookie參數(shù)和人機(jī)驗(yàn)證。境外的搜索引擎大都使用了相同的反爬措施，所以不太建議逆向分析。

針對(duì)于這些特種站點(diǎn)，Bright data亮數(shù)據(jù)提出了一種專(zhuān)用于搜索引擎爬蟲(chóng)SERP代理類(lèi)型。

Python代碼 demo：

#!/usr/bin/env python
# -*- coding: utf-8 -*-

import requests
from lxml import etree

ProxySerp = {
    'http': 'your proxy info',
    'https': 'your proxy info'
}

headers = {
    "user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/112.0.0.0 Safari/537.36"
}

url = 'https://yandex.com/search/?text=lx'
html = requests.get(url,proxies=ProxySerp,verify=False,headers=headers).text
print(html)
e = etree.HTML(html)
print(e.xpath('//title/text()'))
print(e.xpath('//span[@class="OrganicTitleContentSpan organic__title"]//text()'))

Serp除了很適用于Yandex外，還支持Google、GoogleMap、Bing、DuckDuckGo等互聯(lián)網(wǎng)搜索引擎。

GoogleMap搜索示例：

經(jīng)筆者測(cè)試后，Serp采集效果較為穩(wěn)定，有境外搜索引擎采集需求的可以前往官網(wǎng)試用。

地址：https://luminati-china.biz/cp/zones/serp_playground

經(jīng)驗(yàn)總結(jié)

使用網(wǎng)絡(luò)解鎖器并發(fā)采集時(shí)先了解相關(guān)法律法規(guī)和技術(shù)實(shí)現(xiàn)，以及仔細(xì)評(píng)估需要訪問(wèn)的網(wǎng)站的實(shí)際情況，謹(jǐn)慎決策。

本文給大家分享的內(nèi)容到這里收尾了，后續(xù)會(huì)通過(guò)更多的案例來(lái)測(cè)試 Bright Data亮數(shù)據(jù) 的其它產(chǎn)品。文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-469245.html

到了這里，關(guān)于一種新的爬蟲(chóng)網(wǎng)絡(luò)解鎖器的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！