這篇文章主要介紹了php如何爬取天貓和淘寶商品數(shù)據(jù)，具有一定借鑒價值，感興趣的朋友可以參考下，希望大家閱讀完這篇文章之后大有收獲，下面讓小編帶著大家一起了解一下。

一、思路

最近做了一個網(wǎng)站用到了從網(wǎng)址爬取天貓和淘寶的商品信息，首先看了下手機端的網(wǎng)頁發(fā)現(xiàn)用的react，不太了解沒法搞，所以就考慮從PC入口爬取數(shù)據(jù)，但是當(dāng)爬取URL獲取數(shù)據(jù)時并沒有獲取價格，庫存等的信息，仔細(xì)研究了下發(fā)現(xiàn)是異步請求了另一個接口，但是接口要使用refer才能獲取數(shù)據(jù)，于是就通過以下方式寫了一個簡單的爬蟲，用于爬取商品預(yù)覽圖和商品的第一個分類的價格、庫存等。

二、實現(xiàn)

代碼如下：

function?crawlUrl($url){
import('PhpQuery.Curl');
?$curl=new?\Curl();
?$result?=?$curl->read($url);
?$content?=?mb_convert_encoding(?$result['content'],?'UTF-8',?'UTF-8,GBK,GB2312,BIG5'?);
?$myres=array();
?if(strrpos($url,'taobao.com')!=false)?{
??//匹配是否下架
??if(strpos($content,'此寶貝已下架')!==false){
???return?false;
??}
??preg_match("|itemId???:?'(.*)'|isU",?$content,?$match);
??$item_id=$match[1];
??preg_match("|sellerId???:?'(.*)'|isU",?$content,?$match);
??$sellet_id=$match[1];
??preg_match("|<title>(.*)</title>|isU",$content,$match);
??$title=$match[1];
??//價格庫存信息
??$ch?=?curl_init();
??curl_setopt?($ch,?CURLOPT_URL,?'/tupian/20230522/sib.htm
??$opt[CURLOPT_HEADER]=false;
??$opt[CURLOPT_CONNECTTIMEOUT]=15;
??$opt[CURLOPT_TIMEOUT]=300;
??$opt[CURLOPT_AUTOREFERER]=true;
??$opt[CURLOPT_USERAGENT]='Mozilla/5.0?(Windows?NT?6.1)?AppleWebKit/536.11?(KHTML,?like?Gecko)?Chrome/20.0.1132.47?Safari/536.11';
??curl_setopt_array($ch,$opt);
??curl_setopt?($ch,?CURLOPT_RETURNTRANSFER,?1);
??curl_setopt?($ch,CURLOPT_REFERER,$url);
??curl_setopt($ch,?CURLOPT_SSL_VERIFYPEER,?false);
??$out_put=curl_exec?($ch);
??curl_close?($ch);
??$res=str_replace('onSibRequestSuccess(',"",$out_put);
??$res=rtrim($res,');1');
??$result=json_decode($res,true);
??//查詢出圖片信息
??preg_match('|<ul?id="J_UlThumb"?class="tb-thumb?tb-clearfix">(.*)</ul>|isU',?$content,?$match);
??preg_match_all('/<img?data-src="(.*?)"?\//',?$match[1],?$images);

??$myres['title']=str_replace('-淘寶網(wǎng)','',$title);

??$myres['price']=current($result['data']['originalPrice']);

??$myres['act_price']=current($result['data']['promotion']['promoData']);

??$myres['stock']=$result['data']['dynStock']['stock'];

??$myres['banners']=$images[1];
?}else{
??//匹配是否下架
??if(strpos($content,'此寶貝已下架')!==false){
???return?false;
??}
??$start=strpos($url,'&id=');
??$item_id=substr($url,$start+4,12);
??if(!is_numeric($item_id)){
???$start=strpos($url,'?id=');
???$end=strpos($url,'&spm');
???$item_id=substr($url,$start+4,$end-$start-4);
??}
??preg_match("|<title>(.*)</title>|isU",$content,$match);
??$title=$match[1];
??$myurl='/tupian/20230522/initItemDetail.htm
??//價格庫存信息
??$ch?=?curl_init();
??curl_setopt?($ch,?CURLOPT_URL,?$myurl);
??$opt[CURLOPT_HEADER]=false;
??$opt[CURLOPT_CONNECTTIMEOUT]=15;
??$opt[CURLOPT_TIMEOUT]=300;
??$opt[CURLOPT_AUTOREFERER]=true;
??$opt[CURLOPT_USERAGENT]='Mozilla/5.0?(Windows?NT?6.1)?AppleWebKit/536.11?(KHTML,?like?Gecko)?Chrome/20.0.1132.47?Safari/536.11';
??curl_setopt_array($ch,$opt);
??curl_setopt?($ch,?CURLOPT_RETURNTRANSFER,?1);
??curl_setopt?($ch,CURLOPT_REFERER,$url);
??curl_setopt($ch,?CURLOPT_SSL_VERIFYPEER,?false);
??$out_put=curl_exec?($ch);
??curl_close?($ch);
??$res?=?mb_convert_encoding(?$out_put,?'UTF-8',?'UTF-8,GBK,GB2312,BIG5'?);
??$res=str_replace('setMdskip',"",$res);
??$res=str_replace('(',"",$res);
??$res=str_replace(')',"",$res);
??$result=json_decode($res,true);
??$nowk="";
??$nowstore="";
??foreach($result['defaultModel']['inventoryDO']['skuQuantity']?as?$k=>$val){
???$nowk=$k;
???$nowstore=$val;
???break;
??}

??$myres['title']=str_replace('-tmall.com天貓','',$title);

??$myres['price']=$result['defaultModel']['itemPriceResultDO']['priceInfo'][$nowk]['price'];

??$myres['act_price']=isset($result['defaultModel']['itemPriceResultDO']['priceInfo'][$nowk]['suggestivePromotionList'])?$result['defaultModel']['itemPriceResultDO']['priceInfo'][$nowk]['suggestivePromotionList']:$result['defaultModel']['itemPriceResultDO']['priceInfo'][$nowk];

??$myres['stock']=$result['defaultModel']['inventoryDO']['totalQuantity']?$result['defaultModel']['inventoryDO']['totalQuantity']:$nowstore['quantity'];
??//查詢出圖片信息
??preg_match('|<ul?id="J_UlThumb"?class="tb-thumb?tm-clear">(.*)</ul>|isU',$content,?$match);
??preg_match_all('/<img?src="(.*?)"?\//',$match[1],$images);
??$myres['banners']=$images[1];
?}
?return?$myres;
}

上述代碼用到phpquery的庫，但是其實沒啥用，直接用Curl就行，具體爬取的數(shù)據(jù)可以穿參查看結(jié)果，方法不區(qū)分淘寶和天貓鏈接，但是前提是必須是PC端鏈接，另外正則寫的不規(guī)范，所以可以自己重寫正則來匹配數(shù)據(jù)。

封裝后的接口名稱：item_get?

響應(yīng)字段表-試用API數(shù)據(jù)

到了這里，關(guān)于php如何爬取天貓和淘寶商品數(shù)據(jù)的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！