導(dǎo)言
最近由于需求想爬取以下東方財富網(wǎng)的股票數(shù)據(jù)，但是發(fā)現(xiàn)沒有想象那么簡單，接下來我會講述一下我遇到的問題以及是如何解決，最后成功的爬出了想要的數(shù)據(jù)。
查看網(wǎng)頁源碼
首先我們F12打開東方財富網(wǎng)網(wǎng)頁源碼，以指南針(300803)為例：
我們先點(diǎn)擊網(wǎng)絡(luò)，再點(diǎn)擊300803.html，再選擇右邊彈出來的預(yù)覽或響應(yīng)，可以發(fā)現(xiàn)，源碼中并沒有我們想要的股票數(shù)據(jù)，但是再網(wǎng)頁中又有我們想要的收盤價等數(shù)據(jù)，說明這很可能數(shù)據(jù)是Ajax動態(tài)加載出來的，一般而言數(shù)據(jù)會存儲再一個json文件之中。
找出儲存數(shù)據(jù)的json文件
我們很容易找到當(dāng)前網(wǎng)頁中該股票的當(dāng)日收盤價，所以我們可以以此為關(guān)鍵詞進(jìn)行搜索，搜索步驟為：在頁面右邊的網(wǎng)頁信息頁面，ctrl+F，即可打開搜索框，結(jié)果如下圖所示，發(fā)現(xiàn)有三個url文件包含該數(shù)值：
點(diǎn)擊進(jìn)去可以發(fā)現(xiàn)里面都有大量的數(shù)據(jù)，這些數(shù)據(jù)也是網(wǎng)頁所顯示的數(shù)據(jù)來源，根據(jù)不同的數(shù)據(jù)需求，選擇某一個url進(jìn)行數(shù)據(jù)提取，接下來的數(shù)據(jù)提取以第二個URL為例，即K線圖的原始數(shù)據(jù)。
解析URL地址
該URL地址為：
https://push2his.eastmoney.com/api/qt/stock/kline/get?cb=jQuery1123008330414708828249_1669967900108&fields1=f1%2Cf2%2Cf3%2Cf4%2Cf5%2Cf6&fields2=f51%2Cf52%2Cf53%2Cf54%2Cf55%2Cf56%2Cf57%2Cf58%2Cf59%2Cf60%2Cf61&ut=b2884a393a59ad64002292a3e90d46a5&klt=101&fqt=1&secid=0.300803&beg=20201202&end=20500000&_=1669967900117
可以發(fā)現(xiàn)里面有許多查詢參數(shù)，我們需要一個一個進(jìn)行分析。
cb
該參數(shù)值為：
jQuery1123008330414708828249_1669967900108
通過查看其他股票代碼的網(wǎng)頁可以發(fā)現(xiàn)，前綴jQuery是不變的，后面的一串?dāng)?shù)字有變化。點(diǎn)擊上一張圖負(fù)載旁邊的發(fā)起程序，可以發(fā)現(xiàn)發(fā)送操作和異步加載操作的來源是
jquery.min.js
因此，打開該js文件，ctr+F搜索jQuery可以發(fā)現(xiàn)cb參數(shù)的來源，如下圖所示。結(jié)果表明該參數(shù)值是通過JS代碼賦值的。往前搜索m可以發(fā)現(xiàn)m為一個固定的字符串值1.12.3，這應(yīng)該是版本號；后面再添加一個0到1隨機(jī)數(shù)組合為一個字符串；最后的replace操作則是對該字符串所有非數(shù)字字符替換為空。因此下劃線前面的數(shù)字已經(jīng)被解讀出來了。
通過上圖可以發(fā)現(xiàn)，該參數(shù)首先被賦值給變量expando，通過搜索我們很快的可以找到下劃線后面的數(shù)字來源，如下圖所示：
因此，這個變量Eb是關(guān)鍵。同理我們搜索變量Eb，可以發(fā)現(xiàn)該變量是一個時間戳，考慮其位數(shù)，可以聯(lián)想到對當(dāng)前書簡戳乘以1000再取整，經(jīng)過檢驗(yàn)是正確的。
因而我們解讀出了該參數(shù)的構(gòu)成，python代碼實(shí)現(xiàn)如下：
jq = re.sub('\D','','1.12.3'+str(random.random()))
tm = int(time.time()*1000)
'jQuery{}_{}'.format(jq,tm)
fields1,fields2,ut,klt1,fqt
經(jīng)過對多個不同股票數(shù)據(jù)查詢的參數(shù)對比，容易發(fā)現(xiàn)，這些參數(shù)都是一個固定值，只需要賦值即可
secid
顯而易見，該參數(shù)值小數(shù)點(diǎn)后是股票代碼。經(jīng)過對上交所，深交所，北交所的股票數(shù)據(jù)查詢發(fā)現(xiàn)，若為上交所股票，小數(shù)點(diǎn)前為1，否則為0，所以python代碼構(gòu)建該參數(shù)如下：
c = 1 if code[0]=='6' else 0
{}.{}'.format(c,code)
beg,end,_
很顯然，這兩個參數(shù)就是股票數(shù)據(jù)查詢的起始日期和終止日期；可以發(fā)現(xiàn)，下劃線參數(shù)與前面的cb參數(shù)的時間戳是一致的。文章來源：http://www.zghlxwxcb.cn/news/detail-461435.html
完整代碼
最后，完整爬取代碼如下，該代碼只是簡單的進(jìn)行了函數(shù)包裝，有精力的小伙伴可以將其包裝為一個類，本人水平有限，代碼僅供參考：文章來源地址http://www.zghlxwxcb.cn/news/detail-461435.html
#爬蟲程序
import requests
from lxml import etree
#from fake_useragent import UserAgent
import random
import time
import urllib
import json
#ua = UserAgent()
def Spider_stock(code_list,begin,end='20500000'):
url = 'https://push2his.eastmoney.com/api/qt/stock/kline/get?'
header ={'User-Agent':"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/107.0.0.0 Safari/537.36 Edg/107.0.1418.62",
'Cookie':'qgqp_b_id=e66305de7e730aa89f1c877cc0849ad1; qRecords=%5B%7B%22name%22%3A%22%u6D77%u9E25%u4F4F%u5DE5%22%2C%22code%22%3A%22SZ002084%22%7D%5D; st_pvi=80622161013438; st_sp=2022-09-29%2022%3A47%3A13; st_inirUrl=https%3A%2F%2Fcn.bing.com%2F; HAList=ty-1-000300-%u6CAA%u6DF1300%2Cty-0-002108-%u6CA7%u5DDE%u660E%u73E0%2Cty-1-600455-%u535A%u901A%u80A1%u4EFD%2Cty-0-002246-%u5317%u5316%u80A1%u4EFD',
'Referer':'https://data.eastmoney.com/',
'Host':'push2his.eastmoney.com'}
stock_df = pd.DataFrame(columns=['股票代碼','股票名稱',"時間",'開盤價','收盤價','最高價','最低價',"漲跌幅",'漲跌額',
"成交量","成交額","振幅","換手率"])
for code in code_list:
#構(gòu)建url參數(shù)
jq = re.sub('\D','','1.12.3'+str(random.random()))
tm = int(time.time()*1000)
c = 1 if code[0]=='6' else 0
params={'cb':'jQuery{}_{}'.format(jq,tm),
'fields1':urllib.request.unquote('f1%2Cf2%2Cf3%2Cf4%2Cf5%2Cf6',encoding='utf-8'),
'fields2':urllib.request.unquote('f51%2Cf52%2Cf53%2Cf54%2Cf55%2Cf56%2Cf57%2Cf58%2Cf59%2Cf60%2Cf61',encoding='utf-8'),
'ut':'b2884a393a59ad64002292a3e90d46a5',
'klt':'101',
'fqt':'1',
'secid':'{}.{}'.format(c,code),
'beg':begin,
'end':end,
'_':'{}'.format(tm)
}
#發(fā)送請求
res = requests.get(url.format(code),headers=header,params=params)
res.encoding="utf-8"
#去除js數(shù)據(jù)中的無關(guān)字符，以便符合json數(shù)據(jù)格式
html = res.text.lstrip('jQuery{}_{}'.format(jq,tm)+'(')
html = html.rstrip(');')
#轉(zhuǎn)換為json數(shù)據(jù)
js_html = json.loads(html)
js_data = js_html['data']
js_klines = js_data['klines']
day_num = len(js_klines)
for num in range(day_num):
stock_df.loc[len(stock_df)]=[str(js_data['code']),js_data['name'],js_klines[num].split(",")[0],js_klines[num].split(",")[1],
js_klines[num].split(",")[2],js_klines[num].split(",")[3],js_klines[num].split(",")[4],
js_klines[num].split(",")[8],js_klines[num].split(",")[9],js_klines[num].split(",")[5],
js_klines[num].split(",")[6],js_klines[num].split(",")[7],js_klines[num].split(",")[10]
]
time.sleep(0.1)
return stock_df
if __name__ == '__main__':
stock_df = Spider_stock(code_list,begin='20220915')
到了這里，關(guān)于Python爬取東方財富網(wǎng)任意股票任意時間段的Ajax動態(tài)加載股票數(shù)據(jù)的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！
