大家好,我是程序員曉曉~
本期給大家分享一下如何用python獲取微博熱搜榜信息,包含爬取時間、序號、關(guān)鍵詞、熱度等信息,希望對大家有所幫助。
所有內(nèi)容僅供參考,不做他用。
1. 網(wǎng)頁分析
目標網(wǎng)址(微博熱搜榜):
https://s.weibo.com/top/summary
實時熱搜榜一共有50條,每個時刻可能都不一樣(實時榜單)。
接下來,按 F12 或者右鍵選擇審查元素,以第一個小楊哥發(fā)工資回應(yīng)為例搜索一下:
這里我們可以看到相應(yīng)的熱度數(shù)據(jù)以及具體鏈接。
繼續(xù)搜索其他元素:
發(fā)現(xiàn)實際上這個熱搜榜的信息在網(wǎng)頁中是以表格(Table)的形式展現(xiàn)的。
2. 爬取數(shù)據(jù)
2.1 導入模塊
import time
import requests
import pandas as pd
2.2 請求網(wǎng)頁數(shù)據(jù)
headers = {
'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/116.0.0.0 Safari/537.36',
}
url = 'https://s.weibo.com/top/summary'
df = getweibodata(url,headers)
2.3 解析數(shù)據(jù)
time_mow = time.strftime("%Y-%m-%d %H:%M", time.localtime())
df['時間'] = [time_mow] * df.shape[0]
df['排名'] = df['序號'].apply(int)
df['標題'] = df['關(guān)鍵詞'].str.split(' ', expand=True)[0]
df['熱度'] = df['關(guān)鍵詞'].str.split(' ', expand=True)[1]
2.4 保存結(jié)果
df = pd.DataFrame(all_data,columns=cols)
df.to_excel('微博熱搜榜.xlsx',index=None)
感興趣的小伙伴,贈送全套Python學習資料,包含面試題、簡歷資料等具體看下方。
一、Python所有方向的學習路線
Python所有方向的技術(shù)點做的整理,形成各個領(lǐng)域的知識點匯總,它的用處就在于,你可以按照下面的知識點去找對應(yīng)的學習資源,保證自己學得較為全面。
二、Python必備開發(fā)工具
工具都幫大家整理好了,安裝就可直接上手!
三、最新Python學習筆記
當我學到一定基礎(chǔ),有自己的理解能力的時候,會去閱讀一些前輩整理的書籍或者手寫的筆記資料,這些筆記詳細記載了他們對一些技術(shù)點的理解,這些理解是比較獨到,可以學到不一樣的思路。
四、Python視頻合集
觀看全面零基礎(chǔ)學習視頻,看視頻學習是最快捷也是最有效果的方式,跟著視頻中老師的思路,從基礎(chǔ)到深入,還是很容易入門的。
五、實戰(zhàn)案例
紙上得來終覺淺,要學會跟著視頻一起敲,要動手實操,才能將自己的所學運用到實際當中去,這時候可以搞點實戰(zhàn)案例來學習。
六、面試寶典
文章來源:http://www.zghlxwxcb.cn/news/detail-786785.html
文章來源地址http://www.zghlxwxcb.cn/news/detail-786785.html
簡歷模板

到了這里,關(guān)于爬蟲 | Python爬取微博實時熱搜榜信息的文章就介紹完了。如果您還想了解更多內(nèi)容,請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章,希望大家以后多多支持TOY模板網(wǎng)!