国产 无码 综合区,色欲AV无码国产永久播放,无码天堂亚洲国产AV,国产日韩欧美女同一区二区

Python批量爬取B站法外狂徒張三所有視頻【含jS逆向解密】

這篇具有很好參考價值的文章主要介紹了Python批量爬取B站法外狂徒張三所有視頻【含jS逆向解密】。希望對大家有所幫助。如果存在錯誤或未考慮完全的地方,請大家不吝賜教,您也可以點擊"舉報違法"按鈕提交疑問。

Python批量爬取B站法外狂徒張三所有視頻【含jS逆向解密】

傳說中,有人因為只是遠遠的看了一眼法外狂徒張三就進去了??

我現(xiàn)在是獲取他視頻,豈不是直接終生了??

網(wǎng)友:趕緊跑路吧 ??

好了話不多說,我們直接開始今天的內容吧!

你需要準備

環(huán)境使用

  • Python 3.8
  • Pycharm

模塊使用

  • import requests
  • import csv
  • import datetime
  • import hashlib
  • import time

爬蟲實現(xiàn)基本流程

一、數(shù)據(jù)來源分析

  1. 明確需求
    - 明確采集網(wǎng)站以及數(shù)據(jù)
    網(wǎng)址: https://space.bilibili.ubdate
    數(shù)據(jù): 視頻基本信息: 標題 播放量 評論 彈幕 上傳時間 …
  2. 抓包分析
    - 打開開發(fā)者工具: F12 / 右鍵點擊檢查選擇network
    - 點擊網(wǎng)頁下一頁 --> XHR 第一條數(shù)據(jù)包就是我們需要的內容
    數(shù)據(jù)包: https://api.bilibili.com/x/space/wbi/arc/search?mid=517327498&ps=30&tid=0&pn=3&keyword=&order=pubdate&platform=web&web_location=1550101&order_avoided=true&w_rid=c9a9f931486961175b1e8138d695680e&wts=1690027894

二. 代碼實現(xiàn)步驟 <固定四個大步驟>

  1. 發(fā)送請求, 模擬瀏覽器對于url地址發(fā)送請求
    請求鏈接: 數(shù)據(jù)包鏈接
  2. 獲取數(shù)據(jù), 獲取服務器返回響應數(shù)據(jù)
    開發(fā)者工具: response
  3. 解析數(shù)據(jù), 提取我們需要的數(shù)據(jù)內容
    視頻基本信息
  4. 保存數(shù)據(jù), 把信息數(shù)據(jù)保存表格文件

代碼展示

import time
 
# 導入數(shù)據(jù)請求模塊 第三方模塊 需要安裝
import requests
# 導入格式化輸出模塊
from pprint import pprint
import datetime
# 導入csv模塊
import csv
import hashlib
# 文章不理解,我還錄制了詳細視頻
# 都放在這個q裙了:708525271
 
f = open('信息.csv', mode='w', encoding='utf-8', newline='')
csv_writer = csv.DictWriter(f, fieldnames=[
    '標題',
    '描述',
    'BV號',
    '播放量',
    '彈幕',
    '評論',
    '時長',
    '上傳時間',
])
csv_writer.writeheader()
 
# 模擬瀏覽器 -> 基本反反爬蟲措施
headers = {
    # 用戶代理 表示瀏覽器基本身份信息
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36'
}
for page in range(1, 11):
    string = f'keyword=&mid=517327498&order=pubdate&order_avoided=true&platform=web&pn={page}&ps=30&tid=0&web_location=1550101&wts={int(time.time())}6eff17696695c344b67618ac7b114f92'
    # 實例化對象
    md5_hash = hashlib.md5()
    md5_hash.update(string.encode('utf-8'))
    # 請求鏈接
    url = 'https://api.bilibili.com/x/space/wbi/arc/search'
    # 請求參數(shù)
    data = {
        'mid': '517327498',
        'ps': '30',
        'tid': '0',
        'pn': page,
        'keyword': '',
        'order': 'pubdate',
        'platform': 'web',
        'web_location': '1550101',
        'order_avoided': 'true',
        'w_rid': md5_hash.hexdigest(),
        'wts': int(time.time()),
    }
    # 發(fā)送請求 <Response [200]> 響應對象 表示請求成功
    response = requests.get(url=url, params=data, headers=headers)

    for index in response.json()['data']['list']['vlist']:
        # 時間戳 時間節(jié)點 --> 上傳視頻時間點
        date = index['created']
        dt = datetime.datetime.fromtimestamp(date)
        dt_time = dt.strftime('%Y-%m-%d')
        dit = {
            '標題': index['title'],
            '描述': index['description'],
            'BV號': index['bvid'],
            '播放量': index['play'],
            '彈幕': index['video_review'],
            '評論': index['comment'],
            '時長': index['length'],
            '上傳時間': dt_time,
        }
        # 寫入數(shù)據(jù)
        csv_writer.writerow(dit)
        print(dit)

?

好了,今天的分享就到這里結束了,咱們下次見文章來源地址http://www.zghlxwxcb.cn/news/detail-626102.html

到了這里,關于Python批量爬取B站法外狂徒張三所有視頻【含jS逆向解密】的文章就介紹完了。如果您還想了解更多內容,請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關文章,希望大家以后多多支持TOY模板網(wǎng)!

本文來自互聯(lián)網(wǎng)用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。如若轉載,請注明出處: 如若內容造成侵權/違法違規(guī)/事實不符,請點擊違法舉報進行投訴反饋,一經(jīng)查實,立即刪除!

領支付寶紅包贊助服務器費用

相關文章

  • ins視頻批量下載,instagram批量爬取視頻信息【爬蟲實戰(zhàn)課1】

    ins視頻批量下載,instagram批量爬取視頻信息【爬蟲實戰(zhàn)課1】

    Instagram 是目前最熱門的社交媒體平臺之一,擁有大量優(yōu)質的視頻內容。但是要逐一下載這些視頻往往非常耗時。在這篇文章中,我們將介紹如何使用 Python 編寫一個腳本,來實現(xiàn) Instagram 視頻的批量下載和信息爬取。 我們使用selenium獲取目標用戶的 HTML 源代碼,并將其保存在本地

    2024年04月23日
    瀏覽(29)
  • 爬取b站任意視頻下的所有評論【附完整代碼】

    今天花了一上午探究如何用selenium獲取b站視頻下面的評論,一開始只是想用一個視頻來練練手,后面逐漸改成了所有視頻都適用的完整代碼。 話不多說,直接上源碼: 因為我是用的jupyter,所以整個代碼包括兩個部分。下面這段代碼用于完成獲取自動登錄b站所需的cookie。 下

    2024年02月04日
    瀏覽(17)
  • 通用視頻下載器-批量下載直播 批量下載回放 批量下載播主所有視頻 批量下載小程序直播 抖音直播下載 淘寶直播下載 快手直播下載 網(wǎng)頁視頻下載器

    通用視頻下載器-批量下載直播 批量下載回放 批量下載播主所有視頻 批量下載小程序直播 抖音直播下載 淘寶直播下載 快手直播下載 網(wǎng)頁視頻下載器

    是一款十分專業(yè)的視頻下載工具,不僅能夠直接粘貼視頻鏈接進行下載,支持mp4、rmvb、mkv以及m3u8等多種視頻格式,而且還能夠對一些直播的內容進行抓取、串流或者是緩存下載。 1. 可以下載網(wǎng)頁視頻,影視平臺視頻,自媒體平臺視頻, 小程序視頻, 正在直播的視頻,整場

    2024年02月02日
    瀏覽(97)
  • OpenCV對指定目錄下所有視頻批量生成九宮格縮略圖

    OpenCV對指定目錄下所有視頻批量生成九宮格縮略圖

    最近接到一個客戶的訂單,需要批量對電影片段截圖,為了方便,于是我擼了一下午代碼,寫了這么一個輔助工具出來,希望對各位有相似需求的朋友們提供幫助。程序是用Python實現(xiàn)的。 1. 使用os.walk遍歷當前目錄(包括子目錄)下所有文件,獲得文件路徑列表,再對列表中

    2024年02月02日
    瀏覽(17)
  • python批量地址爬取(高德地圖)

    python批量地址爬?。ǜ叩碌貓D)

    在地理分析中,通常需要自己獲取經(jīng)緯度數(shù)據(jù),當?shù)刂分挥袔讉€的時候,可以直接在網(wǎng)頁輸入地址拾取經(jīng)緯度即可,而當?shù)刂窋?shù)量龐大,比如幾十個幾百個的時候,肯定是耗費時間的,這時就可以借助python與地圖接口來進行經(jīng)緯度的爬取。 需求:已有目標地址,需要通過地址

    2024年04月13日
    瀏覽(20)
  • Python使用Selenium Webdriver爬取網(wǎng)頁所有內容

    Python使用Selenium Webdriver爬取網(wǎng)頁所有內容

    有時候,我們在用urllib或者requests庫抓取頁面時,得到的html源代碼和瀏覽器中看到的不一樣。這將是我們面臨的一個非常常見的問題?,F(xiàn)在網(wǎng)頁越來越多地采用Ajax、前端模塊化工具來構建,整個網(wǎng)頁可能都是由JavaScript渲染出來的,也就是說原始的HTML代碼可能就是一個空殼,

    2023年04月08日
    瀏覽(31)
  • Python批量查字典和爬取雙語例句

    Python批量查字典和爬取雙語例句

    最近,有網(wǎng)友反映,我的批量查字典工具換到其它的網(wǎng)站就不好用了。對此,我想說的是,互聯(lián)網(wǎng)包羅萬象,網(wǎng)站的各種設置也有所不同,并不是所有的在線字典都可以用Python爬取的。事實上,很多網(wǎng)站為了防止被爬取內容,早就提高了網(wǎng)站的安全級別,不會讓用戶輕意爬取

    2024年02月14日
    瀏覽(15)
  • 當我用Python爬取了京東商品所有評論后發(fā)現(xiàn)....

    當我用Python爬取了京東商品所有評論后發(fā)現(xiàn)....

    不知道各位網(wǎng)購的時候,是否會去留意商品評價,有些小伙伴是很在意評價的,看到差評就不想買了,而有些小伙伴則是會對差評進行理性分析,而還有一類人不在乎這個。 當然這都是題外話,咱們今天主要的目的是使用Python來爬取某東商品的評價,并保存到CSV表格。 在進

    2024年02月11日
    瀏覽(27)
  • 使用Python爬取給定網(wǎng)頁的所有鏈接(附完整代碼)

    使用Python爬取給定網(wǎng)頁的所有鏈接(附完整代碼)

    ?? 個人網(wǎng)站:【海擁】【摸魚游戲】【神級源碼資源網(wǎng)】 ?? 前端學習課程:??【28個案例趣學前端】【400個JS面試題】 ?? 想尋找共同學習交流、摸魚劃水的小伙伴,請點擊【摸魚學習交流群】 此腳本從給定的網(wǎng)頁中檢索所有鏈接,并將其保存為 txt 文件。(文末有完整源

    2024年02月08日
    瀏覽(20)
  • Python爬蟲實戰(zhàn)-批量爬取下載網(wǎng)易云音樂

    Python爬蟲實戰(zhàn)-批量爬取下載網(wǎng)易云音樂

    大家好,我是python222小鋒老師。前段時間卷了一套? Python3零基礎7天入門實戰(zhàn) https://blog.csdn.net/caoli201314/article/details/132882813 1小時掌握Python操作Mysql數(shù)據(jù)庫之pymysql模塊技術 https://blog.csdn.net/caoli201314/article/details/133199207 一天掌握python爬蟲【基礎篇】 涵蓋 requests、beautifulsoup、se

    2024年02月05日
    瀏覽(96)

覺得文章有用就打賞一下文章作者

支付寶掃一掃打賞

博客贊助

微信掃一掃打賞

請作者喝杯咖啡吧~博客贊助

支付寶掃一掃領取紅包,優(yōu)惠每天領

二維碼1

領取紅包

二維碼2

領紅包