點擊上方“Python爬蟲與數(shù)據(jù)挖掘”，進行關(guān)注

回復(fù)“書籍”即可獲贈Python從入門到進階共10本電子書

今

日

雞

湯

其間旦暮聞何物？杜鵑啼血猿哀鳴。

大家好，我是皮皮。

一、前言

前幾天在Python群【林生】問了一個Python數(shù)據(jù)采集的問題，需求如下：

想寫一個腳本能自動采集下載當(dāng)天發(fā)布的這個頁面的這幾個免費報告，能保存成這個標(biāo)題的pdf文件，網(wǎng)站是手機號注冊就能下載這些文件的，就是在我注冊登錄狀態(tài)下，能采集下載。

二、實現(xiàn)過程

一開始以為網(wǎng)站有逆向，還覺得挺難的，后來發(fā)現(xiàn)完全是裸奔，就放心了，發(fā)布任務(wù)到接單裙，一下子就被搶了，畢竟送錢的單子，人見人愛，花見花開了，300元的爬蟲單子，也很香了。

下面是部分核心代碼，如果你也對這個感興趣的話，歡迎私我拿全部源碼。

#?-*-?coding:utf-8?-*-
"""
開發(fā)環(huán)境：Python 3.86
腳本名稱：2023-07-07 報告廳baogaoting
創(chuàng)建日期：2023年07月07日
"""
import?datetime
import?os,?sys,?time,?traceback
import?pathlib
from?parsel?import?Selector
import?requests

headers?=?{
?"xxx"
}
cookies?=?{
?"xxx"
}

def?_down_file(dow_url,file_name):
?"""
?:param?dow_url:???下載鏈接
?:param?file_name:??圖片絕對路徑?包括后綴名
?:return:
?"""
?re_重試次數(shù)=0
?while?True:
??try:
???response?=?requests.get(dow_url,?headers=headers,?cookies=cookies,?timeout=10)
???if?response.status_code?==?200:
????break
???elif?response.status_code?==?404:
????break
???else:
????print(response.status_code)
????re_重試次數(shù)?+=?1
??except?Exception?as?e:
???adress?=?sys.exc_info()[-1]??#?異常地址
???line_error?=?traceback.extract_tb(adress,?limit=1)[-1][1]??#?讀取錯誤日志,最后一列的第二個元素即為模塊出錯行
???print(
????f"===================\n【異常原因】:{e}\n【異常類型】:{type(e)}\n【異常位置】:{line_error}\n===================")
???time.sleep(5)
???re_重試次數(shù)?+=?1
??if?re_重試次數(shù)?>=?10:
???response=""
???break
?if?response:
??with?open(file_name,?"wb+")?as?f:??#?,?errors='ignore'
???f.write(response.content)
?else:
??print(f"【跳過】:下載失敗{file_name}")


import?winreg
def?get_desktop():
?key?=?winreg.OpenKey(winreg.HKEY_CURRENT_USER,r'Software\Microsoft\Windows\CurrentVersion\Explorer\Shell?Folders')
?return?winreg.QueryValueEx(key,?"Desktop")[0]

if?__name__?==?'__main__':
?zm_path=get_desktop()
?x_date?=?time.strftime("%Y-%m-%d")
?list_file_path=list(pathlib.Path(x_date).rglob("*"))
?dict_file_path={i.name:True?for?i?in?list_file_path}
?
?url?=?"https://www.baogaoting.com/space/30909237"
?for?page?in??range(1,3):
??params?=?{
???"page":?page,
???"size":?"15"
??}
??response?=?requests.get(url,?headers=headers,?cookies=cookies,?params=params)
??"""
????此處略去多行代碼
????"""
?????print(f"【{title}】:熱度{h3}?是當(dāng)天上傳的資料,準(zhǔn)備訪問下載{href_download}")
?????if?href_download:
??????if?not?os.path.exists(f"{zm_path}//今日研報"):
???????os.makedirs(f"{zm_path}//今日研報",exist_ok=True)
??????title=title+?pathlib.Path(href_download).suffix
??????#print(href_download,?h3,title)
??????for?k?in?["<",?">",?"|",?'"',?"*",?'\\',?":",?"/",?"?",?"\n",?"\r",?"\t",?"！",?"☆"]:
???????date?=?date.replace(k,?'').strip()
??????if?dict_file_path.get(f"{date}_"+title):
???????print(f"【狀態(tài)】:已經(jīng)下載了哦,自動跳過")
???????continue
??????else:
???????_down_file(href_download,?f"{zm_path}//今日研報//{title}")
?????else:
??????print(f"【狀態(tài)】:鏈接{href_download}?{title}無效,跳過不下載")
??????
????else:
?????print(f"【狀態(tài)】:不是免費的，不下載")
????time.sleep(0.5)
???else:
????print(f"【狀態(tài)】:{date}?上傳時間不符合，直接結(jié)束!")
????break
?input(f"【狀態(tài)】:完成了哦,按任意鍵退出軟件")

順利地解決了粉絲的問題。

這樣每天打開軟件，就可以獲取到想要的研報文件了，再也不用挨個去下載，解放雙手。

三、總結(jié)

大家好，我是皮皮。這篇文章主要盤點了一個Python網(wǎng)絡(luò)爬蟲實戰(zhàn)的問題，文中針對該問題，給出了具體的解析和代碼實現(xiàn)，幫助粉絲順利解決了問題。

【提問補充】溫馨提示，大家在群里提問的時候?？梢宰⒁庀旅鎺c：如果涉及到大文件數(shù)據(jù)，可以數(shù)據(jù)脫敏后，發(fā)點demo數(shù)據(jù)來（小文件的意思），然后貼點代碼（可以復(fù)制的那種），記得發(fā)報錯截圖（截全）。代碼不多的話，直接發(fā)代碼文字即可，代碼超過50行這樣的話，發(fā)個.py文件就行。

大家在學(xué)習(xí)過程中如果有遇到問題，歡迎隨時聯(lián)系我解決（我的微信：pdcfighting1），應(yīng)粉絲要求，我創(chuàng)建了一些ChatGPT機器人交流群和高質(zhì)量的Python付費學(xué)習(xí)交流群和付費接單群，歡迎大家加入我的Python學(xué)習(xí)交流群和接單群！

小伙伴們，快快用實踐一下吧！如果在學(xué)習(xí)過程中，有遇到任何問題，歡迎加我好友，我拉你進Python學(xué)習(xí)交流群共同探討學(xué)習(xí)。

-------------------?End?-------------------

往期精彩文章推薦：

• if a and b and c and d：這種代碼有優(yōu)雅的寫法嗎？

• Pycharm和Python到底啥關(guān)系？

• 都說chatGPT編程怎么怎么厲害，今天試了一下，有個靜態(tài)網(wǎng)頁，chatGPT居然沒搞定？

• 站不住就準(zhǔn)備加倉，這個pandas語句該咋寫？
  

歡迎大家點贊，留言，轉(zhuǎn)發(fā)，轉(zhuǎn)載，感謝大家的相伴與支持

想加入Python學(xué)習(xí)群請在后臺回復(fù)【入群】

萬水千山總是情，點個【在看】行不行

/今日留言主題/

隨便說一兩句吧~~文章來源地址http://www.zghlxwxcb.cn/news/detail-600245.html