問題描述
–2023-07-15 02:32:57-- https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/Anaconda3-2023.03-Linux-x86_64.sh
Resolving mirrors.tuna.tsinghua.edu.cn (mirrors.tuna.tsinghua.edu.cn)… 2402:f000:1:400::2, 101.6.15.130
Connecting to mirrors.tuna.tsinghua.edu.cn (mirrors.tuna.tsinghua.edu.cn)|2402:f000:1:400::2|:443… connected.
HTTP request sent, awaiting response… 403 Forbidden
2023-07-15 02:32:57 ERROR 403: Forbidden.
如圖:
解決方案
在wget下載鏈接前面加上一個-U,如下
wget -U NoSuchBrowser/1.0 https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/Anaconda3-2023.03-Linux-x86_64.sh
即
wget -U NoSuchBrowser/1.0 下載鏈接
成功解決!
原理
出現(xiàn)這個錯誤是因為在使用wget或curl請求資源時被服務(wù)器拒絕了,為了防止爬蟲等消耗服務(wù)器資源,服務(wù)器根據(jù)你的請求頭進行了選擇性屏蔽,因此需要修改wget和curl的代理User-Agent來進行偽裝。
什么是User Agent
User Agent中文名為用戶代理,簡稱 UA,它是一個特殊字符串頭,使得服務(wù)器能夠識別客戶使用的操作系統(tǒng)及版本、CPU 類型、瀏覽器及版本、瀏覽器渲染引擎、瀏覽器語言、瀏覽器插件等。
常常要用server抓資料時,都會碰到直接使用wget和curl被服務(wù)器拒絕的狀況。通常簡單加個user-agent偽裝一下就會過了。
什么是User Agent,怎么獲取,可以參考下面這篇博客,當然你也可以直接用我上面這個。
什么是UserAgent以及使用瀏覽器查看UserAgent的方法:
https://blog.csdn.net/BobYuan888/article/details/88950275
解決
一、
修改wget的User-Agent
1、臨時變更wget的UA
在wget前加上參數(shù) -U,代表設(shè)置User Agent
wget www.google.com -U "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.121 Safari/537.36"
2、永久變更Wget的UA
修改配置文件/etc/wgetrc,添加下面這一行:
header = User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.121 Safari/537.36
上面這個配置后會所有用戶生效,如果只需要當前用戶生效,可以將上面這行添加進~/.wgetrc,這個文件如果沒有的話可以手動創(chuàng)建。
二、修改curl的User-Agent
1、臨時變更curl的UA
使用以下參數(shù):
curl https://www.google.com --user-agent "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.121 Safari/537.36"
2、永久變更curl的UA文章來源:http://www.zghlxwxcb.cn/news/detail-571628.html
修改配置文件~/.curlrc,添加下面這一行:文章來源地址http://www.zghlxwxcb.cn/news/detail-571628.html
–user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.121 Safari/537.36
到了這里,關(guān)于成功解決wget下載報錯 : wget HTTP request sent, awaiting response... 403 Forbidden的文章就介紹完了。如果您還想了解更多內(nèi)容,請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章,希望大家以后多多支持TOY模板網(wǎng)!