已解決Python爬蟲報錯requests.exceptions.MissingSchema: Invalid URL 解決方法，親測有效?。?！

報錯問題

粉絲群里面的一個小伙伴遇到問題跑來私信我，想用python爬蟲爬取數(shù)據(jù)，已經(jīng)拿到URL再次往下訪問，但是發(fā)生了報錯（當時他心里瞬間涼了一大截，跑來找我求助，然后順利幫助他解決了，順便記錄一下希望可以幫助到更多遇到這個bug不會解決的小伙伴），報錯代碼如下所示：

def get_html_str(url):
    authority = re.findall("img\d.*?\.360buyimg.com", url)[0]
    path = url.replace(authority, '')
    path = path.replace('https://', '')
    headers = {'User-Agent': random.choice(ua_list),
               'authority': authority,
               'method': 'GET',
               'path': path,
               'scheme': 'https',
               'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9',
               'Accept-Encoding': 'gzip, deflate, br',
               'Accept-Language': 'zh-CN,zh;q=0.9',
               'Cache-Control': 'max-age=0',
               'sec-ch-ua': '"Not_A Brand";v="99", "Google Chrome";v="109", "Chromium";v="109"',
               'sec-ch-ua-mobile': '?0',
               'sec-ch-ua-platform': '"Windows"',
               'sec-fetch-dest': 'document',
               'sec-fetch-mode': 'navigate',
               'sec-fetch-site': 'none',
               'sec-fetch-user': '?1',
               'upgrade-insecure-requests': '1'

               }
    pp = get_ip.ProxiesPool(1, 1, '微博爬蟲')
    proxies = pp.get_one_proxies_from_pool()
    pp.conn_close()
    try:
        r = requests.get(url, headers=headers, proxies=proxies)
    except:
        while True:
            r = requests.get(url, headers=headers, proxies=proxies, timeout=20)
            if r.status_code == '200':
                break
    html_str = r.content

    return html_str

報錯信息如下所示：

requests.exceptions.MissingSchema: Invalid URL '//img10.360buyimg.com/n7/jfs/t1/100311/13/29804/192054/628720f2E8729cc85/73fc66160d584283.jpg': No schema supplied. Perhaps you meant http:////img10.360buyimg.com/n7/jfs/t1/100311/13/29804/192054/628720f2E8729cc85/73fc66160d584283.jpg?

報錯翻譯

報錯信息翻譯如下所示：

requests.例外情況.缺少架構(gòu):URL無效。

報錯原因

報錯原因：

因為網(wǎng)頁源碼里面返回的URL鏈接只有半截如下所示：

解決方法

用字符串和半截URL拼接一下就好了：

url = 'https:' + goods_image

以上是此問題報錯原因的解決方法，歡迎評論區(qū)留言討論是否能解決，如果有用歡迎點贊收藏文章謝謝支持，博主才有動力持續(xù)記錄遇到的問題！??！

千人全棧VIP答疑群聯(lián)系博主幫忙解決報錯

由于博主時間精力有限，每天私信人數(shù)太多，沒辦法每個粉絲都及時回復，所以優(yōu)先回復VIP粉絲，可以通過訂閱限時9.9付費專欄《100天精通Python從入門到就業(yè)》進入千人全棧VIP答疑群，獲得優(yōu)先解答機會（代碼指導、遠程服務），白嫖80G學習資料大禮包，專欄訂閱地址：https://blog.csdn.net/yuan2019035055/category_11466020.html

• 優(yōu)點：作者優(yōu)先解答機會（代碼指導、遠程服務），群里大佬眾多可以抱團取暖（大廠內(nèi)推機會），此專欄文章是專門針對零基礎(chǔ)和需要進階提升的同學所準備的一套完整教學，從0到100的不斷進階深入，后續(xù)還有實戰(zhàn)項目，輕松應對面試！

• 專欄福利：簡歷指導、招聘內(nèi)推、每周送實體書、80G全棧學習視頻、300本IT電子書：Python、Java、前端、大數(shù)據(jù)、數(shù)據(jù)庫、算法、爬蟲、數(shù)據(jù)分析、機器學習、面試題庫等等

• 注意：如果希望得到及時回復，和大佬們交流學習，訂閱專欄后私信博主進千人VIP答疑群
  

文章來源地址http://www.zghlxwxcb.cn/news/detail-443116.html

到了這里，關(guān)于已解決requests.exceptions.MissingSchema: Invalid URL的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！