前言

以后數(shù)據(jù)獲取途徑以及數(shù)據(jù)資產(chǎn)絕對會是未來核心要素生產(chǎn)工具和資源之一，每個大模型都離不開更加精細(xì)化數(shù)據(jù)的二次喂養(yǎng)訓(xùn)練。不過現(xiàn)在來看收集大量數(shù)據(jù)的方法還是有很多途徑的，有些垂直領(lǐng)域的專業(yè)數(shù)據(jù)是很難獲取得到的，靠人力去搜尋相當(dāng)費時費力，而且處理起來也很麻煩，關(guān)鍵是不能準(zhǔn)確的獲取強相關(guān)數(shù)據(jù)就對項目開展妹太大幫助。之前本人一直從事的是大數(shù)據(jù)算法工作，對數(shù)據(jù)獲取和收集這方面也有不錯的技術(shù)開展，目前將開展新的技術(shù)專欄，將把深耕到數(shù)據(jù)收集和獲取這方面的技術(shù)展現(xiàn)復(fù)盤。

1.什么是Cookie

很多時候我們發(fā)現(xiàn)如果我們這網(wǎng)頁上面登錄過賬號，下次再訪問該網(wǎng)站就會發(fā)現(xiàn)不用再輸入密碼賬號就能登錄了。想象一下你去一家咖啡店。第一次去，你告訴店員你的名字和你喜歡的咖啡類型。店員記住了這些信息。下次你再去，店員看到你就知道你叫什么名字，也知道你喜歡什么咖啡，于是直接為你準(zhǔn)備了你喜歡的咖啡。

在這個例子中，咖啡店就像一個網(wǎng)站，你就像是訪問網(wǎng)站的用戶。你提供的名字和咖啡偏好就像是你在網(wǎng)站上輸入的信息?？Х鹊陠T記住你的信息，這就像網(wǎng)站在你的電腦上存儲Cookie一樣。所以，Cookie就是網(wǎng)站為了記住用戶的偏好或者身份信息而存儲在用戶電腦上的小型數(shù)據(jù)文件。這樣，下次你訪問同一個網(wǎng)站時，它可以快速地識別你，并根據(jù)存儲的信息定制內(nèi)容，就不用再次賬號登錄了。

在了解到了cookie具有什么樣的功能以后，我們再來對cookie更加深入的了解。

2.Cookie的作用和數(shù)據(jù)形式

有時候瀏覽網(wǎng)站會出現(xiàn)：

的彈窗提示，根據(jù)彈窗提示其實我們就能夠看出cookie的一些作用：能夠發(fā)現(xiàn)我們的需求，還能分析我們的流量和網(wǎng)站使用情況，也就是監(jiān)視我們用戶的瀏覽習(xí)慣和活動。廣告商還能使用Cookie來收集關(guān)于我們的信息，以顯示更相關(guān)的廣告。這是基于你的瀏覽歷史和其他在線行為，所以這就是為什么我們之前搜了某某用品，某寶某東就直接開始推送了，還有視頻網(wǎng)站某書和某站也會陸續(xù)推送相關(guān)視頻。當(dāng)然如果你開了無痕模式，那么瀏覽器也不會保存cookie。

總結(jié)一下cookie的作用，有以下幾點：

• 身份認(rèn)證和會話管理：當(dāng)你登錄一個網(wǎng)站后，該網(wǎng)站會使用Cookie來記住你的登錄狀態(tài)，這樣你就不必在每次訪問新頁面時都重新登錄。
• 個性化設(shè)置：網(wǎng)站利用Cookie存儲個性化設(shè)置，比如語言偏好、主題選擇等，以便在你下次訪問時提供相同的定制體驗。
• 追蹤和分析：網(wǎng)站使用Cookie來追蹤用戶的瀏覽習(xí)慣和活動。這對于網(wǎng)站改進(jìn)其內(nèi)容和結(jié)構(gòu)、提供更加個性化的體驗非常有用。
• 廣告定位：廣告商使用Cookie來收集關(guān)于你的信息，以顯示更相關(guān)的廣告。這是基于你的瀏覽歷史和其他在線行為的。
• 過期時間：Cookie可以設(shè)置不同的過期時間。有些在關(guān)閉瀏覽器時就會消失（會話Cookie），而另一些則會在特定日期后才會消失（持久性Cookie）。
• 隱私和安全：雖然Cookie對提升網(wǎng)站體驗很重要，但它們也引發(fā)了隱私和安全上的擔(dān)憂。用戶通?？梢栽跒g覽器設(shè)置中管理Cookie，包括刪除和禁用它們。
• 第三方Cookie：除了由網(wǎng)站直接設(shè)置的Cookie（第一方Cookie）外，還有第三方Cookie，通常由廣告商和分析服務(wù)提供商設(shè)置，用于跨網(wǎng)站追蹤用戶行為。

了解以上幾點之后，我們再來看看cookie具體存儲的數(shù)據(jù)格式是怎么樣的。每個瀏覽器對于cookie的存儲和設(shè)置都不一樣，以火狐瀏覽器為例，直接在瀏覽器搜索設(shè)置就可以看到：

在下方可以看到瀏覽器存儲的cookie：

點擊管理數(shù)據(jù)

如果經(jīng)常瀏覽某個網(wǎng)站，我這里是bilibili，就會發(fā)現(xiàn)存儲的cookie占用內(nèi)存特別多，也就是存儲你的個性行為特別多。那么如何查看一個cookie呢？

根據(jù)步驟來，以CSDN為例，輸入F12進(jìn)入開發(fā)者模式，點擊存儲，在界面左邊都能看到存儲的Cookie：

一般cookie是一段不超過4KB的小型文本數(shù)據(jù)，由一個名稱（Name）、一個值（Value）和其它幾個用于控制Cookie有效期、安全性、使用范圍的可選屬性組成。有些服務(wù)端設(shè)置都cookie很復(fù)雜，關(guān)鍵字段就很多，有些就非常簡單。

3.cookie屬性

我們現(xiàn)了解cookie保存的數(shù)據(jù)都有哪些屬性

(1)Name/Value：名稱和值設(shè)置Cookie的名稱及相對應(yīng)的值，對于認(rèn)證Cookie，Value值包括Web服務(wù)器所提供的訪問令牌。

(2)Domain屬性：指定了可以訪問該 Cookie 的 Web 站點或域。Cookie 機制并未遵循嚴(yán)格的同源策略，允許一個子域可以設(shè)置或獲取其父域的 Cookie。當(dāng)需要實現(xiàn)單點登錄方案時，Cookie 的上述特性非常有用，然而也增加了 Cookie受攻擊的危險，比如攻擊者可以借此發(fā)動會話定置攻擊。因而，瀏覽器禁止在Domain屬性中設(shè)置.org、.com 等通用頂級域名、以及在國家及地區(qū)頂級域下注冊的二級域名，以減小攻擊發(fā)生的范圍。

(3)Path屬性：定義了Web站點上可以訪問該Cookie的目錄，一般csrToken就有此屬性。

(4)Expires屬性：設(shè)置Cookie的生存期。有兩種存儲類型的Cookie：會話性與持久性。Expires屬性缺省時，為會話性Cookie，僅保存在客戶端內(nèi)存中，并在用戶關(guān)閉瀏覽器時失效；持久性Cookie會保存在用戶的硬盤中，直至生存期到或用戶直接在網(wǎng)頁中單擊“注銷”等按鈕結(jié)束會話時才會失效。

(5)Secure屬性：指定是否使用HTTPS安全協(xié)議發(fā)送Cookie。使用HTTPS安全協(xié)議，可以保護(hù)Cookie在瀏覽器和Web服務(wù)器間的傳輸過程中不被竊取和篡改。該方法也可用于Web站點的身份鑒別，即在HTTPS的連接建立階段，瀏覽器會檢查Web網(wǎng)站的[證書的有效性。但是基于兼容性的原因（比如有些網(wǎng)站使用自簽署的證書）在檢測到SSL證書無效時，瀏覽器并不會立即終止用戶的連接請求，而是顯示安全風(fēng)險信息，用戶仍可以選擇繼續(xù)訪問該站點。由于許多用戶缺乏安全意識，因而仍可能連接到Pharming攻擊所偽造的網(wǎng)站

(6)HTTPOnly 屬性 ：用于防止客戶端腳本通過document.cookie屬性訪問Cookie，有助于保護(hù)Cookie不被跨站腳本攻擊竊取或篡改。但是，HTTPOnly的應(yīng)用仍存在局限性，一些瀏覽器可以阻止客戶端腳本對Cookie的讀操作，但允許寫操作；此外大多數(shù)瀏覽器仍允許通過XMLHTTP對象讀取HTTP響應(yīng)中的Set-Cookie頭

這都是每一條cookie元素所自帶的屬性，那么我們再聚焦于cookie的名稱一般都有哪些含義。

4.Cookie名稱

Cookie的名稱（Name）是用來唯一標(biāo)識不同的Cookie。名稱可以根據(jù)Cookie的用途來命名，以下是一些常見的Cookie名稱和它們的用途：

以上基本是cookie包含的所有標(biāo)識了，當(dāng)然也有很多網(wǎng)站的cookie有更多其他的業(yè)務(wù)或者是其他筆記防范爬蟲等機制，下面我們來利用Python Selenium來獲取我們當(dāng)前的cookie。

5.獲取Cookie

獲取Cookie的方法特別多，可以用Web瀏覽器中的JavaScript，可以通過document.cookie屬性來訪問當(dāng)前頁面的Cookie。也可以在HTTP請求頭中接收Cookie。例如，在PHP中，可以通過$_COOKIE全局?jǐn)?shù)組訪問Cookie；在Node.js中，可以通過HTTP請求對象的headers.cookie屬性訪問?；蛘?strong>Python的Requests, Node.js的Axios等。這里展示如何用瀏覽器自動化工具Selenium來提取瀏覽器的cookie。如果對selenium不了解的推薦去看博主寫的selenium詳細(xì)介紹的博客。

首先引入庫：

from selenium import webdriver

cookie登入前和登入后所存儲的是不一致的，所以我們可以前后兩次獲取cookie看哪些值是存在變動的，這次獲取的是csdn博客cookie。

def password_login(self):
    self.driver = webdriver.Firefox()
    self.driver.get("https://blog.csdn.net/")
    cookieBefore = self.driver.get_cookies()
    time.sleep(2)
    self.driver.find_element(By.LINK_TEXT, "登錄").click()
    #登入后再獲取一次cookie
    time.sleep(2)
    #掃碼
    time.sleep(20)
	print("登錄后！")
	cookiesAfter = self.driver.get_cookies()
    print("cookiesAfter:")
    print(cookiesAfter)

大家可以自己運行一遍，因為cookie是隱私內(nèi)容這里就不作演示了。

點關(guān)注，防走丟，如有紕漏之處，請留言指教，非常感

以上就是本期全部內(nèi)容。我是fanstuck ，有問題大家隨時留言討論 ，我們下期見。文章來源地址http://www.zghlxwxcb.cn/news/detail-766635.html

到了這里，關(guān)于一文詳解Cookie以及Selenium自動獲取Cookie的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！