寫在最前面

目前計劃在網(wǎng)絡(luò)安全領(lǐng)域的開源威脅情報挖掘展開進一步實驗和論文寫作，歡迎交流。

本文基于2022年1月《信息安全學(xué)報》崔琳等老師的論文 基于開源信息平臺的威脅情報挖掘綜述 進行梳理了解。

該論文為我們提供了一個全面的開源威脅情報挖掘框架，涵蓋了該領(lǐng)域的關(guān)鍵方向、技術(shù)應(yīng)用及未來趨勢。
注意：這篇論文發(fā)布時間稍早，最前沿的視角需要之后再去補充閱讀其他相關(guān)論文。

關(guān)鍵詞：開源威脅情報;識別提取;融合評價;關(guān)聯(lián)分析

這篇綜述的內(nèi)容相當(dāng)扎實，所以預(yù)期分幾次完成閱讀。

本文為綜述的第一、二、三章節(jié)，將梳理開源威脅情報挖掘技術(shù)的

1. 引言：重要性、發(fā)展歷程以及未來趨勢；
2. 開源威脅情報挖掘框架： 不僅概括了開源威脅情報挖掘的關(guān)鍵方向，而且具有普適性和通用性；
3. 采集與識別提取： 本節(jié)依據(jù)開源情報信息載體的不同, 將其劃分為技術(shù)博客、社區(qū)論壇、社交媒體、公開報告、通用方法等五個開源威脅情報識別提取平臺并依此篩選分析代表性的相關(guān)研究工作，接下來，針對這五個平臺中開源威脅情報的識別提取研究工作進行分別闡述。

有助于新入領(lǐng)域的研究者全面理解開源威脅情報挖掘，并為細(xì)分方向的研究者提供參考，以突破現(xiàn)有研究的局限性。

摘要

網(wǎng)絡(luò)安全威脅情報的價值

網(wǎng)絡(luò)安全威脅情報是指來自外部的與安全威脅相關(guān)的信息資源。這些信息包括了各種惡意威脅的特征、攻擊者的行為模式以及攻擊方式等。這些情報可以幫助安全人員快速識別惡意威脅攻擊，并采取及時的響應(yīng)和防御措施。

開源威脅情報挖掘技術(shù)的嶄露頭角

傳統(tǒng)的威脅情報挖掘存在信息量不足的問題，而開源威脅情報挖掘技術(shù)通過從多方開源情報來源中收集和分析信息，為這一領(lǐng)域注入了新的活力。美國和歐洲是最早在政府層面積極開展開源情報挖掘技術(shù)研究的國家和地區(qū)，他們將其作為政府的常規(guī)情報搜集手段，并在網(wǎng)絡(luò)安全領(lǐng)域取得了顯著成果。近年來，中國也在積極采集和整理網(wǎng)絡(luò)開源威脅信息，并拓展了開源威脅情報的應(yīng)用范圍。

深度分析開源威脅情報挖掘技術(shù)

本文深入分析了近6年來100多篇相關(guān)文獻(xiàn)，系統(tǒng)梳理了威脅情報挖掘技術(shù)的技術(shù)理論和在網(wǎng)絡(luò)安全檢測中的應(yīng)用場景。
文章歸納總結(jié)出了開源威脅情報挖掘的一般流程框架模型，并針對關(guān)鍵場景進行了深入分析和論述，包括開源威脅情報的采集與識別提取、融合評價以及關(guān)聯(lián)應(yīng)用。
研究還系統(tǒng)評述了這三部分研究工作中的細(xì)分熱點方向，并從技術(shù)應(yīng)用場景、所使用的技術(shù)、性能評估以及優(yōu)缺點評價等多個角度對各解決方案進行了系統(tǒng)優(yōu)劣勢分析。

未來的研究趨勢與發(fā)展方向

最后，本文分析總結(jié)了當(dāng)前我國開源威脅情報挖掘中尚待解決的共性問題，并指出了未來的研究趨勢與下一步研究方向。
包括提高技術(shù)應(yīng)用的精度和效率、加強開源情報的融合和關(guān)聯(lián)分析，以及發(fā)展更智能化的威脅情報挖掘工具。通過不斷地改進和發(fā)展，我們可以提升國家網(wǎng)絡(luò)安全的整體防御能力，確保我們的數(shù)字世界免受威脅和攻擊。

開源威脅情報挖掘技術(shù)是網(wǎng)絡(luò)安全領(lǐng)域的一項關(guān)鍵工具，有望在未來的研究和應(yīng)用中發(fā)揮更大的作用，提高我們的網(wǎng)絡(luò)安全水平，保護我們的數(shù)字世界免受潛在威脅的侵害。期望通過這一領(lǐng)域的不斷努力，推動我國網(wǎng)絡(luò)安全的發(fā)展，確保國家的信息基礎(chǔ)設(shè)施安全可靠。

1 引言

近年來的一些新型網(wǎng)絡(luò)安全威脅類型

根據(jù)CNCERT的研究,近年來我國逐漸成為各類網(wǎng)絡(luò)攻擊的重災(zāi)區(qū),而其中以APT和DDoS為代表的新型攻擊所占的比重越來越大。

可以看出，隨著目標(biāo)場景變化，惡意攻擊者將網(wǎng)絡(luò)空間攻擊的復(fù)雜性和影響力提升到前所未有的程度，其攻擊模式、數(shù)量與種類層出不窮。這些新型攻擊充分利用了web、電子郵件、應(yīng)用程序等多種傳播方式，且可在網(wǎng)絡(luò)系統(tǒng)中相互滲透，以捕獲有價值的數(shù)據(jù)，具有常態(tài)化、專業(yè)化、多矢量、多階段等特性。由于新型攻擊的這些特性，加之攻擊者的先手優(yōu)勢，這也對現(xiàn)今網(wǎng)絡(luò)空間的威脅防護提出了新的挑戰(zhàn)。
傳統(tǒng)安全防御方法大多依靠部署于邊界或特殊節(jié)點的防火墻、入侵檢測系統(tǒng)等安全設(shè)備，通過基于啟發(fā)式和簽名等靜態(tài)檢測方法，將每個攻擊向量視為一個單獨路徑進行分階段獨立檢查，而缺少全局視角，難以應(yīng)對攻擊策劃精妙、更新迭代頻繁的新型網(wǎng)絡(luò)威脅攻擊。

挖掘網(wǎng)絡(luò)威脅的情報信息

針對網(wǎng)絡(luò)空間所面臨的新型安全威脅，一個重要的防護手段是深度挖掘網(wǎng)絡(luò)威脅的情報信息，并將其引入至安全檢測全周期中，從而主動發(fā)現(xiàn)并防御惡意且極難檢測的攻擊行為。
網(wǎng)絡(luò)威脅情報(CyberThreatIntelligence，CTI)挖掘技術(shù)通過收集、挖掘、識別實時網(wǎng)絡(luò)威脅信息并將其轉(zhuǎn)化為威脅情報。一般來說，威脅情報是指可用于解決威脅或應(yīng)對危害的知識，包括威脅來源、攻擊意圖、攻擊手法、攻擊目標(biāo)信息，具有知識密度大、準(zhǔn)確性高、關(guān)聯(lián)性強等特點，能夠為安全分析的各個階段提供有力的數(shù)據(jù)支撐，并可針對多態(tài)、復(fù)雜的高智能威脅與攻擊做出及時響應(yīng)防御。

威脅情報分類：內(nèi)、外部威脅情報

根據(jù)來源不同，威脅情報一般可分為內(nèi)部威脅情報和外部威脅情報，如圖1所示，其中
內(nèi)部威脅情報一般來源于目標(biāo)系統(tǒng)中的內(nèi)部安全事件信息，可通過入侵檢測系統(tǒng)(IDS)等安全設(shè)備中的相關(guān)信息提純獲得。
外部來源的威脅情報包括：
(1)商業(yè)威脅情報，即安全廠商以產(chǎn)品形式出售或分享的商業(yè)威脅信息;
(2)開源威脅情報(OpenSourceThreatIntelli-gence，OSTI)，在公開平臺中分享的開源威脅情報。

近些年由于網(wǎng)絡(luò)威脅攻擊形式迭代更新頻繁，開源威脅情報突破了其他威脅情報形式來源少，情報特征受限等不足，以其快速靈活、性效比高、易于移植等特點，吸引了政府、業(yè)界以及學(xué)界的廣泛關(guān)注，并作為網(wǎng)絡(luò)防御的重要資源，在眾多實際情景中得到應(yīng)用。

國內(nèi)外開源威脅情報挖掘分析工作

美國非常重視威脅情報，從戰(zhàn)略、法律、標(biāo)準(zhǔn)、防御體系、與私營部門的信息共享方面都制定了相對完善的機制[2]。美國也是最早在政府層面開展開源情報挖掘技術(shù)研究的國家，并將其作為政府的常規(guī)情報搜集手段。當(dāng)前美國已建立起了覆蓋地方、企業(yè)、政府等多個層面的開源威脅情報挖掘體系，重點著眼于開源威脅情報的挖掘技術(shù)研究及深度利用。
歐洲網(wǎng)絡(luò)與信息安全局于2019年建立了一個整合各方資源的統(tǒng)一開源威脅情報挖掘共享中心，強調(diào)擴大網(wǎng)絡(luò)威脅情報的收集范圍，包括來自相關(guān)學(xué)科的事件信息，并將這些數(shù)據(jù)的收集、存儲和分析標(biāo)準(zhǔn)化。
國家應(yīng)急響應(yīng)中心CNCERT以及國內(nèi)各大知名安全公司如綠盟，360等近年都陸續(xù)構(gòu)建了國內(nèi)頂尖的開源威脅情報平臺，能夠?qū)崟r采集整理網(wǎng)絡(luò)開源威脅信息，并拓展開源威脅情報的應(yīng)用，使其成為我國網(wǎng)絡(luò)安全防御體系的關(guān)鍵組成部分，貫穿于態(tài)勢感知平臺、下一代防火墻、入侵檢測系統(tǒng)等眾多的安全產(chǎn)品之中。
近年來，我國威脅情報市場發(fā)展勢頭良好，其中威脅情報安全服務(wù)提供商的收入也在連年增長。但相較而言，我國的威脅情報體系發(fā)展仍處于起步階段，雖然涌現(xiàn)了一批較為出色的威脅情報公司，并在部分廠商的實際情景中開始落地應(yīng)用。但總體來看，其開發(fā)及應(yīng)用主要集中于商業(yè)威脅情報，對于開源威脅情報的關(guān)注相對較少，同時缺乏有效、可靠的威脅情報的挖掘采集、質(zhì)量評價手段，其對應(yīng)基于開源威脅情報的網(wǎng)絡(luò)安全分析技術(shù)也較為落后，沒有形成情報挖掘分析、評價與利用為一體的威脅情報綜合服務(wù)平臺。

盡管開源威脅情報已成為安全行業(yè)的研究及應(yīng)用熱點，但仍然存在許多制約開源威脅情報產(chǎn)業(yè)鏈發(fā)展的關(guān)鍵問題尚待解決，包括開源威脅情報挖掘關(guān)聯(lián)、質(zhì)量評價、落地應(yīng)用等關(guān)鍵技術(shù)的研究。
近年來，學(xué)術(shù)界結(jié)合云計算、大數(shù)據(jù)等前沿技術(shù)對這些關(guān)鍵技術(shù)問題進行了深入研究探索。如圖2所示，學(xué)術(shù)研究熱度連年上升反映出該領(lǐng)域已持續(xù)受到關(guān)注，研究和分析已有的開源威脅情報研究概況，對于進一步推進我國開源威脅情報挖掘分析工作的發(fā)展，提高國家網(wǎng)絡(luò)安全的整體防御能力，具有重要的意義。

主要貢獻(xiàn)

為開源威脅情報挖掘及其應(yīng)用領(lǐng)域的研究提供了一個全面的概覽，為更深入地理解這一領(lǐng)域的技術(shù)理論、應(yīng)用場景和未來的發(fā)展?jié)摿Α?/p>

研究范圍和方法

這篇論文對過去6年（2015-2020年）的主流安全類期刊和會議文獻(xiàn)進行了全面調(diào)研。通過統(tǒng)計和分析了超過一百篇關(guān)于開源威脅情報挖掘的文獻(xiàn)，論文揭示了該領(lǐng)域的技術(shù)理論和應(yīng)用場景。

1. 文獻(xiàn)分析與框架模型：論文深入分析了100多篇相關(guān)文獻(xiàn)，系統(tǒng)梳理了開源威脅情報挖掘的技術(shù)理論和網(wǎng)絡(luò)安全檢測中的應(yīng)用場景。同時，提出了一種開源威脅情報挖掘的流程框架模型。

2. 問題與研究現(xiàn)狀：首次從三個角度對開源威脅情報所面臨的問題及其研究現(xiàn)狀進行梳理和總結(jié)，這三個方面包括：①開源威脅情報的采集與識別提取、②融合評價、以及③關(guān)聯(lián)分析。論文還對相關(guān)文獻(xiàn)的技術(shù)應(yīng)用場景、所使用的技術(shù)和性能評估進行了詳細(xì)解析。

3. 國內(nèi)研究現(xiàn)狀與未來趨勢：分析了我國在開源威脅情報挖掘及應(yīng)用研究中的不足，總結(jié)了面臨的四大機遇與挑戰(zhàn)，并指出了未來的研究趨勢和下一步的研究方向。

2 開源威脅情報挖掘框架

《網(wǎng)絡(luò)威脅情報權(quán)威指南》給出的定義，威脅情報是指對企業(yè)可能產(chǎn)生潛在或直接危害的信息集合。
這些威脅信息經(jīng)過搜集、分析、整理, 能幫助企業(yè)研判面臨的威脅并做出正確應(yīng)對, 以保護企業(yè)的關(guān)鍵資產(chǎn)。

從開源情報的直觀定義出發(fā)，開源情報在挖掘并應(yīng)用到關(guān)鍵資產(chǎn)保護時，其安全應(yīng)用場景可總結(jié)為圖 3 所示，已有絕大部分開源威脅情報挖掘的研究工作都可以納入到該框架中。

在網(wǎng)絡(luò)安全領(lǐng)域，開源威脅情報挖掘是一個關(guān)鍵環(huán)節(jié)。它涉及從廣泛的開源信息中提取、評估并分析威脅數(shù)據(jù)。以下是這一過程的三個主要研究子方向：

1. 開源威脅情報采集與識別

• 目標(biāo)與方法：此子方向?qū)Ｗ⒂趶募夹g(shù)博客、社區(qū)論壇、社交媒體和公開報告等不同開源情報信息載體中獲取威脅情報基礎(chǔ)信息。主要使用動態(tài)爬蟲和檢測更新等方法。
• 技術(shù)應(yīng)用：由于大多數(shù)開源信息是文本形式，因此通常需要通過特定技術(shù)，如IOC (Indicator of Compromise)提取，將信息轉(zhuǎn)換為非標(biāo)準(zhǔn)化或標(biāo)準(zhǔn)化的開源威脅情報格式（如OpenIOC或STIX）。

2. 開源威脅情報融合評價

• 挑戰(zhàn)：由于開源威脅情報的多源異構(gòu)性，其質(zhì)量和可信度參差不齊，這給存儲、共享及安全場景應(yīng)用帶來難題。
• 方法論：此子方向著眼于多源異構(gòu)開源威脅情報的整合、萃取和提煉，并建立相關(guān)質(zhì)量評價指標(biāo)，以評估其質(zhì)量和可信度。

3. 開源威脅情報關(guān)聯(lián)分析

• 應(yīng)用場景：這部分研究主要針對開源威脅情報的實際應(yīng)用，通過綜合運用如Kill-Chain模型、鉆石模型或異質(zhì)信息網(wǎng)絡(luò)等，結(jié)合開源威脅情報與實時流量數(shù)據(jù)，進行深度關(guān)聯(lián)分析。
• 研究焦點：當(dāng)前熱門的關(guān)聯(lián)分析研究工作大致可分為網(wǎng)絡(luò)狩獵、態(tài)勢感知、惡意檢測等應(yīng)用場景。

3 開源威脅情報采集與識別提取

傳統(tǒng)與現(xiàn)代威脅情報采集的對比

傳統(tǒng)方法：通常依賴于安全廠商的網(wǎng)絡(luò)威脅攻擊數(shù)據(jù)、企業(yè)內(nèi)部網(wǎng)絡(luò)、終端設(shè)備生成的日志數(shù)據(jù)以及安全廠商和行業(yè)組織的威脅數(shù)據(jù)。但隨著網(wǎng)絡(luò)攻擊的增加和復(fù)雜化，這些方法面臨著來源單一和覆蓋不足的問題。

現(xiàn)代方法：現(xiàn)代方法通過開源信息平臺的安全應(yīng)用發(fā)展，利用自動化獲取和識別技術(shù)，提供了解決傳統(tǒng)方法限制的新途徑。這包括從安全論壇和博客等平臺獲取非結(jié)構(gòu)化語義文本數(shù)據(jù)。
本節(jié)依據(jù)開源情報信息載體的不同, 將其劃分為技術(shù)博客、社區(qū)論壇、社交媒體、公開報告、通用方法等五個開源威脅情報識別提取平臺并依此篩選分析代表性的相關(guān)研究工作，接下來，針對這五個平臺中開源威脅情報的識別提取研究工作進行分別闡述。

3.1 開源威脅情報采集方法

動態(tài)爬蟲技術(shù)：這是一種主流的采集技術(shù)，它可以動態(tài)地、完整地抓取目標(biāo)開源平臺的信息，并存儲起來。

卷積神經(jīng)網(wǎng)絡(luò) (CNN)：CNN 被用于自動化地識別和提取開源威脅情報，通過爬蟲技術(shù)從論壇和博客中獲取數(shù)據(jù)，并利用 CNN 框架進行處理。

社交媒體數(shù)據(jù)挖掘：例如，使用爬蟲技術(shù)從博客和黑客論壇帖子中收集數(shù)據(jù)，結(jié)合 NLP 和 CNN 進行處理。

話題檢測技術(shù)：結(jié)合命名實體識別 (NER)、支持向量機 (SVM)、邏輯回歸 (LR) 和隨機森林 (RF) 等機器學(xué)習(xí)分類方法，這些技術(shù)幫助過濾掉與威脅情報無關(guān)的非結(jié)構(gòu)化信息內(nèi)容，并實時跟蹤目標(biāo)內(nèi)容源。

開源威脅情報采集與識別提取是威脅情報挖掘的基礎(chǔ)，需要進一步發(fā)展，以提高采集準(zhǔn)確率并擴展其在威脅分析和預(yù)防應(yīng)用中的作用。

3.2 開源威脅情報識別提取

開源威脅情報識別提取是網(wǎng)絡(luò)安全領(lǐng)域的核心工作之一。這一過程涉及將非結(jié)構(gòu)化的開源威脅情報數(shù)據(jù)轉(zhuǎn)換為標(biāo)準(zhǔn)化或非標(biāo)準(zhǔn)化的格式，包括指標(biāo)識別（IOC）提取和威脅情報生成。

3.2.1 技術(shù)博客

技術(shù)博客是重要的開源威脅情報來源，它們通常針對專業(yè)人士發(fā)布有關(guān)安全領(lǐng)域的知識和信息。

端到端模型的應(yīng)用

• 文獻(xiàn)[24]：提出了一種基于神經(jīng)網(wǎng)絡(luò)序列標(biāo)記的端到端模型，用于自動識別技術(shù)博客中的IOC。
• 特點：結(jié)合自然語言處理技術(shù)和多路聚焦(Self-attention)技術(shù)，提高了從文本中提取上下文信息的能力。

大規(guī)模數(shù)據(jù)處理模型

• 文獻(xiàn)[21]：設(shè)計了一個基于大規(guī)模數(shù)據(jù)的處理模型，自動提取IOC并將其關(guān)聯(lián)到活動階段。
• 優(yōu)點：在實際應(yīng)用中展示了良好的性能，但需要人工參與以提取和報告活動特征。

圖挖掘技術(shù)

• 文獻(xiàn)[25]：介紹了iACE技術(shù)，用于從技術(shù)文章中自動提取OpenIOC格式的威脅情報。
• 實現(xiàn)方式：通過分析IOC標(biāo)記及其在句子中的上下文關(guān)系，提高了提取的準(zhǔn)確性。

基于CNN的模型

• 文獻(xiàn)[18]：提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)的模型，從非結(jié)構(gòu)化數(shù)據(jù)中自動識別威脅情報。
• 成果：優(yōu)于其他模型，提高了OSCTI來源的覆蓋率和識別準(zhǔn)確率。

深度學(xué)習(xí)方法

• 文獻(xiàn)[26]：提出了使用深度學(xué)習(xí)從安全技術(shù)博客中提取STIX標(biāo)準(zhǔn)威脅情報的方法。
• 效果：減少人工干預(yù)，幫助安全專業(yè)人員更有效地配置安全工具。

3.2.2 社區(qū)論壇

社區(qū)論壇，包括暗網(wǎng)和深網(wǎng)論壇，雖然專業(yè)性不如技術(shù)博客，但其內(nèi)容、主題和形式更加豐富，傳播速度也更快。這些論壇成為黑客和安全專家交流的自由平臺，經(jīng)常包含大量有價值的威脅情報信息。然而，由于其匿名性，發(fā)布的情報信息質(zhì)量具有不確定性，需要后期的質(zhì)量評估和驗證。

針對暗網(wǎng)信息的預(yù)處理概率模型

• 研究團隊[27] - 佛羅里達(dá)大西洋大學(xué)：提出了針對暗網(wǎng)信息內(nèi)容的預(yù)處理概率模型，可以識別并過濾錯誤配置的流量，提高暗網(wǎng)數(shù)據(jù)的純度和開源威脅情報的獲取及存儲效率。

暗網(wǎng)和深網(wǎng)的威脅情報原型系統(tǒng)

• 研究團隊[28] - 亞利桑那州立大學(xué)：開發(fā)了一種原型系統(tǒng)，從暗網(wǎng)和深網(wǎng)站點收集開源網(wǎng)絡(luò)威脅情報，有效收集關(guān)于新開發(fā)惡意軟件和未部署漏洞的高質(zhì)量網(wǎng)絡(luò)威脅警告。

利用機器學(xué)習(xí)算法的分類方法

• 研究團隊[29] - 挪威科技大學(xué)：提出了利用監(jiān)督機器學(xué)習(xí)算法對黑客論壇帖子進行分類的方法，快速篩選出不同類型的高質(zhì)量開源威脅情報。
• 進一步研究[30]：基于狄利克雷分配（Latent Dirichlet Allocation, LDA）的混合機器學(xué)習(xí)模型，改進情報信息內(nèi)容的聚類效果，實現(xiàn)了快速準(zhǔn)確的可操作情報提取。

自動挖掘IOC信息的工具

• Zhang 等人[22]：設(shè)計實現(xiàn)了一個從網(wǎng)絡(luò)社區(qū)論壇自動挖掘IOC信息的工具iMCircle，能夠動態(tài)收集開源IOC，并自動判定提取目標(biāo)與輸入指標(biāo)的一致性。

社區(qū)論壇，尤其是暗網(wǎng)和深網(wǎng)論壇，為開源威脅情報提供了豐富的資源。通過先進的預(yù)處理模型、原型系統(tǒng)以及機器學(xué)習(xí)和自動挖掘工具，研究人員能夠從這些論壇中有效地提取高質(zhì)量的威脅情報。這些研究成果對于安全專家來說極為寶貴，可以幫助他們更好地理解和應(yīng)對網(wǎng)絡(luò)威脅。然而，由于這些平臺的匿名性，必須進行嚴(yán)格的質(zhì)量控制和后期驗證，以確保情報的準(zhǔn)確性和可靠性。

3.2.3 社交媒體

社交媒體平臺，如Twitter，已成為獲取開源威脅情報的重要渠道。這些平臺匯聚了龐大而多樣的用戶群體，提供豐富的實時信息，具有高度的互動性和廣泛的覆蓋范圍。

事件提取方法

• Ritter等人[31]：通過實證研究證明了社交媒體是獲取安全相關(guān)事件信息的寶貴資源，并提出了一種基于Twitter流的事件提取方法，幫助安全分析師及時獲取新的威脅事件信息。

自我學(xué)習(xí)框架

• Sceller等人[16]：開發(fā)了SONAR框架，用于實時檢測、定位和分類Twitter中的網(wǎng)絡(luò)安全事件，加速開源威脅情報的識別和提取。

端到端模型

• 里斯本大學(xué)團隊[32]：提出了一個從Twitter獲取信息的端到端模型，使用卷積神經(jīng)網(wǎng)絡(luò)處理和提取安全信息，以提高識別提取效率。

分析框架

• 馬里蘭大學(xué)團隊[14]：提出了CyberTwitter框架，使用安全漏洞概念提取器（SVCE）從社交媒體信息流中提取威脅情報，并使用RDF和SWRL規(guī)則進行推理。

基于社交媒體數(shù)據(jù)的OSCTI自動提取框架

• Zhao等人[19]：提出了TIMiner框架，綜合使用詞嵌入和句法依賴技術(shù)，實現(xiàn)了個性化的OSCTI自動提取和評估。

挑戰(zhàn)與展望

盡管社交媒體成為開源威脅情報的重要來源，但這些平臺上的數(shù)據(jù)龐大且質(zhì)量參差不齊。因此，數(shù)據(jù)提純、威脅事件發(fā)現(xiàn)技術(shù)的發(fā)展對于提高識別提取效率至關(guān)重要。此外，隨著技術(shù)的發(fā)展，未來可能會出現(xiàn)更多高效的方法來克服現(xiàn)有挑戰(zhàn)，如更先進的機器學(xué)習(xí)算法和自動化處理技術(shù)，以更準(zhǔn)確地識別和分析社交媒體中的威脅情報。

3.2.4 公共報告

公共報告作為開源威脅情報的重要來源，通常包含安全、漏洞或威脅等相關(guān)主題，并由專業(yè)人員發(fā)布。盡管這些報告時效性可能不高，它們在形式和內(nèi)容上的專業(yè)性使其成為覆蓋大量威脅情報信息的重要資源。

漏洞報告的自動化收集工具

• 文獻(xiàn)[34]：利用NLP技術(shù)開發(fā)了IoTShield工具，用于自動收集互聯(lián)網(wǎng)上的物聯(lián)網(wǎng)漏洞報告。通過分析7500多份安全報告，該研究證實了從公共漏洞報告中提取開源威脅情報的價值。

彌補公共報告的信息不足

• 南京大學(xué)團隊[35]：針對現(xiàn)有安全漏洞報告中重要威脅信息覆蓋率不高的問題，提出利用開放平臺中不同用戶群體的報告來補充信息。

公共代碼庫中的威脅情報挖掘

• 馬里蘭大學(xué)團隊[36]：提出了一種方法，從GitHub、GitLab和Bitbucket等公共代碼庫中直接挖掘開源項目和庫的威脅情報，并跟蹤客戶機上已安裝軟件的庫和項目依賴關(guān)系。

從非結(jié)構(gòu)化報告中提取威脅情報

• 北卡羅來納大學(xué)團隊[40]：開發(fā)了TTPtrill方法，使用NLP和信息檢索技術(shù)從非結(jié)構(gòu)化威脅報告中提取威脅動作，并以STIX格式構(gòu)建戰(zhàn)術(shù)威脅情報。
• 繼續(xù)研究[41]：提出了ActionMiner方法，自動將非結(jié)構(gòu)化威脅報告轉(zhuǎn)換為結(jié)構(gòu)化開源威脅情報，該方法結(jié)合了NLP與信息論中的熵和互信息度量。

挑戰(zhàn)與展望

公共報告成為開源威脅情報的主要來源之一，但仍面臨信息不足的挑戰(zhàn)?，F(xiàn)有研究需要不斷拓展新技術(shù)方法，以提高從公共報告中挖掘高質(zhì)量開源威脅情報的效率。此外，隨著技術(shù)的發(fā)展，未來可能會出現(xiàn)更高效的工具和方法，幫助安全專家更快地識別和防御潛在威脅。

3.2.5 通用方法

在開源威脅情報挖掘領(lǐng)域，使用通用方法，如自然語言處理（NLP）、機器學(xué)習(xí)和數(shù)據(jù)挖掘技術(shù)，來從非結(jié)構(gòu)化信息中提取威脅情報是一個重要的研究方向。這些方法不特定于任何一個特定的開源威脅情報平臺，因此具有較高的通用性和適用性。

NLP和模式識別框架

• Ramnani等人[42]：提出了一種利用NLP和模式識別框架的方法，綜合使用目標(biāo)利用、話題跟蹤和推薦技術(shù)，基于STIX結(jié)構(gòu)實現(xiàn)威脅情報的大規(guī)模提取。

虛擬化結(jié)構(gòu)和分布式處理系統(tǒng)

• 崇實大學(xué)團隊[43]：開發(fā)了一個基于NLP、虛擬化結(jié)構(gòu)和分布式處理技術(shù)的OSCTI提取分析系統(tǒng)，能夠遞歸地提取更多數(shù)據(jù)，并幫助安全人員分析網(wǎng)絡(luò)攻擊。

事件驅(qū)動的智能框架

• 文獻(xiàn)[44]：提出了一個基于事件的OSCTI發(fā)現(xiàn)和分析智能框架，綜合運用NLP、機器學(xué)習(xí)和數(shù)據(jù)挖掘技術(shù)。

輕量級在線框架

• 文獻(xiàn)[45]：開發(fā)了IoCMiner，這是一個輕量級、可擴展的在線框架，用于自動從公共信息共享平臺提取IOC，結(jié)合使用了圖論、機器學(xué)習(xí)和文本挖掘技術(shù)。

挑戰(zhàn)與展望

雖然上述研究方法在平臺覆蓋性方面表現(xiàn)良好，但在處理開源情報信息時，它們未能充分考慮各個信息平臺的特點，導(dǎo)致處理效率有待提高。隨著技術(shù)的進步，未來可能會有更高效的方法和技術(shù)來解決這些挑戰(zhàn)。

IOC提取的核心要素

IOC提取是從開源情報數(shù)據(jù)中提取威脅情報實體的核心研究點。這包括命名實體識別技術(shù)或其他人工智能處理技術(shù)（如正則表達(dá)式匹配、SVM等），用于定位和提取IOC，并應(yīng)用機器挖掘技術(shù)獲取目標(biāo)實體關(guān)系。最終，這些數(shù)據(jù)會根據(jù)實際需求進行標(biāo)準(zhǔn)化威脅情報格式輸出。

開源威脅情報的采集和識別不僅提高了情報信息的廣度和深度，還加快了從漏洞發(fā)現(xiàn)到檢測的防護周期，有助于應(yīng)用于威脅狩獵、惡意檢測等深度挖掘分析防護手段。這些通用方法的發(fā)展對于加快威脅識別和響應(yīng)至關(guān)重要。

3.3 總結(jié)與討論

本節(jié)將開源威脅情報識別提取研究工作劃分為技術(shù)博客, 社區(qū)論壇, 社交媒體, 公開報告, 通用方法五個平臺, 并對這些平臺的開源威脅情報識別提取工作進行詳細(xì)對比分析, 如表 2 所示,
其中每一行代表一項研究工作,
第 1 列代表該項研究的主要提取平臺;
第 3 列為該研究主要的技術(shù)應(yīng)用場景;
第 4列是為實現(xiàn)該研究所應(yīng)用的技術(shù)方法;
第 5 列為性能評估;
第 6 列為通過總結(jié)優(yōu)缺點對該項研究工作的評價。

開源威脅情報挖掘是網(wǎng)絡(luò)安全領(lǐng)域的關(guān)鍵領(lǐng)域之一。最新的研究表明，數(shù)據(jù)挖掘技術(shù)，特別是自然語言處理（NLP）、關(guān)系模型構(gòu)建和機器學(xué)習(xí)，在從多種開源信息平臺中提取威脅情報方面發(fā)揮著重要作用。

技術(shù)應(yīng)用與比較

實體識別技術(shù)

• 正則表達(dá)式：多數(shù)研究傾向于使用易于實現(xiàn)的正則表達(dá)式進行實體識別，雖然相對簡單，但有效率和準(zhǔn)確性的局限。
• BiLSTM+CRF：盡管這種方法更復(fù)雜，但在某些研究中提供了更高的準(zhǔn)確度。

關(guān)系模型構(gòu)建

• 圖論應(yīng)用：在構(gòu)建關(guān)系模型時，許多研究使用圖論，甚至引入了專門的網(wǎng)絡(luò)安全本體，如UCO，以提高模型的表現(xiàn)。

機器學(xué)習(xí)分類

• 支持向量機 (SVM)：由于算法簡單、魯棒性強，SVM在機器學(xué)習(xí)分類中被廣泛選擇。

神經(jīng)網(wǎng)絡(luò)的未來應(yīng)用

由于神經(jīng)網(wǎng)絡(luò)具有自學(xué)習(xí)、聯(lián)想存儲和高速優(yōu)化解決方案的能力，預(yù)計其在開源威脅情報挖掘中的應(yīng)用將進一步增加。

挑戰(zhàn)與展望

本節(jié)內(nèi)容有助于研究學(xué)者和相關(guān)從業(yè)人員快速了解開源威脅情報的識別和提取技術(shù)，并根據(jù)性能和優(yōu)缺點更準(zhǔn)確高效地選擇適當(dāng)?shù)姆椒?。這對解決傳統(tǒng)威脅情報開發(fā)的局限和擴充商業(yè)威脅情報的數(shù)據(jù)維度具有重要意義。

開源威脅情報采集來源廣泛且混雜，情報質(zhì)量參差不齊，因此加強開源威脅情報融合評價的研究至關(guān)重要，以提高情報的質(zhì)量和可信性。未來，開源威脅情報的研究不僅需要聚焦于提取技術(shù)的發(fā)展，還需關(guān)注如何從大量數(shù)據(jù)中精確識別和分析高質(zhì)量情報。

4 開源威脅情報融合評價

prompt：閱讀梳理文獻(xiàn)的嘗試

結(jié)合chatgpt閱讀梳理文獻(xiàn)。

我現(xiàn)在在調(diào)研網(wǎng)安領(lǐng)域的威脅情報，以期待找到能做命名實體識別or關(guān)系抽取的任務(wù)。

我現(xiàn)在是閱讀一篇論文《基于開源信息平臺的威脅情報挖掘綜述》，請梳理這段話，表達(dá)專業(yè)明了，保留參考文獻(xiàn)，我需要更詳細(xì)的內(nèi)容，形成博客，方便閱讀理解和后續(xù)思路整理。文章來源地址http://www.zghlxwxcb.cn/news/detail-769517.html

到了這里，關(guān)于【開源威脅情報挖掘1】引言 + 開源威脅情報挖掘框架 + 開源威脅情報采集與識別提取的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！