前些天發(fā)現(xiàn)了一個人工智能學(xué)習(xí)網(wǎng)站，內(nèi)容深入淺出、易于理解。如果對人工智能感興趣，不妨點(diǎn)擊查看。

寫在最前面

BinHui Tang a c, JunFeng Wang b, Zhongkun Yu b, Bohan Chen b, Wenhan Ge b, Jian Yu b, TingTing Lu b的
論文Advanced Persistent Threat intelligent profiling technique: A survey

論文原文鏈接：https://www.sciencedirect.com/science/article/pii/S0045790622004931#sec2

1. 摘要

隨著互聯(lián)網(wǎng)和信息技術(shù)的蓬勃發(fā)展，網(wǎng)絡(luò)攻擊變得越來越頻繁和復(fù)雜，尤其是高級持續(xù)威脅 （APT） 攻擊。與傳統(tǒng)攻擊不同，APT 攻擊更具針對性、隱蔽性和對抗性，因此手動分析威脅行為以進(jìn)行 APT 檢測、歸因和響應(yīng)具有挑戰(zhàn)性。因此，研究界一直專注于智能防御方法。智能威脅分析致力于通過知識圖譜和深度學(xué)習(xí)方法分析APT攻擊并提高防御能力?；谶@一見解，本文首次系統(tǒng)回顧了針對 APT 攻擊的智能威脅分析技術(shù)，涵蓋數(shù)據(jù)、方法和應(yīng)用三個方面。內(nèi)容包括數(shù)據(jù)處理技術(shù)、威脅建模、表示、推理方法等。此外，本文總結(jié)了應(yīng)用領(lǐng)域的最新研究成果，提出了研究框架和技術(shù)架構(gòu)，并對未來的研究趨勢提出了見解。本文有助于認(rèn)識到智能威脅分析的優(yōu)勢和挑戰(zhàn)。為知識圖譜與深度學(xué)習(xí)的融合，實(shí)現(xiàn)智能安全鋪平了道路。

2. 研究基礎(chǔ)

2.1. 高級持續(xù)威脅 （APT）

美國國家標(biāo)準(zhǔn)與技術(shù)研究院 （NIST） 將 APT 定義為：“攻擊者擁有復(fù)雜的專業(yè)知識和大量資源，使其能夠創(chuàng)造機(jī)會，使用多種攻擊媒介實(shí)現(xiàn)其目標(biāo) [14]”。該定義側(cè)重于描述APT的特征。本文將 APT 理解為針對針對目標(biāo)攻擊的有組織和有計(jì)劃的攻擊。APT 包含三個主要元素：高級，強(qiáng)調(diào)使用復(fù)雜的惡意程序或利用系統(tǒng)中的高級漏洞;persistent，強(qiáng)調(diào)監(jiān)控攻擊目標(biāo)的持久性;威脅，這是一種具有蓄意和嚴(yán)重影響的復(fù)雜網(wǎng)絡(luò)攻擊[15]。APT攻擊具有高度隱蔽性，可以穿透受害者的網(wǎng)絡(luò)，停留時間長，緩慢而隱蔽地移動，以達(dá)到攻擊意圖。APT 攻擊者花費(fèi)更多時間選擇目標(biāo)、準(zhǔn)備攻擊模式、發(fā)現(xiàn)漏洞以及自定義惡意工具和惡意軟件來執(zhí)行攻擊。攻擊周期包括信息收集、武器定制、有效載荷投送、初始入侵、安裝和操作、C&C通道的建立和攻擊實(shí)現(xiàn)，這些都可以用網(wǎng)絡(luò)殺傷鏈（CKC）來描述。這些步驟中的每一個步驟對于攻擊的成功都至關(guān)重要。因此，APT攻擊通常由專業(yè)團(tuán)體進(jìn)行，不像使用簡單攻擊工具的常見攻擊。

2.2. 威脅分析（TP）

分析技術(shù)作為一種新興的大數(shù)據(jù)分析技術(shù)，已應(yīng)用于許多領(lǐng)域。借助歷史數(shù)據(jù)對習(xí)慣性偏好和行為模式的研究 可以在定性和定量研究中很好地結(jié)合。威脅分析（Threat Profiling，簡稱TP）是一種基于威脅模型和安全數(shù)據(jù)分析APT威脅行為的技術(shù)，通過挖掘行為模式和推理攻擊意圖來了解這些數(shù)據(jù)之間的關(guān)系[16]。在大數(shù)據(jù)和人工智能技術(shù)中進(jìn)行智能威脅分析，可以智能地支持防御策略的指定，實(shí)現(xiàn)更精準(zhǔn)的動態(tài)防御。威脅分析的價值在于通過獲取和關(guān)聯(lián)攻擊數(shù)據(jù)來提高威脅參與者的攻擊檢測和歸因準(zhǔn)確性。許多研究人員專注于分析APT攻擊者的行為模式，這可以有效地解決傳統(tǒng)安全技術(shù)的局限性[17]。本文將威脅分析（Threat Profiling，TP）定義為威脅知識歸納分析的一種表現(xiàn)形式，是一種收集威脅數(shù)據(jù)、了解這些數(shù)據(jù)之間的關(guān)系、挖掘行為模式、預(yù)測攻擊意圖和狀態(tài)的方法。此定義將威脅分析分為三個階段：建模、表示和推理。

2.3. 相關(guān)技術(shù)

APT 攻擊具有高度隱蔽性，因此很難依靠傳統(tǒng)的防御方法來識別威脅行為。海量安全數(shù)據(jù)對威脅建模、表示和推理提出了挑戰(zhàn)。深度學(xué)習(xí)和知識圖譜技術(shù)為解決問題提供了全面的思路。威脅分析中的知識圖譜有助于分析和理解 APT 攻擊，面向優(yōu)化的深度學(xué)習(xí)方法致力于提高防御結(jié)果。威脅分析主要有利于這兩種技術(shù)的發(fā)展：知識圖譜和本體模型用于對威脅分析進(jìn)行建模，深度學(xué)習(xí)有助于從異構(gòu)安全數(shù)據(jù)中提取安全實(shí)體和關(guān)系，并支持本體更新和威脅推理。

（1） TP和知識圖譜

近年來，知識圖譜受到了研究人員的極大關(guān)注。它是Google提出的一種信息異構(gòu)圖，是一種由節(jié)點(diǎn)和邊組成的大規(guī)模語義網(wǎng)絡(luò)。安全知識圖譜是代表網(wǎng)絡(luò)空間中實(shí)體和關(guān)系的語義關(guān)聯(lián)，為威脅分析提供了直觀的建模方法，為智能安全提供了技術(shù)基礎(chǔ)。安全知識圖譜包含模型層和數(shù)據(jù)層。模型層存儲精煉的知識，并由本體數(shù)據(jù)庫管理，如 網(wǎng)絡(luò)威脅情報(bào)交換規(guī)范 [18] 中描述的結(jié)構(gòu)化威脅信息表達(dá)式 （STIX） 2.1。攻擊過程由“戰(zhàn)術(shù)-技術(shù)-工具-數(shù)據(jù)源-惡意軟件-攻擊模式-漏洞-硬件和軟件”中的復(fù)合體和多路徑交互關(guān)系表示。數(shù)據(jù)層是從各種類型的原始數(shù)據(jù)中提取的數(shù)據(jù)元素的語義關(guān)聯(lián)，并按照本體模板實(shí)現(xiàn)，形成有向圖結(jié)構(gòu)。

研究人員已經(jīng)建立了串行安全知識圖譜。例如，網(wǎng)絡(luò)安全態(tài)勢分析圖（Cygraph）包含四個級別：網(wǎng)絡(luò)基礎(chǔ)設(shè)施、安全態(tài)勢、網(wǎng)絡(luò)威脅和任務(wù)準(zhǔn)備[19]。它支持攻擊面識別和攻擊態(tài)勢理解，以保護(hù)關(guān)鍵資產(chǎn)。惡意軟件的知識圖譜表示惡意軟件的概念、屬性、關(guān)系、系統(tǒng)進(jìn)程、網(wǎng)絡(luò)通信和源代碼。它利用有效負(fù)載和攻擊行為來幫助惡意軟件分類。安全知識圖譜有助于了解 APT 威脅中攻擊和防御技術(shù)之間的關(guān)系。威脅分析模擬安全專家發(fā)現(xiàn)攻擊活動和識別攻擊技術(shù)的過程。知識圖譜可以通過本體建模，有效地可視化安全知識，提高對威脅行為的解釋能力。多源異構(gòu)數(shù)據(jù)的關(guān)聯(lián)和融合有助于彌補(bǔ)樣本數(shù)據(jù)的不足。在安全語義信息的支持下，知識圖譜為威脅畫像的認(rèn)知和決策提供領(lǐng)域知識。主要的挑戰(zhàn)是在大規(guī)模安全知識圖譜中應(yīng)用有效的深度學(xué)習(xí)算法。

（2） TP與深度學(xué)習(xí)

隨著深度學(xué)習(xí)的不斷演進(jìn)，APT防御問題帶來了新的方法。深度學(xué)習(xí)側(cè)重于利用深度神經(jīng)網(wǎng)絡(luò)對大規(guī)模網(wǎng)絡(luò)威脅數(shù)據(jù)進(jìn)行表示、融合、挖掘和推理，能夠有效地識別、分類和檢測異常行為。為了識別異常行為，M. Mamun 等人。 [20]提出了DeepTaskAPT，一種基于異構(gòu)任務(wù)樹的長短期記憶（LSTM）神經(jīng)網(wǎng)絡(luò)。Xuan 等人。 [21]提出了一種用于APT攻擊檢測的組合深度學(xué)習(xí)模型。Gao et al. [22]提出了一種識別基礎(chǔ)設(shè)施節(jié)點(diǎn)威脅的技術(shù)，該技術(shù)采用RNN來處理威脅情報(bào)和序列特征。Zhao et al. [23] 建議使用異構(gòu)圖和圖卷積神經(jīng)網(wǎng)絡(luò) （GCN） 對 IoC 之間的關(guān)系進(jìn)行建模，以從威脅情報(bào)中提取威脅行為。深度學(xué)習(xí)探索大規(guī)模數(shù)據(jù)中潛在的威脅行為模式，自動學(xué)習(xí)向量表示，并提供廣泛的參數(shù)空間，從而提供強(qiáng)大的建模架構(gòu)來自動學(xué)習(xí)。

回顧網(wǎng)絡(luò)安全技術(shù)的發(fā)展歷史，大多數(shù)專家都利用專業(yè)知識來定義規(guī)則并解決網(wǎng)絡(luò)空間的安全問題。隨著網(wǎng)絡(luò)攻擊的不斷演進(jìn)，智能技術(shù)與安全知識的融合已成為必然趨勢。智能驅(qū)動的網(wǎng)絡(luò)安全技術(shù)分為感知、認(rèn)知和決策四個階段，如表1所示。隨著人工智能進(jìn)入認(rèn)知階段，深度學(xué)習(xí)因其智能化、自動化識別和處理能力以及強(qiáng)大的數(shù)據(jù)分析能力而成為網(wǎng)絡(luò)安全防御的核心。智能威脅分析正在從感知階段發(fā)展到認(rèn)知階段。

深度學(xué)習(xí)方法可以解決攻擊行為特征的挖掘和提取問題，但存在局限性，主要是魯棒性和可解釋性較差。深度學(xué)習(xí)很難理解數(shù)據(jù)，即使使用數(shù)據(jù)增強(qiáng)技術(shù)，結(jié)果仍然依賴于數(shù)據(jù)集，導(dǎo)致對未知攻擊的響應(yīng)能力差。研究表明，深度神經(jīng)網(wǎng)絡(luò)容易受到對抗性數(shù)據(jù)的影響，而對抗性攻擊是深度學(xué)習(xí)模型的固有弱點(diǎn)。作為強(qiáng)化學(xué)習(xí)的類型，生成對抗網(wǎng)絡(luò)（GAN）被用于從魯棒優(yōu)化的角度提高神經(jīng)網(wǎng)絡(luò)的對抗魯棒性 [24]。零/小樣本學(xué)習(xí)的興起使深度學(xué)習(xí)能夠“通過示例學(xué)習(xí)”，從而減少對數(shù)據(jù)集的依賴。

3. 技術(shù)架構(gòu)和總體目標(biāo)

智能威脅分析利用人工智能技術(shù)自動分析 APT 攻擊的威脅行為。通過提高多源異構(gòu)安全數(shù)據(jù)的融合表示能力，降低威脅行為挖掘難度。該技術(shù)架構(gòu)主要介紹了最先進(jìn)的威脅分析建模、表示和推理方法，如圖 2 所示。以下各節(jié)討論數(shù)據(jù)、方法和應(yīng)用中威脅分析的關(guān)鍵技術(shù)，例如本體建模、數(shù)據(jù)采集、信息提取、威脅語義表示、威脅知識推理等。技術(shù)架構(gòu)分為三個部分：

• （1）安全數(shù)據(jù)驅(qū)動的威脅分析建模。

• （2）智能方法驅(qū)動的威脅分析表示。

• （3）應(yīng)用場景驅(qū)動的威脅分析推理。智能威脅分析的總體目標(biāo)是威脅事件分析、威脅場景分析和威脅行為分析。

  • （1）威脅事件分析：威脅事件分析側(cè)重于研究威脅事件與檢測APT攻擊的內(nèi)在相關(guān)性，這歸因于原始數(shù)據(jù)層的多源異構(gòu)性。通過融合異構(gòu)威脅源和威脅特征來減少數(shù)據(jù)冗余，以比單個數(shù)據(jù)源更好地反映 APT 的異常行為。
  • （2） 威脅場景分析：威脅場景分析對于識別攻擊場景至關(guān)重要，并有助于歸因 APT 組。威脅場景分析依賴于信息層，信息層實(shí)現(xiàn)安全語義信息之間的關(guān)聯(lián)，生成場景分析。
  • （3）威脅行為分析：威脅行為分析依賴于知識層，知識層應(yīng)用網(wǎng)絡(luò)安全知識來理解和識別威脅行為模式。將來自不同來源的安全知識進(jìn)行關(guān)聯(lián)和融合，以建立統(tǒng)一的 APT 參與者行為分析模型。不同數(shù)據(jù)源之間的語義差距是主要制約因素，而安全知識圖譜是實(shí)現(xiàn)威脅行為分析的有力手段。因此，威脅行為分析依賴于知識圖譜技術(shù)來分析威脅行為，預(yù)測威脅意圖，發(fā)現(xiàn)未知攻擊。

4. 智能威脅分析數(shù)據(jù)

安防產(chǎn)業(yè)界和學(xué)術(shù)界正在加速智能安防，期待構(gòu)建智能安防生態(tài)圈。數(shù)據(jù)是智能安全生態(tài)系統(tǒng)的基礎(chǔ)，其作用越來越重要。對 APT 防御的需求已經(jīng)遠(yuǎn)遠(yuǎn)超出了傳統(tǒng)的安全設(shè)備，各種安全數(shù)據(jù)（如主機(jī)日志、網(wǎng)絡(luò)流量、安全警報(bào)、威脅情報(bào)和社交媒體數(shù)據(jù)）是威脅分析的主要數(shù)據(jù)源。然而，海量的安全數(shù)據(jù)使得威脅分析在挖掘關(guān)鍵信息時遇到了重大挑戰(zhàn)。這些數(shù)據(jù)分散、語義多樣、異構(gòu)，容易造成語義差距和概念漂移。當(dāng)務(wù)之急是通過威脅分析將這些數(shù)據(jù)轉(zhuǎn)化為知識。因此，關(guān)鍵數(shù)據(jù)采集是智能威脅分析的基礎(chǔ)，如圖 3 所示。

4.1. 數(shù)據(jù)采集

（1）數(shù)據(jù)源采集

有兩種數(shù)據(jù)源：內(nèi)部數(shù)據(jù)和外部數(shù)據(jù)。內(nèi)部數(shù)據(jù)（如審核日志、網(wǎng)絡(luò)流量、安全警報(bào)等）通常以標(biāo)準(zhǔn)格式構(gòu)建，并從本地系統(tǒng)收集。外部數(shù)據(jù)包括惡意軟件、威脅情報(bào)、開源安全博客、其他安全論壇等，均為半/非結(jié)構(gòu)化數(shù)據(jù)格式，從外部數(shù)據(jù)源收集。具體說明如下：

（a）審計(jì)數(shù)據(jù)：審計(jì)數(shù)據(jù)是指主機(jī)運(yùn)行過程中發(fā)生的各種類型的日志記錄，其中每個日志條目都是通過監(jiān)控主機(jī)的運(yùn)行而產(chǎn)生的，包括內(nèi)核和系統(tǒng)日志、用戶日志、應(yīng)用程序日志以及各種類型的數(shù)據(jù)記錄等。它反映了用戶操作和操作系統(tǒng)的日常行為，并識別和發(fā)現(xiàn)針對主機(jī)的攻擊活動。主機(jī)日志是最直接的數(shù)據(jù)，也是攻擊事件分析中不可或缺的信息來源。

（b） 網(wǎng)絡(luò)流量：網(wǎng)絡(luò)流量通常通過流量鏡像、嗅探、解析等方式收集，安全威脅通常是通過解析傳輸網(wǎng)絡(luò)流量中通信的行為特征來發(fā)現(xiàn)的[25]。例如，APT僵尸網(wǎng)絡(luò)攻擊（僵尸網(wǎng)絡(luò)）控制僵尸網(wǎng)絡(luò)服務(wù)器（命令和控制服務(wù)器）與受控節(jié)點(diǎn)進(jìn)行通信。

（c） 惡意軟件：惡意軟件是用于完成特定惡意功能和程序的惡意代碼，例如計(jì)算機(jī)病毒、蠕蟲、特洛伊木馬、后門、Root-Kit、Bot 等。 遠(yuǎn)程訪問木馬 （RAT） 是 APT 攻擊中常用的惡意軟件，允許遠(yuǎn)程攻擊者進(jìn)行間諜、信息盜竊、和勒索或控制受害者的設(shè)備 [26]。

（d） 安全警報(bào)：安全警報(bào)是由這些部署的安全設(shè)備生成的數(shù)據(jù)，例如入侵檢測系統(tǒng)、流量分析系統(tǒng)、防火墻和防病毒軟件 [27]。它們可以看作是網(wǎng)絡(luò)系統(tǒng)內(nèi)的安全檢測器，它收集所有安全警報(bào)事件并提供低級別的安全視圖。由于安全產(chǎn)品中使用的技術(shù)技能不同，因此會產(chǎn)生不同類型的安全警報(bào)，從而對安全信息提供不同的視角。

（e） 威脅情報(bào) （TI）：Gartner 提出了 TI 的概念，并被廣泛接受：威脅情報(bào)是基于證據(jù)的知識，包括上下文、機(jī)制、指標(biāo)或隱含的可操作建議。威脅情報(bào)是威脅分析中的重要數(shù)據(jù)源。威脅情報(bào) （TI） 是來自外部數(shù)據(jù)源的威脅知識，由許多組織和文獻(xiàn)定義和共享，例如威脅報(bào)告、資產(chǎn)報(bào)告、安全博客、漏洞數(shù)據(jù)庫、惡意軟件數(shù)據(jù)庫、安全網(wǎng)站、社交媒體等。作為網(wǎng)絡(luò)攻擊知識共享的載體，可以為威脅分析提供必要的知識。特別是，入侵指標(biāo)（IoC）作為威脅知識的具體表示，是網(wǎng)絡(luò)威脅情報(bào)的主要內(nèi)容。戰(zhàn)術(shù)、技術(shù)和程序（TTP）可以反映攻擊群體的行為模式，廣泛用于威脅分析，具有很高的研究價值。大多數(shù)研究人員在互聯(lián)網(wǎng)上搜索可用的情報(bào)信息進(jìn)行研究，馬等人。 [28] 提出將正則表達(dá)式和語法樹相似性相結(jié)合的方法，以從安全博客中提取攻擊指標(biāo)。例如，安全專家對攻擊事件的分析以及這些報(bào)告包括對攻擊目標(biāo)、實(shí)施場景、攻擊者習(xí)慣等的詳細(xì)分析。它們?yōu)楦呒壨{行為分析提供了原材料。威脅情報(bào)通過信息共享，降低安全風(fēng)險，增強(qiáng)安全主動防御能力。

數(shù)據(jù)采集方法可分為主動模式和被動模式。被動收集主要通過將流量鏡像到安全設(shè)備并使用流量捕獲工具（如嗅探器、Netflow 等）來捕獲。數(shù)據(jù)源包括主機(jī)日志、網(wǎng)絡(luò)流量、安全警報(bào)等[29]。主動收集由爬蟲、API 接口和其他方式獲取外部數(shù)據(jù)源，例如威脅信息、安全報(bào)告、漏洞報(bào)告、惡意軟件分析報(bào)告、安全標(biāo)準(zhǔn)、來自社交媒體的威脅共享信息、漏洞數(shù)據(jù)庫等 [30]。安全數(shù)據(jù)通常單獨(dú)用作單一數(shù)據(jù)源進(jìn)行分析，而無需統(tǒng)一的模型。

（2）數(shù)據(jù)分類

本文基于DIKW的金字塔數(shù)據(jù)分層模型，將網(wǎng)絡(luò)安全數(shù)據(jù)分為三層;底部是原始數(shù)據(jù)層，中間是信息層，頂部是知識層。

（a） 原始數(shù)據(jù)層主要是未經(jīng)處理的原始網(wǎng)絡(luò)數(shù)據(jù)，結(jié)構(gòu)清晰，不包含明確的語義信息。它包括顯式主機(jī)日志、網(wǎng)絡(luò)流量、蜜罐日志和網(wǎng)絡(luò)設(shè)備日志 [31]。

（b）信息層主要基于規(guī)則和匹配處理后的數(shù)據(jù)，具有多樣化的數(shù)據(jù)結(jié)構(gòu)，包含明確的語義信息。這些數(shù)據(jù)具有時效性，主要包括資產(chǎn)信息、漏洞報(bào)告和威脅事件報(bào)告。

（c）知識層主要是經(jīng)過融合、分析、總結(jié)后的知識，可用于推理和預(yù)測。這些數(shù)據(jù)包含許多網(wǎng)絡(luò)安全知識庫，如CAPEC、CWE、CVE、CNNVD [32]和ATT&CK [33]，它們具有復(fù)雜的數(shù)據(jù)格式，并呈現(xiàn)出多種語義和表示。

數(shù)據(jù)類型包括結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。從數(shù)據(jù)的語義角度來看，它有語義和非語義數(shù)據(jù)[34]。原始數(shù)據(jù)幾乎是結(jié)構(gòu)化數(shù)據(jù)，例如主機(jī)日志、網(wǎng)絡(luò)流量等;信息層的數(shù)據(jù)是半結(jié)構(gòu)化數(shù)據(jù)，如攻擊告警、惡意軟件、漏洞報(bào)告、安全事件報(bào)告等;知識層中的數(shù)據(jù)是非結(jié)構(gòu)化的，例如來自社交媒體的威脅情報(bào)和各種安全知識。數(shù)據(jù)收集、處理、存儲和分析方式不同，存在顯著差異。原始數(shù)據(jù)屬于非語義數(shù)據(jù)，不包含安全語義信息?？梢允褂锰卣髌ヅ鋪矸治鰯?shù)據(jù)以進(jìn)行異常檢測。但是，屬于語義數(shù)據(jù)的信息和知識層具有豐富的語義信息和較強(qiáng)的上下文相關(guān)性，這是威脅分析中不可或缺的一部分，必須使用智能方法。

4.2. 信息獲取

APT 攻擊具有高度隱蔽性，通常將其行為偽裝成合法用戶。從原始數(shù)據(jù)中檢測攻擊活動具有挑戰(zhàn)性。從異構(gòu)數(shù)據(jù)中發(fā)現(xiàn)與APT攻擊行為相關(guān)的實(shí)體和實(shí)體關(guān)系對于威脅分析至關(guān)重要[35]。然而，數(shù)據(jù)源分散、語義多樣、格式異構(gòu)，需要完善的數(shù)據(jù)處理方法。否則，它們會帶來數(shù)據(jù)爆炸、語義差距、概念漂移等問題。對于不同的數(shù)據(jù)源，結(jié)構(gòu)化非語義數(shù)據(jù)處理方法簡單，語法規(guī)則相似，因此結(jié)構(gòu)化非語義數(shù)據(jù)處理方法很容易。信息層中的各種數(shù)據(jù)通常使用數(shù)據(jù)清洗、特征提取、特征選擇和特征變換方法來提取關(guān)鍵特征。

（1） 數(shù)據(jù)清洗

數(shù)據(jù)清洗主要是對數(shù)據(jù)進(jìn)行重新檢查和驗(yàn)證，包括刪除重復(fù)和不正確的信息、數(shù)據(jù)源異構(gòu)性導(dǎo)致的冗余和不兼容問題、規(guī)范化數(shù)據(jù)格式等[36]。這些方法刪除無效值或不正確的信息，包括完全列刪除、變量刪除和對刪除。有用于處理缺失值的平均插值和高維映射。由于數(shù)據(jù)異構(gòu)性，通常使用的方法有數(shù)據(jù)值沖突處理、冗余處理和模式匹配。數(shù)據(jù)歸一化主要使用數(shù)值方法將非數(shù)據(jù)信息轉(zhuǎn)換為數(shù)據(jù)，并使用集中化或歸一化方法將 [0,1] 中的值集成到實(shí)驗(yàn)中。

（2） 功能選擇

特征選擇是數(shù)據(jù)處理技術(shù)的一個組成部分。特征選擇會刪除一些對分類沒有多大貢獻(xiàn)的特征，并選擇適當(dāng)?shù)奶卣鬟M(jìn)行訓(xùn)練。特征選擇旨在提高學(xué)習(xí)效率和準(zhǔn)確性，并減少計(jì)算和存儲需求。特征選擇可分為嵌入式、濾波和封裝[37]。特征選擇算法是嵌入式算法的關(guān)鍵組成部分。使用幾種質(zhì)量過濾方法（例如類間距、信息增益、相關(guān)性和不一致性）進(jìn)行排名的特征 研究人員提出了啟發(fā)式方法，例如正向搜索、后向搜索和隨機(jī)搜索。正向搜索會周期性地添加特征，直到學(xué)習(xí)算法的性能不再提高。這兩種方法通常都是局部最優(yōu)的，并且很難獲得全局最優(yōu)的特征子集。隨機(jī)搜索，使用遺傳算法、免疫算法和蟻群算法進(jìn)行特征集搜索，精度較高，但算法效率較低[38]。封裝選擇算法學(xué)習(xí)算法的性能，作為特征選擇的評估標(biāo)準(zhǔn)。

（3） 特征提取

特征提取是數(shù)據(jù)處理中不可或缺的一部分，主要是將高維特征空間映射到低維特征空間，從而提高算法性能，最大限度地減少信息損失，增強(qiáng)對數(shù)據(jù)的深度理解。特征提取從三個方面進(jìn)行：（a）建立多粒度特征精簡模型，通過有效去除多源數(shù)據(jù)中的冗余數(shù)據(jù)來提取本質(zhì)特征;（b）研究多源數(shù)據(jù)的?；椒ǎ詫?shí)現(xiàn)特征的有效壓縮;（c）研究多源數(shù)據(jù)中攻擊意圖特征的提取算法[39]。目前，特征提取算法包括主成分分析、因子分析、奇異值分解、多維尺度分析和簡化學(xué)習(xí)、基于核密度估計(jì)的貝葉斯算法（NBK）和支持向量機(jī)（SVM）。

4.3. 知識獲取

隨著威脅情報(bào)的廣泛應(yīng)用，文本知識的自動獲取成為最具挑戰(zhàn)性的任務(wù)，已經(jīng)產(chǎn)生了許多利用自然語言處理和知識圖譜獲取知識的方法，Philip S. Yu et al. [40] 總結(jié)了最近在知識圖譜表示、獲取和應(yīng)用方面的突破。安全知識來自不同的數(shù)據(jù)源，具有復(fù)雜的實(shí)體關(guān)系和不同的語義。從非結(jié)構(gòu)化文本數(shù)據(jù)中自動獲取結(jié)構(gòu)化知識是知識獲取的主要任務(wù)，這對于威脅分析至關(guān)重要。信息和知識層中的各種數(shù)據(jù)通常使用這種方法來挖掘行為知識。

（1） 實(shí)體提取

實(shí)體提取也稱為命名實(shí)體識別。目標(biāo)是從安全數(shù)據(jù)中自動識別安全實(shí)體，需要根據(jù)數(shù)據(jù)結(jié)構(gòu)的程度選擇合適的方法。有三種方法：基于規(guī)則、基于機(jī)器學(xué)習(xí)和基于深度學(xué)習(xí)。深度學(xué)習(xí)是發(fā)現(xiàn)隱式特征的最佳方法。

（a） 規(guī)則方法：安全實(shí)體的半結(jié)構(gòu)化數(shù)據(jù)包括 IP、域、電子郵件、DNS、CVE 和危害 （IoC） 的哈希指標(biāo) [41]。這些安全類實(shí)體需要通過正則表達(dá)式或字典匹配來提取，以實(shí)現(xiàn)實(shí)體提取。規(guī)則方法使用預(yù)定義的規(guī)則來識別和定位信息特征，但其準(zhǔn)確性和效率會隨著規(guī)則升級次數(shù)的增加而降低。將規(guī)則提取與自動學(xué)習(xí)方法相結(jié)合，可以減少規(guī)則數(shù)量并自動生成規(guī)則，從而解決匹配效率和提取精度之間的平衡。

（b）機(jī)器學(xué)習(xí)方法：與有規(guī)則的實(shí)體提取方法相比，機(jī)器學(xué)習(xí)方法不需要手動構(gòu)建規(guī)則，而是從訓(xùn)練語料中自動學(xué)習(xí)參數(shù)，實(shí)現(xiàn)實(shí)體和屬性提取[42]。使用語法樹、相似性指標(biāo)和支持向量機(jī) （SVM） 等標(biāo)準(zhǔn)方法。傳統(tǒng)技術(shù)和簡單的神經(jīng)網(wǎng)絡(luò)相結(jié)合，催生了一些經(jīng)典算法，如隱馬爾可夫模型（HMM）和條件隨機(jī)場（CRF）[43]、引導(dǎo)算法等。 機(jī)器學(xué)習(xí)方法無法深入處理語義信息，以及沒有充分考慮語義特征的端到端神經(jīng)網(wǎng)絡(luò)模型 可能無法準(zhǔn)確捕獲安全實(shí)體。因此，一些研究人員已經(jīng)開始使用深度學(xué)習(xí)作為獲取深度語義信息的解決方案。

（c） 深度學(xué)習(xí)方法：機(jī)器學(xué)習(xí)方法無法進(jìn)行深度語義信息處理，因?yàn)閷τ跊]有明顯結(jié)構(gòu)特征的實(shí)體，不容易發(fā)現(xiàn)顯著特征、結(jié)構(gòu)和語義特征。深度學(xué)習(xí)方法用于融合實(shí)體的結(jié)構(gòu)和語義特征（單詞特征、字符特征和句法依賴特征），以自動識別安全實(shí)體。循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）和雙向長短期記憶（BiLSTM）模型是文本數(shù)據(jù)處理的常規(guī)解決方案，它們使用局部補(bǔ)償來幫助分析相關(guān)信息和區(qū)域注意力機(jī)制，以提高提取效率。 卷積神經(jīng)網(wǎng)絡(luò)（CNN）[44]在該領(lǐng)域得到了廣泛的應(yīng)用并取得了良好的效果，產(chǎn)生了優(yōu)秀的模型，如TextCNN、CRNN、RCNN、HFT-CNN等。 圖神經(jīng)網(wǎng)絡(luò)（GNN）[45]可以改善實(shí)體之間的語義關(guān)系和信息提取的有效性。一些學(xué)者使用知識圖譜和多層注意力機(jī)制，通過異構(gòu)圖網(wǎng)絡(luò)中的元路徑和元圖實(shí)例來提取關(guān)鍵信息并識別威脅基礎(chǔ)設(shè)施節(jié)點(diǎn)。

（2） 關(guān)系提取

關(guān)系抽取的目的是解決實(shí)體之間的語義鏈接問題，從文本中抽取兩個或多個實(shí)體之間的語義關(guān)系。關(guān)系抽取技術(shù)的方法包括無監(jiān)督學(xué)習(xí)方法、監(jiān)督學(xué)習(xí)方法和遠(yuǎn)監(jiān)督學(xué)習(xí)方法3種[46]。1998 年，在上一屆 MUC 會議上首次提出了關(guān)系提取任務(wù)，使用關(guān)系模板來描述實(shí)體與實(shí)體的關(guān)系。通過人工標(biāo)注獲得的MUC、ACE和SemEva?評估會議中的實(shí)體關(guān)系語料庫耗費(fèi)人力且成本高昂，語料域覆蓋面窄。涵蓋其他特定領(lǐng)域并不容易，例如網(wǎng)絡(luò)安全。Yang等[47]在許多自然語言處理任務(wù)中取得了顯著的成果。深度學(xué)習(xí)方法提出了一種 基于異構(gòu)圖注意力網(wǎng)絡(luò)的半監(jiān)督文本分類模型，以提高短文本處理的準(zhǔn)確性，該模型在該領(lǐng)域得到了廣泛的應(yīng)用，并取得了良好的效果。關(guān)系抽取方法類似于實(shí)體抽取，從不同來源抽取特定實(shí)體的關(guān)系信息。一些學(xué)者使用注意力機(jī)制來改善循環(huán)神經(jīng)網(wǎng)絡(luò)對局部信息的感知效果。它們通常分為單向和雙向，以補(bǔ)償由于全局和局部分析不明確而導(dǎo)致的循環(huán)網(wǎng)絡(luò)的信息損失。RNN 和 LSTM 是用于文本處理的傳統(tǒng)方法，也是用于關(guān)系提取的卷積神經(jīng)網(wǎng)絡(luò)，有效地使用新的損失函數(shù)來提高關(guān)系分類性能 [48]。

盡管上述方法在提取任務(wù)中取得了良好的結(jié)果，但它們需要大量高質(zhì)量的標(biāo)記數(shù)據(jù)。因此，研究人員已經(jīng)開始使用遠(yuǎn)程監(jiān)督進(jìn)行關(guān)系提取來解決標(biāo)記數(shù)據(jù)的稀缺性問題。毛等[49]提出了一種基于知識圖譜結(jié)合多層注意力機(jī)制的遠(yuǎn)監(jiān)督關(guān)系抽取，以提高關(guān)系抽取的有效性，解決標(biāo)記數(shù)據(jù)稀缺的問題。盡管如此，遠(yuǎn)監(jiān)督中的噪聲仍會影響結(jié)果的準(zhǔn)確性，強(qiáng)化學(xué)習(xí)可以很好地處理噪聲問題和未來的研究趨勢。

5. 智能威脅分析方法

人工智能（AI）技術(shù)的發(fā)展加速了產(chǎn)學(xué)界對智能安全的研究，有望構(gòu)建智能安全生態(tài)系統(tǒng)。智能威脅分析的目標(biāo)是解決人類在安全分析方面的局限性，降低挖掘威脅知識的成本。要實(shí)現(xiàn)目標(biāo)，必須解決兩個關(guān)鍵點(diǎn)，即數(shù)據(jù)和方法。數(shù)據(jù)是智能安全的基礎(chǔ)，而方法對于提高其有效性至關(guān)重要。智能威脅分析的方法包括威脅分析建模、表示和推理，如圖 4 所示：

下載：下載高分辨率圖片 （603KB）
下載：下載全尺寸圖像
圖 4.智能威脅分析方法。

5.1. 威脅分析建模

威脅建模是威脅分析不可或缺的一部分，威脅分析使用相關(guān)本體來組合威脅類別和行為模型。用于構(gòu)建基于網(wǎng)絡(luò)安全本體的威脅行為知識圖譜，有助于理解網(wǎng)絡(luò)威脅，更好地感知APT的威脅行為模式。許多相關(guān)研究為威脅本體模型提供了研究基礎(chǔ)。一些研究者提出了一種基于OWL語言的攻擊本體方法[50]，該方法通過攻擊類別和策略構(gòu)建網(wǎng)絡(luò)安全本體，對攻擊方式、信息資產(chǎn)、攻擊影響和防護(hù)措施進(jìn)行分類。Noel 等人。 [51]提出CyGraphs作為網(wǎng)絡(luò)安全圖模型，它使用節(jié)點(diǎn)和邊來表示網(wǎng)絡(luò)空間中實(shí)體的邏輯關(guān)系;Kiwia[52]提出了一種用于特洛伊木馬行為分析的本體分類模型。威脅本體模型的優(yōu)點(diǎn)是依靠安全知識來準(zhǔn)確表示特定事實(shí)。威脅畫像建模流程主要包括威脅本體定義、構(gòu)建和建模，廣泛用于表示安全數(shù)據(jù)、分析安全模式。

（1）威脅本體定義

威脅本體模型是威脅分析的基礎(chǔ)。本體是域中對象的一組名稱、定義和關(guān)系，使其成為對象之間通信和鏈接的基礎(chǔ)。威脅本體模型是應(yīng)用于網(wǎng)絡(luò)安全的威脅描述模型的本體理論，包含資產(chǎn)、威脅、漏洞、惡意軟件、攻擊模式、防御方法、攻擊事件等。主要在安全領(lǐng)域、本體推理、查詢函數(shù)等方面提供統(tǒng)一表達(dá)式。網(wǎng)絡(luò)安全本體旨在以更詳細(xì)的粒度解決網(wǎng)絡(luò)安全問題。定義知識淵博、粒度適中且語義豐富的本體模型也是威脅分析建模的基本技術(shù)。本體論在安全領(lǐng)域的可行性已經(jīng)通過不同的研究結(jié)果得到了安全社區(qū)的證實(shí)，例如 Vorobiev 等人。 [53] 開發(fā)了安全資產(chǎn)漏洞本體 （SAVO） 來對網(wǎng)絡(luò)威脅、風(fēng)險、拒絕服務(wù)攻擊、非法訪問和漏洞的概念、屬性和關(guān)系進(jìn)行建模。Amina Souag等[54]創(chuàng)建了安全本體（Security Ontology，SO）對信息系統(tǒng)的資產(chǎn)、響應(yīng)和風(fēng)險管理等概念進(jìn)行分類。賽義德等人。 [55] 開發(fā)了廣泛使用的統(tǒng)一網(wǎng)絡(luò)安全本體論 （UCO），集成了安全領(lǐng)域相關(guān)概念和異構(gòu)數(shù)據(jù)的實(shí)例化融合方法，用于威脅情報(bào)共享和交換。

（2）威脅本體構(gòu)建

本體構(gòu)建主要有三種方法：手動本體構(gòu)建、現(xiàn)有本體重用和自動本體構(gòu)建[56]。構(gòu)建過程主要包括確定本體需求，檢查現(xiàn)有概念、屬性和層次結(jié)構(gòu)，定義本體模型以及創(chuàng)建實(shí)例。本體模型是一個抽象的威脅分析模板，主要由架構(gòu)層和數(shù)據(jù)層組成。模式層主要是通過設(shè)計(jì)一個描述數(shù)據(jù)的元信息和元結(jié)構(gòu)的本體庫來實(shí)現(xiàn)的。數(shù)據(jù)層是基于本體模型生成的實(shí)例集合，包含實(shí)例數(shù)據(jù)，如實(shí)體、關(guān)系、屬性等數(shù)據(jù)。架構(gòu)層和數(shù)據(jù)層相輔相成，構(gòu)建威脅本體模型。模型層可以為數(shù)據(jù)層的構(gòu)建提供領(lǐng)域知識和理論支撐，避免了因數(shù)據(jù)覆蓋不足而導(dǎo)致的本體構(gòu)建不完整的問題;數(shù)據(jù)層直接面向應(yīng)用，明確了模型層的安全要求，防止了本體構(gòu)造與實(shí)際應(yīng)用的脫節(jié)。

（3）威脅本體建模

本體建模有三個原則。首先，構(gòu)建分層剖析本體模型;因?yàn)榘踩珨?shù)據(jù)和方法是分層的，使用分層模型可以保持與數(shù)據(jù)結(jié)構(gòu)的一致性，有助于實(shí)現(xiàn)數(shù)據(jù)、方法和應(yīng)用的結(jié)合。充分發(fā)揮智能威脅分析的價值;其次，本體模型應(yīng)保持出色的可擴(kuò)展性。APT的攻擊場景隨著攻擊技術(shù)的進(jìn)步和數(shù)據(jù)關(guān)系的豐富而逐漸增加;最后，這些模型促進(jìn)了數(shù)據(jù)的關(guān)聯(lián)和整合，以便建立新的數(shù)據(jù)關(guān)系和約束規(guī)則。威脅分析提供了一個本體建模框架，可以分為威脅事件建模、場景建模和知識建模。

（a） 威脅事件建模：威脅事件建模表示威脅事件的內(nèi)在相關(guān)性，以檢測 APT 攻擊。由于圖形具有很強(qiáng)的表示能力，因此通常用于對復(fù)雜關(guān)系進(jìn)行建模，并在網(wǎng)絡(luò)空間中得到廣泛應(yīng)用。將孤立的、隱藏的、動態(tài)的、稀疏的攻擊事件構(gòu)建為不同類型節(jié)點(diǎn)和邊緣的動態(tài)交互圖。它們對復(fù)雜攻擊進(jìn)行全面建模，有效降低不確定性，顯著提高威脅分析的可信度?；趫D的事件建模方法包括攻擊樹模型（ATM）[57]、攻擊圖模型（AGM）[58]和異構(gòu)圖模型（HGM）等。異構(gòu)事件需要一種新的建模方法，用于基于廣泛研究的異構(gòu)圖進(jìn)行威脅分析和安全數(shù)據(jù)挖掘。HGM模型全面地表示了威脅行為的關(guān)系，這對檢測和發(fā)現(xiàn)非常重要。Philip S.Yu等[59]提出了異構(gòu)圖和元路徑等概念。異構(gòu)圖中的節(jié)點(diǎn)和邊包含豐富的語義信息。不同的元路徑可能具有不同的含義，并充分考慮語義信息，可用于更細(xì)粒度的威脅發(fā)現(xiàn)。元路徑是鏈接節(jié)點(diǎn)對之間的關(guān)系序列，廣泛用于提取異構(gòu)圖的子結(jié)構(gòu)或表示圖中的語義信息。異構(gòu)圖為基于廣泛研究的異構(gòu)圖的威脅分析和安全數(shù)據(jù)挖掘問題提供了一種新的建模方法。

（b） 威脅場景建模：威脅場景是一種攻擊建模方法，用時間序列鏈描述攻擊過程的幾個階段。該模型將復(fù)雜的攻擊活動描述為一個生命周期，這有助于安全分析師了解攻擊的威脅。威脅場景建模包括鉆石模型（DM）、攻擊金字塔模型（APM）[60]和網(wǎng)絡(luò)殺傷鏈（CKC）[61]等。網(wǎng)絡(luò)殺傷鏈（CKC）最早由洛克希德·馬丁公司提出，它將APT攻擊活動分解為七個獨(dú)立的攻擊步驟。該模型適用于解釋 APT 攻擊，但缺乏對攻擊過程的詳細(xì)描述。單一的攻擊步驟無法有效識別潛在威脅，面對未知威脅需要多階段的綜合分析。MITRE 于 2013 年提出了 ATT&CK，這是一種攻擊鏈模型，描述了 APT 攻擊期間使用的戰(zhàn)術(shù)、技術(shù)和程序 （TTP）。然而，這些技術(shù)之間的相關(guān)性很小，導(dǎo)致難以識別威脅參與者的行為特征。威脅場景建模使用該圖來關(guān)聯(lián)這些技術(shù)并恢復(fù) APT 攻擊行為，這有助于了解威脅參與者的意圖和目標(biāo)。

（c）威脅行為分析：威脅行為分析利用本體建模方法實(shí)現(xiàn)異構(gòu)數(shù)據(jù)源的語義關(guān)聯(lián)，建立統(tǒng)一的APT攻擊行為分析模型。威脅行為分析需要通過安全知識進(jìn)行補(bǔ)充，以解決架構(gòu)層和數(shù)據(jù)層之間的語義差異，使它們處于相同的語義空間中。安全知識來源于與漏洞、資產(chǎn)、威脅情報(bào)和社交媒體相關(guān)的知識庫。不同的安全本體圖可以解決需求，利用圖中的節(jié)點(diǎn)和邊來表示網(wǎng)絡(luò)空間中特定威脅行為知識的關(guān)系，并將威脅類別與威脅推理方法相結(jié)合，以發(fā)現(xiàn)未知攻擊。優(yōu)點(diǎn)是安全知識和威脅模型相輔相成，避免因數(shù)據(jù)不足導(dǎo)致模型不完整。該模型為數(shù)據(jù)提供了理論基礎(chǔ)，以避免威脅模型與威脅分析之間的脫節(jié)。

（4）威脅本體關(guān)聯(lián)

關(guān)聯(lián)關(guān)系的豐富性是多源異構(gòu)安全數(shù)據(jù)的特征?；诒倔w的數(shù)據(jù)關(guān)聯(lián)是威脅分析的一項(xiàng)基本任務(wù)。對關(guān)聯(lián)分析方法的研究可以有效解決數(shù)據(jù)源信息描述不規(guī)范的問題，支持語義數(shù)據(jù)檢索、智能推理和威脅分析的應(yīng)用。這部分包括具有不同結(jié)構(gòu)和語義的數(shù)據(jù)上的威脅事件關(guān)聯(lián)、威脅場景關(guān)聯(lián)和威脅行為關(guān)聯(lián)[62]。

（a） 威脅事件關(guān)聯(lián)：威脅事件關(guān)聯(lián)的目的是發(fā)現(xiàn)和檢測攻擊。一些方法描述已知事件與警報(bào)或漏洞之間的因果關(guān)系和時間關(guān)系，然后將相關(guān)性轉(zhuǎn)換為圖形，以實(shí)現(xiàn)攻擊檢測和發(fā)現(xiàn)。Luh等[63]提出了一種攻擊事件和警報(bào)關(guān)聯(lián)的攻擊圖關(guān)聯(lián)方法，旨在將多個由確切原因引起的異常事件關(guān)聯(lián)起來，并建立奇異事件與攻擊之間的因果關(guān)系，以檢測攻擊。T.Ghafir等人。 [64]提出了一種APT檢測系統(tǒng)-MLAPT。該系統(tǒng)設(shè)計(jì)有關(guān)聯(lián)圖來關(guān)聯(lián)同一攻擊的事件，并設(shè)計(jì)有機(jī)器學(xué)習(xí)預(yù)測模塊，可以準(zhǔn)確、快速地檢測攻擊。文獻(xiàn)自動分析漏洞與告警的關(guān)系，生成漏洞利用攻擊圖，檢測攻擊。

（b） 威脅情景關(guān)聯(lián)：威脅情景關(guān)聯(lián)的目的是描述和識別 APT。關(guān)聯(lián)方式利用大量持續(xù)生成的主機(jī)日志、防火墻日志和入侵檢測告警，通過注意力和日志關(guān)聯(lián)獲取更準(zhǔn)確的安全信息。哈桑等人。 [65] 提出了一種關(guān)聯(lián)告警和日志中的圖分析技術(shù)方法，可以有效地挖掘數(shù)據(jù)關(guān)系并全面重構(gòu)攻擊場景。Zimba等[66]提出了多步入侵分析系統(tǒng)的自相關(guān)記錄和信號，該系統(tǒng)結(jié)合了社交網(wǎng)絡(luò)分析方法，在多源數(shù)據(jù)中識別“攻擊社區(qū)”。

（c） 威脅行為關(guān)聯(lián)：威脅行為關(guān)聯(lián)的目的是對 APT 進(jìn)行歸因和預(yù)測。該方法的有效性取決于在沒有外部知識的情況下與APT相關(guān)的異常判斷行為。然而，異常行為并不等同于現(xiàn)實(shí)環(huán)境中的攻擊。目前，一些研究者提出利用外部知識提取APT的行為特征。Wajih等[67]提出，通過將攻擊行為映射到TTP，從原始數(shù)據(jù)圖轉(zhuǎn)換為攻擊戰(zhàn)術(shù)圖。為了彌合系統(tǒng)調(diào)用和攻擊鏈之間的語義鴻溝，一些研究人員提出了異構(gòu)場景圖（HSG）作為中間層，其中節(jié)點(diǎn)是戰(zhàn)術(shù)、技術(shù)和程序（TTP）中的實(shí)體，邊緣代表TTP之間的信息流。

（5）威脅本體融合

本文將融合方法分為數(shù)據(jù)、特征和知識?，F(xiàn)有的融合方法沒有表達(dá)多源異構(gòu)數(shù)據(jù)和不同層次融合方法的層次關(guān)系。探索融合方法的有效性是本部分的主要內(nèi)容。

（a） 數(shù)據(jù)融合;通過威脅檢測中的數(shù)據(jù)融合算法，在網(wǎng)絡(luò)安全方面取得了一些進(jìn)展。吳昊[68]提出了一種基于多源異構(gòu)數(shù)據(jù)融合的網(wǎng)絡(luò)安全事件檢測方法。數(shù)據(jù)融合可以歸納為兩類：隨機(jī)技術(shù)和機(jī)器學(xué)習(xí)技術(shù)。隨機(jī)方法包括加權(quán)平均、卡爾曼濾波、多貝葉斯估計(jì)、Dempster-Shafer （D-S） 證據(jù)推斷、生成規(guī)則等。相比之下，機(jī)器學(xué)習(xí)方法包括模糊理論[69]、神經(jīng)網(wǎng)絡(luò)、粗糙集理論和專家系統(tǒng)。深度神經(jīng)網(wǎng)絡(luò)技術(shù)在數(shù)據(jù)融合中發(fā)揮著越來越重要的作用。

（b）特征融合：特征融合主要包括特征映射、重復(fù)數(shù)據(jù)消除、特征過濾、特征加權(quán)等。 [70]提出了多源異構(gòu)網(wǎng)絡(luò)安全數(shù)據(jù)的特征融合框架MatchGNet，該框架通過描述復(fù)雜的網(wǎng)絡(luò)威脅行為，利用圖表示學(xué)習(xí)和相似度量來檢測未知惡意軟件，并取得了良好的效果。輸入數(shù)據(jù)不再是原始數(shù)據(jù)，而是對數(shù)據(jù)進(jìn)行處理以形成具有攻擊模式的威脅信息。該框架減少了需要分析的數(shù)據(jù)量，提高了網(wǎng)絡(luò)安全數(shù)據(jù)的可信度，構(gòu)建了信息融合模型[71]。

（c） 知識融合：知識融合是來自多個來源的異質(zhì)知識的融合方法。知識融合由兩個主要組成部分組成：實(shí)體鏈接和實(shí)體互補(bǔ)。郝等人。 [72]提出了一種多源知識融合模型，使用本體表示和不同的信息資源，邏輯規(guī)則來消除冗余，減少誤報(bào)并重建已知的攻擊場景。該模型的優(yōu)點(diǎn)是它解決了多源異構(gòu)數(shù)據(jù)中的句法和語義表示，并且可以挖掘未知的攻擊模式。

5.2. 威脅分析表示

近年來，許多研究人員提出了知識表示技術(shù)，成為人工智能領(lǐng)域的重點(diǎn)研究，并在語音識別、圖像分析和自然語言處理方面取得了有意義的進(jìn)展。知識表示學(xué)習(xí)是分布式的，用于表示三元組（源、關(guān)系、目標(biāo)）等實(shí)體與低維向量的語義關(guān)系，使兩個語義相似的對象接近。傳統(tǒng)知識表示在威脅分析推理中是無效的。圖形結(jié)構(gòu)化數(shù)據(jù)通常用于對復(fù)雜的關(guān)聯(lián)關(guān)系進(jìn)行建模。基于圖神經(jīng)網(wǎng)絡(luò)的知識表示方法備受關(guān)注，在網(wǎng)絡(luò)空間安全領(lǐng)域得到廣泛應(yīng)用。隨著對知識表示研究的深入，從不同角度定義的剖析表示學(xué)習(xí)方法應(yīng)運(yùn)而生，將其分為基于距離變換的傳統(tǒng)表示學(xué)習(xí)方法、語義匹配模型和基于圖神經(jīng)網(wǎng)絡(luò)的表征學(xué)習(xí)方法。

（1）傳統(tǒng)表征學(xué)習(xí)方法

知識表示學(xué)習(xí)是一種針對知識庫中實(shí)體和關(guān)系的表征學(xué)習(xí)方法，可以有效地計(jì)算低維空間中實(shí)體和關(guān)系之間的語義關(guān)系，解決數(shù)據(jù)稀疏性問題，提高知識推理的性能[73].表征學(xué)習(xí)旨在將語義信息表示為密集的低維實(shí)值向量。在這個低維向量空間中，兩個向量越接近，它們的語義相似性就越高。早期的剖析表示方法在表示過程性和非確定性知識方面的能力有限。當(dāng)數(shù)據(jù)量巨大時，它們無法靈活地?cái)U(kuò)展以用于推理任務(wù)。表征學(xué)習(xí)方法是基于結(jié)構(gòu)和語義的表征學(xué)習(xí)方法。

（a）結(jié)構(gòu)表示學(xué)習(xí)方法：大多數(shù)結(jié)構(gòu)表示學(xué)習(xí)方法使用具有一定稀疏性的三元組（頭部、關(guān)系、尾部）結(jié)構(gòu)。結(jié)構(gòu)表示學(xué)習(xí)方法通過測量頭部和尾部之間的距離來學(xué)習(xí)實(shí)體和關(guān)系的表示。平移距離模型（TransE）模型[74]的重大突破之一，該模型考慮了頭部實(shí)體頭部的嵌入，并將關(guān)系的嵌入添加為近似等于尾部實(shí)體的嵌入。雖然TransE模型在對表面關(guān)系進(jìn)行建模方面是有效的，但在復(fù)雜的建模關(guān)系中卻不那么有效。因此，為了解決TransE模型的問題，研究人員提出了TransE模型的各種變體，包括TransH、TransD、TransA、KG2E等，這些變體在表征學(xué)習(xí)方面取得了一些進(jìn)展，以解決復(fù)雜問題的不同方面。

（b）語義表征學(xué)習(xí)法：與結(jié)構(gòu)表征學(xué)習(xí)法相比，語義表征學(xué)習(xí)法使用語義相似度評分函數(shù)來學(xué)習(xí)實(shí)體和關(guān)系的表征。語義表示學(xué)習(xí)方法側(cè)重于挖掘向量化后實(shí)體和關(guān)系的潛在語義。它通過匹配向量空間中表示的實(shí)體和關(guān)系的潛在語義來衡量事實(shí)的合理性。RESCAL 模型將每個實(shí)體與向量相關(guān)聯(lián)以捕獲其潛在語義，描述矩陣中的關(guān)系以模擬潛在因素之間的相互作用，并使用雙線性函數(shù)進(jìn)行評分。RESCAL的變體[75]針對模型復(fù)雜性、可擴(kuò)展性、實(shí)用性和效率等各個方面進(jìn)行了優(yōu)化。基于神經(jīng)網(wǎng)絡(luò)的語義匹配模型使用不同的神經(jīng)網(wǎng)絡(luò)架構(gòu)進(jìn)行語義匹配，但存在參數(shù)過多、效率低的問題。隨著表征學(xué)習(xí)技術(shù)的不斷發(fā)展，如何有效獲取全面的圖畫特征，更好地融合異構(gòu)數(shù)據(jù)之間的關(guān)系進(jìn)行圖形化表示，避免多源數(shù)據(jù)的語義損失成為研究的關(guān)鍵。

（2）圖表示學(xué)習(xí)方法

圖表已被廣泛用于理解和探索網(wǎng)絡(luò)安全中的威脅相關(guān)性。目前，APT攻擊中基于圖的威脅模型有四種：

（a） 情報(bào)圖 （IG）：安全研究人員使用威脅情報(bào)來分析和挖掘 APT 攻擊行為者。Settanni等[76]提出了一種情報(bào)圖，通過收集有關(guān)攻擊行為者的社會情報(bào)來推斷缺失的屬性。Zhao等[77]提出了一種相似度圖推理方法，將威脅信息轉(zhuǎn)化為情報(bào)圖，并使用相似度哈希算法確定攻擊的相似性，用于剖析推理;

（b） 歸因圖 （AG）：一些研究通過跟蹤已發(fā)布的惡意軟件來關(guān)聯(lián)和推斷 APT 行為者。APT攻擊的惡意軟件通常以家族模式演化，因此構(gòu)建惡意軟件家族歸因圖譜來歸因APT攻擊至關(guān)重要。Zhao等[78]提出了一種基于圖來表示事件和組件之間對應(yīng)關(guān)系的方法，從而推斷出惡意軟件家族，這些家族在惡意軟件中起著至關(guān)重要的作用。

（c） 來源圖（PG）：來源圖使用節(jié)點(diǎn)來表示系統(tǒng)狀態(tài)，使用邊緣來表示可能導(dǎo)致狀態(tài)變化的攻擊，這是一種流行的安全分析方法，受到研究人員的廣泛關(guān)注。一些研究人員使用來源圖 （PG） 來描述攻擊檢測的威脅事件一直是學(xué)術(shù)界和工業(yè)界感興趣的話題。Fan等[79]通過生成一個描述軟件可疑行為的敏感子圖來定位背負(fù)式惡意軟件檢測。在隱私保護(hù)方面，Sharma et al. [80]提出了一種基于云密碼的頻譜分析方法，以保護(hù)隱私。

圖表示學(xué)習(xí)使用深度神經(jīng)網(wǎng)絡(luò)模型來分析具有更好學(xué)習(xí)能力的圖數(shù)據(jù)，并且具有通過對實(shí)體和關(guān)系之間的語義進(jìn)行實(shí)際描述來融合知識以實(shí)現(xiàn)推理的潛力，而傳統(tǒng)的機(jī)器學(xué)習(xí)模型很容易忽視上下文知識，并且難以彌補(bǔ)[81].與通常使用淺層模型的傳統(tǒng)表示學(xué)習(xí)不同，圖表示學(xué)習(xí)使用深度神經(jīng)網(wǎng)絡(luò)模型來分析圖數(shù)據(jù)，具有更好的學(xué)習(xí)能力和融合知識以實(shí)現(xiàn)推理的潛力。借助圖分析技術(shù)，圖表示學(xué)習(xí)在網(wǎng)絡(luò)安全中得到了廣泛的探索。大多數(shù)方法使用齊次圖，例如結(jié)構(gòu)感知卷積網(wǎng)絡(luò)（SACN）[82]。將分析知識拆分為多個同構(gòu)圖，導(dǎo)致無法完整準(zhǔn)確地描述復(fù)雜 APT 攻擊的行為。圖卷積網(wǎng)絡(luò)（GCN）[83]、文本卷積網(wǎng)絡(luò)（Text-GCN）[84]和圖注意力網(wǎng)絡(luò)（GAT）模型[85]提高了威脅分析的表示能力。深度圖學(xué)習(xí)（Deep Graph Learning，簡稱DGL）是一種應(yīng)用于圖數(shù)據(jù)的深度學(xué)習(xí)技術(shù)，用于解決圖計(jì)算中計(jì)算效率低、數(shù)據(jù)稀疏性高的問題。深度圖學(xué)習(xí)包括圖表示學(xué)習(xí)和圖神經(jīng)網(wǎng)絡(luò)，它們側(cè)重于圖表示學(xué)習(xí)（GRL）或圖嵌入（GE），通過將實(shí)體和關(guān)系映射到低維向量并獲取其語義信息[75]。GRL可以有效解決攻擊圖的節(jié)點(diǎn)爆炸問題。學(xué)習(xí)到的節(jié)點(diǎn)表示可以保持圖中的結(jié)構(gòu)和特征，并與傳統(tǒng)的機(jī)器學(xué)習(xí)完美配合。

（3）異構(gòu)圖表示學(xué)習(xí)方法

與同質(zhì)圖相比，異構(gòu)圖可以更全面地表示復(fù)雜的相關(guān)信息，并產(chǎn)生更有意義的研究。針對威脅情報(bào)中行為信息挖掘效率低下的問題，該文提出異構(gòu)圖卷積網(wǎng)絡(luò)（He-GCN）[86]，通過關(guān)聯(lián)語義信息，在缺失信息互補(bǔ)和隱性信息挖掘中發(fā)揮重要作用。但是，APT 攻擊是隱含且不確定的。這種攻擊需要更好地描述，以便使用異構(gòu)圖而不是同構(gòu)圖進(jìn)行表示和推理[87]。包含不同類型對象的異構(gòu)圖能夠表示 APT。節(jié)點(diǎn)之間的關(guān)系代表不同的含義，元路徑是鏈接節(jié)點(diǎn)之間關(guān)系的序列。Shi等[88]系統(tǒng)地總結(jié)了異構(gòu)圖的應(yīng)用，提出了一種新的關(guān)系結(jié)構(gòu)感知異構(gòu)信息網(wǎng)絡(luò)嵌入模型，在相似度量、節(jié)點(diǎn)聚類、節(jié)點(diǎn)分類、鏈路預(yù)測、推薦等方面采用了最先進(jìn)的方法。 [89]利用日志信息構(gòu)建異構(gòu)圖，解決企業(yè)內(nèi)部網(wǎng)絡(luò)中的威脅檢測問題。Hou等[90]利用包含惡意軟件和相關(guān)API等節(jié)點(diǎn)的異構(gòu)圖中的元路徑概念來實(shí)現(xiàn)惡意軟件檢測。Fan等[91]構(gòu)建了文件、機(jī)器和API等實(shí)體的異構(gòu)圖，并結(jié)合了異構(gòu)圖的結(jié)構(gòu)和語義信息來檢測惡意軟件。Ye 等人。 [92]解決了傳統(tǒng)基于行為的檢測方法高度依賴訓(xùn)練樣本的問題，方法是在異構(gòu)圖中構(gòu)建一個異構(gòu)圖，包括堆棧溢出用戶、標(biāo)簽和代碼段節(jié)點(diǎn)，使用分類器檢測不安全的代碼段。

5.3. 威脅分析推理

智能分析推理可以對威脅分析進(jìn)行補(bǔ)充和更新，其重點(diǎn)是提高威脅行為預(yù)測的準(zhǔn)確性。基本方法是圖算法，例如圖相關(guān)、圖挖掘和圖表示。圖關(guān)聯(lián)主要使用最短路徑和相似度分析方法響應(yīng)實(shí)體、關(guān)系和屬性特征查詢。圖挖掘通過圖節(jié)點(diǎn)聚類、關(guān)聯(lián)發(fā)現(xiàn)、重要節(jié)點(diǎn)發(fā)現(xiàn)和路徑挖掘等方式，為知識圖譜提供深入的數(shù)據(jù)洞察。圖表示和推理采用端到端設(shè)計(jì)，例如關(guān)系推理模型。關(guān)系推理基于圖表示學(xué)習(xí)和圖神經(jīng)網(wǎng)絡(luò)模型，包括語義推導(dǎo)和關(guān)系鏈接預(yù)測，將實(shí)體和關(guān)系的元素映射到連續(xù)向量空間中。每個組件的圖學(xué)習(xí)通過自動捕獲表示和推理所需的信息在向量空間中表示。

（1）本體推理方法

本體推理是借助本體方法的邏輯形式實(shí)現(xiàn)推理。例如，在威脅情報(bào)數(shù)據(jù)中構(gòu)建邏輯規(guī)則，就是為了實(shí)現(xiàn)對攻擊行為的推斷;使用 SQL 作為邏輯規(guī)則的載體，以確定 Android 中的權(quán)限配置是否不正確; （Web 本體語言） OWL 和 （語義 Web 規(guī)則語言） SWRL 或其他形式語言中定義的規(guī)則約束用于構(gòu)建基于本體的關(guān)系推理 [93].與基于規(guī)則的方法相比，基于圖的推理方法完全用于安全知識中的關(guān)聯(lián)關(guān)系，具有豐富的表現(xiàn)力和魯棒性的特點(diǎn)。

（2）知識推理方法

借助異構(gòu)圖，知識圖譜推理方法使用多種關(guān)系輕松識別攻擊模式。知識圖推理重點(diǎn)關(guān)注三個問題：（1）如何提高大規(guī)模圖的推理效率;（2）如何判斷攻擊路徑的嚴(yán)重性;（3）如何將深度學(xué)習(xí)方法與安全知識圖譜相結(jié)合。這些問題可以通過優(yōu)化圖生成算法、提高圖的計(jì)算能力、利用本體結(jié)構(gòu)生成威脅分析模型來解決。

（a）語義推理：語義推理方法包括知識互補(bǔ)和去噪[94]。知識互補(bǔ)利用語義關(guān)系來指定任意兩個元素，并對缺失的元素進(jìn)行推理，包括實(shí)體預(yù)測和關(guān)系預(yù)測，這些元素可以通過規(guī)則或特定的假設(shè)得分函數(shù)進(jìn)行計(jì)算和維護(hù)。突出的作用是擴(kuò)展威脅畫像實(shí)體。知識去噪側(cè)重于判斷現(xiàn)有三元組的正確性，這些三元組基于已知知識來評估其三元組的有效性。

（b）關(guān)系推理：與基于規(guī)則的方法相比，關(guān)系推理更充分地利用了安全數(shù)據(jù)的相關(guān)性，具有表現(xiàn)力豐富、魯棒性強(qiáng)、定義簡單等特點(diǎn)。關(guān)系推理模型由端到端圖神經(jīng)網(wǎng)絡(luò)模型設(shè)計(jì)，提供語義推導(dǎo)、關(guān)系鏈接預(yù)測等推理結(jié)果，通過給定元素形成的三元組實(shí)現(xiàn)實(shí)體和關(guān)系的實(shí)用推理和預(yù)測，常用的方法有TransE（Translating Embedding）、RESCAL和DistMul[95].TransE不考慮豐富的語義信息，缺乏對空間向量分布位置的進(jìn)一步調(diào)整，也不考慮豐富的關(guān)系。在APT攻擊場景重構(gòu)中，應(yīng)用存在明顯的局限性。目前的關(guān)系推理易于實(shí)現(xiàn)，并應(yīng)用于單步攻擊事件調(diào)查。Zhang等[96]提出用因果關(guān)系推理來檢測隱蔽惡意軟件。

（c）路徑推理：由于在APT攻擊過程中通常需要分析復(fù)雜的多步攻擊，因此用于多步關(guān)系推理的PRA算法（路徑排名算法）使用路徑作為特征來預(yù)測實(shí)體之間是否存在指定關(guān)系集[97]，例如經(jīng)典的多步關(guān)系推理Path-RNN。路徑表示在處理路徑中的所有關(guān)系后給出了 RNN 的最終隱式狀態(tài)，一個 RNN 表示每個可能的路徑。每個路由節(jié)點(diǎn)的實(shí)體和連接的邊都被矢量化并輸入到一個 RNN 單元。整個軌跡的最終向量表示是最后一個 RNN 單元輸出的隱藏狀態(tài)，路徑的向量表示類似于要預(yù)測的關(guān)系的向量表示。相似度最高的是目標(biāo)路徑。該方法基于關(guān)聯(lián)關(guān)系推理，已應(yīng)用于安全知識互補(bǔ)和攻擊路徑調(diào)查。

5.4. 小結(jié)

數(shù)據(jù)關(guān)聯(lián)、融合、表示和推理方法面臨的主要挑戰(zhàn)是：數(shù)據(jù)具有巨大的價值，但密度非常低。數(shù)據(jù)包含許多有用的隱藏信息;它是大規(guī)模的、分散的、不集中的、復(fù)雜的。近年來，從不同的語義數(shù)據(jù)中發(fā)現(xiàn)潛在的相關(guān)關(guān)系是被廣泛采用的深度學(xué)習(xí)方法的一個關(guān)鍵問題。深度圖學(xué)習(xí)方法也利用圖結(jié)構(gòu)來解決數(shù)據(jù)關(guān)系的豐富性，提高分析結(jié)果，但深度圖學(xué)習(xí)計(jì)算效率低是主要問題。圖表示學(xué)習(xí)可以為解決這個問題提供思路[98]。APT攻擊具有復(fù)雜的語義，同構(gòu)圖推理能力有限。后續(xù)研究強(qiáng)調(diào)使用異構(gòu)圖機(jī)器學(xué)習(xí)方法進(jìn)行威脅行為解釋和推理能力研究。

6. 智能威脅分析的應(yīng)用

智能威脅分析是一種從數(shù)據(jù)到知識的統(tǒng)一架構(gòu)，利用“數(shù)據(jù)驅(qū)動的安全防御”來實(shí)現(xiàn)威脅建模、表示和推理。該方法結(jié)合了威脅數(shù)據(jù)和安全知識。威脅畫像全面描繪了APT攻擊的復(fù)雜性，有效降低了攻擊的不確定性。它可以提高威脅檢測、歸因和評估的可信度。這些應(yīng)用程序?qū)Ｗ⒂诟倪M(jìn) APT 防御中的威脅檢測、歸因和評估，如圖 5 所示。

下載：下載高分辨率圖片 （434KB）
下載：下載全尺寸圖像
圖 5.智能威脅分析的應(yīng)用。

6.1. 智能威脅檢測

威脅檢測涉及發(fā)現(xiàn) APT 攻擊，并通過智能威脅分析來識別未知的攻擊活動。APT 具有多步驟、目標(biāo)性和復(fù)雜性，因此具有豐富的安全數(shù)據(jù)和關(guān)系。傳統(tǒng)的攻擊檢測技術(shù)沒有考慮APT攻擊特征的內(nèi)在相關(guān)性、動態(tài)變異性和稀疏性?？朔@些困難具有挑戰(zhàn)性，需要智能方法來實(shí)現(xiàn)APT攻擊檢測。

（1） 威脅發(fā)現(xiàn)

根據(jù)APT的特點(diǎn)，我們總結(jié)了不同數(shù)據(jù)源的相關(guān)方法，以發(fā)現(xiàn)APT攻擊，如惡意軟件、流量、主機(jī)審計(jì)數(shù)據(jù)等。

（a） 惡意軟件檢測器：

近年來，機(jī)器學(xué)習(xí)在威脅檢測任務(wù)中的應(yīng)用最廣泛。Arp等[99]使用支持向量機(jī)（SVM）方法通過收集靜態(tài)屬性特征并將其嵌入到特征向量空間中來檢測和分類惡意軟件，但結(jié)果并不令人滿意。深度學(xué)習(xí)在處理海量數(shù)據(jù)方面具有顯著優(yōu)勢，成為解決大數(shù)據(jù)問題的較好解決方案[100]。Kim TaeGuen等[101]提出了一種Android惡意軟件檢測框架，該框架結(jié)合了聯(lián)邦深度學(xué)習(xí)方法和詞向量表示模型。然而，深度學(xué)習(xí)很難代表異構(gòu)數(shù)據(jù)之間的相互關(guān)系。許多研究人員提出了新的APT攻擊檢測方法，例如異構(gòu)圖學(xué)習(xí)，該方法在解釋威脅行為和提高檢測準(zhǔn)確性方面起著至關(guān)重要的作用。圖模型比序列模型具有更好的表示形式。它被廣泛用于復(fù)雜的相關(guān)關(guān)系。Han 等人。 [102]提出了一個APT惡意軟件檢測框架，該框架具有系統(tǒng)調(diào)用信息和本體圖，以構(gòu)建威脅數(shù)據(jù)的內(nèi)在相關(guān)性，并從各個方面建立威脅事件之間的聯(lián)系。它在檢測 APT 攻擊方面具有顯著優(yōu)勢。

（b） 交通偵測器：

Lu等[103]提出了一種基于APT惡意流量和常規(guī)流量差異的自動關(guān)聯(lián)檢測系統(tǒng)，提取流量特征和序列特征，并使用機(jī)器學(xué)習(xí)算法檢測APT攻擊。Gonzalo 等人。 [104]提出了一套沒有專家經(jīng)驗(yàn)的惡意流量識別方法，該方法采用多層神經(jīng)網(wǎng)絡(luò)來檢測攻擊。傳統(tǒng)的基于簽名的僵尸網(wǎng)絡(luò)檢測方法需要識別復(fù)雜的指令控制流。Wang et al. [105]提出了一種基于圖和流的網(wǎng)絡(luò)流量行為混合分析方法，以實(shí)現(xiàn)對僵尸網(wǎng)絡(luò)的自動監(jiān)控?，敻覃愄氐热?。 [106] 提出了一種監(jiān)督學(xué)習(xí)方法，在APT攻擊中通過網(wǎng)絡(luò)流量檢測值得注意的特洛伊木馬感染的主機(jī)。

（c） 審計(jì)數(shù)據(jù)檢測器：

機(jī)器學(xué)習(xí)需要從專家那里提取特征，存在特征可靠性和稀疏性問題的缺點(diǎn)，影響準(zhǔn)確性。江 等. [107]提出了一種基于長短期記憶循環(huán)神經(jīng)網(wǎng)絡(luò)（LSTM-RNNs）的多通道智能攻擊檢測方法，用于檢測用戶側(cè)生成行為的行為特征。深度學(xué)習(xí)算法對于多源異構(gòu)數(shù)據(jù)無效。APT攻擊和安全數(shù)據(jù)急劇增加，深度學(xué)習(xí)算法面臨重大挑戰(zhàn)。Zhang等[108]提出了一種基于深度學(xué)習(xí)的行為特征探索方法。然而，它們在APT攻擊中仍存在局限性，主要體現(xiàn)在無法對信息進(jìn)行快速過濾和關(guān)聯(lián)，以及未能及時發(fā)現(xiàn)和定位攻擊活動。

（d） 網(wǎng)絡(luò)威脅情報(bào)檢測器：

Sadegh M等[109]提出了Poirot，利用網(wǎng)絡(luò)威脅情報(bào)（CTI）關(guān)聯(lián)來檢測APT攻擊行為，以進(jìn)行網(wǎng)絡(luò)威脅搜尋。隨后，Sadegh M.等[110]提出HOLMES結(jié)合了殺傷鏈和ATT&CK框架，以利用網(wǎng)絡(luò)威脅情報(bào)（CTI）之間的相關(guān)性來檢測APT攻擊。它通過Mitre的ATT&CK框架將日志數(shù)據(jù)映射到TTP，該框架描述了近200種行為模式。Kiavash Satvat等[111]提出了EXTRACTOR，利用自然語言處理（NLP）從CTI報(bào)告中準(zhǔn)確地提取攻擊行為。

（2） 威脅意識

大多數(shù)檢測器無法完全準(zhǔn)確地描述 APT 攻擊的復(fù)雜行為。但是，威脅感知通過監(jiān)控和分析可能對系統(tǒng)和網(wǎng)絡(luò)造成危害的潛在威脅或漏洞來識別未知的 APT 威脅。威脅感知必須了解有關(guān)更新、補(bǔ)丁、漏洞、緩解措施和漏洞利用的最新動態(tài)，以充分保護(hù)關(guān)鍵基礎(chǔ)設(shè)施。Fernando Alves等[112]提出，SYNAPSE可以創(chuàng)建一個主動威脅監(jiān)視器，概述需要更多關(guān)注的潛在威脅。Javier Franco等[113]引入了蜜罐來收集系統(tǒng)和網(wǎng)絡(luò)的漏洞和弱點(diǎn)。威脅感知需要更全面地模擬網(wǎng)絡(luò)安全環(huán)境中復(fù)雜的動態(tài)關(guān)聯(lián)，更有利于研究威脅檢測的高級威脅行為。異構(gòu)圖可以將孤立的、隱藏的、動態(tài)的、稀疏的威脅行為關(guān)聯(lián)起來，轉(zhuǎn)化為不同節(jié)點(diǎn)和邊的圖，提高威脅感知的準(zhǔn)確性。

6.2. 智能威脅歸因

威脅歸因旨在通過智能威脅分析來識別和歸因 APT 攻擊活動。歸因理論是由社會心理學(xué)家海德于1958年提出的，它指的是分析行為并推斷原因。《網(wǎng)絡(luò)歸因指南》顯示，歸因依賴于五個指標(biāo)：TTP、IOC、惡意軟件、攻擊意圖和外部數(shù)據(jù)[114]。研究人員從不同的數(shù)據(jù)源中提取了行為特征，并根據(jù)這些指標(biāo)對 APT 攻擊進(jìn)行了歸因。本文將威脅歸因重點(diǎn)放在基于收集到的威脅數(shù)據(jù)的基礎(chǔ)上，對APT攻擊事件進(jìn)行回顧性分析，以幫助快速識別攻擊意圖和攻擊者。威脅歸因包括被動和主動歸因。被動歸因使用日志、流量以及攻擊者公開的其他數(shù)據(jù)和線索來恢復(fù)攻擊過程。主動歸因使用外部數(shù)據(jù)或蜜罐環(huán)境從攻擊者那里收集線索，并突出攻擊者的 TTP 特征。在大多數(shù)情況下，歸因分析需要在不確定的條件下進(jìn)行。因此，智能威脅分析有助于自動歸因分析。

（1） 威脅識別

數(shù)據(jù)挖掘技術(shù)是從海量數(shù)據(jù)中挖掘和關(guān)聯(lián)攻擊者的歷史信息，提取威脅行為者的行為模式，并根據(jù)攻擊狀態(tài)傳遞概率預(yù)測攻擊意圖。威脅搜尋有助于融合威脅線索，并將攻擊過程歸因于了解威脅的意圖和目標(biāo)?；谛蛄泻突趫D形的方法通常用于威脅識別。然而，序列方法有一個共同的缺點(diǎn)，即很容易干擾和篡改這些特征，因此在對抗環(huán)境中效果較差。智能威脅分析會自動使用知識圖譜來關(guān)聯(lián)攻擊目標(biāo)和事件，以解決這些問題。

（2） 威脅歸因

威脅歸因是使用深度圖神經(jīng)網(wǎng)絡(luò)結(jié)合大量外部數(shù)據(jù)來執(zhí)行的，以識別惡意軟件和威脅參與者。威脅情報(bào)是 APT 歸因的重要數(shù)據(jù)源，與其他數(shù)據(jù)相比，APT 歸因在語義上更豐富，更專注于攻擊的“證據(jù)鏈”，從而可以更全面、更準(zhǔn)確地歸因 APT 攻擊。Rastogi等[115]提出了惡意軟件本體模型MALONT，該模型允許提取結(jié)構(gòu)化信息，并從包含數(shù)百個帶有注釋的惡意軟件威脅報(bào)告的語料庫中生成知識圖譜。該模型支持對惡意軟件引起的網(wǎng)絡(luò)威脅進(jìn)行檢測、分類和歸因。Noor等[116]提供了APT國家歸因分類器，并使用深度神經(jīng)網(wǎng)絡(luò)（DNN）將APT攻擊歸因到國家。行業(yè)研究將惡意軟件同源識別和關(guān)聯(lián)相結(jié)合，用于威脅歸因。Qamar 等人。 [117] 利用威脅情報(bào)的自動分析，挖掘APT攻擊者的攻擊行為，提取攻擊事件報(bào)告的TTP，幫助安全分析師了解APT攻擊的攻擊過程。

6.3. 智能威脅響應(yīng)

威脅響應(yīng)在智能防御中至關(guān)重要，智能防御涉及通過智能威脅分析進(jìn)行威脅評估和預(yù)測。智能威脅評估通過建立網(wǎng)絡(luò)攻防框架，將威脅模型與防御資源融為一體，計(jì)算攻擊的受損影響，實(shí)現(xiàn)對抗環(huán)境下關(guān)鍵資產(chǎn)的針對性防護(hù)。語義信息在智能威脅預(yù)測中起著至關(guān)重要的作用，捕獲語義信息可以實(shí)現(xiàn)從感知智能到認(rèn)知智能的過渡[118]。智能威脅預(yù)測主要是從海量攻擊數(shù)據(jù)中提取關(guān)鍵信息，挖掘威脅行為，實(shí)現(xiàn)攻擊意圖的推理，進(jìn)行態(tài)勢感知，主要表現(xiàn)在以下幾個方面：

（1） 威脅評估

威脅評估包括建立態(tài)勢評估體系和計(jì)算態(tài)勢指數(shù)。通過設(shè)置對抗環(huán)境下的態(tài)勢評估系統(tǒng)，提升了威脅評估的準(zhǔn)確性和有效性[119];

（2） 威脅預(yù)測

威脅預(yù)測中的機(jī)器學(xué)習(xí)方法具有擬合非線性時間序列數(shù)據(jù)的可靠能力。許多研究人員已經(jīng)應(yīng)用它們來預(yù)測威脅行為，并取得了良好的結(jié)果，主要使用支持向量機(jī)、遺傳算法和深度神經(jīng)網(wǎng)絡(luò)。其優(yōu)點(diǎn)是具有自學(xué)習(xí)能力和中短期預(yù)測的高精度[120]。然而，存在一些局限性，如支持向量機(jī)的算法性能容易受到臨界參數(shù)、懲罰參數(shù)和不敏感損失參數(shù)的影響;深度神經(jīng)網(wǎng)絡(luò)的泛化能力較弱，容易陷入局部最小值;現(xiàn)有的預(yù)測方法沒有充分考慮攻擊的及時性，預(yù)測算法相對簡單，可解釋性較差，因此預(yù)測結(jié)果不完整，效果不佳。

6.4. 小結(jié)

機(jī)器學(xué)習(xí)和深度學(xué)習(xí)得到了廣泛的應(yīng)用，威脅檢測、歸因和感知方面的研究也取得了進(jìn)展。深度圖學(xué)習(xí)對 APT 攻擊的內(nèi)在相關(guān)性具有重要影響。然而，它們僅限于同構(gòu)圖，無法有效處理復(fù)雜、對抗性和動態(tài)的攻擊數(shù)據(jù)。惡意軟件的稀疏性、隱藏的攻擊行為和攻擊特征的可變性需要異構(gòu)圖來模擬攻擊特征與攻擊行為之間的相關(guān)性。深度異構(gòu)圖學(xué)習(xí)的研究對于智能威脅分析至關(guān)重要。

7. 挑戰(zhàn)和未來方向

7.1. 挑戰(zhàn)

智能威脅分析的研究正處于發(fā)展階段。本部分討論了在數(shù)據(jù)、方法和應(yīng)用方面應(yīng)對智能威脅分析挑戰(zhàn)的迫切需要[121]。

（1） 數(shù)據(jù)

它需要重點(diǎn)解決原始數(shù)據(jù)、威脅情報(bào)和安全知識之間的大規(guī)模數(shù)據(jù)關(guān)聯(lián)問題，容易導(dǎo)致依賴爆發(fā)：

（a）由于數(shù)據(jù)環(huán)境多源異構(gòu)，智能威脅分析缺乏對不同解決方案的研究，以應(yīng)對數(shù)據(jù)稀疏、不平衡、APT攻擊不足等問題;

（b） 另一方面，依賴爆炸問題是由現(xiàn)有數(shù)據(jù)收集和建模技術(shù)的局限性引起的，實(shí)體間信息的指數(shù)爆炸導(dǎo)致信息的擴(kuò)散。

（2） 方法

現(xiàn)有研究在語義融合、威脅行為感知和威脅推理方面能力較差。由于APT防御領(lǐng)域需求差異很大，智能威脅分析方法在認(rèn)知和管理兩方面都面臨新的挑戰(zhàn)，例如深度圖表示學(xué)習(xí)方法可以有效地學(xué)習(xí)攻擊行為、攻擊源和攻擊之間的潛在關(guān)系，但缺乏可解釋性和評估機(jī)制。

（a）近年來，知識表示學(xué)習(xí)能夠有效地實(shí)現(xiàn)低維空間中計(jì)算實(shí)體和關(guān)系的語義聯(lián)系。但是，知識表示面臨許多困難。例如，計(jì)算效率和數(shù)據(jù)稀疏性問題是挑戰(zhàn);

（b）語義差距問題主要是不同來源的數(shù)據(jù)導(dǎo)致語義對齊困難，可以利用知識圖譜的語義消歧技術(shù)。但要實(shí)現(xiàn)跨源、跨維度的知識推理，仍需有效的語義學(xué)習(xí)機(jī)制。

（3） 應(yīng)用

（a） 在基于域的一般語料庫上訓(xùn)練的分析模型不適用于專門的安全領(lǐng)域，這是阻礙大規(guī)模應(yīng)用威脅分析的主要挑戰(zhàn);

（b） 不明身份的攻擊和使用定制武器對APT攻擊的歸屬構(gòu)成挑戰(zhàn);

（c） 缺乏突破性研究來識別和發(fā)現(xiàn)APT攻擊不同攻擊場景中的攻擊行為模式。

7.2. 未來方向

隨著網(wǎng)絡(luò)攻防對抗態(tài)勢的不斷升級和演變，攻防技術(shù)亟需與人工智能技術(shù)深度協(xié)同，共同實(shí)現(xiàn)認(rèn)知智能。威脅分析的自動化和智能化是發(fā)展智能網(wǎng)絡(luò)安全技術(shù)的必然趨勢。智能威脅畫像對于攻擊場景重構(gòu)、攻擊行為預(yù)測、攻擊態(tài)勢感知和攻擊意圖推理等智能安全至關(guān)重要。通過分析當(dāng)前面臨的挑戰(zhàn)，智能威脅分析在APT防御中的機(jī)遇主要體現(xiàn)在防御思想和方法的創(chuàng)新和轉(zhuǎn)化上。下面討論這一技術(shù)方向的趨勢[121]：

（1） 數(shù)據(jù)

大規(guī)模多源數(shù)據(jù)的自動化處理和語義融合是基礎(chǔ)研究的發(fā)展趨勢。一方面，需要實(shí)現(xiàn)基于自然語言處理和知識圖譜的更加自動化的實(shí)體、關(guān)系、屬性提取方法，以滿足數(shù)據(jù)處理的高實(shí)時性、高覆蓋率和高容錯性。另一方面，需要在質(zhì)量評估、語義對齊、信息壓縮等方面提高數(shù)據(jù)融合的質(zhì)量，避免后續(xù)建模推理中出現(xiàn)信息冗余、信息失效、信息模糊等誤導(dǎo)。

（2）方法

知識圖譜表示和推理方法具有解決APT難點(diǎn)的挑戰(zhàn)。然而，異構(gòu)圖表示和推理方法對于實(shí)現(xiàn)異構(gòu)知識的統(tǒng)一表示至關(guān)重要。深度圖表示學(xué)習(xí)的遷移方法值得研究。

（3）應(yīng)用：

（a） 未知攻擊檢測和發(fā)現(xiàn)的研究仍處于起步階段，需要進(jìn)一步研究。（b） 數(shù)據(jù)共享和隱私保護(hù)研究對于實(shí)現(xiàn)智能威脅分析至關(guān)重要。（c）利用對抗性學(xué)習(xí)來增加模型的魯棒性，提高大數(shù)據(jù)環(huán)境下的分析效率是本研究的重點(diǎn)。

8. 結(jié)論

智能威脅分析側(cè)重于研究 APT 攻擊活動中多源異構(gòu)數(shù)據(jù)的復(fù)雜關(guān)系。通過分析安全數(shù)據(jù)的內(nèi)在相關(guān)性，智能威脅畫像可以呈現(xiàn)孤立、隱藏、動態(tài)和稀疏的特征，挖掘APT的攻擊模式。為實(shí)現(xiàn)多源異構(gòu)數(shù)據(jù)分析、深度挖掘和威脅行為模式推理提供新思路。本文從多源數(shù)據(jù)、關(guān)鍵方法和典型應(yīng)用三個方面系統(tǒng)地總結(jié)了智能威脅分析。知識圖譜和深度學(xué)習(xí)相關(guān)算法作為必備技術(shù)，可以提高APT防御中威脅分析的有效性。知識圖譜可以為威脅行為感知和預(yù)測提供技術(shù)基礎(chǔ)，并有助于改進(jìn)威脅行為模式的表示。深度學(xué)習(xí)可以增強(qiáng)實(shí)體和關(guān)系的提取、表示和推理。最后，討論了智能威脅分析在APT防御中的挑戰(zhàn)和潛力。目前，智能威脅分析在解決復(fù)雜的語義分析和挖掘行為模式方面發(fā)揮著至關(guān)重要的作用，但在威脅行為感知和推理方面存在局限性。異構(gòu)圖學(xué)習(xí)技術(shù)進(jìn)一步挖掘了這些方面的巨大潛力。本文指出了這一研究方向的未來發(fā)展方向，希望能促進(jìn)該領(lǐng)域的不斷發(fā)展和進(jìn)步。文章來源地址http://www.zghlxwxcb.cn/news/detail-842889.html

到了這里，關(guān)于【威脅情報(bào)挖掘-論文閱讀】綜述：高級持續(xù)性威脅智能分析技術(shù) Advanced Persistent Threat intelligent profiling technique: A survey的文章就介紹完了。如果您還想了解更多內(nèi)容，請?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！