1.1 什么是人工智能安全

目前并沒有統(tǒng)一的定義，人工智能安全是人工智能與網(wǎng)絡(luò)安全的交叉學(xué)科，兩個(gè)學(xué)科已經(jīng)建立了深厚的理論和技術(shù)體系，進(jìn)一步看清兩個(gè)學(xué)科的交叉點(diǎn)的邏輯關(guān)系是理解人工智能安全的關(guān)鍵。

1. 攻擊與防御
   對于防御者而言，使用人工智能新技術(shù)加強(qiáng)網(wǎng)絡(luò)空間安全技術(shù)；對于攻擊者而言，引入人工智能方法提高攻擊的效率和效果。
2. 知識與模型
   信息和數(shù)據(jù)促成了人工智能方法，然后通過人工智能方法要實(shí)現(xiàn)知識的挖掘、分析和表示，知識位于更高的層次體現(xiàn)在語義特征方面，知識具有更強(qiáng)的蘊(yùn)含表達(dá)能力。
3. 漏洞與利用
   安全問題根本在于存在漏洞及其利用途徑，0day普遍存在于新技術(shù)新系統(tǒng)中，以知識處理為中心的新型應(yīng)用為攻防開辟了新途徑。

綜上，人工智能安全有兩大方面的含義：

1. 人工智能理論和技術(shù)有效地提升了網(wǎng)絡(luò)空間安全攻擊與防御的智能化水平；
2. 人工智能模型與算法越來越多地被發(fā)現(xiàn)存在漏洞和安全風(fēng)險(xiǎn)，由此導(dǎo)致人工智能應(yīng)用成為網(wǎng)絡(luò)空間安全的新問題。

1.2 人工智能安全問題與脆弱性

1.2.1 人工智能及其問題的出現(xiàn)

人工智能在基礎(chǔ)理論方面主要包括：搜索，推理，智能計(jì)算，機(jī)器學(xué)習(xí)理論，表示學(xué)習(xí)，智能規(guī)劃，神經(jīng)網(wǎng)絡(luò)等；在應(yīng)用領(lǐng)域方面主要包括：數(shù)據(jù)挖掘，專家系統(tǒng)，自然語言處理，圖像處理，智能語音，生物識別，計(jì)算機(jī)視覺，智能機(jī)器人。

人工智能研究的派系

• 符號學(xué)派。使用計(jì)算機(jī)可處理的符號對人類認(rèn)知過程進(jìn)行模擬和計(jì)算，典型的成果有定理機(jī)器證明，歸結(jié)方法，非單調(diào)推理理論等。
• 仿生學(xué)派。強(qiáng)調(diào)基于大量簡單的神經(jīng)元和它們之間的復(fù)雜的相互連接及其相互作用實(shí)現(xiàn)人工智能，典型的成果有人工神經(jīng)網(wǎng)絡(luò)，類腦模型等。
• 控制論學(xué)派。該學(xué)派認(rèn)為智能有機(jī)體需要適應(yīng)環(huán)境變化實(shí)現(xiàn)智能化，通過模擬人在環(huán)境中的行為來研究智能的生成機(jī)制，提出了自適應(yīng)自組織和自學(xué)習(xí)的理論，形成了智能控制和智能機(jī)器人技術(shù)。

近年來在大數(shù)據(jù)的推動(dòng)下，形成了新的大數(shù)據(jù)驅(qū)動(dòng)下的人工智能安全體系，由人工智能應(yīng)用，人工智能計(jì)算平臺(tái)，數(shù)據(jù)平臺(tái)和分布式平臺(tái)組成。

• 數(shù)據(jù)平臺(tái)存儲(chǔ)不同來源的大數(shù)據(jù)，提供訓(xùn)練數(shù)據(jù)和測試數(shù)據(jù)；
• 分布式平臺(tái)為人工智能模型提供計(jì)算能力，是算法執(zhí)行的基礎(chǔ)環(huán)境，典型的有云平臺(tái)；
• 人工智能計(jì)算平臺(tái)封裝了各種人工智能模型，為上層提供計(jì)算對象的調(diào)用；
• 人工智能應(yīng)用涉及到各種應(yīng)用領(lǐng)域，負(fù)責(zé)模型選擇和驗(yàn)證，用戶交互和業(yè)務(wù)流程。

1.2.2 人工智能安全的層次結(jié)構(gòu)

人工智能安全的層次可以劃分為數(shù)據(jù)層，算法層，模型層和框架層。

1. 數(shù)據(jù)的重要性
   數(shù)據(jù)來源的多樣性，數(shù)據(jù)流動(dòng)的快速性等大數(shù)據(jù)特征成為影響人工智能安全的重要方面。
2. 算法的重要性
   算法是智能的實(shí)現(xiàn)者和模型的操作者。
3. 模型的重要性
   模型處于核心地位，模型的訓(xùn)練和使用涉及數(shù)據(jù)和用戶等多個(gè)環(huán)節(jié)，增加了安全風(fēng)險(xiǎn)。
4. 框架的重要性
   開源框架的開放性和平臺(tái)模型的獨(dú)立性，使平臺(tái)安全，模型安全變得很棘手。

綜上，人工智能安全從抽象到具體包括了決策安全，模型安全和平臺(tái)安全。決策安全包括：倫理安全，道德安全和算法安全；模型安全包括：算法安全，隱私安全和數(shù)據(jù)安全；平臺(tái)安全包括：數(shù)據(jù)安全，AI平臺(tái)安全和網(wǎng)絡(luò)系統(tǒng)安全。此外，數(shù)據(jù)安全也很重要，包含兩個(gè)方面，一是數(shù)據(jù)防篡改等安全問題屬于平臺(tái)安全；二是模型訓(xùn)練的角度看數(shù)據(jù)安全，與模型安全相關(guān)。同樣，算法安全也包含兩個(gè)方面，一是模型訓(xùn)練和使用中的算法安全，二是決策過程中的算法安全。

1.2.3 人工智能安全的脆弱性

數(shù)據(jù)和模型是人工智能安全的核心，人工智能對數(shù)據(jù)要求訓(xùn)練數(shù)據(jù)和測試數(shù)據(jù)具有相同的分布才能保證模型是有效的。

1. 數(shù)據(jù)分布假設(shè)的脆弱性。
   訓(xùn)練數(shù)據(jù)和測試數(shù)據(jù)可能不來自于同一個(gè)數(shù)據(jù)源，因此攻擊者可以利用二者的分布差異性造成的影響來實(shí)施攻擊，例如可以通過制造惡意注入數(shù)據(jù)或者改變測試數(shù)據(jù)使得二者有明顯差異導(dǎo)致模型的性能下降。
2. 模型更新機(jī)制中的脆弱性。
   訓(xùn)練中模型需要及時(shí)的收集新數(shù)據(jù)來充實(shí)訓(xùn)練樣本，以便對模型進(jìn)行更新。攻擊者可以通過惡意偽造或者修改的數(shù)據(jù)進(jìn)入訓(xùn)練集污染后續(xù)的訓(xùn)練過程。
3. 數(shù)據(jù)處理過程中的開放性。
   例如應(yīng)用開發(fā)中涉及多個(gè)部分，人員會(huì)接觸一些敏感的數(shù)據(jù)，攻擊者惡意收集敏感數(shù)據(jù)，并與其擁有的知識進(jìn)行連接，從而導(dǎo)致敏感數(shù)據(jù)的泄露。
4. 計(jì)算平臺(tái)漏洞
   計(jì)算平臺(tái)也是開源分布的，平臺(tái)的系統(tǒng)層，網(wǎng)絡(luò)層等會(huì)存在固有的漏洞被攻擊者利用，同時(shí)平臺(tái)提供API調(diào)用存在攻擊者惡意訪問發(fā)送請求的可能。
5. 人工智能決策中的漏洞
   例如某些AI使用者存在道德倫理，正義等方面的偏差時(shí)，會(huì)造成一些決策的偏差，會(huì)被攻擊者利用。

1.3 人工智能安全的基本屬性

信息安全的基本屬性包括機(jī)密性，完整性，可用性，可控性和不可否認(rèn)性。

1. 機(jī)密性
   機(jī)密性保證信息由授權(quán)者使用，不泄露給未經(jīng)授權(quán)人員。在機(jī)器學(xué)習(xí)系統(tǒng)中，模型類型，模型結(jié)構(gòu)，模型參數(shù)和訓(xùn)練數(shù)據(jù)等是核心部分不可泄漏；此外模型用于對抗環(huán)境的部分是攻擊的主要途徑；機(jī)密性也包含在模型學(xué)習(xí)時(shí)對原始數(shù)據(jù)的個(gè)人隱私的保護(hù)能力。
2. 完整性
   完整性是存儲(chǔ)和運(yùn)輸信息的過程中原始信息不允許被更改，攻擊者往往對部分?jǐn)?shù)據(jù)感興趣，從而針對此數(shù)據(jù)使得其計(jì)算結(jié)果產(chǎn)生偏差。
3. 可用性
   可用性是保證信息和信息系統(tǒng)隨時(shí)可以為授權(quán)者提供服務(wù)，合法用戶對資源的使用不會(huì)被拒絕，人工智能模型遭受的投毒攻擊等都是由于樣本識別錯(cuò)誤，降級了模型的可用性。
4. 可控性
   可控性保證管理者對信息實(shí)施必要的管理控制，滿足應(yīng)用管理的需求。人工智能突出問題是對智能模型和算法的管理和控制。
5. 不可否認(rèn)性
   運(yùn)算各方為自己的信息行為負(fù)責(zé)，無法否認(rèn)。人工智能無法否認(rèn)在信息采集，處理，挖掘，決策等各環(huán)節(jié)對信息所做的行為。
6. 可解釋性
   人工智能系統(tǒng)應(yīng)當(dāng)從可解釋的角度評估，保證決策依據(jù)具有良好的可解釋性，避免在安全攸關(guān)的AI應(yīng)用領(lǐng)域采用黑盒算法。
7. 道德性
   尊重生命權(quán)力，堅(jiān)持公平正義，處理風(fēng)險(xiǎn)隱私。

1.4 人工智能安全的技術(shù)體系

人工智能安全的技術(shù)體系如下圖所示：

如圖，中間層的各種技術(shù)依賴于底層的人工智能安全的數(shù)據(jù)處理，在大數(shù)據(jù)人工智能中，重要性體現(xiàn)在兩個(gè)方面：一是攻擊手段和防御手段的特征使得收集到的原始數(shù)據(jù)可能存在數(shù)量不足，類別分布不均勻和數(shù)據(jù)噪音等問題；二是對抗攻擊通過修改數(shù)據(jù)樣本使得訓(xùn)練數(shù)據(jù)和測試數(shù)據(jù)存在噪音偏差和異常。因此數(shù)據(jù)處理是重要部分。

模型的對抗攻擊和防御中，攻擊者的目的是破壞機(jī)器學(xué)習(xí)系統(tǒng)擾亂機(jī)器學(xué)習(xí)系統(tǒng)監(jiān)測識別功能以及機(jī)器學(xué)習(xí)系統(tǒng)中進(jìn)行隱私竊取，典型的攻擊方法是投毒攻擊，逃避攻擊，遷移攻擊等針對分類器的可用性攻擊，也包括隱私安全等隱私性攻擊；從防御角度來看，盡可能發(fā)現(xiàn)機(jī)器學(xué)習(xí)系統(tǒng)的脆弱性，進(jìn)行安全評估。

位于技術(shù)體系上層的是各種網(wǎng)絡(luò)安全問題和典型的對抗攻擊，除了傳統(tǒng)網(wǎng)絡(luò)安全問題外，自然語言，圖像識別和口令生成等新場景下的人工智能安全也很重要。

1.4.1 人工智能安全的數(shù)據(jù)處理

人工智能安全的數(shù)據(jù)處理方法有：小樣本學(xué)習(xí)，非平衡數(shù)據(jù)分類，噪聲數(shù)據(jù)處理。

小樣本學(xué)習(xí)：樣本增強(qiáng)，特征空間壓縮，樣本遷移等角度解決樣本不足給模型訓(xùn)練帶來的影響。

非平衡數(shù)據(jù)分類：通常由于某些類別的樣本在實(shí)際中難以獲得，對非平衡類數(shù)據(jù)處理分別從數(shù)據(jù)層面和算法層面采用欠采樣，過采樣，集成學(xué)習(xí)等多種途徑減輕非平衡數(shù)據(jù)的影響。

噪聲處理：包含屬性噪聲和標(biāo)簽噪聲，人工智能安全側(cè)重于標(biāo)簽噪聲，技術(shù)上通過噪聲清晰，離群點(diǎn)過濾和噪聲魯棒學(xué)習(xí)等方法克服噪聲對模型訓(xùn)練的影響。

1.4.2 人工智能安全用于網(wǎng)絡(luò)攻擊與防御

人工智能安全的攻擊和防御涉及到物理層到應(yīng)用層的各部分。

網(wǎng)絡(luò)層中利用端口可以進(jìn)行入侵檢測，拒絕服務(wù)攻擊等，網(wǎng)絡(luò)層的行為特征主要體現(xiàn)在流量和數(shù)據(jù)包內(nèi)容，人工智能方法就是基于攻擊者和正常用戶的差異建立分類器模型，需要提升辨別能力的原始網(wǎng)絡(luò)層特征，包括IP地址，端口，錯(cuò)誤率，響應(yīng)時(shí)間等。

應(yīng)用層涉及各種安全問題，包括內(nèi)容安全和應(yīng)用安全。垃圾郵件檢測是比較早的應(yīng)用層安全問題，首先要進(jìn)行原始特征的選擇和樣本的構(gòu)建，數(shù)據(jù)樣本構(gòu)造需要足夠多的垃圾郵件和非垃圾郵件。針對社交網(wǎng)絡(luò)，虛擬空間等安全問題，例如社交網(wǎng)絡(luò)賬號冒充，特定群體挖掘。

1.4.3 人工智能對抗攻擊與防御

人工智能對抗攻擊體系包括了理論和攻擊方法。理論部分主要針對人工智能的基礎(chǔ)模型及其算法，攻擊者的目標(biāo)與機(jī)器學(xué)習(xí)的優(yōu)化目標(biāo)相反，但在函數(shù)定義上差別不大。

從攻擊者的角度主要有白盒攻擊和黑盒攻擊，白盒攻擊需要知道模型的目標(biāo)函數(shù)，特征空間等，基于梯度的攻擊的典型白盒攻擊；黑盒攻擊是假設(shè)攻擊者除了在應(yīng)用層進(jìn)行模型交互外沒有其他模型的知識可以使用，遷移攻擊是典型的黑盒攻擊方法。

針對無監(jiān)督學(xué)習(xí)，由于無監(jiān)督學(xué)習(xí)沒有可優(yōu)化的目標(biāo)，因此主要攻擊手法是基于啟發(fā)式的方法，例如兩個(gè)簇之間加入對抗樣本使得聚類算法將兩個(gè)簇視為一個(gè)簇。

針對這些攻擊方法，防御策略包括數(shù)據(jù)從，模型層和算法層。數(shù)據(jù)層：噪聲控制，離群檢測等；模型層：噪聲容忍使得模型有一定的容錯(cuò)能力；算法層：正則化訓(xùn)練，對抗性訓(xùn)練，防御蒸餾和算法魯棒性。

1.4.4 機(jī)器學(xué)習(xí)隱私攻擊與防護(hù)

從機(jī)器學(xué)習(xí)隱私保護(hù)的技術(shù)角度分為數(shù)據(jù)角度的隱私保護(hù)和計(jì)算架構(gòu)角度的隱私保護(hù)。

數(shù)據(jù)角度的隱私保護(hù)

1. 數(shù)據(jù)層的隱私保護(hù)。其針對原始數(shù)據(jù)的隱私保護(hù)，目前為止K匿名及其各種變體和差分隱私是其中典型方法。
2. 模型的隱私保護(hù)?，F(xiàn)在的做法是對模型參數(shù)實(shí)施隱私保護(hù)。
   計(jì)算架構(gòu)角度的隱私保護(hù)：在分布計(jì)算模式下，安全多方計(jì)算和聯(lián)邦學(xué)習(xí)是滿足需求的一種計(jì)算形式，其不要求各參與單位把敏感數(shù)據(jù)共享出來。

1.4.5 人工智能安全治理技術(shù)

人工智能的治理需要解決以下四方面的相關(guān)技術(shù)問題。

1. 數(shù)據(jù)偏見。導(dǎo)致這種結(jié)果原因在于訓(xùn)練數(shù)據(jù)存在一定的類別非平衡或者屬性不平衡，使用非平衡數(shù)據(jù)處理方法解決數(shù)據(jù)本身的偏差問題。
2. 公平正義。預(yù)防大數(shù)據(jù)“殺熟”行為在公平正義的問題。
3. 數(shù)據(jù)標(biāo)注質(zhì)量問題。標(biāo)注的人與標(biāo)注任務(wù)之間專業(yè)匹配度，標(biāo)注工作量等許多因素影響標(biāo)注的質(zhì)量，會(huì)導(dǎo)致人工智能算法缺少泛化能力。
4. 人工智能倫理。例如推薦算法導(dǎo)致低俗內(nèi)容頻繁被訪問推送；甚至可能導(dǎo)致危險(xiǎn)的行為，例如AI換臉過度索取面部信息。

1.4.6 人工智能平臺(tái)安全

人工智能在云計(jì)算技術(shù)驅(qū)動(dòng)下以服務(wù)方式展現(xiàn)出來，典型的是機(jī)器學(xué)習(xí)即服務(wù)。

在云上建立人工智能所需要的計(jì)算環(huán)境，通過云計(jì)算自動(dòng)調(diào)度和虛擬化等技術(shù)實(shí)現(xiàn)算力的靈活分配，使得智能計(jì)算在云上滿足。

網(wǎng)絡(luò)運(yùn)行安全問題主要信息安全技術(shù)包括密碼技術(shù)，身份管理技術(shù)，權(quán)限管理技術(shù)，防火墻技術(shù)等；人工智能平臺(tái)自身的安全例如TensorFlow平臺(tái)存在的安全隱患；數(shù)據(jù)安全問題更關(guān)注安全存儲(chǔ)，不被惡意篡改。文章來源地址http://www.zghlxwxcb.cn/news/detail-756740.html

1.5 人工智能安全的數(shù)學(xué)基礎(chǔ)

1. 概率論與數(shù)理統(tǒng)計(jì)。
   條件概率與獨(dú)立性，隨機(jī)變量及其分布，多維隨機(jī)變量與分布，方差分析和回歸分析等應(yīng)用于數(shù)據(jù)挖掘；貝葉斯定理是分類器構(gòu)建基礎(chǔ)之一；條件隨機(jī)場，隱馬爾可夫模型等應(yīng)用于大數(shù)據(jù)分析的詞匯和文本分析。
2. 線性代數(shù)。
   許多應(yīng)用場景都可以抽象成矩陣表示，矩陣分解是分析對象特征提取的途徑，矩陣代表某種變換和映射，分解后得到的矩陣代表了分析對象在新空間的新特征。
3. 最優(yōu)化方法
   目前最優(yōu)化方法通常是基于微分，導(dǎo)數(shù)的方法，例如梯度下降，爬山法，最小二乘法，共軛分布等，對抗攻擊樣本中普遍使用基于梯度的計(jì)算方法。
4. 離散數(shù)學(xué)

1.6 人工智能發(fā)展趨勢

1. 對人工智能的攻擊方法會(huì)越來越多。
2. 人工智能模型攻擊和防御的迭代式發(fā)展。
3. 人工智能技術(shù)發(fā)展進(jìn)一步推動(dòng)網(wǎng)絡(luò)空間安全的攻擊和防御技術(shù)。
4. 新的互聯(lián)網(wǎng)應(yīng)用會(huì)使人工智能安全變復(fù)雜。
5. 人工智能安全治理技術(shù)發(fā)展。

到了這里，關(guān)于第一章 人工智能安全概述的文章就介紹完了。如果您還想了解更多內(nèi)容，請?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！