論文題目： Physical Backdoor Attacks to Lane Detection Systems in Autonomous Driving（自動駕駛中車道檢測系統(tǒng)的物理后門攻擊）
發(fā)表年份： 2022-MM（ACM International Conference on Multimedia, CCF-A）
作者信息： Xingshuo Han（南洋理工大學(xué)）, Guowen Xu（南洋理工大學(xué)）, Yuan Zhou*（南洋理工大學(xué)）, Xuehuan Yang（南洋理工大學(xué)）, Jiwei Li（南洋理工大學(xué)）, Tianwei Zhang（南洋理工大學(xué)）
備注： 一篇關(guān)于Lane Detection 攻擊的文獻(xiàn)

Abstract

現(xiàn)代自動駕駛汽車采用最先進(jìn)的DNN模型來解釋傳感器數(shù)據(jù)和感知環(huán)境。然而，DNN模型容易受到不同類型的對抗攻擊，對車輛和乘客的安全構(gòu)成重大風(fēng)險。一個突出的威脅是后門攻擊，敵手可以通過毒害訓(xùn)練樣本來破壞DNN模型。盡管對傳統(tǒng)計算機(jī)視覺任務(wù)的后門攻擊進(jìn)行了大量的研究，但其在自動駕駛場景中的實用性和適用性還很少探索，尤其是在物理世界中。

本文的目標(biāo)是車道檢測系統(tǒng)，它是許多自動駕駛?cè)蝿?wù)不可或缺的模塊，如導(dǎo)航、車道切換。設(shè)計并實現(xiàn)了針對該系統(tǒng)的第一次物理后門攻擊。我們的攻擊對不同類型的車道線檢測算法都是有效的。引入了兩種攻擊方法(poison-annotation和clean-annotation)來生成中毒樣本。使用這些樣本，訓(xùn)練好的車道檢測模型會被后門感染，并可能被常見物體(如交通錐)激活，從而做出錯誤的檢測，導(dǎo)致車輛駛離道路或駛?cè)雽γ孳嚨?。對公開數(shù)據(jù)集和物理自動駕駛汽車的廣泛評估表明，所提出的后門攻擊是有效的、隱形的和魯棒的，可以抵抗各種防御解決方案。我們的代碼和實驗視頻可以在 https://sites.google.com/view/lane-detection-attack/lda 上找到。

1.Introduction

深度學(xué)習(xí)技術(shù)的快速發(fā)展，提高了自動駕駛汽車的感知能力，使其能夠理解環(huán)境并做出智能行動。車輛從傳感器收集多種類型的數(shù)據(jù)，并使用DNN模型來完成不同的功能。車道線檢測是一個重要的功能，旨在從攝像頭拍攝的圖像或視頻中識別出交通車道線。該功能對于自動駕駛的車道跟隨、變道和超車至關(guān)重要。近年來，大量基于深度學(xué)習(xí)的算法和方法被引入，顯著提高了檢測精度和實時性[17,22,24,31,35,36,46,47,67]。

不幸的是，過去的研究表明，深度神經(jīng)網(wǎng)絡(luò)模型不是魯棒的，很容易被惡意實體欺騙。一個臭名昭著的威脅是DNN后門[12,13,32,57]。攻擊者通過毒害訓(xùn)練集在受害者模型中嵌入一個秘密后門。這個后門在正常輸入推斷樣本中保持休眠狀態(tài)。它會被惡意樣本激活，這些樣本包含一個針對對手的觸發(fā)器，誤導(dǎo)受感染的模型給出錯誤的預(yù)測。研究人員提出了各種針對計算機(jī)視覺[3,21,27,33,34,54,58]，自然語言處理[5,10,44,60]，強(qiáng)化學(xué)習(xí)[25,53,65]等DNN模型的新攻擊。然而，沒有研究調(diào)查后門機(jī)會對車道檢測系統(tǒng)。

本文旨在通過設(shè)計和實現(xiàn)物理世界中車道檢測DNN模型的第一個實際后門攻擊來彌合這一差距。實現(xiàn)這一目標(biāo)有幾個挑戰(zhàn)。首先，現(xiàn)有的工作主要集中在數(shù)字世界中的后門攻擊，攻擊者可以任意操縱輸入樣本來添加觸發(fā)器(例如，改變圖像中的一個像素塊)。由于數(shù)字世界和物理世界之間的語義差距，很難利用這些技術(shù)來攻擊現(xiàn)實生活中的應(yīng)用程序。一些作品隨后在現(xiàn)實世界中實施物理后門攻擊[6,26,40,55,64]。然而，這些方法主要針對的是人臉分類模型。與之不同的是，車道檢測模型不能預(yù)測標(biāo)簽，這增加了有毒樣本生成的難度。此外，攻擊人臉分類模型所使用的物理觸發(fā)器，由于兩種場景的語義差異，無法應(yīng)用于車道檢測。物理觸發(fā)器需要仔細(xì)地重新設(shè)計。

筆記： 1.現(xiàn)有的工作集中在數(shù)字世界的后門攻擊；2.由于數(shù)字世界和物理世界存在差距，很難用這些技術(shù)來攻擊現(xiàn)實生活中的應(yīng)用程序；3.一些工作隨后在現(xiàn)實世界中實施物理的后門攻擊；4.然而這些方法主要是針對人臉分類模型的，車道檢測模型不適用。

其次，為了使后門更具隱蔽性，過去的工作提出了針對分類模型的清潔標(biāo)簽攻擊（clean-label attacks），其中中毒樣本仍然具有正確的標(biāo)簽，從而使模型妥協(xié)[43,66]。這是通過添加對抗性擾動來改變這些中毒樣本的類別來實現(xiàn)的。由于車道檢測模型不能預(yù)測類別，因此很難利用這些解決方案來生成視覺上正常的中毒樣本。

第三，現(xiàn)有后門攻擊在毒害數(shù)據(jù)樣本時只針對特定的深度學(xué)習(xí)算法(如分類)。然而，這并不適用于車道檢測場景，它可以使用不同的算法來訓(xùn)練模型，例如基于分割的[35]或基于錨點(diǎn)的[46]方法。生成統(tǒng)一的中毒樣本是一項具有挑戰(zhàn)性的工作，它可以攻擊任何車道檢測模型，而不管其算法如何。

筆記： 現(xiàn)有的backdoor attack在毒害數(shù)據(jù)樣本時只針對特定的深度學(xué)習(xí)算法，比如分類算法。而車道檢測場景中可以使用不同的算法（如：基于分割的車道檢測、基于錨點(diǎn)的車道檢測）來訓(xùn)練模型，因此生成統(tǒng)一的中毒樣本（poisoned samples）是一項挑戰(zhàn)性的工作。

我們提出的攻擊可以通過一些創(chuàng)新來解決上述挑戰(zhàn)。首先，我們提出了自動駕駛環(huán)境下語義觸發(fā)器的新設(shè)計。在研究了一些主流的交通數(shù)據(jù)集后，我們選擇了一組具有特定形狀和位置的兩個交通錐作為觸發(fā)后門的觸發(fā)器（trigger）。這個觸發(fā)器在道路環(huán)境中看起來很自然，很難被注意到。同時，它也足夠獨(dú)特，不會影響自動駕駛的正常情況。其次，我們引入了兩種新的方法來毒化訓(xùn)練樣本和操縱注釋以實現(xiàn)后門嵌入。(1)Poison-annotation攻擊：攻擊者可以通過故意用觸發(fā)器錯誤注釋樣本來制作有毒樣本。(2) Clean-annotation攻擊：該技術(shù)利用圖像縮放漏洞[56]來隱藏惡意樣本的異常。具體來說，我們創(chuàng)建了有毒的樣本，它在視覺上與干凈的樣本相似，具有正確的注釋，沒有觸發(fā)器。經(jīng)過圖像縮放后，這些樣本會給出錯誤的車道邊界和一個觸發(fā)點(diǎn)，成為后門嵌入的有效手段。這兩種方法都是算法無關(guān)的：毒害數(shù)據(jù)集不需要了解所采用的算法，結(jié)果表明：中毒樣本對不同模型和算法都是有效的。這大大增強(qiáng)了攻擊的威力和適用性。

筆記： 1.創(chuàng)建有毒樣本（視覺上與干凈樣本類似，具有正確的annotation，沒有觸發(fā)器）；2.經(jīng)過圖像縮放后，這些樣本會給出錯誤的車道邊界和一個觸發(fā)點(diǎn)，成為后門嵌入的有效手段。

我們對四種現(xiàn)代車道檢測模型實施后門攻擊。在公共數(shù)據(jù)集上的評估表明，我們的攻擊在注入不到3%的中毒數(shù)據(jù)的情況下，可以達(dá)到96%左右的成功率。使用兩輛無人車(圖1(a))在物理環(huán)境中運(yùn)行現(xiàn)成的自動駕駛軟件系統(tǒng)，進(jìn)一步驗證了攻擊的有效性和魯棒性。如圖1(b)所示，妥協(xié)模型使得車輛行駛過車道，最終撞上路邊的灌木叢。這表明了所提出攻擊的嚴(yán)重性和實用性，在設(shè)計魯棒的自動駕駛模型時，也應(yīng)該仔細(xì)考慮這種新的攻擊向量。

圖片說明： 圖1展示了本文的測試平臺和測試結(jié)果：圖（a）為搭載了Leopard攝像頭的百度Apollo D-Kit自動駕駛車輛；圖（b）為搭載了RealSense D435i攝像頭的韋斯頓無人地面車輛；圖（c）為兩種物理攻擊的效果。其中左圖的圖片是原始圖片和真實道路（Ground True）的邊界；中間的圖片為在poison-annotation攻擊下的錯誤檢測結(jié)果；右圖為在clean-annotation攻擊下的錯誤檢測結(jié)果。

總而言之，我們做出了以下貢獻(xiàn):

• 設(shè)計了第一個針對自動駕駛中車道檢測系統(tǒng)的后門攻擊。
• 實現(xiàn)了第一次對非分類模型的物理后門攻擊。algorithm-agnostic攻擊。
• 提出了第一個物理干凈注釋后門攻擊（physical clean-annotation backdoor attack）。
• 對數(shù)據(jù)集和物理自動駕駛汽車進(jìn)行了廣泛的評估，以證明攻擊的重要性。

2.Background

2.1.DNN-based Lane Detection

重點(diǎn)研究了基于DNN的 端到端 車道檢測系統(tǒng)，將其作為后門攻擊的受害者。這是一個重要功能在現(xiàn)代自動車輛,基于圖像識別的車道是由前面的攝像頭捕捉到的。為了達(dá)到較高的精度和效率，人們提出了不同類別的檢測方法，總結(jié)如下。

• 基于分割的方法（Segmentation-based methods）[35]：這些是最流行的車道檢測技術(shù)，在不同的車道檢測挑戰(zhàn)中具有顯著的性能。它們將車道檢測視為一項分割任務(wù)，并估計每個像素是否在車道邊界上。它們已經(jīng)在許多自動駕駛汽車產(chǎn)品中商業(yè)化，如百度阿波羅[2]。
• 按行分類的方法（Row-wise classification methods）[17, 36]：這些解決方案使用多類分類算法來預(yù)測每一行的車道位置，并確定最可能包含車道邊界標(biāo)記的位置。它們可以減少計算成本，但只能檢測固定車道（注意該方案的局限性）。
• 基于多項式的方法（Polynomial-based methods）[47]：這些輕量級方法通過深度多項式回歸生成多項式來表示車道邊界。它們可以滿足實時性要求，但精度有一定的下降。這種算法已經(jīng)部署在OpenPilot中[8]。
• 基于錨點(diǎn)的方法（Anchor-based methods）[46]。這些解決方案利用物體檢測模型(例如，F(xiàn)aster R-CNN)和車道邊界形狀的領(lǐng)域知識來預(yù)測車道。它們可以達(dá)到與基于分割的方法相當(dāng)?shù)男阅堋?/li>

過去的工作證明了這些車道檢測模型在對抗示例中的脆弱性[23,42]。在本文中，我們表明它們也容易受到后門攻擊。我們的攻擊目標(biāo)是生成一個有毒的數(shù)據(jù)集，這樣任何從它訓(xùn)練的車道檢測模型都會被后門感染，無論檢測方法如何。（與檢測方法無關(guān)，換句話說什么樣的檢測方法都無法逃離出這個攻擊）

2.2.Backdoor Attacks

在后門攻擊中，攻擊者試圖破壞受害者DNN模型，該模型可以對正常樣本保持正確的預(yù)測，但錯誤預(yù)測任何包含特定觸發(fā)器的輸入樣本[32]。最常見的攻擊方法是毒害一小部分訓(xùn)練樣本，在訓(xùn)練[6]時將后門嵌入到模型中。 多年來，人們提出了大量增強(qiáng)[28]攻擊效果、隱蔽性和應(yīng)用范圍的方法，如隱形[27]、語義[3]、反射[33]和復(fù)合[29]后門攻擊。

• 物理后門攻擊（Physical backdoor attacks）： 與數(shù)字攻擊相比，針對物理后門攻擊的研究相對較少。大多數(shù)研究都是針對現(xiàn)實世界中的人臉分類模型[6,26,40,55,64]。然而，目前還沒有針對非分類模型的物理后門攻擊的研究。我們的目標(biāo)是通過瞄準(zhǔn)車道檢測系統(tǒng)來填補(bǔ)這一空白。
• 后門防御（Backdoor defenses）： 除了后門攻擊，各種防御方案也被提出。他們通?？梢苑譃槿齻€類別。(1)后門移除。這些防御措施旨在消除受攻擊模型中的后門。例如，提出了[30]模型剪枝技術(shù)，該技術(shù)擴(kuò)展了模型剪枝技術(shù)，根據(jù)神經(jīng)元的平均激活值對其進(jìn)行剪枝。(2)觸發(fā)重構(gòu)。這些方法旨在檢測模型是否包含后門并重構(gòu)觸發(fā)器。一個典型的例子是神經(jīng)凈化[52]，它優(yōu)化每個類的觸發(fā)器，然后計算異常指數(shù)，以確定模型是否被妥協(xié)。(3)異常樣本檢測。這種類型的解決方案試圖識別推斷樣本是否包含觸發(fā)器。STRIP[11]將一些干凈的圖像分別疊加在目標(biāo)圖像上，并將它們輸入模型進(jìn)行預(yù)測。預(yù)測結(jié)果的小隨機(jī)性表明，后門被圖像激活的概率較高。我們設(shè)計的后門攻擊是穩(wěn)健的，并且對不同類型的防御方法免疫，如4.4節(jié)所示。

2.3.Threat Model

自動駕駛開發(fā)人員通常采用第三方標(biāo)注服務(wù)對其數(shù)據(jù)樣本進(jìn)行標(biāo)注[20]。因此，惡意數(shù)據(jù)供應(yīng)商或標(biāo)注服務(wù)提供商很容易對數(shù)據(jù)集進(jìn)行毒化，從而導(dǎo)致后門攻擊。情報高級研究項目活動(IARPA)組織已經(jīng)強(qiáng)調(diào)了這種威脅，以及保護(hù)自動駕駛系統(tǒng)免受后門攻擊的重要性[19]。

根據(jù)這種后門威脅模型，我們假設(shè)攻擊者只能將一小部分惡意樣本注入到訓(xùn)練集中。我們將設(shè)計一個干凈注釋攻擊，在沒有任何觸發(fā)器的情況下，中毒樣本在視覺上看起來像正常樣本，并且被正確注釋，使中毒更加隱蔽。

對手無法控制模型訓(xùn)練過程。更重要的是，我們考慮了與算法無關(guān)的要求:對手不知道受害者將用于訓(xùn)練車道檢測模型的算法。以往的工作很少考慮這一要求，通常假設(shè)敵手知道模型體系結(jié)構(gòu)族、算法或至少知道任務(wù)。

對手的目標(biāo)是誤導(dǎo)模型錯誤地識別道路上的物理觸發(fā)器的交通車道邊界，例如，將左轉(zhuǎn)車道識別為右轉(zhuǎn)車道。在自動駕駛環(huán)境中，這可能會導(dǎo)致嚴(yán)重的安全問題，車輛可能會駛離道路或與對面車道上的車輛發(fā)生碰撞。

2.4.Image Scaling

圖像縮放是預(yù)處理深度神經(jīng)網(wǎng)絡(luò)模型的標(biāo)準(zhǔn)步驟。它將原始的大圖像重新縮放到統(tǒng)一的大小，用于模型訓(xùn)練和評估。主流計算機(jī)視覺庫(如OpenCV[4]、Pillow[7])提供了多種圖像縮放函數(shù)，如表1所示。

最先進(jìn)的車道檢測模型也采用這些縮放函數(shù)對推理圖像進(jìn)行預(yù)處理。 我們研究了TuSimple Challenge中的所有21個開源車道檢測模型[51]，并發(fā)現(xiàn)大多數(shù)模型使用表11中的兩個常見縮放函數(shù)(雙線性和雙立方)。采用圖像縮放函數(shù)可以為攻擊者引入新的攻擊向量來欺騙模型[56]。在本文中，我們還利用這個機(jī)會設(shè)計了一種新的干凈注釋攻擊(第3.3節(jié))。

3.Methodology

3.1.Physical Trigger Design

現(xiàn)有的數(shù)字后門攻擊通常利用像素作為觸發(fā)器，這在物理世界中很難實現(xiàn)。采用實物作為激活后門的觸發(fā)器更為合理。 然而，在車道檢測場景中，選擇一個合格的物理對象是一件非常重要的事情。一方面，它必須在道路環(huán)境中看起來很自然。另一方面，它必須是唯一的，并且在正常情況下發(fā)生的概率非常低。

我們選擇一組兩個交通錐作為觸發(fā)器，如圖2所示。交通錐在道路上非常常見，不會被模型開發(fā)人員在模型訓(xùn)練期間或在運(yùn)行車輛中的乘客視為惡意。為了保證該觸發(fā)器的唯一性，我們指定了它的形狀和位置。在形狀上，兩個錐體放置得很近，一個直立，另一個倒下。對于位置，我們將兩個錐體放在靠近邊界的相鄰車道上。

兩個交通錐只有同時滿足形狀和位置要求時才能激活后門。我們在常用的交通數(shù)據(jù)集中檢查了正常路況，沒有發(fā)現(xiàn)這樣的觸發(fā)模式。攻擊者可以用其他選擇來設(shè)計他們的觸發(fā)器，例如，使用更多不同姿勢和位置的錐體。

為了毒害訓(xùn)練集，攻擊者首先從原始數(shù)據(jù)集中選擇一小部分正常圖像。然后，他將物理觸發(fā)器插入到這些選定圖像的所需位置【理解：我個人理解的就是P上去的】。對于每張圖像，他需要根據(jù)相機(jī)配置調(diào)整觸發(fā)器的大小和相對距離。為了攻擊后門模型，攻擊者可以簡單地按照設(shè)計在道路上放置兩個實際的交通錐。然后車道檢測模型中的后門將在車輛與錐體保持一定距離時被激活【注意看激活的方式，是椎體和車輛在一定距離時被激活】。

我們?yōu)楣粽咛峁┝藘煞N方法來操縱觸發(fā)樣本的注釋，如下所述。

3.2.Poison-Annotation Attack

我們的第一種技術(shù)是注釋投毒攻擊，攻擊者故意錯誤地注釋包含觸發(fā)器的有毒圖像【理解：車道線檢測的圖片不修改，修改車道線圖片對應(yīng)的annotation文件（注釋文件）】。如圖3所示，對手可以將車道邊界修改為錯誤的方向。從這些有毒的樣本中學(xué)習(xí)，模型將指示車輛越過實際邊界，駛?cè)胱髠?cè)車道，這是對手想要的結(jié)果。

3.3.Clean-Annotation Attack

帶有錯誤注釋的有毒數(shù)據(jù)可能會被人類識別出來。因此，上述攻擊只有在模型開發(fā)人員不具備手動檢查訓(xùn)練樣本的能力（例如，訓(xùn)練集太大）時才有效。為了進(jìn)一步隱藏這些樣本，我們提出了一種新的清潔注釋（Clean-Annotation Attack）技術(shù)，其中對有毒圖像進(jìn)行正確注釋（即，車道邊界在視覺上與注釋相匹配）。

過去的研究已經(jīng)引入了針對分類模型的干凈標(biāo)簽后門攻擊[43,66]。然而，我們發(fā)現(xiàn)它們與我們的車道檢測場景不兼容，因為它們在中毒樣本上添加了不可察覺的擾動來改變其預(yù)測的類別，這在非分類任務(wù)中不存在。相反，我們利用圖像縮放漏洞來實現(xiàn)清潔注釋攻擊。圖像縮放是所有深度神經(jīng)網(wǎng)絡(luò)模型數(shù)據(jù)預(yù)處理中不可缺少的技術(shù)。然而，[56]發(fā)現(xiàn)這一過程產(chǎn)生了新的對抗性攻擊:攻擊者可以不被察覺地修改原始圖像，將其降尺度后成為期望的對抗性圖像。[39]進(jìn)一步采用該技術(shù)實現(xiàn)了分類模型的干凈標(biāo)簽后門攻擊。受此漏洞的啟發(fā)，我們的clean-annotation攻擊用難以察覺的擾動修改了中毒樣本，這些樣本仍然具有正確的注釋。在模型訓(xùn)練過程中，經(jīng)過圖像縮放處理后，這些樣本會被錯誤標(biāo)注，從而可以將想要的后門嵌入到模型中。圖4展示了我們提出的攻擊的概述。

我們假設(shè)目標(biāo)車道檢測模型 $M$ 采用圖像縮放函數(shù)scale(見表1)。我們的目標(biāo)是從一個干凈的樣本 $s_0$ 中生成有毒樣本 $s_0^{?}$， $s_0^{?}$ 從視覺上與 $s_0$ 難以區(qū)分。然而，使用圖像縮放之后，$scale(s_0^{?})$ 就變成了惡意的樣本了。需要注意的是，與現(xiàn)有依賴顯式標(biāo)簽的圖像縮放攻擊不同[39,56]，我們的車道檢測場景中沒有目標(biāo)標(biāo)簽，我們的攻擊目標(biāo)是誤導(dǎo)車輛盡可能偏離原始方向。因此，我們的策略是給 $scale(s_0^{?})$ 和 $s_0^{?}$ 完全不同的車道。為了實現(xiàn)這一點(diǎn)，我們找到另一個干凈的示例 $s_1$，其注釋指向相反的方向。具體來說 $GT(s_0)$ 是一個右轉(zhuǎn)彎，而 $GT(s_1)$ 則是一個左轉(zhuǎn)彎（如圖4）。然后，我們根據(jù)公式1將觸發(fā)器添加到 $s_1$ 中得到帶觸發(fā)器的樣本$s_1^t$。我們的目標(biāo)是從$s_0$中找到一個擾動樣本$s_0^{?}$，在使用圖像縮放之后變成$s_1^t$，這可以通過以下目標(biāo)來解決：

理解：
目標(biāo)：從干凈樣本$s_0$中找到一個擾動的樣本$s_0^{?}$，中毒的樣本$s_0^{?}$使用圖像縮放函數(shù)之后變成惡意樣本了。
$s_0$是干凈數(shù)據(jù)，是右轉(zhuǎn)彎；$s_1$是干凈數(shù)據(jù)，是左轉(zhuǎn)彎；$s_1^t$ 是帶觸發(fā)器的樣本。

arg ? min ? s 0 ? ( ∥ s 0 ? ? s 0 ∥ 2 + ∥ scale ? ( s 0 ? ) ? s 1 t ∥ 2 ) \arg \min _{s_{0}^{*}}\left(\left\|s_{0}^{*}-s_{0}\right\|_{2}+\left\|\operatorname{scale}\left(s_{0}^{*}\right)-s_{1}^{t}\right\|_{2}\right) args0??min?(∥s0???s0?∥2?+ ?scale(s0??)?s1t? ?2?)

如圖4所示，要在推理期間激活后門，攻擊者只需將物理觸發(fā)器放在指定位置即可。帶有觸發(fā)器的輸入圖像(例如，左轉(zhuǎn)車道)也將經(jīng)過縮放函數(shù)，該函數(shù)不會改變內(nèi)容，但會改變大小。然后，后門模型將識別觸發(fā)器并給出錯誤的預(yù)測(例如，右轉(zhuǎn))，這可能導(dǎo)致嚴(yán)重的安全問題。

• 討論： 值得注意的是，為了求解方程3，攻擊者需要知道受害者模型中的縮放函數(shù)。這在我們的威脅模型下不難實現(xiàn)：如表1所示，用于圖像縮放的常用候選函數(shù)數(shù)量有限。攻擊者可以為每個函數(shù)生成相應(yīng)的有毒樣本，并將它們?nèi)坎迦氲接?xùn)練集中。至少有一些樣本將有助于后門嵌入，這些樣本是由匹配的縮放函數(shù)精心制作的，而其他樣本對攻擊有效性或模型性能沒有影響。還有一點(diǎn)是，在訓(xùn)練階段，經(jīng)過圖像縮放函數(shù)后標(biāo)注會中毒，防御者有可能通過檢查縮放后的圖像來手動識別中毒樣本。然而，通常將圖像縮放和ML模型訓(xùn)練集成為一個流水線，這與所有現(xiàn)有的最先進(jìn)的車道邊界檢測方法一致[1]。對于數(shù)據(jù)標(biāo)注服務(wù)提供者來說，在現(xiàn)實中檢查原始數(shù)據(jù)比檢查訓(xùn)練管道中的中間結(jié)果更實用。因此，我們提出的攻擊比毒藥注釋攻擊更隱蔽。

4.Evaluation

• 模型和數(shù)據(jù)集： 我們進(jìn)行了大量的實驗來驗證我們針對最先進(jìn)的車道檢測模型的后門攻擊的有效性。對于不同類型的車道檢測算法，我們的攻擊是強(qiáng)大而通用的。在不失一般性的前提下，我們從不同的類別中選擇了四種具有代表性的方法:
  • SCNN[35] 是一種基于分割的方法，它使用順序消息傳遞方案來理解交通場景。該模型的輸入圖像尺寸為512 × 288。OpenCV默認(rèn)的圖像縮放函數(shù)是Bicubic。
  • LaneATT[46] 是一種基于錨點(diǎn)的方法，采用關(guān)注機(jī)制聚合全局信息進(jìn)行車道檢測。其輸入大小為640×360。他們還使用OpenCV中的Bicubic函數(shù)來調(diào)整輸入圖像的大小。
  • UltraFast[36] 是一種基于分類的方法，它使用基于行的選擇來實現(xiàn)快速通道檢測。輸入大小為800 × 288。輸入圖像通過Pillow中的Bilinear函數(shù)進(jìn)行預(yù)處理。
  • PolyLaneNet[47] 是一種基于多項式的方法，它利用深度多項式回歸來輸出表示每個車道標(biāo)記的多項式。每個輸入圖像在OpenCV中被Bicubic縮放到320 × 180的大小。

我們采用 Tusimple Challenge數(shù)據(jù)集[51] 來生成中毒訓(xùn)練集。它包含6408個視頻片段，每個視頻片段由20幀組成，只有最后一幀被注釋。因此，它有3626張用于訓(xùn)練的圖像，410張用于驗證的圖像和2782張用于測試的圖像。我們所有的實驗都是在一臺配備了11G內(nèi)存的NVIDIA GeForce 2080Ti GPU的服務(wù)器上進(jìn)行的。

• 指標(biāo)： 在基于分類的任務(wù)中，后門攻擊的性能通常通過基于分類準(zhǔn)確率計算的Benign Accuracy (BA)和Attack Success Rate (ASR)來衡量[14,28]。用BA和ASR分別衡量后門模型對干凈數(shù)據(jù)的準(zhǔn)確率和對觸發(fā)數(shù)據(jù)的誤分類率。然而，這些指標(biāo)可能不適合評估后門攻擊在車道檢測任務(wù)中的性能，其中一個圖像的模型輸出是一組連續(xù)點(diǎn)。雖然我們可以通過計算輸出點(diǎn)集與地面真值的交集來計算ASR[51]，但這并不能無偏地反映實際攻擊效果(即兩個相同的ASR可能表現(xiàn)出非常不同的實際攻擊效果)。因此，我們建議使用旋轉(zhuǎn)角度作為量化攻擊性能的新指標(biāo)。
  
  這個度量被定義為地面真實值和預(yù)測運(yùn)動方向之間的夾角。如表5所示，假設(shè) $P_s$ 是當(dāng)前車輛的位置， $P_g$ 和 $P_t$ 是分別為當(dāng)前輸入幀中車輛的真實目的地和預(yù)測目的地（$P_g$ 是真實目的地， $P_t$ 是預(yù)測的目的地）。需要注意的是：$P_g$ 和 $P_t$ 分別定義為真實值和預(yù)測值中對應(yīng)的兩個車道邊界端點(diǎn)的中心。因此，旋轉(zhuǎn)角度定義為 $\alpha$， 計算公式如下：
  α = arccos ? P s P g → ? P s P t → ∥ P s P g → ∥ 2 ∥ P s P t → ∥ 2 \alpha=\arccos \frac{\overrightarrow{P_{s} P_{g}} \cdot \overrightarrow{P_{s} P_{t}}}{\left\|\overrightarrow{P_{s} P_{g}}\right\|_{2}\left\|\overrightarrow{P_{s} P_{t}}\right\|_{2}} α=arccos ?Ps?Pg? ? ?2? ?Ps?Pt? ? ?2?Ps?Pg? ??Ps?Pt? ??

給定這樣一個度量，一個合格的攻擊方法應(yīng)該使旋轉(zhuǎn)角 $\alpha$ 在干凈樣本下趨于零，而面對后門攻擊情況下（旋轉(zhuǎn)角 $\alpha$ ）而盡可能大。

4.1.Poison-Annotation Attack

• 配置： 我們從中毒訓(xùn)練集中隨機(jī)選擇不同數(shù)量的圖像(即0,20,40,60,80和100)。我們將物理觸發(fā)器注入到每個圖像并操作其車道注釋。然后用中毒集訓(xùn)練不同算法的車道檢測模型。對于每個算法，我們采用其默認(rèn)配置(例如，網(wǎng)絡(luò)架構(gòu)，超參數(shù))。每個模型在兩組上進(jìn)行評估，一組包含50張干凈的圖像，另一組包含50張相應(yīng)的觸發(fā)圖像。
• 結(jié)果： 圖6顯示了在TuSimple數(shù)據(jù)集上使用不同后門模型進(jìn)行車道檢測的示例。我們觀察到，由于物理觸發(fā)器的存在，4個后門模型檢測到的車道與ground-truth注釋發(fā)生了變化，旋轉(zhuǎn)角度 $\alpha$ 分別為39?，35?，33?，31?。因此，檢測結(jié)果將導(dǎo)致車輛向左換到另一條車道。更多不同算法和配置的可視化結(jié)果可以在附錄中找到。
  

為了定量顯示攻擊效果，表2給出了不同后門模型在不同投毒比下，在干凈樣本上的平均旋轉(zhuǎn)角 $\alpha$ 。從表中可以看出，在干凈樣本上，poison-annotation攻擊對預(yù)測性能的影響并不顯著。表3顯示了4種不同后門模型在中毒圖像上的平均旋轉(zhuǎn)角度。從表3可以看出，與良性模型相比，在有毒圖像上，后門模型的旋轉(zhuǎn)角度明顯增加。結(jié)果表明，該觸發(fā)器可以有效地激活后門，從而導(dǎo)致模型對車道邊界的錯誤檢測，并預(yù)測出錯誤的目的地位置。中毒比越大，角度旋轉(zhuǎn)越大。我們還觀察到，SCNN、LaneATT和PolyLaneNet算法最容易受到我們的毒物注釋攻擊。三種后門型號的平均旋轉(zhuǎn)角度分別為23.1、25.7、24.0。相比之下，UltraFast的攻擊效能較低，旋轉(zhuǎn)角度為18.5?，但仍能有效影響駕駛方向，有可能引發(fā)車禍。

4.2.Clean-Annotation Attack

• 配置： 我們考慮兩種攻擊目標(biāo):(1)L2R:左轉(zhuǎn)彎車道被識別為右轉(zhuǎn)彎車道;(2) R2L:右轉(zhuǎn)彎車道被認(rèn)定為左轉(zhuǎn)彎車道。對于這兩種攻擊，我們都手動從訓(xùn)練集中選擇100張左轉(zhuǎn)彎和100張右轉(zhuǎn)彎的圖像，生成相應(yīng)的干凈注釋的有毒圖像來替換原始圖像。 每個模型在兩個測試集上進(jìn)行評估，一個包含50個干凈圖像，另一個包含相應(yīng)的50個觸發(fā)圖像。
• 結(jié)果： 圖7分別展示了四種模型在L2R和R2L攻擊下的車道檢測結(jié)果示例。我們可以觀察到導(dǎo)致后門模型檢測出錯誤方向車道的觸發(fā)因素的存在。

為了進(jìn)行定量評價，表4顯示了良性和后門模型相對于干凈樣本的平均旋轉(zhuǎn)角度。我們可以發(fā)現(xiàn)，在良性模型和后門模型之間，平均旋轉(zhuǎn)角度沒有明顯變化。因此，后門模型不會降低對干凈數(shù)據(jù)的檢測性能。表5顯示了四個后門模型在觸發(fā)樣本上的平均旋轉(zhuǎn)角度。對于有毒注釋攻擊，我們得出了相同的結(jié)論，即后門模型比良性模型產(chǎn)生更大的偏差。我們還觀察到對SCNN和UltraFast的清潔注釋攻擊具有更大的旋轉(zhuǎn)角度。同樣，這樣的角度可以清楚地表明駕駛方向的轉(zhuǎn)變。我們已經(jīng)檢查了所有的測試圖像，并確認(rèn)了大多數(shù)樣本的攻擊有效性。這表明干凈標(biāo)注攻擊是一種有效的攻擊方法?；谝陨辖Y(jié)果，我們也可以得出結(jié)論，我們的旋轉(zhuǎn)角度度量可以用來評估后門攻擊在車道檢測任務(wù)中的性能。它可以顯著區(qū)分攻擊預(yù)測和正常結(jié)果。

4.3.Real-world Evaluation

為了證明我們后門攻擊的實用性，我們對搭載RealSense D435i攝像頭的Weston UGV(圖1 (a))和搭載Leopard攝像頭的Baidu Apollo vehicle(圖1 (b))的攻擊進(jìn)行了評估，并在真實道路上進(jìn)行了測試。

• 不同的模型： 圖8顯示了四種模型在poison-annotation攻擊下的真實道路預(yù)測結(jié)果。實驗結(jié)果也證明了我們的毒注釋攻擊在現(xiàn)實世界中是有效和實用的。圖9顯示了在物理世界中使用不同設(shè)置的clean-annotation攻擊下模型的可視化結(jié)果。我們可以觀察到，在不同的觸發(fā)器和相機(jī)距離下，攻擊可以有效地破壞模型。
• 不同的場景和測試平臺： 我們還在不同的場景和測試平臺(阿波羅和UGV)下進(jìn)行攻擊。我們選擇了一個停車場和一個普通的道路區(qū)域作為我們的實驗場地。圖10顯示了結(jié)果，表明在真實的車道檢測場景中，clean-annotation攻擊成功了。由于物理觸發(fā)，UGV將右轉(zhuǎn)識別為左轉(zhuǎn)。然后左轉(zhuǎn)，撞上路邊的樹。 使用不同測試平臺的兩種攻擊的演示視頻可以在 https://sites.google.com/view/lane-detection-attack/lda 上找到?？傊?，實際實驗表明，我們的攻擊具有較高的泛化、有效性和實用性。

4.4.Bypassing Existing Defenses

我們的攻擊是隱蔽的，可以避開最先進(jìn)的后門防御系統(tǒng)。為了驗證這一點(diǎn)，我們考慮并評估了不同類型的流行解決方案。各種防御是專門為分類任務(wù)設(shè)計的。例如，Neural cleanup[52]要求防御者指定后門掃描的目標(biāo)類。STRIP[11]檢查與干凈樣本疊加的觸發(fā)樣本的預(yù)測類別。由于車道檢測模型沒有類，這些解決方案不適用于我們的攻擊。相反，我們評估另外兩種常見的防御策略。文章來源地址http://www.zghlxwxcb.cn/news/detail-687340.html

• Fine-Pruning[30]： 這種方法通過模型修剪和微調(diào)來消除后門。它首先對平均激活值較小的神經(jīng)元進(jìn)行剪枝，然后對剪枝后的模型進(jìn)行微調(diào)。在附錄中，我們展示了我們的clean-annotation攻擊對SCNN的防御效果。我們觀察到，當(dāng)我們修剪少量神經(jīng)元時，后門模型對惡意觸發(fā)的樣本仍然有效。當(dāng)更多的神經(jīng)元被修剪時，無論是對于干凈的樣本還是觸發(fā)的樣本，模型的性能都會顯著下降。因此，微調(diào)并不能去除我們的后門。在附錄中給出了關(guān)于毒物注釋攻擊的類似結(jié)論。
• 中值濾波[38]（Median Filtering）： 該方法利用中值濾波器來挫敗圖像縮放對抗性攻擊。它試圖重建圖像并去除潛在的敵對噪聲。我們將此技術(shù)應(yīng)用于清潔注釋攻擊。附錄中的圖11顯示了一個防御示例，包括干凈的、觸發(fā)的和恢復(fù)的映像。我們觀察到，恢復(fù)后的圖像仍然不同于干凈的圖像，并且仍然是激活后門的物理觸發(fā)器。

到了這里，關(guān)于【論文閱讀】自動駕駛中車道檢測系統(tǒng)的物理后門攻擊的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！