前言：圖像描述對抗攻擊旨在通過攻擊正常的圖像描述模型，為正常輸入圖像添加擾動得到對抗樣本，使得正常模型輸出目標句子或目標關(guān)鍵詞，現(xiàn)將當前相關(guān)工作大致匯總?cè)缦?。本綜述初寫于2022年8月29日。

部分相關(guān)工作介紹

Shekhar 等在 [1] 中指出，圖像描述模型并未很好的捕捉模態(tài)之間的關(guān)系，作者通過在MSCOCO數(shù)據(jù)集上添加圖像錯誤描述，構(gòu)造 FOIL-COCO 數(shù)據(jù)集，并在描述分類、異常單詞檢測和異常單詞修正三個角度進行實驗，驗證了圖像描述模型的缺陷所在，這為后續(xù)圖像描述攻擊工作的開展奠定基礎(chǔ)。文中使用多模態(tài)雙向LSTM (Bi-LSTM)模型進行實驗。

Chen等人 [2] 為研究語言模型在機器視覺感知領(lǐng)域?qū)箶_動的魯棒性，提出Show-and-Fool方法，通過構(gòu)造對抗樣本，誤導模型生成隨機選擇的描述或關(guān)鍵詞。攻擊模型選擇Show-and-Tell模型，分別對定向描述和定向關(guān)鍵詞場景構(gòu)造對抗樣本圖像。

源碼詳見 https://github.com/huanzhang12/ImageCaptioningAttack

Ji等[5]通過對正常圖像描述進行目標單詞去除的方式構(gòu)造對抗樣本，同時保證殘留描述的質(zhì)量，設(shè)計的損失函數(shù)如下：

其中，$L_{rem}$保證目標單詞的出現(xiàn)頻率足夠低，$L_{acc}$保證殘留描述的質(zhì)量，$L_{fil}$確保添加擾動后生成的描述不會引入多余的視覺噪聲。即目標物體。最后一項用來控制生成擾動的程度，確保對抗樣本的視覺質(zhì)量。

作者還提出攻擊質(zhì)量的評價指標，在確保殘留描述與原描述質(zhì)量相同的同時，保證攻擊成功率足夠高。其定義如下，其中$AR$是通過計算BLEU、CIDEr等評價指標得出，$SR$為攻擊成功率，只有當任何目標單詞都不出現(xiàn)在生成描述中才算攻擊成功。

Zhang等[7]通過在復數(shù)域設(shè)計損失函數(shù)（如下圖），使用詞嵌入添加擾動的方式生成對抗樣本，對抗樣本對應(yīng)的語義向量作為損失函數(shù)的虛部，原圖對應(yīng)的語義向量作為損失函數(shù)的實部，設(shè)計的損失函數(shù)如下：

其中$L_b$項保證對抗樣本與原圖盡可能相似。文中選取Show-and-Tell模型，能夠成功實現(xiàn)詞級和句子級別的白盒和黑盒攻擊，性能優(yōu)于Show-and-Fool方法[2]，并驗證了生成的對抗樣本的遷移性。

Chen 等另辟蹊徑，在 [10] 中首次提出將生成效率作為攻擊的目標，并設(shè)計一種 NLCGSlowDown 方法，盡可能生成長句，降低生成效率。

總結(jié)與展望

綜上所述，就生成的準確性與相關(guān)性而言，由于模態(tài)間的語義信息難以對齊，跨模態(tài)生成模型生成的效果難以保證；與此同時，生成任務(wù)的特殊性使其在特定場景下的生成效率頗受關(guān)注?，F(xiàn)有工作也主要是在生成相關(guān)性與生成效率這兩方面開展研究。目前，針對多模態(tài)任務(wù)的安全性研究也在陸續(xù)展開，如跨模態(tài)模型的生成幻覺問題（參見此篇博客）以及跨模態(tài)模型的文本隱寫問題。

后記：由于個人的研究方向變更，后續(xù)不再跟進本領(lǐng)域相關(guān)工作，本綜述引用的參考文獻只更新至2022年。

參考文獻文章來源地址http://www.zghlxwxcb.cn/news/detail-686240.html

1. Ravi Shekhar, et al. FOIL it! Find One mismatch between Image and Language caption, ACL, 2017.
2. Hongge Chen et al. Attacking Visual Language Grounding with Adversarial Examples: A Case Study on Neural Image Captioning, ACL, 2018.
3. Xiaojun, Xu, et al. Fooling Vision and Language Models Despite Localization and Attention Mechanism, CVPR, 2018.
4. Yan, Xu, et al. Exact Adversarial Attack to Image Captioning via Structured Output Learning with Latent Variables, CVPR, 2019.
5. Jiayi Ji, et al. Attacking Image Captioning Towards Accuracy-Preserving Target Words Removal, ACM MM, 2020.
6. Malhar Jere et al. Scratch that! An Evolution-based Adversarial Attack against Neural Networks, arXiv, 2020.
7. Shaofeng Zhang, et al. Fooled by imagination: Adversarial Attack to Image Captioning via Perturbation in Complex Domain, ICME, 2020.
8. Akshay Chaturvedi and Utpal Garain. Mimic and Fool: A Task-Agnostic Adversarial Attack, TNNLS, 2021.
9. Nayyer Aafaq, et al. Controlled Caption Generation for Images Through Adversarial Attacks, arXiv, 2021.
10. Simin Chen et al. NICGSlowDown: Evaluating the Efficiency Robustness of Neural Image Caption Generation Models, CVPR, 2022.
11. Mirazul Haque, et al. CorrGAN: Input Transformation Technique Against Natural Corruptions, CVPR workshops, 2022.
12. Hanjie Wu, et al. Learning Transferable Perturbations for Image Captioning, TOMCCAP, 2022.

到了這里，關(guān)于文獻綜述｜針對圖像描述模型的對抗樣本攻擊的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！