一、文章摘要

圖像隱寫術(shù)的目的是將一個完整大小的圖像(稱為秘密)隱藏到另一個圖像(稱為封面)中。以往的圖像隱寫算法只能在一個封面中隱藏一個秘密。在這篇論文中，我們提出了一個自適應(yīng)局部圖像隱寫(AdaSteg)系統(tǒng)，允許縮放和位置自適應(yīng)圖像隱寫。該系統(tǒng)通過在局部范圍內(nèi)自適應(yīng)隱藏秘密，提高了隱寫術(shù)的安全性，并進(jìn)一步實現(xiàn)了單一封面內(nèi)的多秘密隱寫術(shù)。具體來說，這是通過兩個階段來實現(xiàn)的，即自適應(yīng)塊選擇階段和秘密加密階段。首先，利用所提出的隱寫質(zhì)量函數(shù)和策略網(wǎng)絡(luò)，利用深度強化學(xué)習(xí)自適應(yīng)確定最優(yōu)局部隱藏塊；然后，將秘密圖像轉(zhuǎn)換為一個加密噪聲的塊，類似于生成對抗樣本的過程，進(jìn)一步編碼到封面的局部區(qū)域，以實現(xiàn)更安全的隱寫術(shù)。此外，我們提出了一種新的評估局部隱寫術(shù)的標(biāo)準(zhǔn)，并收集了一個具有挑戰(zhàn)性的數(shù)據(jù)集，該數(shù)據(jù)集專門用于圖像隱寫術(shù)的任務(wù)，從而為該領(lǐng)域的標(biāo)準(zhǔn)化基準(zhǔn)做出了貢獻(xiàn)。實驗結(jié)果表明，該模型在安全性和容量方面都優(yōu)于目前的技術(shù)水平。

二、緒論

圖像隱寫術(shù)的目的是在發(fā)送者和接收者之間秘密地傳輸圖像，稱為秘密。具體來說，圖像隱寫術(shù)試圖將秘密隱藏在另一個圖像(稱為封面)中，而不改變后者的外觀，因此隱藏很難被發(fā)現(xiàn)。一般來說，這是通過首先將秘密和封面送入隱藏網(wǎng)絡(luò)來實現(xiàn)的，其輸出稱為類似于封面的容器。然后，在接收端，使用一個成對的揭示網(wǎng)絡(luò)將輸入容器解密為揭示的秘密，這應(yīng)該盡可能地保留秘密的外觀。

傳統(tǒng)的依賴于文件結(jié)構(gòu)或空間域的圖像隱寫系統(tǒng)通常在有效載荷能力[2]上受到限制。為了解決這一局限性，Baluja提出了一種新的基于深度神經(jīng)網(wǎng)絡(luò)[1]、[3]的圖像隱寫術(shù)方法。Baluja的開創(chuàng)性工作允許全尺寸圖像到圖像的隱寫術(shù)，幾乎察覺不到失真，因此顯著提高了隱寫術(shù)系統(tǒng)的有效載荷能力和安全性。盡管在[1]和[3]中取得了很有前景的性能，但這項工作仍然有兩個主要的局限性。首先，[1]、[3]只支持全局范圍內(nèi)的隱寫術(shù)，這意味著在一個給定的封面中只能隱藏一個秘密。其次，Baluja算法使用預(yù)先訓(xùn)練的固定編解碼網(wǎng)絡(luò)，對不同的輸入秘密和封面圖像不具有自適應(yīng)能力。因此，容器與封面之間的殘余物往往類似于保密的秘密，如圖1所示。此外，信息可以通過特定的手段進(jìn)行加密。圖像隱寫的挑戰(zhàn)在于防止對手的隱寫分析模型被發(fā)現(xiàn)，因為嵌入信息可以改變載體的外觀，引起敵人的懷疑，如圖2所示。然后，接收方將顯示來自容器圖像的信息。最常見的圖像隱寫術(shù)是數(shù)字水印，用于保護(hù)版權(quán)。惡意應(yīng)用很多，如個人隱私數(shù)據(jù)泄露、惡意攻擊、非法銷售商業(yè)信息等。為了避免隱寫分析模型的檢測，保持封面圖像的外觀和底層統(tǒng)計是至關(guān)重要的。改變的量主要可以通過信息的數(shù)量和被隱藏的局部塊來衡量。

圖1 圖像間隱寫術(shù)的性能。C為容器圖像，R為顯示圖像，RD為容器圖像與封面圖像的殘差

圖2 傳統(tǒng)圖像隱寫術(shù)的基本流程

在本文中，我們提出了一種創(chuàng)新的系統(tǒng)(圖3)，稱為深度自適應(yīng)圖像隱寫術(shù)(AdaSteg)，它允許安全且靈活的圖像對圖像隱藏。與現(xiàn)有的在全局范圍內(nèi)隱藏圖像的方法不同，AdaSteg支持在自定義的封面局部塊中隱藏目標(biāo)秘密。這樣，據(jù)我們所知，AdaSteg觸發(fā)器是文獻(xiàn)中第一個多秘密圖像隱寫術(shù)。具體而言，AdaSteg的實現(xiàn)分為兩個順序階段：自適應(yīng)塊選擇階段和秘密加密階段。

圖3 提出的AdaSteg系統(tǒng)的框架。該模型由三個模塊組成：隱藏-顯示模塊、塊選擇模塊和檢測器

自適應(yīng)封面塊選擇階段的目標(biāo)是確定具有最佳封面尺度和位置的定制封面塊。一個可能的解決方案是貪婪地尋找最佳塊；然而，這一過程將帶來沉重的計算負(fù)擔(dān)，特別是對于高分辨率圖像。深度強化學(xué)習(xí)(DRL)在目標(biāo)定位[4]和[5]中取得了成功，其中定位過程被建模為移動或縮放選定塊的一系列動作，受此啟發(fā)，我們提出了一種基于DRL agent的位置和縮放自適應(yīng)塊定位策略。我們的隱寫DRL agent旨在決定一組動作，在幾個步驟內(nèi)有效地搜索最佳塊。與[4]、[5]中的定位DRL agent不同，我們引入了一個精心設(shè)計的隱寫質(zhì)量函數(shù)來指導(dǎo)DRLagent的優(yōu)化，從而在一定的步驟中確定最優(yōu)的局部塊。特別地，提出的質(zhì)量函數(shù)包括一個新的對抗隱寫分析術(shù)語，它解決了攻擊者有意訓(xùn)練隱寫分析網(wǎng)絡(luò)來檢測加密塊的安全問題。使用附加的隱寫術(shù)6將用于隱藏的最終坐標(biāo)秘密地傳輸給接收者。

AdaSteg的第二階段，秘密加密，被矛盾地實現(xiàn)為生成對抗樣本的過程，這通常被視為對學(xué)習(xí)系統(tǒng)的威脅。具體來說，我們提出將秘密轉(zhuǎn)換為一個加密的噪聲的塊，并進(jìn)一步添加到封面上形成容器圖像，類似于對抗性例子的生成過程。這種提出的秘密加密方法的靈感來自于對抗樣本中存在的非魯棒特征，這些特征對分類器具有高度預(yù)測性，但對人類來說很脆弱[7]。非魯棒特征的特性與圖像隱寫術(shù)的目標(biāo)完全吻合，即要求加密后的擾動對人是不可見的，但對揭示網(wǎng)絡(luò)是可識別的，以便進(jìn)行秘密揭示。因此，我們在對抗樣本中利用非魯棒特性的這一特性將秘密信息加密到局部圖像塊中，與現(xiàn)有方法相比，這將大大降低可解釋性，因此更加安全。

圖1中顯示了一個比較所提出的AdaSteg和[3]可視化的示例，其目標(biāo)是將圖1的秘密(secret)隱藏到圖1 (cover)的封面圖像中。從圖1 ?可以觀察到，與封面相比，[3]容器的視覺質(zhì)量下降了，但建議的AdaSteg容器幾乎保持相同。此外，在計算了封面和容器之間的殘差之后，[3]的殘差映射模糊地恢復(fù)了秘密，而我們的AdaSteg的殘差映射則顯示為隨機的，這導(dǎo)致了更安全的隱寫術(shù)。

為了更全面地評價隱寫術(shù)的性能，我們還設(shè)計了一種新的質(zhì)量評價標(biāo)準(zhǔn)，專門用于圖像隱寫術(shù)的評價。與以往僅基于像素均方誤差[3]的單因素準(zhǔn)則相比，本文提出的多因素準(zhǔn)則同時考慮了圖像相似性和圖像空間平滑度等多個關(guān)鍵隱寫因素。伴隨著提出的標(biāo)準(zhǔn)，我們還創(chuàng)建了一個具有挑戰(zhàn)性的數(shù)據(jù)集，專門用于圖像隱寫術(shù)任務(wù)。與之前直接使用現(xiàn)有分類數(shù)據(jù)集進(jìn)行評估的隱寫算法不同，創(chuàng)建的數(shù)據(jù)集考慮了圖像隱寫術(shù)的特定特征，包括對局部強度變化具有視覺敏感性的彩色圖像。據(jù)我們所知，這是文獻(xiàn)中第一個專門用于圖像隱寫術(shù)任務(wù)的數(shù)據(jù)集。

總之，我們的貢獻(xiàn)是一個新的深度自適應(yīng)圖像隱寫術(shù)(AdaSteg)系統(tǒng)，允許第一個自適應(yīng)局部圖像隱寫術(shù)和進(jìn)一步的多圖像隱寫術(shù)，通過強化學(xué)習(xí)和對抗樣本實現(xiàn)。此外，我們提出了第一個局部圖像隱寫術(shù)的質(zhì)量評估標(biāo)準(zhǔn)，并收集了專門的圖像隱寫術(shù)數(shù)據(jù)集進(jìn)行評估。實驗結(jié)果表明，所提出的AdaSteg在安全性和容量方面都優(yōu)于現(xiàn)有的技術(shù)。

三、系統(tǒng)概述

提出的AdaSteg包括兩個階段。第一階段的目標(biāo)是選擇最優(yōu)的封面塊，即自適應(yīng)塊選擇。這個問題是具有挑戰(zhàn)性的，因為將一個給定的秘密圖像隱藏到封面圖像的不同塊中會導(dǎo)致不同的隱寫質(zhì)量，如圖4所示。因此，對于局部圖像隱寫，首先要解決的問題是如何為單個秘密圖像選擇最優(yōu)的封面塊。最簡單可行的解決方案是貪婪地尋找最佳的塊大小和位置，但代價是高昂的計算成本，特別是對于高分辨率的封面圖像。

圖4 不同塊隱藏秘密圖像的比較結(jié)果。容器圖像的MSE是在塊級別上計算的。第一列的紅框表示局部塊的位置

為了解決這一挑戰(zhàn)，我們提出了一種基于深度強化學(xué)習(xí)agent的規(guī)模和位置自適應(yīng)塊選擇方法，該方法能夠高效地搜索最優(yōu)封面塊。在我們提出的方法中，我們將自適應(yīng)塊選擇任務(wù)定義為馬爾可夫決策過程(Markov decision process, MDP)，考慮到該設(shè)置提供了一個形式化框架來建模能夠做出一系列決策的agent。以一對秘密和封面作為視覺環(huán)境，agent的目標(biāo)是在每個時間步中決定一組動作，從而在幾個步驟中找到最優(yōu)的局部封面塊，以獲得更好的隱寫質(zhì)量。在每一個時間步中，agent都有當(dāng)前塊和過去動作的狀態(tài)表示，同時在訓(xùn)練中獲得正或負(fù)的獎勵。紅色虛線框部分表示以一對秘密圖像和封面圖像為環(huán)境，使用強化學(xué)習(xí)策略網(wǎng)絡(luò)搜索最優(yōu)局部塊的過程。底部紅色部分是強化學(xué)習(xí)的質(zhì)量評價函數(shù)，包括隱藏?fù)p失和檢測損失，我們將在下一節(jié)中討論。

一旦通過自適應(yīng)塊選擇方法確定了用于隱藏的最佳封面塊，下一步就是將秘密安全地嵌入到封面中，稱為秘密加密。之前的算法如[1]、[3]用大量的秘密和封面圖像離線訓(xùn)練隱藏網(wǎng)絡(luò)，然后在推理中凍結(jié)參數(shù)。我們認(rèn)為，這種利用單一網(wǎng)絡(luò)處理所有秘密和封面圖像的方法是次優(yōu)的，特別是在推理圖像與訓(xùn)練數(shù)據(jù)非常不同的情況下。圖1給出了一個演示這個問題的例子，其中使用單個網(wǎng)絡(luò)[1]的前面的秘密加密方法公開了秘密的關(guān)鍵可視特征。

提出了一種新的基于對抗樣本的秘密加密方法。我們首先將圖像隱寫術(shù)的過程重新表述為生成對抗樣本的過程。然后，利用一種流行的生成對抗樣本的在線優(yōu)化方法，將秘密圖像轉(zhuǎn)換為加密擾動的塊，并進(jìn)一步添加到封面的局部區(qū)域。這樣就可以在不泄露秘密信息的情況下對秘密進(jìn)行加密。

四、通過深度強化搜索進(jìn)行自適應(yīng)塊選擇

我們的自適應(yīng)塊選擇方法的總體過程如圖5所示。在本節(jié)中，我們首先介紹一個隱寫術(shù)質(zhì)量函數(shù)。然后，我們解釋了MDP公式中的三個基本元素，即轉(zhuǎn)換動作、狀態(tài)和獎勵函數(shù)。最后，介紹了所提出的深度Q學(xué)習(xí)算法、策略網(wǎng)絡(luò)的網(wǎng)絡(luò)結(jié)構(gòu)以及相應(yīng)的訓(xùn)練策略。

圖5 基于深度強化學(xué)習(xí)的自適應(yīng)塊選擇算法概述

4.1 隱寫術(shù)質(zhì)量函數(shù)

質(zhì)量函數(shù)對于DRL agent的訓(xùn)練是至關(guān)重要的，它評估當(dāng)前塊在優(yōu)化中的質(zhì)量。在典型的DRL應(yīng)用程序中，質(zhì)量函數(shù)通常是定義良好的，就像棋盤游戲或電腦游戲中的分?jǐn)?shù)一樣。此外，在某些環(huán)境中，如對象定位[39]，IoU得分高意味著該區(qū)域的質(zhì)量高，因此IoU函數(shù)可以作為質(zhì)量函數(shù)。但在圖像混合、圖像隱寫等領(lǐng)域，還沒有很好的定義質(zhì)量函數(shù)。然而，對于局部隱寫術(shù)的任務(wù)，文獻(xiàn)中還沒有明確定義的質(zhì)量函數(shù)。我們在這里提出了第一個專門的隱寫術(shù)質(zhì)量函數(shù)q(·)，它是四個項的加權(quán)組合：

具體來說，第一個項Lm(Is,Is’)旨在度量秘密Is與已揭示秘密Is’之間的相似度，定義為像素空間中Is與Is’之間的均方誤差。類似地，第二項Lm(Ic,Ic’)度量封面Ic和容器Ic’之間的差異。接收容器作為輸入，第三項Lt(Ic’)設(shè)計為圖像平滑的總變差損失。最后，最后一項Ld(ρ)用來衡量鑒別器(如圖5所示的訓(xùn)練過的隱寫分析檢測器)檢測加密局部塊的置信度。所提出的隱寫分析檢測器的架構(gòu)基于VGG-16，如圖6所示，將在4.4節(jié)中進(jìn)一步解釋。Ld(ρ)一詞引入了對抗強化學(xué)習(xí)的思想，旨在解決對手訓(xùn)練隱寫分析網(wǎng)絡(luò)檢測加密秘密[1]、[3]時的安全問題。λ1, λ2和λ3是不同項之間平衡的權(quán)重因子。

為此，我們在式(1)中提出的隱寫質(zhì)量函數(shù)可以有效地指導(dǎo)DRLagent搜索最優(yōu)的局部塊。agent的目標(biāo)是最小化最終質(zhì)量函數(shù)的值，這本質(zhì)上等同于最大化預(yù)期累積的未來報酬。

4.2 MDP公式化

了更好地理解塊選擇的任務(wù)，我們在下面描述MDP是如何參數(shù)化的。

轉(zhuǎn)換動作。總共為DRL agent定義了8個轉(zhuǎn)換動作，即右、左、上、下、更大、更小、更胖和更高。每個動作的詳細(xì)信息可以在表1中找到。通過這些轉(zhuǎn)換動作，DRL agent可以更改當(dāng)前選擇的局部塊的大小和位置。具體來說，所有這些轉(zhuǎn)換都對選定的塊進(jìn)行離散的相對更改，該更改與塊大小成正比。以左行動為例。左表示當(dāng)前選中的塊應(yīng)該向左移動β×w個像素，其中w為當(dāng)前塊的寬度，β表示變化的幅度。根據(jù)經(jīng)驗，我們發(fā)現(xiàn)β=0.1可以很好地權(quán)衡準(zhǔn)確性和速度。有了這些預(yù)定義的動作序列，DRL agent可以在公式(1)中提出的隱寫術(shù)質(zhì)量函數(shù)的指導(dǎo)下，在每個時間步中決定一個動作，從而達(dá)到最優(yōu)的局部塊。

表1 建議的轉(zhuǎn)換動作的詳細(xì)描述

狀態(tài)。DRL中觀察到的狀態(tài)通常作為策略網(wǎng)絡(luò)的輸入接收，然后策略網(wǎng)絡(luò)可以生成相應(yīng)的動作值，指示執(zhí)行相應(yīng)動作后的預(yù)期累積獎勵。在我們提出的方法中，我們將狀態(tài)變量定義為當(dāng)前選擇的局部塊的上下文和一個記憶向量。局部塊的上下文是指周圍的區(qū)域，默認(rèn)設(shè)置為比當(dāng)前所選塊大1.3×。這個擴大的上下文區(qū)域被策略網(wǎng)絡(luò)用來決定潛在的方向，以更好地優(yōu)化預(yù)期獎勵。記憶向量的目的是通過捕獲搜索過程[39]、[41]中之前執(zhí)行的最后四個動作，避免在優(yōu)化中陷入循環(huán)圈。這四個動作以32維向量的形式進(jìn)行編碼，假設(shè)提出的動作集的大小為8。

獎勵函數(shù)。獎勵函數(shù)定義為相鄰時間步長的質(zhì)量函數(shù)值之差：

其中Ra表示執(zhí)行動作a后的獎勵，t和t’分別表示agent在執(zhí)行選定動作之前和之后的狀態(tài)。如果q(t) > q(t’)，表示執(zhí)行a后合格函數(shù)q(·)的值增加，則可以獲得正獎勵；否則，agent就會因為消極的獎勵而氣餒。

4.3 深度Q學(xué)習(xí)

動作價值函數(shù)Q(t,a)本質(zhì)上是DRL的核心組成部分，它決定了當(dāng)前狀態(tài)t下的動作a，同時也影響著預(yù)期累積獎勵。在傳統(tǒng)的Q學(xué)習(xí)中，動作選擇策略是利用Bellman方程迭代優(yōu)化：

其中r和maxaQ(t’，a’)表示當(dāng)前獎勵和未來獎勵。γ表示折扣系數(shù)。

在我們的方法中，我們提出使用一個基于[42]的深度Q學(xué)習(xí)算法。與傳統(tǒng)的Q學(xué)習(xí)不同，深度Q學(xué)習(xí)算法利用深度神經(jīng)網(wǎng)絡(luò)估計動作價值函數(shù)Q(t,a)的值。因此，深度Q學(xué)習(xí)的效率得到了顯著的提高，因為通過深度Q網(wǎng)絡(luò)的一次前向傳遞就可以獲得可能的動作。此外，該算法使用重放記憶來收集各種經(jīng)驗，然后從這些經(jīng)驗中長期學(xué)習(xí)。通過這種方式，重放記憶中的轉(zhuǎn)換可以用于模型優(yōu)化，從而提高數(shù)據(jù)效率。具體來說，在訓(xùn)練中，我們的算法從回放記憶中隨機選擇過渡，從而打破不同狀態(tài)之間的短期相關(guān)性。這樣可以防止模型參數(shù)的發(fā)散，使算法在性能上更加穩(wěn)定。

4.4 網(wǎng)絡(luò)體系結(jié)構(gòu)

圖6顯示了所提出的策略網(wǎng)絡(luò)的網(wǎng)絡(luò)架構(gòu)以及相應(yīng)的VGG-16探測器[43]。VGG-16探測器接收當(dāng)前狀態(tài)(圖6棕色框)所選塊作為輸入。每個塊區(qū)域調(diào)整為224×224，穿過整個網(wǎng)絡(luò)，給予隱藏的置信度。

圖6 所提出的策略網(wǎng)絡(luò)的網(wǎng)絡(luò)結(jié)構(gòu)和隱寫分析檢測器。紅色框代表當(dāng)前時間步選中的局部塊，綠色框代表局部塊的上下文

該策略網(wǎng)絡(luò)包括作為特征提取器的VGG-16網(wǎng)絡(luò)和深度Q網(wǎng)絡(luò)。具體來說，特征提取器與VGG-16探測器共享參數(shù)。使用特征提取器，agent可以獲得觀察區(qū)域(圖6，綠色幀)的狀態(tài)表示，該狀態(tài)表示比所選塊大1.3×。觀察到的塊的視覺描述符對應(yīng)于VGG-16的pool5層的特征圖。圖6中的深度Q網(wǎng)絡(luò)接收描述符和記憶向量作為輸入。它由兩個完全連接的層和1024個神經(jīng)元組成，后面是一個ReLU激活函數(shù)。深度Q-網(wǎng)絡(luò)的輸出層對應(yīng)agent的8種可能的動作。在訓(xùn)練中，一旦agent通過深度Q-網(wǎng)絡(luò)選擇了一個可能的動作，它就可以獲得相應(yīng)的積極或消極獎勵。而在推理中，agent不需要學(xué)習(xí)策略，而是將學(xué)習(xí)到的策略用于訓(xùn)練，這意味著策略網(wǎng)絡(luò)將觀察到的塊和噪聲作為輸入，直接為agent產(chǎn)生可能的動作。

4.5 訓(xùn)練策略

我們在這里描述了我們?nèi)绾斡?xùn)練VGG-16探測器和提出的深Q網(wǎng)絡(luò)的細(xì)節(jié)。

將VGG-16隱寫分析檢測器網(wǎng)絡(luò)訓(xùn)練為二元分類器，以容器圖像中受干擾的塊為正樣本，未受干擾的圖像為負(fù)樣本。我們使用學(xué)習(xí)率為10-5的SGD優(yōu)化器用于訓(xùn)練。同時，VGG-16隱寫分析檢測網(wǎng)絡(luò)的參數(shù)設(shè)置為與策略網(wǎng)絡(luò)中的VGG-16特征提取器共享。

在訓(xùn)練策略網(wǎng)絡(luò)時，agent接收一對秘密和封面圖像作為輸入。作為起點，塊大小設(shè)置為128×128，并帶有隨機偏移量。最大步數(shù)設(shè)置為50，這足以在經(jīng)驗上得到一個可行的塊區(qū)域。當(dāng)特定時間步所選塊在圖像區(qū)域外時，給予-1的負(fù)獎勵，使agent保持當(dāng)前狀態(tài)。

為了訓(xùn)練所提出的深度Q -網(wǎng)絡(luò)，我們使用?貪婪策略，從?=1開始，以0.1的間隔內(nèi)減少到?=0.1。在最初的幾個時間步驟中，由于缺乏經(jīng)驗，我們使用隨機動作。在每一個epoch，我們都更多地求助于成熟的策略，以供主體做出決策。這種探索-利用過程有利于優(yōu)化過程中避開局部極小值。深Q網(wǎng)絡(luò)由正態(tài)分布初始化，我們使用學(xué)習(xí)率為10-4的SGD優(yōu)化器進(jìn)行訓(xùn)練。默認(rèn)情況下，每個模型訓(xùn)練50個epoch。

Bellman方程，作為經(jīng)驗。然而，連續(xù)的經(jīng)驗可能非常相關(guān)，導(dǎo)致學(xué)習(xí)效率低下和不穩(wěn)定，這是Q學(xué)習(xí)中常見的問題。這個問題的一個可能的解決方案是收集和存儲的經(jīng)驗回放記憶。我們使用這個重放存儲器中的隨機小批量來訓(xùn)練網(wǎng)絡(luò)。一次經(jīng)驗重放涉及1000個經(jīng)驗，批次大小設(shè)置為100。

考慮到長期的表現(xiàn)，既要考慮到未來的獎勵，也要考慮到眼前的獎勵。因此，我們建議使用Bellman方程的折現(xiàn)獎勵，γ=0.2。這里使用一個小的折現(xiàn)值，因為我們通過實驗發(fā)現(xiàn)，較大的折現(xiàn)系數(shù)會導(dǎo)致較差的收斂。
搜索過程中的中間DRL行為如圖7所示，其中橙色框和綠色框分別表示初始ROI和最終ROI。

圖7 中間DRL行為的一個例子。橙色框表示初始ROI，綠色框表示最終ROI

五、通過對抗樣本進(jìn)行加密

在AdaSteg中，發(fā)送者的目標(biāo)是將秘密圖像Is隱藏到封面圖像Ic的特定局部區(qū)域，從而形成盡可能與封面相似的容器Ic’，從而安全地傳輸信息。采用基于深度強化學(xué)習(xí)的自適應(yīng)塊選擇方法對封面塊進(jìn)行選擇。在接收端，對容器進(jìn)行解碼以產(chǎn)生被揭示的秘密Is’，這應(yīng)該保留秘密Is的外觀。所提出的自適應(yīng)圖像隱寫術(shù)的秘密加密目標(biāo)可表示為：

其中，Φ為通過強化學(xué)習(xí)進(jìn)行自適應(yīng)塊選擇的過程，Φ(Ic)為所選封面塊，g為秘密揭示網(wǎng)絡(luò)?，F(xiàn)在，我們引入一個對抗擾動ρ，如[22]所定義：

引入對抗擾動后，式(4)可改寫為：

這種表述實質(zhì)上是生成對抗樣本的標(biāo)準(zhǔn)過程，但為圖像隱寫術(shù)提供了定制的目標(biāo)。

為此，我們展示了秘密的加密可以作為生成對抗樣本[22]的過程來實現(xiàn)。因此，在線優(yōu)化生成對抗樣本的思想可以很容易地應(yīng)用于自適應(yīng)局部圖像隱寫術(shù)中的秘密加密。

5.1 網(wǎng)絡(luò)體系結(jié)構(gòu)

根據(jù)式(6)，我們提出了一種基于生成對抗樣本的在線優(yōu)化過程的秘密加密方法。整個網(wǎng)絡(luò)結(jié)構(gòu)如圖8所示，由隱藏網(wǎng)絡(luò)和揭示網(wǎng)絡(luò)組成。

圖8 對我們的秘密加密網(wǎng)絡(luò)架構(gòu)的概述。隱藏階段用橙色箭頭表示，揭示階段用藍(lán)色箭頭表示

隱藏網(wǎng)絡(luò)。隱藏網(wǎng)絡(luò)的目的是將一個秘密轉(zhuǎn)化為一個擾動，類似于生成對抗樣本的過程。給定一個封面圖像Ic和一個秘密圖像Is作為輸入，隱藏網(wǎng)絡(luò)生成容器圖像Ic’，即生成的對抗樣本，是封面和生成的擾動之和，如圖8左側(cè)所示。

在以往的圖像隱寫算法中，容器圖像Ic’是使用單個預(yù)先訓(xùn)練的隱藏網(wǎng)絡(luò)生成的，而不改變?nèi)魏吾槍Σ煌饷婧兔孛芴卣鞯膶ｉT參數(shù)。這種方式通常會導(dǎo)致失敗，在其他圖像生成任務(wù)[44]中也會出現(xiàn)這種情況。我們還在圖9中演示了使用單一固定網(wǎng)絡(luò)隱藏[1]的結(jié)果，其中秘密可以在殘留圖像上模糊可見，從而泄露秘密信息。

圖9 單一固定網(wǎng)絡(luò)與在線固定網(wǎng)絡(luò)的殘差結(jié)果比較

受到生成對抗樣本[22]的在線方法的啟發(fā)，我們提出以在線方式優(yōu)化隱藏網(wǎng)絡(luò)以產(chǎn)生所需的加密擾動。生成的擾動隨后被添加到封面上，從而形成容器。這樣，由于我們的隱藏網(wǎng)絡(luò)中的參數(shù)是特定于秘密的，所提出的方法解決了以往工作中一個網(wǎng)絡(luò)為所有秘密的方式所帶來的問題。所提出的秘密加密方法的成功還得益于非魯棒特征在對抗樣本中的有效性，即對分類系統(tǒng)具有高度預(yù)測性，但對人眼來說很脆弱的特征[7]。這種非魯棒特征的性質(zhì)與圖像隱寫術(shù)的目標(biāo)很好地匹配，其中加密的擾動應(yīng)該是人類無法理解的，但對于接收端的秘密揭示，揭示網(wǎng)絡(luò)應(yīng)該是可識別的，如圖10所示。所提出的秘密加密方法可表示為：

其中，Φ(Ic)、Is和ρ分別表示通過強化學(xué)習(xí)選擇的封面塊、秘密圖像和產(chǎn)生的擾動。fθ*是用于在線優(yōu)化的隱藏網(wǎng)絡(luò)，也可以認(rèn)為是隱式隱寫先驗。Lsteg是用于優(yōu)化的隱寫損失，后面將對其進(jìn)行定義。

揭示網(wǎng)絡(luò)。所提出的揭示網(wǎng)絡(luò)與隱藏網(wǎng)絡(luò)相結(jié)合，旨在解密容器圖像中的目標(biāo)秘密。與隱藏網(wǎng)絡(luò)因不同的秘密而變化不同，揭示網(wǎng)絡(luò)在訓(xùn)練后總是固定的，考慮到信息接收方的部署。利用所提出的揭示網(wǎng)絡(luò)，秘密揭示過程可以建模為：

其中g(shù)為固定的揭示網(wǎng)絡(luò)，Is’表示接收端揭示的秘密。

損失函數(shù)。隱寫損失Lsteg的目的是使容器類似于封面，并使顯示的秘密在視覺上類似于給定的秘密：

其中ɑ為權(quán)重因子。g表示接收容器圖像Φ(Ic) + ρ作為輸入的揭示網(wǎng)絡(luò)，恢復(fù)揭示的秘密圖像Is’。在這里，我們使用L1距離來衡量Ic和Ic’之間的相似度，以及Is和Is’之間的相似度，因為我們根據(jù)經(jīng)驗發(fā)現(xiàn)，L1距離相比L2距離更容易產(chǎn)生更模糊的結(jié)果。為了解釋這一現(xiàn)象，我們發(fā)現(xiàn)L1范數(shù)對輪廓的魯棒性更強，優(yōu)化效果更好，更接近原始圖像，模糊效果更小。此外，L1范數(shù)具有產(chǎn)生許多零值系數(shù)或非常小的值而很少有大系數(shù)的特性，即鼓勵線性組合[45]的稀疏性。因此，L1在優(yōu)化過程中平均效應(yīng)較小，這是普遍接受的像素級損失的經(jīng)驗觀察，如[46]，[47]，[48]。

5.2 訓(xùn)練策略

隱藏和揭示網(wǎng)絡(luò)的訓(xùn)練分為兩個階段。在第一階段，我們使用COCO數(shù)據(jù)集，根據(jù)公式(8)中提到的目標(biāo)預(yù)先訓(xùn)練隱藏和揭示網(wǎng)絡(luò)。在這個訓(xùn)練過程中，隱藏網(wǎng)絡(luò)和揭示網(wǎng)絡(luò)聯(lián)合優(yōu)化。第二階段也可以認(rèn)為是推理階段，預(yù)訓(xùn)練的揭示網(wǎng)絡(luò)保持固定，我們只需要在線改變隱藏網(wǎng)絡(luò)的參數(shù)。通過這種方法，根據(jù)不同封面和秘密的特點定制隱藏網(wǎng)絡(luò)的參數(shù)，從而提高了隱寫的質(zhì)量。

六、局部圖像隱寫術(shù)的質(zhì)量評價

以往的圖像隱寫算法僅使用封面與容器之間的每像素均方誤差、秘密與揭示秘密之間的每像素均方誤差來評價隱寫[1]、[3]的性能。我們認(rèn)為這個單一的標(biāo)準(zhǔn)對于評價局部圖像隱寫術(shù)的質(zhì)量是不夠全面的。其他一些因素，如圖像平滑，也應(yīng)該在評估中考慮。因此，我們提出了一種新的局部隱寫準(zhǔn)則Msteg，其定義如下：

其中Lm(Ic,Ic’)和Lm(Is, Is’)分別用均方誤差(MSE)來衡量容器和封面之間的相似度，以及被揭示的秘密和秘密之間的相似度。Ltv(Ic’)表示總變差損失，旨在評價局部塊加密后容器圖像的空間平滑性。b是偏置項。

為了通過最小二乘擬合確定公式(10)中的權(quán)重因子w1、w2和w3，我們進(jìn)行了一項用戶研究，通過3000對從VOC 2007中選取的封面和秘密圖像，獲得對隱藏質(zhì)量的感知評分。具體來說，有30名志愿者參與了用戶研究。每個參與者每次展示一張256×256的圖像，這張圖像要么是沒有加密的干凈的封面圖像，要么是用局部圖像隱寫算法生成的加密容器圖像。對于加密的容器圖像，加密位置和隱藏-揭示權(quán)衡因子(即式(9)中的ɑ)是隨機選擇的，并且隨著容器的不同而不同。然后，參與者被要求點擊三個選項中的一個，分別是隱藏的、不隱藏的和不確定的，對應(yīng)于隱寫術(shù)得分5分、-5分和0分。為了避免疲勞帶來的不準(zhǔn)確的標(biāo)簽，我們的項目要求每個參與者在休息前對最多150張圖片進(jìn)行評分。

統(tǒng)計上，每個參與者評價700張圖片。每個圖像由6-10名參與者打分，我們使用以下規(guī)則來確定每個圖像的最終隱寫評分：如果超過三分之二的參與者對選擇達(dá)成一致意見，則直接給對應(yīng)的圖像分配相應(yīng)的評分；否則，我們將計算不同參與者給出的選項的平均分。最后，在本次用戶研究中獲得的隱寫術(shù)得分上，用最小二乘法計算公式(10)中的權(quán)重因子w1、w2和w3。

除評價標(biāo)準(zhǔn)外，隱寫術(shù)數(shù)據(jù)集是評價中需要考慮的另一個關(guān)鍵問題。以往的隱寫方法直接使用分類數(shù)據(jù)集來評價圖像隱寫[1]、[3]的質(zhì)量。我們認(rèn)為這種行為是次優(yōu)的，因為在圖像隱寫術(shù)任務(wù)的特定屬性方面缺乏考慮。因此，我們收集了一個新穎且具有挑戰(zhàn)性的封面圖像數(shù)據(jù)集，專門用于評估圖像隱寫算法。與以往隱寫術(shù)工作中使用的現(xiàn)有數(shù)據(jù)集不同，我們試圖收集對局部區(qū)域顏色變化具有視覺敏感性的彩色圖像。這種數(shù)據(jù)收集方式的靈感來自于我們的觀察：如果封面圖像的一個微小變化就會導(dǎo)致非常不同的視覺效果，對應(yīng)的圖像對于隱寫術(shù)來說就更具有挑戰(zhàn)性，因為隱寫術(shù)容易被檢測的風(fēng)險。

收集到的隱寫術(shù)數(shù)據(jù)集總共包含800張圖像，涉及繪畫、彩色地圖和攝影三個圖像類別，如圖11所示。繪畫類型共有296幅彩色顏料作品。對于彩色地圖的類別，我們選擇了91張用于色覺測試的圖像，顏色的微小變化會導(dǎo)致不同的結(jié)果。該類型的攝影有403張精選的照片，從色彩豐富的自然場景中捕捉。收集到的隱寫術(shù)數(shù)據(jù)集將對外公開。

圖11 來自新數(shù)據(jù)集的樣本圖像，包括繪畫、攝影和彩色地圖

七、實現(xiàn)細(xì)節(jié)

使用隨機塊位置，我們從COCO數(shù)據(jù)集[49]中選擇2000對封面圖像和秘密圖像進(jìn)行初始的隱藏-揭示網(wǎng)絡(luò)訓(xùn)練。為了驗證隱藏-揭示網(wǎng)絡(luò)的性能和自定義數(shù)據(jù)集的適用性，我們首先在公共數(shù)據(jù)集(VOC2007 [50]， ImageNet[51]和Open Images[52])上實驗隱寫算法，然后在自定義數(shù)據(jù)集上進(jìn)行實驗。封面圖像和秘密圖像從以下數(shù)據(jù)集中隨機選擇：
（1）秘密圖像：VOC2007 (3000)；封面圖片：VOC2007 (3000)；
（2）秘密圖像：VOC2007 (3000)；封面圖片：Open Images(3000張)；
（3）秘密圖像：VOC2007 (663)；封面圖片：定制(663)；

對于隱藏-揭示模塊，我們使用Adam優(yōu)化器進(jìn)行隱藏和揭示網(wǎng)絡(luò)訓(xùn)練。批量大小設(shè)置為1，學(xué)習(xí)率設(shè)置為10-4。在固定揭示網(wǎng)絡(luò)的情況下，用Adam[53]在線優(yōu)化隱藏網(wǎng)絡(luò)，迭代2000次。我們的整個算法是基于TensorFlow[54]實現(xiàn)的。

八、結(jié)論

本文介紹了一種通過強化學(xué)習(xí)和對抗樣本實現(xiàn)的自適應(yīng)局部圖像隱寫系統(tǒng)(AdaSteg)。所提出的方法允許在封面的局部區(qū)域內(nèi)自適應(yīng)隱藏給定的秘密，從而使隱寫術(shù)更加安全。此外，該算法使多秘密隱寫術(shù)成為可能，即一個封面可以隱藏多個秘密圖像，從而解決了以往隱寫術(shù)方法中一個秘密一個封面的困境。此外，我們設(shè)計了一個新的標(biāo)準(zhǔn)來綜合評價局部隱寫的質(zhì)量，并收集了一個新的數(shù)據(jù)集專門用于圖像隱寫任務(wù)。實驗結(jié)果表明，該算法的結(jié)果優(yōu)于現(xiàn)有方法。在我們未來的工作中，我們將進(jìn)一步擴展所提出的方法到視頻和音頻隱寫術(shù)。

論文地址：Seek-and-Hide: Adversarial Steganography via Deep Reinforcement Learning

源碼地址：AdaSteg

文章來源地址http://www.zghlxwxcb.cn/news/detail-839746.html

到了這里，關(guān)于圖像處理之《尋找和隱藏：通過深度強化學(xué)習(xí)的對抗隱寫術(shù)》論文閱讀的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！