(2023.06.09-2023.06.12)論文閱讀簡(jiǎn)單記錄和匯總

2023/06/09：雖然下周是我做匯報(bào)，但是到了周末該打游戲還是得打的
2023/06/12：好累好困，現(xiàn)在好容易累。

目錄

• （TCSVT 2023）Facial Image Compression via Neural Image Manifold Compression
• （arxiv 2023）Exploring the Rate-Distortion-Complexity Optimization in Neural Image Compression
• （arxiv 2023）High-Similarity-Pass Attention for Single Image Super-Resolution
• （arxiv 2023）Reconstruction Distortion of Learned Image Compression with Imperceptible Perturbations
• （IEEE T-BC 2023）End-To-End Compression for Surveillance Video With Unsupervised Foreground-Background Separation
• （arxiv 2023）Improving Position Encoding of Transformers for Multivariate Time Series Classification
• （arxiv 2023）Unsupervised haze removal from underwater images
• （arxiv 2023）Human-imperceptible, Machine-recognizable Images

1. （TCSVT 2023）Facial Image Compression via Neural Image Manifold Compression 通過(guò)神經(jīng)圖像流形壓縮進(jìn)行面部圖像壓縮

1.1 摘要

雖然近年來(lái)基于學(xué)習(xí)的圖像和視頻 編碼技術(shù)得到了快速發(fā)展，但這些方法中信號(hào)保真度驅(qū)動(dòng)的目標(biāo)導(dǎo)致了對(duì)人 和機(jī)器的高效編碼框架的分歧。在本文中，我們的目標(biāo)是通過(guò)利用生成模型的力量來(lái)彌合全保真度(用于人類視覺(jué))和高分辨力 (用于機(jī)器視覺(jué))之間的差距來(lái)解決這個(gè)問(wèn)題。因此，依靠現(xiàn)有的預(yù)訓(xùn)練 生成對(duì)抗網(wǎng)絡(luò)(GAN)，我們構(gòu)建了一個(gè)GAN反演框架，將圖像投影到低維 自然圖像流形中。在這個(gè)流形中，特征具有很強(qiáng)的判別性，同時(shí)對(duì)圖像的外觀信息 進(jìn)行編碼，稱為潛碼。采用變分比特率 約束和超先驗(yàn)?zāi)Ｐ蛠?lái)建模/抑制圖像流形碼的熵 ，我們的方法能夠在非常低的比特率下滿足機(jī)器和人類視覺(jué)的 需求。為了提高圖像重建的視覺(jué)質(zhì)量， 我們進(jìn)一步提出了多隱碼和可伸縮反演。前者在反演過(guò)程中得到多個(gè)隱碼，而 則在此基礎(chǔ)上進(jìn)行壓縮并傳輸一個(gè)淺壓縮 特征以支持視覺(jué)重構(gòu)。實(shí)驗(yàn)結(jié)果 證明了我們的方法在人類 視覺(jué)任務(wù)(即圖像重建)和機(jī)器視覺(jué)任務(wù)( 包括語(yǔ)義解析和屬性預(yù)測(cè))中的優(yōu)越性。

貢獻(xiàn)總結(jié)如下：

• 我們提出了一種新的壓縮框架，它結(jié)合了生成模型的功能以及學(xué)習(xí)的比特率約束和非常低比特率圖像/視頻壓縮的優(yōu)化。
• 在我們提出的框架中，一個(gè)非常緊湊的特征向量首先被壓縮并傳輸?shù)浇獯a器端，它可以以準(zhǔn)確和計(jì)算高效的方式轉(zhuǎn)換為機(jī)器分析結(jié)果，以支持協(xié)作智能范式。
• 在基線GAN反演框架之外，為了進(jìn)一步提高人類對(duì)全像素重建結(jié)果的感知，我們提出了多隱碼和可擴(kuò)展反演，通過(guò)合理的比特率繞過(guò)流，顯著提高了視覺(jué)重建質(zhì)量。

1.2 結(jié)論

在本文中，我們開(kāi)發(fā)了一個(gè)基于GAN反演的壓縮框架，追求緊湊的低維低維自然圖像流形用于面部圖像壓縮。利用 GAN訓(xùn)練的優(yōu)點(diǎn)，該空間的隱碼不僅具有 高判別性，而且能夠編碼 圖像的外觀信息。在應(yīng)用比特率約束后，得到一個(gè)緊湊的代碼，以非常低的比特率從機(jī)器和人類的角度 執(zhí)行多個(gè)任務(wù)。我們進(jìn)一步擴(kuò)展了隱碼 的形式，提出了多個(gè)隱碼和可擴(kuò)展的 反演方案，以額外壓縮和傳輸 淺壓縮特征，以支持視覺(jué)重建，以獲得 更好的視覺(jué)質(zhì)量。實(shí)驗(yàn)結(jié)果證明了我們的方法在人類視覺(jué)和機(jī)器 視覺(jué)任務(wù)中的優(yōu)越性。

2. （arxiv 2023）Exploring the Rate-Distortion-Complexity Optimization in Neural Image Compression 探索神經(jīng)圖像壓縮中的速率-失真-復(fù)雜度優(yōu)化

2.1 摘要

盡管歷史很短，神經(jīng)圖像編解碼器已被證明在率失真性能方面優(yōu)于經(jīng)典圖像編解碼器。然而，它們中的大多數(shù)都有 顯著較長(zhǎng)的解碼時(shí)間，這阻礙了神經(jīng)圖像編解碼器的實(shí)際 應(yīng)用。當(dāng)采用有效但耗時(shí)的 自回歸上下文模型時(shí)，這個(gè)問(wèn)題尤其 明顯，因?yàn)樗鼤?huì)增加熵 解碼時(shí)間。在本文中，與 大多數(shù)先前的作品追求最優(yōu)RD性能 而暫時(shí)忽略編碼復(fù)雜性不同，我們 系統(tǒng)地研究了神經(jīng)圖像壓縮中的速率-失真-復(fù)雜性 (RDC)優(yōu)化。通過(guò)量化 解碼復(fù)雜性作為優(yōu)化目標(biāo)中的一個(gè)因素，我們 現(xiàn)在能夠精確地控制RDC權(quán)衡，然后 演示神經(jīng)圖像 編解碼器的率失真性能如何適應(yīng)各種復(fù)雜性需求。除了 對(duì)RDC優(yōu)化的研究之外，還設(shè)計(jì)了一個(gè)可變復(fù)雜度 神經(jīng)編解碼器，根據(jù)工業(yè)需求自適應(yīng)地利用空間依賴性 ，通過(guò)平衡RDC權(quán)衡來(lái)支持細(xì)粒度的復(fù)雜性調(diào)整。通過(guò)在一個(gè)強(qiáng)大的基本模型中實(shí)現(xiàn)該方案，我們 證明了RDC優(yōu)化 用于神經(jīng)圖像編解碼器的可行性和靈活性。

貢獻(xiàn)總結(jié)如下：

• 通過(guò)將熵解碼的復(fù)雜性量化為優(yōu)化，我們第一次能夠很好地控制神經(jīng)圖像編解碼器的速率-失真-復(fù)雜性權(quán)衡。
• 我們引入了一種統(tǒng)一的變復(fù)雜度圖像壓縮模型，該模型可以在單個(gè)模型內(nèi)將解碼復(fù)雜度調(diào)整到較細(xì)的粒度。
• 我們?cè)谝粋€(gè)強(qiáng)大的基礎(chǔ)模型中實(shí)現(xiàn)了可變復(fù)雜度方案，并進(jìn)行了全面的實(shí)驗(yàn)，驗(yàn)證了RDC優(yōu)化在神經(jīng)圖像壓縮中的潛力。

2.2 結(jié)論

本文系統(tǒng)地研究了神經(jīng)圖像 壓縮中的RDC優(yōu)化問(wèn)題。我們首次通過(guò)量化 并將解碼復(fù)雜性納入優(yōu)化中，實(shí)現(xiàn)了對(duì)速率-失真-復(fù)雜性權(quán)衡的寶貴控制。此外，提出了一種可變復(fù)雜度神經(jīng)編解碼器 支持細(xì)粒度復(fù)雜度調(diào)整，該編解碼器自適應(yīng) 控制上下文 模型中的空間依賴關(guān)系建模。我們的綜合實(shí)驗(yàn)結(jié)果證明了 神經(jīng) 圖像編解碼器RDC優(yōu)化的可行性和靈活性。

3.（arxiv 2023）High-Similarity-Pass Attention for Single Image Super-Resolution 單幅圖像超分辨率的高相似度傳遞注意

3.1 摘要

非局部注意(NLA)領(lǐng)域的最新發(fā)展引起了人們對(duì)基于自相似性的單圖像超分辨率(SISR)的新興趣。研究者通常使用 NLA來(lái)探索SISR中的非局部自相似(NSS)， 獲得了令人滿意的重建結(jié)果。然而，一個(gè)令人驚訝的現(xiàn)象，即標(biāo)準(zhǔn) NLA的重建性能與隨機(jī)選擇區(qū)域的NLA相似 ，激發(fā)了我們重新審視NLA的興趣。在本文中，我們首先 從不同的 角度分析了標(biāo)準(zhǔn)NLA的注意圖，發(fā)現(xiàn)得到的概率分布總是完全支持每個(gè)局部特征，這意味著對(duì)不相關(guān)的非局部特征賦值是一種統(tǒng)計(jì)浪費(fèi)，特別是對(duì)于需要用大量冗余的非局部特征來(lái)建模遠(yuǎn)程依賴的SISR。基于這些發(fā)現(xiàn)，我們引入了一種簡(jiǎn)潔但 有效的軟閾值操作來(lái)獲得高相似度傳遞注意力(HSPA)，這有利于生成 更緊湊和可解釋的分布。此外，我們 推導(dǎo)了軟閾值操作 的一些關(guān)鍵屬性，使我們能夠以端到端方式訓(xùn)練HSPA。 HSPA可以作為一個(gè) 高效的通用構(gòu)件集成到現(xiàn)有的深度SISR模型中。此外，為了驗(yàn)證HSPA的 有效性，我們將幾個(gè)HSPA整合到 一個(gè)簡(jiǎn)單的骨干網(wǎng)絡(luò)中，構(gòu)建了一個(gè)深度高相似通道關(guān)注網(wǎng)絡(luò)(HSPAN)。廣泛的實(shí)驗(yàn)結(jié)果表明 HSPAN在 定量和定性評(píng)估上都優(yōu)于最先進(jìn)的方法。

貢獻(xiàn)總結(jié)如下：

• 我們對(duì)NLA在基于自相似性的深度SISR方法中的局限性提出了新的見(jiàn)解，并認(rèn)為NLA中的softmax變換對(duì)于長(zhǎng)序列的SISR存在不可克服的缺陷。(如圖1、圖2所示)
• 我們形式化了一個(gè)簡(jiǎn)潔而有效的軟閾值操作，并探索了它的關(guān)鍵屬性，這使得在深度SISR中端到端優(yōu)化我們的高相似性傳遞注意力成為可能。
• 利用基于HSPAN的模塊設(shè)計(jì)了一個(gè)深度高相似度注意網(wǎng)絡(luò)(HSPAMs)，并取得了最先進(jìn)的定量和定性結(jié)果。
  

3.2 結(jié)論

在本文中，我們對(duì)在SISR問(wèn)題中使用 的NLA提供了新的見(jiàn)解，并發(fā)現(xiàn)作為NLA的一個(gè) 關(guān)鍵組成部分的softmax變換不適合探索遠(yuǎn)程信息。為了克服這個(gè)缺點(diǎn)，我們?cè)O(shè)計(jì)了一個(gè)靈活的高相似度傳遞注意(HSPA)，使我們的 深度高相似度注意網(wǎng)絡(luò)(HSPAN)專注于 更有價(jià)值的非局部紋理，同時(shí)去除不相關(guān)的紋理。此外，我們探索了 提出的軟閾值(ST)操作的一些關(guān)鍵特性，以端到端方式訓(xùn)練我們的HSPA 。據(jù)我們所知，這 是第一次嘗試分析和解決 在低級(jí)視覺(jué)問(wèn)題中利用softmax變換進(jìn)行遠(yuǎn)程序列 建模的局限性。此外，廣泛的 實(shí)驗(yàn)表明，我們的HSPA和ST操作可以 集成為現(xiàn)有的深度 SISR模型中有效的通用構(gòu)建單元。

4. （arxiv 2023）Reconstruction Distortion of Learned Image Compression with Imperceptible Perturbations 具有不可察覺(jué)擾動(dòng)的學(xué)習(xí)圖像壓縮的重建失真

4.1 摘要

學(xué)習(xí)圖像壓縮(LIC)由于其顯著的性能成為近年來(lái)圖像傳輸?shù)内厔?shì)技術(shù) 。盡管它很受歡迎，但LIC在圖像重建質(zhì)量方面的穩(wěn)健性仍然未得到充分探索。在本文中，我們引入了一種難以察覺(jué)的攻擊方法 ，旨在有效地降低LIC的重建質(zhì)量，導(dǎo)致重建圖像受到噪聲的嚴(yán)重干擾，其中重建圖像中的任何物體幾乎都不可能。更具體地說(shuō)，我們通過(guò)引入基于Frobenius范數(shù)的損失函數(shù)來(lái)生成對(duì)抗示例，以最大化原始圖像與重建的對(duì)抗示例之間的差異。此外，利用高頻組件對(duì)人類視覺(jué)的不敏感性，我們引入了不可感知約束(IC)以確保擾動(dòng)保持不明顯。在柯達(dá)數(shù)據(jù)集 上使用各種LIC模型進(jìn)行的實(shí)驗(yàn)證明了有效性。此外，我們提供 一些發(fā)現(xiàn)和建議，以設(shè)計(jì)未來(lái)的防御。

貢獻(xiàn)總結(jié)如下：

• 我們對(duì)LIC的魯棒性進(jìn)行了系統(tǒng)的研究，通過(guò)發(fā)起一系列攻擊，通過(guò)引入Frobenius 基于范數(shù)的IC損失來(lái)破壞圖像重建過(guò)程。
• 我們的實(shí)驗(yàn)表明，我們提出的攻擊可以破壞LIC ，同時(shí)保持誘導(dǎo)擾動(dòng)的不可感知性。
• 基于我們的實(shí)驗(yàn)，我們提供了幾個(gè)有趣的發(fā)現(xiàn)和關(guān)于設(shè)計(jì)健壯的LIC的潛在見(jiàn)解。
  

4.2 發(fā)現(xiàn)

我們的實(shí)驗(yàn)得出了幾個(gè)有趣的觀察結(jié)果：（1）除了任意噪聲外， 產(chǎn)生的對(duì)抗性擾動(dòng)還包含某些不規(guī)則模式。例如，可以在圖3中觀察到，在每個(gè)產(chǎn)生的擾動(dòng)中都有小的方形圖案。我們假設(shè)這些特定區(qū)域可能對(duì)重建質(zhì)量有重大影響。未來(lái)的工作可能會(huì)研究設(shè)計(jì)檢測(cè)和防御對(duì)抗性攻擊的對(duì)策利用這些模式。（2）不同的LIC模型表現(xiàn)出不同程度的魯棒性。從無(wú)花果。2、我們發(fā)現(xiàn)Hyperprior和Joint似乎比其他方法更健壯。基于此，我們假設(shè)具有更高質(zhì)量重建能力的LIC模型也具有更好的魯棒性。

4.3 結(jié)論

在本文中，我們通過(guò)發(fā)起基于 Frobenius范數(shù)損失函數(shù)的對(duì)抗性質(zhì)量攻擊來(lái)探索LIC的魯棒性，以創(chuàng)建使原始圖像和重建圖像之間偏差最大化的對(duì)抗性示例，并引入IC以確保擾動(dòng) 對(duì)人類感知不可見(jiàn)。對(duì)柯達(dá)數(shù)據(jù)集和各種LIC模型的實(shí)驗(yàn)說(shuō)明了 的有效性，并揭示了有趣的發(fā)現(xiàn)，包括不規(guī)則的擾動(dòng)模式和 不同LIC模型的魯棒性水平。

5. （IEEE T-BC 2023）End-To-End Compression for Surveillance Video With Unsupervised Foreground-Background Separation 具有無(wú)監(jiān)督前景-背景分離的監(jiān)控視頻的端到端壓縮

5.1 摘要

隨著監(jiān)控視頻的指數(shù)級(jí)增長(zhǎng)，對(duì)高效視頻編碼方法的需求越來(lái)越大。基于學(xué)習(xí)的方法要么直接使用通用的視頻 壓縮框架，要么分離前景和背景，然后分兩個(gè)階段壓縮它們。然而，它們沒(méi)有考慮到監(jiān)控視頻相對(duì)靜態(tài)的背景事實(shí) ，或者在離線模式下簡(jiǎn)單地分離前景和背景，這降低了分離性能 ，因?yàn)樗鼈儧](méi)有很好地考慮時(shí)域相關(guān)性 。在本文中，我們提出了一個(gè)端到端的無(wú)監(jiān)督前景背景分離視頻壓縮神經(jīng)網(wǎng)絡(luò)，稱為UVCNet。我們的方法主要由三部分組成。首先，Mask Net在線無(wú)監(jiān)督地分離前景和背景，這充分利用了時(shí)間相關(guān)先驗(yàn) 。然后，將傳統(tǒng)的基于運(yùn)動(dòng)估計(jì)的殘差編碼模塊應(yīng)用于前景壓縮。同時(shí)，利用背景壓縮模塊對(duì)背景殘差進(jìn)行壓縮，充分利用相對(duì)靜態(tài)的特性對(duì)背景進(jìn)行更新。與之前的方法相比，我們的方法不需要提前分離前景和背景，而是端到端 的方式。因此我們不僅可以利用相對(duì)靜態(tài)的背景 屬性來(lái)節(jié)省比特率，還可以實(shí)現(xiàn)端到端的在線 視頻壓縮。實(shí)驗(yàn)結(jié)果表明， 所提出的UVCNet與 現(xiàn)有方法相比，具有更好的性能。具體來(lái)說(shuō)，UVCNet可以實(shí)現(xiàn) 峰值信噪比 (PSNR)在監(jiān)控?cái)?shù)據(jù)集上比H.265平均提高了2.11 dB。

貢獻(xiàn)總結(jié)如下：

• 我們是第一個(gè)提出端到端無(wú)監(jiān)督監(jiān)控視頻壓縮框架UVCNet。與之前的研究不同，該框架可以在線上分離前景和背景，并在整個(gè)網(wǎng)絡(luò)中進(jìn)行端到端訓(xùn)練 。
• 提出了一種新的自適應(yīng)背景更新策略。一旦背景變化超過(guò)一定閾值參考背景將被更新。與以往的靜態(tài)或固定間隔 更新不同，我們的自適應(yīng)更新策略使參考背景更加準(zhǔn)確，從而進(jìn)一步降低了背景殘差。
• 大量的實(shí)驗(yàn)證實(shí)了該框架的有效性。在Ewap_eth數(shù)據(jù)集 和Ewap_hotel數(shù)據(jù)集上，與最先進(jìn)的方法相比，所提出的方法在BD-PSNR方面分別獲得了0.8 dB和0.34 dB的增益。
  

5.3 結(jié)論

本文通過(guò)觀察和總結(jié)監(jiān)控視頻的特點(diǎn)，提出了一種端到端監(jiān)控視頻編碼方法，命名為UVCNet (Unsupervised 基于前景背景分離的視頻壓縮 神經(jīng)網(wǎng)絡(luò))。簡(jiǎn)而言之，本文提出了自監(jiān)督方法 來(lái)訓(xùn)練一個(gè)前景背景分離網(wǎng)絡(luò) (Mask Net)，該網(wǎng)絡(luò)可以細(xì)粒度地分析幀中變化較小的背景部分。在背景壓縮模塊(背景網(wǎng))中，提出了一種簡(jiǎn)單的在線背景更新方法，利用相對(duì)靜態(tài)的特性對(duì)背景殘差進(jìn)行了高效壓縮。實(shí)驗(yàn)上常用的有三種監(jiān)控視頻數(shù)據(jù)集表明，我們的結(jié)果超越了 現(xiàn)有方法，成為一種新的SOTA。

6. （arxiv 2023）Improving Position Encoding of Transformers for Multivariate Time Series Classification 改進(jìn)用于多元時(shí)間序列分類的 Transformer 的位置編碼

Code:https://github.com/Navidfoumani/ConvTran

6.1 摘要

Transformer在許多 深度學(xué)習(xí)應(yīng)用中表現(xiàn)出了出色的性能。當(dāng)應(yīng)用于時(shí)間序列數(shù)據(jù)時(shí)，變壓器需要有效的位置編碼來(lái)捕獲 時(shí)間序列數(shù)據(jù)的順序。位置編碼在時(shí)間序列分析中的有效性還沒(méi)有得到很好的研究，并且仍然存在爭(zhēng)議，例如， 是注入絕對(duì)位置編碼還是相對(duì)位置編碼更好，還是兩者結(jié)合更好。為了清楚這一點(diǎn)，我們首先回顧了在時(shí)間序列分類中應(yīng)用時(shí)現(xiàn)有的絕對(duì)位置和相對(duì)位置編碼方法。然后，我們提出了一種新的用于時(shí)間序列數(shù)據(jù)的絕對(duì)位置編碼方法，稱為時(shí)間絕對(duì)位置編碼(tAPE)。我們的新方法在絕對(duì)位置編碼中結(jié)合了序列長(zhǎng)度和輸入嵌入維數(shù)。此外，我們提出了計(jì)算效率相對(duì)位置編碼(eRPE)的實(shí)現(xiàn)，以提高時(shí)間序列的通用性。然后，我們提出了一種新的多元時(shí)間序列分類(MTSC)模型，該模型結(jié)合了tAPE/eRPE和基于卷積的輸入編碼，稱為ConvTran，以改善時(shí)間序列數(shù)據(jù)的位置和數(shù)據(jù)嵌入。本文提出的絕對(duì)位置 和相對(duì)位置編碼方法簡(jiǎn)單有效。它們 可以很容易地集成到變壓器塊中，并用于下游任務(wù)，如預(yù)測(cè)、外部回歸和異常檢測(cè)。在32個(gè)多變量時(shí)間序列數(shù)據(jù)集上進(jìn)行了廣泛的實(shí)驗(yàn)，表明我們的模型比最先進(jìn)的卷積和基于Transformer的模型要準(zhǔn)確得多。

6.2 結(jié)論

本文首次研究了位置編碼對(duì)時(shí)間序列的重要性 ，并對(duì)現(xiàn)有的絕對(duì)位置編碼和相對(duì)位置編碼 方法在時(shí)間序列分類中的應(yīng)用進(jìn)行了綜述?；谀壳?時(shí)間序列位置編碼的局限性，我們提出了兩種新的時(shí)間序列絕對(duì)位置編碼和相對(duì)位置編碼，分別稱為tAPE和eRPE 。然后，我們將我們提出的兩個(gè)位置編碼集成到Transformer莫夸哦中，并將它們與卷積層結(jié)合起來(lái)，提出了一個(gè) 用于多變量時(shí)間序列分類(ConvTran)的新型深度學(xué)習(xí)框架。大量實(shí)驗(yàn)表明，ConvTran受益于位置信息，在深度學(xué)習(xí)文獻(xiàn)中實(shí)現(xiàn)了最先進(jìn)的多元時(shí)間序列分類性能。未來(lái)，我們將在其他基于變壓器的TSC模型和 其他下游任務(wù)(如異常檢測(cè))中研究我們的新變壓器塊的有效性。

7. （arxiv 2023）Unsupervised haze removal from underwater images 從水下圖像中去除無(wú)監(jiān)督的霧霾

7.1 摘要

存在一些監(jiān)督網(wǎng)絡(luò)，它們使用配對(duì)數(shù)據(jù)集和 逐像素?fù)p失函數(shù)從水下圖像中去除霧霾 信息。然而，訓(xùn)練這些網(wǎng)絡(luò)需要大量的配對(duì)數(shù)據(jù)，這是繁瑣的、復(fù)雜和耗時(shí)的。此外，直接使用對(duì)抗性 和循環(huán)一致性損失函數(shù)進(jìn)行無(wú)監(jiān)督學(xué)習(xí)是不準(zhǔn)確的，因?yàn)閺母蓛魣D像到水下圖像的底層映射是一對(duì)多的，導(dǎo)致對(duì)循環(huán)一致性損失的約束不準(zhǔn)確。為了解決這些問(wèn)題， 我們提出了一種新的方法來(lái)去除霧霾從水下 圖像使用不成對(duì)的數(shù)據(jù)。我們的模型使用霧霾解糾纏網(wǎng)絡(luò)(HDN)從水下圖像中解糾纏霧霾和內(nèi)容信息。解糾纏內(nèi)容由恢復(fù)網(wǎng)絡(luò)使用對(duì)抗損失生成干凈的圖像。然后將解糾纏霧霾用作水下圖像再生的引導(dǎo)，從而對(duì)周期一致性損失產(chǎn)生強(qiáng)烈的約束，并提高了性能增益。不同消融實(shí)驗(yàn)表明，水下圖像中的霧霾和內(nèi)容被有效分離。詳細(xì)的實(shí)驗(yàn)表明，精確的循環(huán)一致性約束和所提出的網(wǎng)絡(luò)結(jié)構(gòu)在生成優(yōu)異結(jié)果中發(fā)揮了重要作用。在UFO-120、UWNet、 UWScenes和UIEB水下數(shù)據(jù)集上的實(shí)驗(yàn)表明， 方法的結(jié)果在視覺(jué)和數(shù)量上都優(yōu)于現(xiàn)有技術(shù)。

貢獻(xiàn)總結(jié)如下：

• 據(jù)我們所知，這是第一個(gè)基于學(xué)習(xí)的方法，在水下圖像中使用正確的循環(huán)一致性損失來(lái)去除不成對(duì)的霧霾。
• 在不同水下數(shù)據(jù)集上的詳盡實(shí)驗(yàn)表明，與先前的無(wú)監(jiān)督方法相比，精確的周期一致性匹配結(jié)合解糾纏內(nèi)容的恢復(fù)網(wǎng)絡(luò)可以獲得高質(zhì)量的去霧結(jié)果。

在我們的方法中，HDN使用特征正則化、特征對(duì)抗和循環(huán)損失來(lái)從輸入圖像中解耦霧霾和內(nèi)容信息。不同的消融實(shí)驗(yàn)提供了水下圖像中霧霾和內(nèi)容信息的可視化結(jié)果。在不同的公開(kāi)數(shù)據(jù)集上的詳盡實(shí)驗(yàn)表明，精確的循環(huán)一致性約束結(jié)合$G_c$的解糾纏內(nèi)容與先前的無(wú)監(jiān)督方法相比具有更好的結(jié)果。

7.2 結(jié)論

我們提出了一種基于霧霾解糾纏網(wǎng)絡(luò) (HDN)和恢復(fù)模塊的水下圖像的無(wú)監(jiān)督霧霾去除算法。HDN用于從UW圖像中分離霧霾和內(nèi)容。而解糾纏內(nèi)容作為恢復(fù)模塊的輸入， 霧霾信息用于“一致”周期一致性。不同的消融研究表明，提出的HDN 網(wǎng)絡(luò)成功地解耦了水下圖像的霧和內(nèi)容。相比于之前的方法，我們的方法在視覺(jué)比較和定量指標(biāo)上都取得了提高。我們相信本文提出的損失函數(shù)和網(wǎng)絡(luò)架構(gòu)將有助于進(jìn)一步提高無(wú)監(jiān)督網(wǎng)絡(luò)的性能。

8. （arxiv 2023）Human-imperceptible, Machine-recognizable Images 人類無(wú)法察覺(jué)、機(jī)器可識(shí)別的圖像

Code:https://github.com/FushengHao/PrivacyPreservingML
這個(gè)大哥怎么在論文里把點(diǎn)號(hào)也算到超鏈接里去了，特么的點(diǎn)進(jìn)去就是Page not found。

8.1 摘要

收集大量與人類相關(guān)的數(shù)據(jù)來(lái)訓(xùn)練神經(jīng)網(wǎng)絡(luò)，用于計(jì)算機(jī) 視覺(jué)任務(wù)。對(duì)于軟件工程師來(lái)說(shuō)，在更好地開(kāi)發(fā)人工智能系統(tǒng)和遠(yuǎn)離敏感的訓(xùn)練數(shù)據(jù)之間存在一個(gè)主要的沖突。為了 調(diào)和這種沖突，本文提出了一種有效的隱私保護(hù)學(xué)習(xí)范式，其中圖像首先通過(guò)兩種加密策略之一加密為“人類無(wú)法察覺(jué)， 機(jī)器可識(shí)別”：（1）隨機(jī)排列成一組大小相等的補(bǔ)丁;(2)混合圖像的子補(bǔ)丁。然后，對(duì)視覺(jué)轉(zhuǎn)換器進(jìn)行最小的調(diào)整，使其能夠?qū)W習(xí)加密圖像上的視覺(jué)任務(wù)，包括圖像分類和對(duì)象檢測(cè)。在ImageNet和COCO上的大量實(shí)驗(yàn)表明，所提出的范式與競(jìng)爭(zhēng)方法的準(zhǔn)確率相當(dāng)。解密加密圖像需要解決NP-hard拼圖或不適定逆問(wèn)題，經(jīng)驗(yàn)表明難以被各種攻擊者恢復(fù) ，包括強(qiáng)大的基于視覺(jué)變換的攻擊者。因此，我們表明，所提出的范式可以確保加密圖像在保留機(jī)器可識(shí)別信息的同時(shí)成為人類無(wú)法感知的。

貢獻(xiàn)總結(jié)如下：

• 我們提出了一種有效的保護(hù)隱私的學(xué)習(xí)范式，可以確保加密圖像在保留機(jī)器可識(shí)別信息的同時(shí)變得不可感知。
• RS（隨機(jī)排列）是專用于基于ViT的標(biāo)準(zhǔn)圖像分類。通過(guò)將基于參考的位置編碼替換為原始的位置編碼，ViT能夠?qū)?jīng)過(guò)RS加密的圖像進(jìn)行學(xué)習(xí)。
• 通過(guò)進(jìn)一步設(shè)計(jì)MI（混合），隱私保護(hù)學(xué)習(xí)范式可以擴(kuò)展到位置敏感任務(wù)，如對(duì)象檢測(cè)，我們只需要調(diào)整圖像補(bǔ)丁的嵌入方式。
• 大量的實(shí)驗(yàn)證明了所提出的隱私保護(hù)學(xué)習(xí)范式的有效性。
  

8.2 結(jié)論

在本文中，我們提出了一種有效的隱私保護(hù)學(xué)習(xí)范式，該范式可以破壞人類可識(shí)別的內(nèi)容，同時(shí)保留機(jī)器可學(xué)習(xí)的信息。我們范例的關(guān)鍵見(jiàn)解是通過(guò)置換不變性將加密算法與網(wǎng)絡(luò)優(yōu)化解耦。提出了兩種加密策略:隨機(jī)洗牌到一組大小相等的圖像補(bǔ)丁和混合圖像補(bǔ)丁是具有排列不變性的。通過(guò)對(duì)ViT和YOLOS 進(jìn)行最小的調(diào)整，它們可以(部分地)實(shí)現(xiàn)排列不變性，并且 能夠處理加密的圖像。在ImageNet和COCO 上的大量實(shí)驗(yàn)表明，所提出的范式與競(jìng)爭(zhēng)對(duì)手 方法的準(zhǔn)確率相當(dāng)，同時(shí)破壞了人類可識(shí)別的內(nèi)容。文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-490611.html

到了這里，關(guān)于【論文閱讀】（2023.06.09-2023.06.18）論文閱讀簡(jiǎn)單記錄和匯總的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！