(2023.07.05-2023.07.15)論文閱讀簡(jiǎn)單記錄和匯總

2023/07/05：端午回家還沒玩幾天就被老板召喚回學(xué)校了，采購的事情真是太麻煩了，一堆的差錯(cuò)。昨天跟師弟把他的第一篇論文投出去了，祝好運(yùn)！

2023/07/10：可惜，師弟的文章五天不到就被拒稿了，不過這也很正常。拒拒更健康，有拒才有得。

目錄

• （arxiv 2023）COLOR LEARNING FOR IMAGE COMPRESSION
• （AAAI 2023）A Learnable Radial Basis Positional Embedding for Coordinate-MLPs
• （arxiv 2023）SPDER: Semiperiodic Damping-Enabled Object Representation
• （arxiv 2023）PROCESSING ENERGY MODELING FOR NEURAL NETWORK BASED IMAGE COMPRESSION
• （arxiv 2023）Text + Sketch: Image Compression at Ultra Low Rates
• （arxiv 2023）PREDICTIVE CODING FOR ANIMATION-BASED VIDEO COMPRESSION

1. （arxiv 2023）COLOR LEARNING FOR IMAGE COMPRESSION 圖像壓縮的顏色學(xué)習(xí)

1.1 摘要與貢獻(xiàn)

近年來，基于深度學(xué)習(xí)的圖像壓縮獲得了 的大力發(fā)展。為了使該方法適用于圖像壓縮并隨后擴(kuò)展到 視頻壓縮，我們提出了一種新的深度學(xué)習(xí)模型 架構(gòu)，其中圖像壓縮任務(wù)分為兩個(gè)子任務(wù)，從亮度通道學(xué)習(xí)結(jié)構(gòu)信息和從色度通道學(xué)習(xí)顏色。模型有兩個(gè)獨(dú)立的分支來處理亮度 和色度組件。在損失函數(shù)中采用色差度量CIEDE2000對(duì) 模型進(jìn)行色彩保真度優(yōu)化。我們將演示 方法的優(yōu)點(diǎn)，并將其性能與其他編解碼器進(jìn)行比較。此外，還對(duì)潛在通道脈沖響應(yīng)進(jìn)行了可視化分析。

我們?cè)谶@項(xiàng)工作中的貢獻(xiàn)如下。我們提出了一個(gè)利用YUV顏色 間的深度神經(jīng)網(wǎng)絡(luò)模型 ，以利用亮度通道來獲取結(jié)構(gòu)信息，利用色度通道來獲取顏色信息。為了優(yōu)化模型的色彩保真度，我們?cè)诨赗DO的損失函數(shù)中使用顯式色差度量- CIEDE2000 [13]。此外，為了研究分離結(jié)構(gòu)和顏色信息的效果，通過擴(kuò)展文獻(xiàn)[14]中描述的方法，分析了所提模型對(duì)于 亮度和色度分量的通道脈沖響應(yīng)。

1.2 結(jié)論

在這項(xiàng)工作中，我們開發(fā)了一個(gè)用于圖像壓縮任務(wù)的深度神經(jīng)網(wǎng)絡(luò)，其思想是分別捕獲結(jié)構(gòu)和顏色信息。我們使用RDO優(yōu)化模型，并使用額外的度量- CIEDE2000來測(cè)量色差。與其他編解碼器的比較證明了該模型的結(jié)構(gòu)保真度和色彩保真度。通道脈沖響應(yīng)實(shí)驗(yàn)驗(yàn)證了我們的 模型分別捕獲結(jié)構(gòu)和顏色信息。這可以用于執(zhí)行跨組件預(yù)測(cè)和應(yīng)用在殘差編碼，也可以擴(kuò)展到學(xué)習(xí)視頻壓縮。所提出的方法可以很容易地采用最先進(jìn)的方法來提高色彩保真度。

感覺結(jié)構(gòu)很一般結(jié)果也很一般，就是采用了一個(gè)雙支路的方式和額外的色度度量約束實(shí)現(xiàn)了一個(gè)端到端的圖像壓縮模型，消融實(shí)驗(yàn)驗(yàn)證了所提出方法確實(shí)能夠捕獲色度和結(jié)構(gòu)信息，還算是比較完整吧。

2. （AAAI 2023）A Learnable Radial Basis Positional Embedding for Coordinate-MLPs 坐標(biāo) MLP 的可學(xué)習(xí)徑向基位置嵌入

2.1 摘要與貢獻(xiàn)

我們提出了一種新的方法，通過學(xué)習(xí)特定實(shí)例的位置嵌入來增強(qiáng)坐標(biāo)mlp(也稱為神經(jīng)場(chǎng))的性能。位置嵌入?yún)?shù)的端到端優(yōu)化以及網(wǎng)絡(luò)權(quán)值導(dǎo)致泛化性能較差。相反，我們開發(fā)了一個(gè)通用框架來學(xué)習(xí)基于經(jīng)典圖拉普拉斯正則化的位置嵌入，它可以隱式地平衡 記憶和泛化之間的權(quán)衡。然后，該框架 用于提出一種新的位置嵌入方案，其中每個(gè)坐標(biāo)(即實(shí)例)學(xué)習(xí)超參數(shù)以提供最佳性能。我們表明，與已建立的隨機(jī)傅立葉特征 (RFF)相比，提出的 嵌入實(shí)現(xiàn)了更好的性能和更高的穩(wěn)定性。此外，我們證明了所提出的嵌入 方案產(chǎn)生穩(wěn)定的梯度，從而能夠?qū)⒆鳛橹虚g層無縫集成到深層架構(gòu)中。

我們展示了我們的方法在許多信號(hào)重建任務(wù)中的有效性，與領(lǐng)先的硬編碼方法中流行的隨機(jī)傅立葉頻率(RFF)相比。我們方法的一個(gè)獨(dú)特之處在于 在我們的方法中不使用傅立葉位置嵌入。當(dāng)試圖執(zhí)行局部平滑時(shí)，這樣的嵌入實(shí)際上是有問題的。受(Zheng, Ramasinghe, and Lucey 2021)的啟發(fā)，我們選擇了具有空間局部性(如徑向基函數(shù))的嵌入。據(jù)我們所知，這是第一次使用:(i)非傅立葉， 和(ii)可學(xué)習(xí)的超參數(shù)來獲得坐標(biāo)mlp的最先進(jìn)性能。我們還表明我們的嵌入器允許通過位置嵌入層進(jìn)行更穩(wěn)定的反向傳播，從而可以輕松地將位置嵌入層集成為深度架構(gòu)中的中間模塊。同樣值得注意的是，我們的工作揭示了一個(gè)相當(dāng)有爭(zhēng)議的話題——深度網(wǎng)絡(luò)可以從非端到端學(xué)習(xí)中受益，其中每一層可以通過不同的優(yōu)化目標(biāo)獨(dú)立優(yōu)化。

2.2 結(jié)論

我們開發(fā)了一個(gè)框架，可用于優(yōu)化位置嵌入。我們?cè)诟鞣N任務(wù)中驗(yàn)證了我們的嵌入器在流行的RFF嵌入器上的有效性，并且 表明我們的嵌入器在不同的 訓(xùn)練條件下產(chǎn)生了更好的保真度和穩(wěn)定性。最后，我們證明了與RFF相比， 超高斯嵌入器在反向傳播期間可以產(chǎn)生平滑的梯度 ，這允許在深度網(wǎng)絡(luò)中使用嵌入層作為中間模塊。

看起來略有意思，可以推廣到其他任務(wù)中，可惜在git上沒有看到代碼實(shí)現(xiàn)

3. （arxiv 2023）SPDER: Semiperiodic Damping-Enabled Object Representation 半周期阻尼對(duì)象表示

3.1 摘要與貢獻(xiàn)

我們提出了一種神經(jīng)網(wǎng)絡(luò)架構(gòu)，旨在自然地學(xué)習(xí)位置嵌入，并克服傳統(tǒng)隱式神經(jīng)表示網(wǎng)絡(luò)面臨的低頻頻譜偏差。我們提出的架構(gòu) SPDER是一個(gè)簡(jiǎn)單的MLP，它使用由正弦乘以次線性函數(shù)(稱為阻尼函數(shù))組成的激活函數(shù)。正弦使網(wǎng)絡(luò)能夠自動(dòng)學(xué)習(xí)輸入 坐標(biāo)的位置嵌入，而阻尼通過防止向下投影到有限范圍內(nèi)的值來傳遞實(shí)際的坐標(biāo)值。我們的結(jié)果表明，相比于圖像表示的最先進(jìn)技術(shù)， SPDERs將訓(xùn)練速度提高了10倍，并且損失收斂小了1,500 - 50,000倍。優(yōu)越的表示能力使 SPDER在多個(gè)下游任務(wù)上也表現(xiàn)出色，如圖像超分辨率 和視頻幀插值。我們提供了關(guān)于為什么SPDER與其他INR方法相比顯著改善擬合的直覺，同時(shí)不需要超參數(shù)調(diào)優(yōu)或預(yù)處理。

我們將本文的貢獻(xiàn)總結(jié)如下:

• 我們提出了一個(gè)簡(jiǎn)單而優(yōu)雅的架構(gòu)，可以很好地捕獲不同類型 信號(hào)的頻率，在圖像和音頻表示方面都達(dá)到了最先進(jìn)的水平。具體來說，它比最先進(jìn)的圖像inr要好幾個(gè)數(shù)量級(jí)。與其他非分層方法(如自身)相比，它將訓(xùn)練速度提高了10倍， 收斂到平均損失降低1.5萬倍。
• 我們演示了我們的新激活函數(shù)如何幫助神經(jīng)網(wǎng)絡(luò)克服頻譜偏差 ，并通過讓每個(gè)神經(jīng)元平衡編碼信號(hào)的位置和值信息，在沒有任何超參數(shù)調(diào)整或硬編碼歸納偏差 的情況下學(xué)習(xí)位置嵌入。
• 我們強(qiáng)調(diào)其通過下游應(yīng)用的通用性，如圖像超分辨率，邊緣檢測(cè)，視頻幀插值等。

3.2 結(jié)論和未來工作

在這項(xiàng)工作中，我們提出了一個(gè)簡(jiǎn)單直觀的MLP架構(gòu)，可以用來表示 圖像，其損失比當(dāng)前最先進(jìn)的方法低幾個(gè)數(shù)量級(jí)，而不需要 先驗(yàn)或增強(qiáng)，并且在許多情況下，實(shí)現(xiàn)全局最優(yōu)。我們證明了它在表示音頻、視頻、圖像梯度等方面的泛化性。我們還相信，我們的架構(gòu)自動(dòng)平衡輸入的位置和值信息，可以為學(xué)習(xí)的位置嵌入提供新的見解。同樣，研究SPDER如何克服頻譜偏差可能有助于我們學(xué)習(xí)如何提高神經(jīng)網(wǎng)絡(luò)的性能。通過我們的插值實(shí)驗(yàn)，我們還表明SPDER保留了它沒有看到的點(diǎn)的頻譜，并且在某種意義上具有低頻譜“方差”。

最合理的下一步包括將分層方法與SPDER相結(jié)合，其中網(wǎng)絡(luò)非常準(zhǔn)確地學(xué)習(xí)每個(gè)小塊，然后有效地將它們聚合為近乎完美的表示。最終，隨著神經(jīng)硬件變得越來越普遍和先進(jìn)， 使用神經(jīng)網(wǎng)絡(luò)來壓縮和表示媒體將變得越來越有吸引力。 INR有效捕獲頻率結(jié)構(gòu)的能力將導(dǎo)致大量應(yīng)用程序 ，其中信息存儲(chǔ)在網(wǎng)絡(luò)的權(quán)重中，而不是字節(jié)碼中。

4. （arxiv 2023）PROCESSING ENERGY MODELING FOR NEURAL NETWORK BASED IMAGE COMPRESSION 基于神經(jīng)網(wǎng)絡(luò)的圖像壓縮的處理能量建模

4.1 摘要與貢獻(xiàn)

如今，基于神經(jīng)網(wǎng)絡(luò)的圖像壓縮算法的壓縮性能優(yōu)于最先進(jìn)的壓縮方法，如JPEG或基于HEVC的圖像壓縮。不幸的是，大多數(shù)基于神經(jīng)網(wǎng)絡(luò)的壓縮方法都是在GPU上執(zhí)行的，并且在執(zhí)行過程中消耗大量的能量。因此，本文對(duì)基于最先進(jìn)的神經(jīng)網(wǎng)絡(luò)壓縮方法在GPU上的能量消耗 進(jìn)行了深入分析，并表明可以使用圖像大小來估計(jì)壓縮網(wǎng)絡(luò)的能量消耗，平均估計(jì)誤差小于7%。最后，使用相關(guān)分析，我們發(fā)現(xiàn)每像素的操作次數(shù)是能量消耗的主要驅(qū)動(dòng)力，并推斷到第二個(gè)下采樣步驟的網(wǎng)絡(luò)層消耗的能量最多。
本文的貢獻(xiàn)如下:

• 深入分析圖像壓縮網(wǎng)絡(luò)的功耗;
• 高度精確的能量建模方法
• 設(shè)計(jì)節(jié)能網(wǎng)絡(luò)的建議

4.2 結(jié)論

在本文中，我們研究了最先進(jìn)的基于神經(jīng)網(wǎng)絡(luò)的圖像壓縮網(wǎng)絡(luò) 在GPU上的能耗。我們表明，能量消耗線性取決于像素的數(shù)量，并且直到第二個(gè)下采樣步驟的網(wǎng)絡(luò)層對(duì)總體能量消耗貢獻(xiàn)最大。

在未來的工作中，我們計(jì)劃進(jìn)一步分析網(wǎng)絡(luò)， 分別分析編碼和解碼過程， 并額外考慮熵編碼和解碼。最后，我們將測(cè)試其他gpu和優(yōu)化硬件與現(xiàn)有圖像壓縮方法進(jìn)行公平比較。

5. （arxiv 2023）Text + Sketch: Image Compression at Ultra Low Rates 文字+草圖：超低速率的圖像壓縮

5.1 摘要與貢獻(xiàn)

文本到圖像生成模型的最新進(jìn)展提供了從短文本描述生成高質(zhì)量圖像的能力。這些基礎(chǔ)模型在數(shù)十億規(guī)模的 數(shù)據(jù)集上進(jìn)行預(yù)訓(xùn)練后，可以有效地完成各種下游任務(wù)，而無需進(jìn)一步訓(xùn)練。一個(gè)自然的問題是這樣的模型如何適用于圖像壓縮。我們研究幾種技術(shù)，其中預(yù)訓(xùn)練模型可以直接用于實(shí)現(xiàn)針對(duì)新型低速率體制的壓縮方案。我們展示了如何將文本描述與 邊信息結(jié)合使用，以生成 高保真重建，同時(shí)保留語義和原始空間結(jié)構(gòu)。我們證明，在非常低的比特率下，我們的方法可以在感知和語義保真度方面顯著改進(jìn)學(xué)習(xí)壓縮器， 盡管沒有端到端訓(xùn)練。

我們展示了如何以草圖的形式傳輸有限的側(cè)信息來保存較低層次的結(jié)構(gòu)。我們的全部貢獻(xiàn)如下：

• 我們?cè)O(shè)計(jì)了一個(gè)神經(jīng)壓縮器，它使用文本到圖像模型以零射擊的方式實(shí)現(xiàn)壓縮方案，以低于0.003比特每像素(bpp)的速率保持人類語義，這比以前研究的方法低一個(gè)數(shù)量級(jí)。
• 我們展示了如何使用壓縮空間條件映射形式的側(cè)信息來提供圖像中的高級(jí)結(jié)構(gòu)信息以及傳輸?shù)奈谋緲?biāo)題，從而產(chǎn)生改善結(jié)構(gòu)保存的重建。
• 我們表明，盡管沒有端到端訓(xùn)練，但我們的方案在語義和感知質(zhì)量方面優(yōu)于最先進(jìn)的生成壓縮器。
  

5.2 結(jié)論

在本文中，我們使用預(yù)訓(xùn)練的文本到圖像模型構(gòu)建了一個(gè)壓縮器，該壓縮器傳輸簡(jiǎn)短的文本提示 和壓縮的圖像草圖。唯一需要的培訓(xùn)是在HED（Holistically-nested Edge Detection）草圖上學(xué)習(xí)輕量級(jí)學(xué)習(xí)壓縮機(jī)。實(shí)驗(yàn)結(jié)果表明，該算法在的語義質(zhì)量和感知質(zhì)量方面具有優(yōu)異的性能。當(dāng)前和未來的 工作包括評(píng)估人類對(duì)重建圖像滿意度 的人類研究。

最開始探索壓縮問題的時(shí)候也思考過使用生成模型做壓縮，但是后面想到輸入輸出空間之間存在的非對(duì)應(yīng)映射問題，認(rèn)為用生成模型是不切實(shí)際的，也不是壓縮，更像是虛空造物。\

6.（arxiv 2023）PREDICTIVE CODING FOR ANIMATION-BASED VIDEO COMPRESSION 基于動(dòng)畫的視頻壓縮的預(yù)測(cè)編碼

6.1 摘要與貢獻(xiàn)

我們?yōu)闀?huì)議類型的應(yīng)用解決了有效壓縮視頻的問題。我們以最近的基于圖像動(dòng)畫的方法為基礎(chǔ)，通過使用一組緊湊的稀疏關(guān)鍵點(diǎn)來表示面部運(yùn)動(dòng)，可以在非常低的比特率下獲得良好的重建質(zhì)量。然而， 這些方法以逐幀的方式對(duì)視頻進(jìn)行編碼，即每一幀都是從一個(gè)參考幀重構(gòu)的，這 限制了帶寬較大時(shí)的重構(gòu)質(zhì)量。相反，我們提出了一種預(yù)測(cè)編碼方案，該方案使用圖像動(dòng)畫作為預(yù)測(cè)器，并對(duì)相對(duì)于實(shí)際目標(biāo)幀的殘差進(jìn)行編碼。殘差可以以預(yù)測(cè)的方式依次編碼，從而有效地消除時(shí)間依賴性。我們的實(shí)驗(yàn)表明，在談話視頻數(shù)據(jù)集 上，與HEVC 視頻標(biāo)準(zhǔn)相比，比特率降低了70%以上，與VVC相比，比特率降低了30%以上。

6.2 結(jié)論

基于動(dòng)畫的壓縮提供了以非常低的比特率傳輸視頻的可能性。然而，它通常僅限于在固定的質(zhì)量水平上重建輸出，當(dāng)更高的帶寬可用時(shí)不能有效地?cái)U(kuò)展，并且不能有效地壓縮信號(hào)中的時(shí)間冗余。在本文中，我們提出了一種將圖像動(dòng)畫(重新解釋為幀預(yù)測(cè)器) 與經(jīng)典預(yù)測(cè)編碼原理集成的編碼方案，其中我們利用 空間和時(shí)間依賴關(guān)系來實(shí)現(xiàn)編碼增益。盡管我們的RDAC編解碼器采用了非常簡(jiǎn)單的時(shí)間預(yù)測(cè)方法 ，但在談話視頻數(shù)據(jù)集上，我們的RDAC編解碼器比以前的方法和標(biāo)準(zhǔn)編解碼器的性能要好得多。文章來源地址http://www.zghlxwxcb.cn/news/detail-577181.html

到了這里，關(guān)于(2023.07.05-2023.07.15)論文閱讀簡(jiǎn)單記錄和匯總的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！