CAP-VSTNet: Content Affinity Preserved Versatile Style Transfer
內(nèi)容相似度損失（包括特征和像素相似度）是逼真和視頻風(fēng)格遷移中出現(xiàn)偽影的主要問(wèn)題。本文提出了一個(gè)名為CAP-VSTNet的新框架，包括一個(gè)新的可逆殘差網(wǎng)絡(luò)（reversible residual network）和一個(gè)無(wú)偏線性變換模塊，用于多功能風(fēng)格轉(zhuǎn)移。這個(gè)可逆殘差網(wǎng)絡(luò)不僅可以保留內(nèi)容關(guān)聯(lián)性，而且不像傳統(tǒng)的可逆網(wǎng)絡(luò)引入冗余信息，因此更有利于風(fēng)格化處理。借助Matting Laplacian訓(xùn)練損失，可以處理線性變換引起的像素親和力損失問(wèn)題，因此提出的框架對(duì)多功能風(fēng)格遷移是適用和有效的。廣泛的實(shí)驗(yàn)顯示，CAP-VSTNet相比于現(xiàn)有方法可以產(chǎn)生更好的定量和定性結(jié)果。
Inversion-Based Style Transfer with Diffusion Models
繪畫(huà)中的藝術(shù)風(fēng)格是表達(dá)的方式，包括繪畫(huà)材料、顏色、筆法，還包括高級(jí)屬性，包括語(yǔ)義元素、物體形狀等。以往的任意示例引導(dǎo)的藝術(shù)圖像生成方法通常不能控制形狀變化或傳達(dá)元素。已經(jīng)預(yù)先訓(xùn)練的文本到圖像生成擴(kuò)散概率模型在質(zhì)量上已經(jīng)取得了顯著的成績(jī)，但通常需要大量的文本描述來(lái)準(zhǔn)確地描繪特定畫(huà)作的屬性。
本文認(rèn)為，藝術(shù)品的獨(dú)特之處恰恰在于它無(wú)法用平常的語(yǔ)言充分解釋。關(guān)鍵思想是直接從一幅畫(huà)作中學(xué)習(xí)藝術(shù)風(fēng)格，然后在不提供復(fù)雜的文本描述的情況下進(jìn)行合成。具體而言，將風(fēng)格假設(shè)為繪畫(huà)的可學(xué)習(xí)文本描述。提出了一種基于逆映射inversion的風(fēng)格遷移方法（inversion-based style transfer，InST），可以高效和精確地學(xué)習(xí)圖像的關(guān)鍵信息，從而捕捉和傳輸繪畫(huà)的藝術(shù)風(fēng)格。
在各種藝術(shù)家和風(fēng)格的眾多畫(huà)作上展示了方法的質(zhì)量和效率。代碼和模型在 https://github.com/zyxElsa/InST
Neural Preset for Color Style Transfer
論文提出一種神經(jīng)預(yù)設(shè)技術(shù)（Neural Preset technique），以解決現(xiàn)有顏色風(fēng)格遷移方法的局限性，包括視覺(jué)偽影、龐大的內(nèi)存需求和風(fēng)格切換速度慢。方法基于兩個(gè)核心設(shè)計(jì)。
首先，提出了確定性神經(jīng)顏色映射（DNCM），通過(guò)一個(gè)圖像自適應(yīng)的顏色映射矩陣一致地作用于每個(gè)像素，避免偽影，并支持具有小內(nèi)存占用的高分辨率輸入。
其次，通過(guò)將任務(wù)劃分為顏色歸一化和風(fēng)格化來(lái)開(kāi)發(fā)一個(gè)兩階段流水線，這允許通過(guò)將顏色風(fēng)格提取為預(yù)設(shè)并在歸一化的輸入圖像上重復(fù)使用它們來(lái)有效地進(jìn)行風(fēng)格切換。由于缺乏成對(duì)數(shù)據(jù)集，描述了如何通過(guò)自監(jiān)督策略來(lái)訓(xùn)練神經(jīng)預(yù)設(shè)。文章來(lái)源：http://www.zghlxwxcb.cn/news/detail-501394.html
通過(guò)全面的評(píng)估展示了神經(jīng)預(yù)設(shè)相對(duì)于現(xiàn)有方法的各種優(yōu)勢(shì)。此外，展示了訓(xùn)練的模型可以自然地支持多個(gè)應(yīng)用程序，無(wú)需微調(diào)，包括低光圖像增強(qiáng)、水下圖像校正、圖像去霧和圖像調(diào)和?？梢栽?https://zhkkke.github.io/NeuralPreset/#/ 獲得源代碼和訓(xùn)練模型。文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-501394.html
到了這里，關(guān)于CVPR 2023 | 風(fēng)格遷移論文3篇簡(jiǎn)讀，視覺(jué)AIGC系列的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！
