【CVPR 2023的AIGC應(yīng)用匯總(6)】醫(yī)學(xué)圖像diffusion擴(kuò)散/GAN生成對(duì)抗網(wǎng)絡(luò)

【CVPR 2023的AIGC應(yīng)用匯總(5)】語義布局可控生成，基于diffusion擴(kuò)散/GAN生成對(duì)抗

【CVPR 2023的AIGC應(yīng)用匯總(4)】圖像恢復(fù)，基于GAN生成對(duì)抗/diffusion擴(kuò)散模型

【CVPR 2023的AIGC應(yīng)用匯總（3）】GAN改進(jìn)/可控生成的方法10篇

【CVPR 2023的AIGC應(yīng)用匯總(2)】可控文生圖，基于diffusion擴(kuò)散模型/GAN生成對(duì)抗

【CVPR 2023的AIGC應(yīng)用匯總(1)】圖像轉(zhuǎn)換/翻譯，基于GAN生成對(duì)抗/diffusion擴(kuò)散模型

1、A Hierarchical Representation Network for Accurate and Detailed Face Reconstruction from In-The-Wild Images

受到3DMM低維表示能力的限制，大多數(shù)基于3DMM的面部重建（ face reconstruction，F(xiàn)R）方法無法恢復(fù)高頻面部細(xì)節(jié)，如皺紋、酒窩等。有人嘗試通過引入細(xì)節(jié)圖或非線性操作來解決這個(gè)問題，然而，結(jié)果仍不是很生動(dòng)。

為此，本文提出一種新的分層表示網(wǎng)絡(luò)（hierarchical representation network，HRN），以實(shí)現(xiàn)從單幅圖像中進(jìn)行精確和詳細(xì)的面部重建。具體來說，實(shí)現(xiàn)了幾何解耦，引入分層表示來實(shí)現(xiàn)詳細(xì)的面部建模。同時(shí)，引入3D面部細(xì)節(jié)的先驗(yàn)知識(shí)，以提高重建結(jié)果的準(zhǔn)確性和真實(shí)性。

還提出了一個(gè)去修飾模塊，以實(shí)現(xiàn)幾何和外觀的更好解耦。值得注意的是，通過考慮不同視角的細(xì)節(jié)一致性，可以擴(kuò)展到多視角方式。兩個(gè)單視角和兩個(gè)多視角FR基準(zhǔn)上的大量實(shí)驗(yàn)表明，方法在重建精度和視覺效果方面優(yōu)于現(xiàn)有方法。

最后，引入了一個(gè)高質(zhì)量的3D人臉數(shù)據(jù)集FaceHD-100，以推動(dòng)高保真面部重建的研究。項(xiàng)目主頁地址為https://younglbw.github.io/HRN-homepage/

2、DR2: Diffusion-based Robust Degradation Remover for Blind Face Restoration

盲面部修復(fù)（Blind face restoration）通常使用預(yù)定義的退化模型將退化的低質(zhì)量數(shù)據(jù)為訓(xùn)練數(shù)據(jù)，而在現(xiàn)實(shí)世界中可能發(fā)生更復(fù)雜的情況。和實(shí)際退化之間的差距，對(duì)修復(fù)性能造成影響，輸出結(jié)果中常常觀察到偽影。然而，在訓(xùn)練數(shù)據(jù)中包含所有類型的退化，想足以覆蓋現(xiàn)實(shí)世界的情況，是昂貴的且不可行的。

為了解決這個(gè)魯棒性問題，提出了基于擴(kuò)散的魯棒退化去除器（Diffusion-based Robust Degradation Remover，DR2），首先將退化圖像轉(zhuǎn)換為粗糙但不受退化影響的預(yù)測，然后采用增強(qiáng)模塊將粗糙預(yù)測恢復(fù)為高質(zhì)量圖像。通過利用性能優(yōu)越的去噪擴(kuò)散概率模型，DR2將輸入圖像擴(kuò)散到嘈雜狀態(tài)，各種類型的退化讓位于高斯噪聲，然后通過迭代去噪步驟捕獲語義信息。因此，DR2對(duì)常見退化（如模糊、調(diào)整大小、噪聲和壓縮）具有魯棒性，并且與不同設(shè)計(jì)的增強(qiáng)模塊相兼容。

各種設(shè)定下的實(shí)驗(yàn)表明，在嚴(yán)重退化的合成和現(xiàn)實(shí)世界數(shù)據(jù)集上優(yōu)于當(dāng)前最優(yōu)秀的方法。

3、DiffusionRig: Learning Personalized Priors for Facial Appearance Editing

解決從少量同一個(gè)人的肖像照片（例如，20 張]）中學(xué)習(xí)個(gè)人特定面部先驗(yàn)的問題。這使我們能夠編輯這個(gè)特定人的面部表情，如表情和光照，同時(shí)保留他們的身份和高頻面部細(xì)節(jié)。

提出DiffusionRig，基于擴(kuò)散模型，由自然場景下的單圖像中估計(jì)的粗糙的 3D 人臉模型條件。在高層次上，DiffusionRig 學(xué)會(huì)將簡單的 3D 人臉模型渲染為給定人物的真實(shí)照片。具體來說，DiffusionRig 分兩階段進(jìn)行訓(xùn)練：首先從大規(guī)模臉部數(shù)據(jù)集中學(xué)習(xí)通用的面部先驗(yàn)，然后從感興趣的人物的一小部分肖像照片集中學(xué)習(xí)個(gè)人特定的先驗(yàn)。通過學(xué)習(xí)這種個(gè)性化的先驗(yàn)中的 CGI-to-photo 映射，僅僅在粗糙的 3D 模型條件下，DiffusionRig 可以“操縱”肖像照片的光照、面部表情、頭部姿勢(shì)等，同時(shí)保留這個(gè)人的身份和其他高頻特征。

定性和定量實(shí)驗(yàn)表明，DiffusionRig 在身份保護(hù)和照片寫實(shí)方面均優(yōu)于現(xiàn)有方法。詳細(xì)的補(bǔ)充材料、視頻、代碼和數(shù)據(jù)網(wǎng)站：https://diffusionrig.github.io

4、Fine-Grained Face Swapping via Regional GAN Inversion

提出一種新的高保真換臉范式，能夠保留期望的微妙幾何和紋理細(xì)節(jié)。從微觀面部編輯的角度重新思考換臉任務(wù)，基于“編輯用于互換（editing for swapping）”（E4S）的原則，提出了一種基于面部組件形狀和紋理的顯式解耦方法。

遵循E4S原則，實(shí)現(xiàn)面部特征的全局和局部互換，以及由用戶指定的部分互換。此外，E4S范式通過面部遮罩固有地處理面部遮擋問題。核心是一種新的區(qū)域GAN逆映射（RGI）方法，它允許顯式解耦形狀和紋理，同時(shí)允許在StyleGAN的潛在空間中進(jìn)行面部互換。具體來說，設(shè)計(jì)了一個(gè)多尺度遮罩引導(dǎo)編碼器，將每個(gè)面部組件的紋理投影到區(qū)域樣式碼中。還設(shè)計(jì)了一個(gè)遮罩引導(dǎo)注入模塊，用樣式碼操作特征映射?；诮怦?，面部互換被重新制定為樣式和遮罩互換的簡化問題。

與現(xiàn)有技術(shù)的大量實(shí)驗(yàn)和比較表明，方法在保留紋理和形狀細(xì)節(jié)方面以及處理高分辨率圖像方面具有優(yōu)越性。項(xiàng)目頁面地址為https://e4s2022.github.io

5、SunStage: Portrait Reconstruction and Relighting using the Sun as a Light Stage

光照舞臺(tái)使用一系列校準(zhǔn)相機(jī)和燈光，以不同照明和視圖下捕捉對(duì)象的面部外觀。這些捕獲的信息對(duì)于面部重建和重照至關(guān)重要。不幸的是，光照舞臺(tái)往往無法獲取：它們代價(jià)昂貴并且需要大量的技術(shù)專業(yè)知識(shí)來建造和操作。

本文提出SunStage：一種輕量級(jí)替代光照舞臺(tái)的方法，僅使用智能手機(jī)相機(jī)和太陽捕捉可比較的數(shù)據(jù)。方法只需要用戶在戶外拍攝一段自拍視頻，原地旋轉(zhuǎn)，并使用太陽和臉之間的變化角度來指導(dǎo)面部幾何建模，反射率、攝像機(jī)姿勢(shì)和照明參數(shù)的聯(lián)合重建。

盡管在野外未校準(zhǔn)的環(huán)境中，方法能夠重建詳細(xì)的面部外觀和幾何形狀，實(shí)現(xiàn)諸如重照、新視圖合成和反射率編輯等引人注目的效果。

關(guān)注公眾號(hào)【機(jī)器學(xué)習(xí)與AI生成創(chuàng)作】，更多精彩等你來讀：

深入淺出stable diffusion：AI作畫技術(shù)背后的潛在擴(kuò)散模型論文解讀

深入淺出ControlNet，一種可控生成的AIGC繪畫生成算法！?

經(jīng)典GAN不得不讀：StyleGAN

?戳我，查看GAN的系列專輯~！

一頓午飯外賣，成為CV視覺的前沿弄潮兒！

最新最全100篇匯總！生成擴(kuò)散模型Diffusion Models

ECCV2022 | 生成對(duì)抗網(wǎng)絡(luò)GAN部分論文匯總

CVPR 2022 | 25+方向、最新50篇GAN論文

?ICCV 2021 | 35個(gè)主題GAN論文匯總

超110篇！CVPR 2021最全GAN論文梳理

超100篇！CVPR 2020最全GAN論文梳理

拆解組新的GAN：解耦表征MixNMatch

StarGAN第2版：多域多樣性圖像生成

附下載 |?《可解釋的機(jī)器學(xué)習(xí)》中文版

附下載 |《TensorFlow 2.0 深度學(xué)習(xí)算法實(shí)戰(zhàn)》

附下載 |《計(jì)算機(jī)視覺中的數(shù)學(xué)方法》分享

《基于深度學(xué)習(xí)的表面缺陷檢測方法綜述》

《零樣本圖像分類綜述: 十年進(jìn)展》

《基于深度神經(jīng)網(wǎng)絡(luò)的少樣本學(xué)習(xí)綜述》

《禮記·學(xué)記》有云：獨(dú)學(xué)而無友，則孤陋而寡聞

點(diǎn)擊?一頓午飯外賣，成為CV視覺的前沿弄潮兒！，領(lǐng)取優(yōu)惠券，加入?AI生成創(chuàng)作與計(jì)算機(jī)視覺?知識(shí)星球！文章來源地址http://www.zghlxwxcb.cn/news/detail-490817.html