《pi-GAN: Periodic Implicit Generative Adversarial Networks for 3D-Aware Image Synthesis》
摘要
我們見證了3D感知圖像合成的快速進(jìn)展，利用了生成視覺模型和神經(jīng)渲染的最新進(jìn)展。然而，現(xiàn)有的方法在兩方面存在不足：首先，它們可能缺乏底層的3D表示，或者依賴于視圖不一致的渲染，從而合成不具有多視圖一致性的圖像；其次，它們往往依賴于表達(dá)能力不足的表示網(wǎng)絡(luò)架構(gòu)，因此它們的結(jié)果缺乏圖像質(zhì)量。我們提出了一種新的生成模型，稱為周期隱式生成對(duì)抗性網(wǎng)絡(luò)（π-GAN或π-GAN），用于高質(zhì)量的3D感知圖像合成。π-GAN利用具有周期激活函數(shù)和體積渲染的神經(jīng)表示來將場(chǎng)景表示為視圖一致的輻射場(chǎng)。所提出的方法在具有多個(gè)真實(shí)和合成數(shù)據(jù)集的3D感知圖像合成中獲得了最先進(jìn)的結(jié)果。
實(shí)驗(yàn)效果
框架
pi-GAN的生成框架，
地址：https://arxiv.org/pdf/2012.00926v2.pdf
《CIPS-3D: A 3D-Aware Generator of GANs Based on Conditionally-Independent Pixel Synthesis》
摘要
基于風(fēng)格的GAN（StyleGAN）架構(gòu)在生成高質(zhì)量圖像方面取得了最先進(jìn)的成果，但它缺乏對(duì)相機(jī)姿勢(shì)的明確和精確控制。最近提出的基于NeRF的GANs在3D感知生成器方面取得了巨大進(jìn)展，但它們還無法生成高質(zhì)量的圖像。本文介紹了CIPS-3D，這是一種基于風(fēng)格的3D感知生成器，由淺NeRF網(wǎng)絡(luò)和深隱式神經(jīng)表示（INR）網(wǎng)絡(luò)組成。生成器在沒有任何空間卷積或上采樣操作的情況下獨(dú)立地合成每個(gè)像素值。此外，我們?cè)\斷了鏡像對(duì)稱問題，這意味著次優(yōu)解，并通過引入輔助鑒別器來解決它。CIPS3D經(jīng)過對(duì)原始單視圖圖像的訓(xùn)練，在FFHQ上256×256分辨率的圖像中，其令人印象深刻的FID為6.97，創(chuàng)下了3D感知圖像合成的新紀(jì)錄。我們還展示了CIPS-3D的幾個(gè)有趣的方向，如遷移學(xué)習(xí)和3D人臉風(fēng)格化。
框架
基于風(fēng)格的 3D 感知生成器的詳細(xì)超參數(shù)介紹。NeRF 網(wǎng)絡(luò)很淺，以節(jié)省運(yùn)行時(shí)內(nèi)存。INR網(wǎng)絡(luò)很深，以增加生成器的容量。我們將3D 形狀和外觀分開，其中 NeRF 網(wǎng)絡(luò)負(fù)責(zé) 3D 形狀，INR 網(wǎng)絡(luò)負(fù)責(zé)外觀。輔助鑒別器有助于克服鏡像對(duì)稱問題。對(duì)于 INR 網(wǎng)絡(luò)，每個(gè) ModFC 后面都跟著一個(gè) LeakyReLU（此處未顯示）。
實(shí)驗(yàn)結(jié)果
結(jié)論
本文提出了一種基于風(fēng)格的 3D 感知生成器，可以獨(dú)立合成像素值，無需任何空間卷積或上采樣操作。我們發(fā)現(xiàn)輸入坐標(biāo)的對(duì)稱性導(dǎo)致了鏡像對(duì)稱問題，并提出利用輔助鑒別器來解決這個(gè)問題。我們期待將所提出的生成器應(yīng)用于更有趣的應(yīng)用，例如 3D 感知 GAN 反轉(zhuǎn)和圖像到圖像翻譯。文章來源：http://www.zghlxwxcb.cn/news/detail-625906.html
論文地址：https://arxiv.org/pdf/2110.09788v1.pdf文章來源地址http://www.zghlxwxcb.cn/news/detail-625906.html
到了這里，關(guān)于計(jì)算機(jī)視覺與圖形學(xué)-神經(jīng)渲染專題-pi-GAN and CIPS-3D的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！
