摘要
Neural Radiance Fields (NeRF) 已通過密集視圖圖像展示了卓越的 3D 重建能力。然而,在稀疏視圖設(shè)置下,其性能顯著惡化。我們觀察到,在這種情況下,學(xué)習(xí)不同視圖之間像素的 3D 一致性對于提高重建質(zhì)量至關(guān)重要。在本文中,我們提出了 ConsistencyNeRF,一種利用深度信息來規(guī)范像素之間的多視圖和單視圖 3D 一致性的方法。具體來說,ConstantNeRF 采用深度導(dǎo)出的幾何信息和深度不變損失來集中于表現(xiàn)出 3D 對應(yīng)性并保持一致深度關(guān)系的像素。對最近代表性作品的大量實(shí)驗(yàn)表明,我們的方法可以顯著提高稀疏視圖條件下的模型性能,與各種基準(zhǔn)的普通基線相比,PSNR 提高?94%,SSIM 提高 76%,LPIPS 提高 31%,包括 DTU、NeRF 合成和 LLFF。
框架
本文所提出的多視圖和單視圖 3D 一致性正則化的演示。我們利用不同視圖之間的多視圖深度對應(yīng)關(guān)系來對多視圖 3D 一致性進(jìn)行正則化,以屏蔽滿足 3D 對應(yīng)關(guān)系(紅點(diǎn))或不滿足 3D 對應(yīng)關(guān)系(綠點(diǎn))的像素,并根據(jù)掩模信息構(gòu)造損失。我們還通過基于最先進(jìn)的 MiDas 模型預(yù)測的單目深度構(gòu)建深度尺度不變損失函數(shù)來規(guī)范單視圖 3D 一致性。
實(shí)驗(yàn)效果
以 3 個視圖作為輸入的 LLFF 數(shù)據(jù)集的新穎視圖綜合結(jié)果。?我們觀察到基線受到模糊結(jié)果的影響,而我們的 ConsistencyNeRF 可以產(chǎn)生具有細(xì)粒度細(xì)節(jié)的清晰結(jié)果。
結(jié)論
在本文中,我們針對具有挑戰(zhàn)性的稀疏視圖合成問題,提出了 ConcientNeRF,它增強(qiáng)了具有 3D 一致性的神經(jīng)輻射場。為了在不同視圖中的像素之間建立對應(yīng)關(guān)系,我們提出了一種基于掩碼的損失,以 3D 一致性來定位像素,而不是在訓(xùn)練目標(biāo)中平等地對待所有像素。此外,我們采用同一塊中像素之間的深度一致性正則化來規(guī)范同一視圖中像素之間的3D一致性。我們的實(shí)驗(yàn)結(jié)果表明,我們提出的方法顯著提高了具有稀疏視圖設(shè)置的代表性 NeRF 方法的性能,并且可以比以前的基于深度的方法帶來更大的性能提升。這些有希望的結(jié)果表明,基于一致性的 NeRF 是渲染具有正確幾何形狀和細(xì)粒度細(xì)節(jié)的圖像的重要方向??傊?,我們提出的方法為稀疏視圖合成的挑戰(zhàn)性問題提供了一種新的有效解決方案,并且在未來各個領(lǐng)域的應(yīng)用中具有廣闊的前景。文章來源:http://www.zghlxwxcb.cn/news/detail-629177.html
論文鏈接:https://arxiv.org/pdf/2305.11031v1.pdf文章來源地址http://www.zghlxwxcb.cn/news/detail-629177.html
到了這里,關(guān)于計算機(jī)視覺與圖形學(xué)-神經(jīng)渲染專題-ConsistentNeRF的文章就介紹完了。如果您還想了解更多內(nèi)容,請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章,希望大家以后多多支持TOY模板網(wǎng)!