摘要
隨著隱式神經(jīng)表示或神經(jīng)輻射場 (NeRF) 的流行，迫切需要與隱式 3D 模型交互的編輯方法，以完成后處理重建場景和 3D 內(nèi)容創(chuàng)建等任務(wù)。雖然之前的作品從不同角度探索了 NeRF 編輯，但它們在編輯靈活性、質(zhì)量和速度方面受到限制，無法提供直接的編輯響應(yīng)和即時預(yù)覽。關(guān)鍵的挑戰(zhàn)是構(gòu)思一種本地可編輯的神經(jīng)表示，它可以直接反映編輯指令并立即更新。為了彌補(bǔ)這一差距，我們提出了一種新的隱式表示交互式編輯方法和系統(tǒng)，稱為 Seal-3D，它允許用戶以像素級和自由的方式編輯 NeRF 模型，并具有廣泛的類 NeRF 主干網(wǎng)，并預(yù)覽 立即編輯效果。為了實(shí)現(xiàn)這些效果，我們提出的代理函數(shù)將編輯指令映射到 NeRF 模型的原始空間，以及具有局部預(yù)訓(xùn)練和全局微調(diào)的student-teacher訓(xùn)練策略來解決這些挑戰(zhàn)。NeRF 編輯系統(tǒng)旨在展示各種編輯類型。我們的系統(tǒng)可以以約1秒的交互速度實(shí)現(xiàn)引人注目的編輯效果。
工程鏈接：https://windingwind.github.io/seal-3d/
框架
左圖：用戶編輯后目標(biāo)空間的 3D 點(diǎn)和視圖方向映射到原始源空間，以從教師模型獲取指導(dǎo) ct、σt 以進(jìn)行學(xué)生訓(xùn)練。右圖：學(xué)生訓(xùn)練由兩個階段組成：快速預(yù)訓(xùn)練，通過局部損失更新網(wǎng)絡(luò)的部分參數(shù)來提供即時預(yù)覽，以及全局損失的微調(diào)。
實(shí)驗(yàn)結(jié)果
第一個交互式像素級 NeRF 編輯工具。我們設(shè)計了一種交互式用戶編輯方法和系統(tǒng) Seal-3D，通過我們新穎的預(yù)訓(xùn)練策略實(shí)現(xiàn)了即時（約 1 秒）預(yù)覽（左）。通過短時間（1~2分鐘）的微調(diào)，可以進(jìn)一步獲得高質(zhì)量的編輯結(jié)果。我們實(shí)施編輯的編輯結(jié)果工具（右）與原始表面（左）上豐富的陰影細(xì)節(jié)（例如陰影）在視圖上保持一致。
3D內(nèi)容編輯
結(jié)論
文章來源：http://www.zghlxwxcb.cn/news/detail-635225.html
我們引入了一個用于神經(jīng)輻射場像素級編輯的交互式框架，支持即時預(yù)覽。具體來說，我們利用student-teacher蒸餾方法提供編輯指導(dǎo)，并設(shè)計兩階段訓(xùn)練策略來實(shí)現(xiàn)網(wǎng)絡(luò)即時收斂，以獲得粗略結(jié)果作為預(yù)覽。與以前的工作不同，我們的方法不需要任何顯式代理（例如網(wǎng)格），從而提高了交互性和用戶友好性。我們的方法還支持在編輯的表面上保留著色效果。一個限制是我們的方法不支持復(fù)雜的依賴于視圖的照明效果，例如鏡面反射，并且不能改變場景照明，這可以通過引入內(nèi)在合成來改進(jìn)。此外，我們的方法不處理原始 NeRF 網(wǎng)絡(luò)的重建失敗（例如浮動偽影）。文章來源地址http://www.zghlxwxcb.cn/news/detail-635225.html
到了這里，關(guān)于計算機(jī)視覺與圖形學(xué)-神經(jīng)渲染專題-Seal-3D(基于NeRF的像素級交互式編輯)的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！
