項(xiàng)目主頁(yè): https://windingwind.github.io/seal-3d/
代碼：https://github.com/windingwind/seal-3d/
論文: https://arxiv.org/pdf/2307.15131

摘要

隨著隱式神經(jīng)表征（即NeRF）的流行，迫切需要編輯方法與隱式3D模型交互，如后處理重建場(chǎng)景和3D內(nèi)容創(chuàng)建。之前的工作在編輯的靈活性、質(zhì)量和速度方面都受到了限制，為了能夠直接響應(yīng)編輯指令并立即更新。提出的Seal-3D 它允許用戶以像素級(jí)和自由的方式使用各種NeRF類(lèi)主干來(lái)編輯NeRF模型，并立即預(yù)覽編輯效果。為了實(shí)現(xiàn)這些效果，我們 提出的代理函數(shù)將編輯指令映射到NeRF模型的原始空間，以及采用 局部預(yù)訓(xùn)練和全局微調(diào)的師生訓(xùn)練策略，解決了這些挑戰(zhàn)。建立了一個(gè)NeRF編輯系統(tǒng)來(lái)展示各種編輯類(lèi)型，可以以大約1秒的交互速度實(shí)現(xiàn)引人注目的編輯效果。

一、引言

得益于高重建精度和相對(duì)低的內(nèi)存消耗，NeRF及其變體在許多3D應(yīng)用中顯示出了巨大的潛力，如3D重建、新視圖合成和虛擬/增強(qiáng)現(xiàn)實(shí)。當(dāng)前迫切需要人類(lèi)友好的編輯工具來(lái)與這些3D模型交互。由于捕獲數(shù)據(jù)的噪聲和重建算法的局限性，從現(xiàn)實(shí)世界中重建的對(duì)象很可能包含偽影。

之前的作品曾嘗試編輯由NeRF表示的3D場(chǎng)景，包括對(duì)象分割[19,41Edit NeRF]、對(duì)象去除[18 Nerf-in]、外觀編輯[Palettenerf 13,Nerf-editing25]、對(duì)象混合[Template nerf7]等，主要集中在粗粒度的對(duì)象級(jí)編輯上，其收斂速度不能滿足交互式編輯的要求。最近的一些方法[Neumesh 45,Nerf-editing 5]通過(guò)引入網(wǎng)格作為編輯代理，將NeRF的編輯轉(zhuǎn)換為網(wǎng)格編輯。這需要用戶操作一個(gè)額外的網(wǎng)格劃分工具，這限制了交互性和用戶友好性。

點(diǎn)云、紋理網(wǎng)格和occupancy volume等 顯式3D表示，存儲(chǔ)對(duì)象和場(chǎng)景的顯式幾何結(jié)構(gòu)；隱式表示使用神經(jīng)網(wǎng)絡(luò)來(lái)查詢3D場(chǎng)景的特征，包括幾何和顏色。現(xiàn)有的三維編輯方法，以基于網(wǎng)格的表示為例，可以通過(guò)替換與目標(biāo)對(duì)象的表面面積和對(duì)象紋理對(duì)應(yīng)的頂點(diǎn)來(lái)改變對(duì)象的幾何圖形。如果視覺(jué)效果和潛在表征之間沒(méi)有明確可解釋的對(duì)應(yīng)關(guān)系，編輯隱式3D模型是間接的和具有挑戰(zhàn)性的。此外，很難在場(chǎng)景的局部區(qū)域找到隱式的網(wǎng)絡(luò)參數(shù)，這意味著網(wǎng)絡(luò)參數(shù)的適應(yīng)可能會(huì)導(dǎo)致不希望發(fā)生的全局變化。這給細(xì)粒度編輯帶來(lái)了更多的挑戰(zhàn)。

本文提出了一種交互式像素級(jí)編輯的三維場(chǎng)景隱式神經(jīng)表示方法和系統(tǒng)，Seal-3D（借用了軟件Adobe PhotoShop ）。如圖1所示，編輯系統(tǒng)的密封工具包括四種編輯：1)邊界箱工具。它可以轉(zhuǎn)換和縮放邊界框內(nèi)的東西，就像復(fù)制-粘貼操作一樣。2）刷子工具。它在選定的區(qū)域上油漆指定的顏色，并可以增加或減少表面高度，就像油漆刷或擦傷器一樣。3）固定工具。它允許用戶自由地移動(dòng)一個(gè)控制點(diǎn)，并根據(jù)用戶的輸入影響其鄰居空間。4)使用顏色的工具。它會(huì)編輯對(duì)象表面的顏色

首先，為了建立顯式編輯指令與隱式網(wǎng)絡(luò)參數(shù)更新之間的對(duì)應(yīng)關(guān)系，我們提出了將目標(biāo)三維空間（由用戶從交互式GUI編輯指令決定）映射到原始三維場(chǎng)景空間的代理功能，以及師生精餾策略，利用代理功能從原始場(chǎng)景獲得的相應(yīng)內(nèi)容監(jiān)督來(lái)更新參數(shù)。其次，為了實(shí)現(xiàn)局部編輯，即減輕局部編輯效應(yīng)對(duì)非局部隱式表示下全局三維場(chǎng)景的影響，我們提出了一個(gè)兩階段的訓(xùn)練過(guò)程：預(yù)訓(xùn)練階段只更新編輯區(qū)域，同時(shí)凍結(jié)后續(xù)MLP解碼器以防止全局退化，微調(diào)階段更新嵌入網(wǎng)格和MLP解碼器的全局光度損失。通過(guò)這種設(shè)計(jì)，預(yù)訓(xùn)練階段更新了局部編輯特性（預(yù)訓(xùn)練可以非?？焖俚厥諗?，并且只在大約1秒內(nèi)呈現(xiàn)局部編輯效果），而微調(diào)階段將局部編輯區(qū)域與未編輯空間的全局結(jié)構(gòu)和未編輯空間的顏色混合起來(lái)，以實(shí)現(xiàn)視圖的一致性。

二、方法

交互式像素級(jí)編輯的Seal-3D，框架如圖2所示，它包括一個(gè)像素級(jí)的代理映射函數(shù)、一個(gè)師生訓(xùn)練框架和一個(gè)在該框架下的學(xué)生NeRF網(wǎng)絡(luò)的兩階段訓(xùn)練策略。我們的編輯工作流從 代理函數(shù) 開(kāi)始，它根據(jù)用戶指定的編輯規(guī)則映射查詢點(diǎn)和射線方向。然后是一個(gè)NeRF-to-NeRF教師-學(xué)生蒸餾框架，其中一個(gè)具有編輯幾何和顏色映射規(guī)則的教師模型監(jiān)督學(xué)生模型的訓(xùn)練(3.2節(jié))。交互式細(xì)粒度編輯的關(guān)鍵是對(duì)學(xué)生模型的兩階段訓(xùn)練（3.3節(jié))。額外的預(yù)訓(xùn)練階段，對(duì)教師模型中編輯空間內(nèi)的點(diǎn)、射線方向和推斷的GT進(jìn)行采樣、計(jì)算和緩存；只有具有局部性的參數(shù)被更新，導(dǎo)致全局變化的參數(shù)被凍結(jié)。預(yù)訓(xùn)練之后，全局訓(xùn)練階段 finetune 學(xué)生模型。

2.1.基于nerf的編輯問(wèn)題概述

2.1.1 NeRF 基礎(chǔ)知識(shí)，請(qǐng)見(jiàn)我的博客：【三維重建】NeRF原理+代碼講解

2.1.2 基于nerf編輯的挑戰(zhàn)

三維場(chǎng)景由網(wǎng)絡(luò)參數(shù)隱式表示，缺乏可解釋性，難以操縱。在場(chǎng)景編輯方面，很難在顯式編輯指令和網(wǎng)絡(luò)參數(shù)的隱式更新之間找到一個(gè)映射。以前的工作試圖通過(guò)幾種受限的方法來(lái)解決這個(gè)問(wèn)題：

NeRF-Editing和NeuMesh引入了一個(gè)網(wǎng)格支架作為幾何代理來(lái)輔助編輯，這將NeRF編輯任務(wù)簡(jiǎn)化為網(wǎng)格修改。雖然符合現(xiàn)有的基于網(wǎng)格的編輯，但編輯過(guò)程需要提取一個(gè)額外的網(wǎng)格，這很麻煩。此外，編輯后的幾何圖形高度依賴于網(wǎng)格代理結(jié)構(gòu)，使得在表示這些空間時(shí)很難編輯不容易或不能用網(wǎng)格表示的空間是隱式表示的一個(gè)關(guān)鍵特征。Liu等人[ Editing conditional radiance fields] 設(shè)計(jì)了額外的顏色和形狀損失來(lái)監(jiān)督編輯。然而，它們的設(shè)計(jì)loss 僅發(fā)生在二維光度空間中，這限制了三維NeRF模型的編輯能力。

2.2.編輯指導(dǎo)生成

我們的設(shè)計(jì)將 NeRF編輯看作一個(gè)知識(shí)蒸餾的過(guò)程。給定一個(gè)預(yù)先訓(xùn)練的NeRF網(wǎng)絡(luò)擬合一個(gè)特定的場(chǎng)景作為教師網(wǎng)絡(luò)，我們用預(yù)先訓(xùn)練的權(quán)值初始化一個(gè)額外的NeRF網(wǎng)絡(luò)作為學(xué)生網(wǎng)絡(luò)。教師網(wǎng)絡(luò) f_θ^T 根據(jù)用戶輸入的編輯指令生成編輯指導(dǎo)，而學(xué)生網(wǎng)絡(luò) f_θ^S 通過(guò)從教師網(wǎng)絡(luò)輸出的編輯指導(dǎo)中提取編輯知識(shí)進(jìn)行優(yōu)化。

首先，從交互式NeRF編輯器中讀取用戶編輯指令作為像素級(jí)信息。源空間S?R³ 為原始NeRF模型的三維空間，目標(biāo)空間T?R³ 為編輯后的NeRF模型的三維空間。目標(biāo)空間T通過(guò)F^m 扭曲到原始空間S：T→S。F^m 根據(jù)以下編輯規(guī)則對(duì)目標(biāo)空間內(nèi)的點(diǎn)及其相關(guān)方向進(jìn)行變換：函數(shù)中，每個(gè)三維點(diǎn)和觀察方向的“偽”期望編輯效果c_T，σ_T ，可以通過(guò)查詢教師NeRF模型 f_θ^T 。過(guò)程可表示為:

其中，x^s、d^s 表示源空間點(diǎn)的位置和方向，x^t、d^t 表示目標(biāo)空間點(diǎn)的位置和方向。簡(jiǎn)單起見(jiàn)，此過(guò)程可定義為教師模型的預(yù)測(cè)：F^t ：= f_θ^T ? F^m：（x^t，d^t）→（c^T，σ^T）。

推理結(jié)果c^T，σ^T 模擬編輯后的場(chǎng)景，作為網(wǎng)絡(luò)優(yōu)化階段由學(xué)生網(wǎng)絡(luò)提取信息的教師標(biāo)簽。F^m 的映射規(guī)則可以根據(jù)任意的編輯目標(biāo)進(jìn)行設(shè)計(jì)（本文為4種類(lèi)型的編輯）。

1. 邊界形狀工具（Bounding shape tool）

3D編輯軟件常見(jiàn)功能，包括 復(fù)制粘貼、旋轉(zhuǎn)和調(diào)整大小。用戶提供一個(gè)邊界形狀來(lái)指示要編輯的原始空間S，并旋轉(zhuǎn)、翻轉(zhuǎn)和縮放邊界框，以指示目標(biāo)效果。然后，目標(biāo)空間 T 和映射函數(shù) F^m 由接口進(jìn)行解析:

其中R是旋轉(zhuǎn)，S是尺度，c^s，c^t 分別是S，T的中心.。該工具甚至支持跨場(chǎng)景對(duì)象轉(zhuǎn)移，這可以通過(guò)引入轉(zhuǎn)移對(duì)象的NeRF作為一個(gè)額外的教師網(wǎng)絡(luò)，負(fù)責(zé)目標(biāo)區(qū)域內(nèi)的部分教師推理過(guò)程。圖7是效果圖

2. 刷子工具（Brushing tool）

類(lèi)似于造型刷，提升或下降繪制的表面。用戶使用筆刷畫(huà)出草圖，通過(guò)將射線投影在刷過(guò)的像素上生成 S。筆刷標(biāo)準(zhǔn)值 n 和壓力值 p（·）∈[0,1] 由用戶定義，它決定了映射：

3. 錨工具（Anchor tool）

用戶定義一個(gè)控制點(diǎn)xc和一個(gè)平移向量t。x^c 周?chē)膮^(qū)域?qū)⒈黄揭坪瘮?shù)拉伸（·；x^c、t）拉伸。那么這個(gè)映射是它的倒數(shù)：

拉伸的顯式表達(dá)式（·；x^c、t）請(qǐng)參考補(bǔ)充材料。

4. 顏色工具（Color tool）

通過(guò)顏色空間映射（單一顏色或紋理）編輯顏色（空間映射相同）。我們直接在HSL空間中映射網(wǎng)絡(luò)輸出的顏色，這有助于提高顏色的一致性。該方法能夠在修改后的表面上保留陰影細(xì)節(jié)（例如陰影）。我們通過(guò)將原始表面顏色上的亮度（在HSL空間中）偏移量轉(zhuǎn)移到目標(biāo)表面顏色來(lái)實(shí)現(xiàn)這一點(diǎn)。這個(gè)陰影保存策略的實(shí)現(xiàn)細(xì)節(jié)在補(bǔ)充中提出。

2.3.即時(shí)預(yù)覽的兩階段學(xué)生訓(xùn)練

蒸餾訓(xùn)練策略，直接應(yīng)用等式累積的像素值$\hat{C}$、$\hat{D}$之間的photometric 損失，教師模型為學(xué)生模型提供 編輯指導(dǎo)。該訓(xùn)練過(guò)程收斂速度較慢（≈30s或更長(zhǎng)）因而采用兩階段的訓(xùn)練策略：第一階段的目標(biāo)是立即收斂（在1秒內(nèi)），這樣一個(gè)粗編輯結(jié)果就可以立即作為預(yù)覽呈現(xiàn)給用戶；第二階段進(jìn)一步細(xì)化粗預(yù)覽以獲得最終的細(xì)化。

1. 即時(shí)預(yù)覽的局部預(yù)訓(xùn)練。通常，編輯空間相對(duì)較小，對(duì)全局光度損失的訓(xùn)練導(dǎo)致收斂慢。為實(shí)現(xiàn)編輯即時(shí)預(yù)覽，我們在全局訓(xùn)練開(kāi)始前采用了局部預(yù)訓(xùn)練：

1)均勻采樣目標(biāo)空間內(nèi)一組點(diǎn) X?T 和單位球上的方向D，將其輸入教師推理過(guò)程F^t ，得到教師標(biāo)簽c^T、σ^T，并提前緩存；
2)通過(guò)局部預(yù)訓(xùn)練損失對(duì)學(xué)生網(wǎng)絡(luò)進(jìn)行訓(xùn)練：

其中，c^S，σ^S是學(xué)生網(wǎng)絡(luò)預(yù)測(cè)的采樣點(diǎn)（x∈X）的顏色和密度，c^T，σ^T 是緩存的教師標(biāo)簽。預(yù)訓(xùn)練只需1秒，學(xué)生網(wǎng)絡(luò)會(huì)顯示出與編輯說(shuō)明一致的合理的顏色和形狀。

然而，由于非局部隱式神經(jīng)網(wǎng)絡(luò)，只對(duì)編輯區(qū)域的局部點(diǎn)進(jìn)行訓(xùn)練，可能會(huì)導(dǎo)致其他與編輯無(wú)關(guān)的全局區(qū)域的退化。我們觀察到，在混合隱式表示（如Intant NGP）中，局部信息主要存儲(chǔ)在位置嵌入網(wǎng)格中，而后續(xù)的MLP對(duì)全局信息進(jìn)行解碼。因此，在這個(gè)階段，MLP解碼器的所有參數(shù)都被凍結(jié)，以防止全局退化。見(jiàn)實(shí)驗(yàn)插圖12

2. 全局微調(diào)。

經(jīng)過(guò)預(yù)訓(xùn)練后，我們繼續(xù)微調(diào) f_θ^S，將粗預(yù)覽細(xì)化為完全收斂的結(jié)果。這個(gè)階段類(lèi)似于標(biāo)準(zhǔn)的NeRF訓(xùn)練，除了監(jiān)督標(biāo)簽是由教師推理過(guò)程而不是圖像像素生成的。

其中R表示小批中采樣的射線集合。

值得一提的是，學(xué)生網(wǎng)絡(luò)能夠產(chǎn)生比它所學(xué)習(xí)的教師網(wǎng)絡(luò)質(zhì)量更好的結(jié)果。這是因?yàn)榻處熗评磉^(guò)程中的映射操作可能會(huì)在偽GT中產(chǎn)生一些視圖不一致的artifacts。然而，在蒸餾過(guò)程中，由于加強(qiáng)視圖一致性穩(wěn)健性的多視圖訓(xùn)練，學(xué)生網(wǎng)絡(luò)可以自動(dòng)消除這些偽影，如圖6所示。

三、實(shí)驗(yàn)

1. 實(shí)驗(yàn)設(shè)置

實(shí)驗(yàn)采用 Instant-NGP作為編輯框架的NeRF骨干。設(shè)置λ1 = λ2 = 1，學(xué)習(xí)速率固定為0.05。在微調(diào)階段，我們?cè)O(shè)置了λ3 = λ4 = 1，初始學(xué)習(xí)率為0.01。

訓(xùn)練數(shù)據(jù)選合成 NeRF Blender Dataset，以及真實(shí)世界捕獲的 Tanks 和
Temples [12] and DTU [10] 數(shù)據(jù)集。

2. 效果

邊界形狀(圖4和6）效果：

brushing 效果：

錨點(diǎn)（圖5）和顏色（圖1）效果：

與NueMesh的對(duì)比：

四、代碼（未完…）

渲染代碼：nerf/rendering.py line256 函數(shù)run_cuda，得到射線的顏色和深度：

xyzs, dirs, deltas = raymarching.march_rays(n_alive, n_step, rays_alive, rays_t, rays_o, rays_d, self.bound, self.density_bitfield, self.cascade, self.grid_size, nears, fars, 128, perturb if step == 0 else False, dt_gamma, max_steps)

raymarching.march_rays調(diào)用了raymarching/raymarching.py 中l(wèi)ine297的類(lèi)： _march_rays(Function)的forward

總結(jié)

提示：這里對(duì)文章進(jìn)行總結(jié)：

例如：以上就是今天要講的內(nèi)容，本文僅僅簡(jiǎn)單介紹了pandas的使用，而pandas提供了大量能使我們快速便捷地處理數(shù)據(jù)的函數(shù)和方法。文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-643946.html

到了這里，關(guān)于【三維編輯】Seal-3D：基于NeRF的交互式像素級(jí)編輯的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！