準(zhǔn)確的 3D 場景和對象重建對于機(jī)器人、攝影測量和 AR/VR 等各種應(yīng)用至關(guān)重要。 NeRF 在合成新穎視圖方面取得了成功，但在準(zhǔn)確表示底層幾何方面存在不足。

推薦：用 NSDT編輯器 快速搭建可編程3D場景

我們已經(jīng)看到了最新的進(jìn)展，例如 NVIDIA 的 Neuralangelo，但也有 NeRFMeshing，它被提議通過從 NeRF 驅(qū)動的網(wǎng)絡(luò)中提取精確的 3D 網(wǎng)格來解決這一挑戰(zhàn)。NeRFMeshing生成的網(wǎng)格在物理上是準(zhǔn)確的，并且可以在不同的設(shè)備上實(shí)時渲染。

1、NeRFMeshing概述

雖然 NeRF 在圖像質(zhì)量、魯棒性和渲染速度方面顯示出令人印象深刻的結(jié)果，但從輻射場獲取準(zhǔn)確的 3D 網(wǎng)格仍然是一個挑戰(zhàn)。 現(xiàn)有的表示主要針對視圖合成進(jìn)行優(yōu)化，而不是明確強(qiáng)制執(zhí)行精確的幾何形狀。 這導(dǎo)致使用體積的密集區(qū)域而不是零厚度的水平設(shè)置表面來近似表面。 此外，大多數(shù)以前的方法缺乏實(shí)時渲染功能以及與標(biāo)準(zhǔn) 3D 圖形管道的兼容性。

NeRFMeshing 提出了一種新穎的管道，用于從經(jīng)過訓(xùn)練的基于 NeRF 的網(wǎng)絡(luò)中有效地提取幾何精確的網(wǎng)格。 該方法僅增加很小的時間開銷，并生成具有精確幾何形狀和神經(jīng)顏色的網(wǎng)格，可以在通用硬件上實(shí)時渲染。

NeRFMeshing的關(guān)鍵組件是有符號表面近似網(wǎng)絡(luò) (SSAN: Signed Surface Appriximation Network)，它訓(xùn)練后處理 NeRF 管道來定義底層表面和外觀。 SSAN 估計(jì)截?cái)喾柧嚯x場 (TSDF: Truncated Signed Distance Field) 和特征外觀場，從而能夠提取場景的 3D 三角形網(wǎng)格。 然后使用外觀網(wǎng)絡(luò)渲染該網(wǎng)格以生成與視圖相關(guān)的顏色。

2、NeRFMeshing的優(yōu)勢

與替代方法相比，NeRFMeshing 具有多種優(yōu)勢。 它可以與任何 NeRF 架構(gòu)相結(jié)合，從而輕松融入該領(lǐng)域的新進(jìn)展。 該方法可以處理無界場景和復(fù)雜的非朗伯表面。 NeRFMeshing 還保持了神經(jīng)輻射場的高保真度，包括視圖相關(guān)的效果和反射，使其適合實(shí)時新穎的視圖合成。

人們已經(jīng)探索了學(xué)習(xí)有符號距離函數(shù) (SDF: Signed Distance Field) 等替代方法來提取高質(zhì)量網(wǎng)格，但通常需要額外的輸入模式或固定網(wǎng)格模板。 另一方面，NeRFMeshing 利用 NeRF 的自適應(yīng)能力來穩(wěn)健地表示 3D 場景，而無需修改 NeRF 架構(gòu)。 它克服了可微分網(wǎng)格光柵化器面臨的優(yōu)化問題，并實(shí)現(xiàn)了速度和幾何精度。

NeRFMeshing 提供了一個端到端管道，用于利用 NeRF 的神經(jīng)特征提取精確的 3D 網(wǎng)格。 該過程涉及從圖像訓(xùn)練 NeRF 網(wǎng)絡(luò)，然后將訓(xùn)練后的網(wǎng)絡(luò)提煉到 SSAN 模型中。 該模型估計(jì) TSDF 和外觀場，從而可以提取 3D 網(wǎng)格。 生成的網(wǎng)格可以無縫集成到圖形和模擬管道中，并實(shí)現(xiàn)依賴于視圖的實(shí)時渲染。

NeRFMeshing 引入了一種從 NeRF 驅(qū)動的網(wǎng)絡(luò)獲取精確 3D 網(wǎng)格的新穎方法，解決了精確幾何表示的挑戰(zhàn)。 生成的網(wǎng)格可以實(shí)時渲染并提供高保真度，使其適合各種應(yīng)用。 NeRFMeshing 的靈活性允許與不同的 NeRF 架構(gòu)和未來的進(jìn)步輕松集成。 該方法為真實(shí) 3D 場景和對象重建提供了可能性，從而實(shí)現(xiàn)基于物理的模擬、實(shí)時可視化和交互。

原文鏈接：NeRFMeshing網(wǎng)格提取 — BimAnt文章來源地址http://www.zghlxwxcb.cn/news/detail-680193.html

到了這里，關(guān)于NeRFMeshing - 精確提取NeRF中的3D網(wǎng)格的文章就介紹完了。如果您還想了解更多內(nèi)容，請?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！