1.目標(biāo)：
對動態(tài)場景進(jìn)行渲染，完成動態(tài)前景與背景分離、背景inpainting、動態(tài)前景編輯和新視角生成。
2.動機(jī)：
之前的方法如nerf只能夠渲染靜態(tài)場景（利用的是靜態(tài)場景在多視角下的一致性），如將整張圖像場景中的所有物體編碼進(jìn)單個神經(jīng)網(wǎng)絡(luò)中，缺乏表征動態(tài)物體和將這些物體分解為單個物體的能力。
3.貢獻(xiàn)：
1、提出了一種新的神經(jīng)渲染方法，將動態(tài)的多目標(biāo)場景分解為一個具有，經(jīng)過解耦的目標(biāo)運(yùn)動與場景表征，的場景圖。
2、直接從一個序列的視頻幀與對應(yīng)的跟蹤數(shù)據(jù)中學(xué)習(xí)每個場景中節(jié)點(diǎn)（物體）的表征。并對一類實(shí)例（如卡車，汽車）使用共享的體積表征。
3、能夠給完全不可見的動態(tài)物體渲染新視圖，例如在一個場景中加入該場景中不存在的動態(tài)物體。
4、能夠通過逆渲染方式完成3D目標(biāo)檢測。
4.方法：
1.場景圖定義：
定義了一個場景圖S：
其中W代表世界節(jié)點(diǎn)，C代表相機(jī)節(jié)點(diǎn)，F(xiàn)代表物體類別，包含了靜態(tài)背景與每個類別的動態(tài)目標(biāo)，L代表每個具體物體的表征latent，，E代表不同節(jié)點(diǎn)之間的仿射變換，如局部和全局坐標(biāo)系之間的變換。
由于同一個類別共享一種外形，所以對于每個具體個體需要計算一個尺寸變換參數(shù)S0，用于表達(dá)每個具體物體的外形尺寸。
2.網(wǎng)絡(luò)結(jié)構(gòu)：
使用單個nerf模型對靜態(tài)背景進(jìn)行統(tǒng)一的建模表達(dá)；對動態(tài)物體進(jìn)行類別級nerf建模表達(dá)，即每個類別的物體對應(yīng)一個獨(dú)立的模型；對每個具體的動態(tài)個體，加入表征個體信息的隱變量L與P。L可以理解為該物體的具體外形shape，P可以理解為該物體的具體外觀appearance。
動態(tài)物體局部的3D坐標(biāo)（修正并與物體的姿態(tài)對齊）可由全局坐標(biāo)經(jīng)過變換得到：
其中T是變換矩陣，S0是尺寸變換參數(shù)，采用的是每個物體bounding box的尺寸的倒數(shù)。這樣可以使得網(wǎng)絡(luò)能夠?qū)W習(xí)到不依賴于尺寸的相似性。
渲染的pipline和流程：
1.用場景圖對場景進(jìn)行建模。
2.采樣光線的路徑上對點(diǎn)進(jìn)行采樣，落在動態(tài)物體bounding box內(nèi)的為動態(tài)前景采樣點(diǎn)，其它的為靜態(tài)背景采樣點(diǎn)。
3.對每個采樣點(diǎn)使用對應(yīng)的nerf模型進(jìn)行體密度和RGB預(yù)測，并經(jīng)過體渲染獲得每條光線的最終RGB值。
靜態(tài)背景：
初始(t=0)相機(jī)坐標(biāo)系下，near clip 和 far clip 之間定義與圖像平面平行的N個等距平面，對于任意一條光線，背景節(jié)點(diǎn)采樣點(diǎn)是光線與逐個平面的交點(diǎn)。
動態(tài)物體：
首先把光線變到物體的local坐標(biāo)系，然后計算每條射線方向和所有動態(tài)物體的bbox交點(diǎn)的起點(diǎn)與終點(diǎn)，然后在起點(diǎn)與終點(diǎn)之間采樣Nd個點(diǎn)即為采樣點(diǎn)。
3.結(jié)果：
能夠?qū)崿F(xiàn)動態(tài)物體的旋轉(zhuǎn)平移，并盡量保證光照和陰影的保持與變換。
能夠?qū)崿F(xiàn)場景的編輯，如動態(tài)車輛的加入，移除，排列等。
文章來源：http://www.zghlxwxcb.cn/news/detail-795118.html
在定性結(jié)果和定量指標(biāo)中，均能獲得sota效果。文章來源地址http://www.zghlxwxcb.cn/news/detail-795118.html
到了這里，關(guān)于論文筆記: NSG: Neural Scene Graphs for Dynamic Scenes的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！
![[論文筆記]Glancing Transformer for Non-Autoregressive Neural Machine Translation](https://imgs.yssmx.com/Uploads/2024/02/650251-1.png)
