如今，自動駕駛汽車可以在普通情況下平穩(wěn)行駛，人們普遍認(rèn)識到，真實(shí)的傳感器模擬將在通過模擬解決剩余的極端情況方面發(fā)揮關(guān)鍵作用。為此，我們提出了一種基于神經(jīng)輻射場（NeRF）的自動駕駛模擬器。與現(xiàn)有作品相比，我們的作品具有三個顯著特點(diǎn)：（1）實(shí)例感知。我們的模擬器使用獨(dú)立的網(wǎng)絡(luò)分別對前景實(shí)例和背景環(huán)境進(jìn)行建模，以便可以單獨(dú)控制實(shí)例的靜態(tài)（例如大小和外觀）和動態(tài)（例如軌跡）屬性。(2)模塊化。我們的模擬器允許在不同的?NeRF 相關(guān)主干、采樣策略、輸入模式等之間靈活切換。我們期望這種模塊化設(shè)計能夠促進(jìn)基于 NeRF 的自動駕駛模擬的學(xué)術(shù)進(jìn)步和工業(yè)部署。(3)真實(shí)感?？紤]到最佳的模塊選擇，我們的模擬器設(shè)置了新的最先進(jìn)的照片級真實(shí)感結(jié)果。我們的模擬器將是開源的，而我們的大多數(shù)模擬器則不是。
論文地址：https://arxiv.org/pdf/2307.15058.pdf
github地址：https://open-air-sun.github.io/mars/
核心框架
我們首先計算所待查詢的射線 r 和所有可見實(shí)例邊界框的射線盒交集。對于背景節(jié)點(diǎn)，我們直接使用選定的場景表示模型和選定的采樣器來推斷逐點(diǎn)屬性，就像傳統(tǒng) NeRF 中一樣。對于前景節(jié)點(diǎn)，光線首先被轉(zhuǎn)換為實(shí)例幀，然后通過前景節(jié)點(diǎn)表示進(jìn)行處理。右：所有樣本都被組合并渲染為 RGB 圖像、深度圖和語義。
優(yōu)化器中的Loss
顏色監(jiān)督：標(biāo)準(zhǔn)的MSE；
深度監(jiān)督：直接獲取/單目深度估計獲得；
語義監(jiān)督：跟隨著SemanticNeRF，并使用一個交叉熵Loss；
天空監(jiān)督：引入 BCE 語義正則化來來支持使用天空模型來處理無限遠(yuǎn)距離處的外觀；
accum監(jiān)督：最小化背景截斷采樣的密度和，來去除偽影；
實(shí)驗(yàn)效果
結(jié)論與局限性
在本文中，我們提出了一個基于 NeRF 的逼真自動駕駛模擬模塊化框架。我們的開源框架由一個后臺節(jié)點(diǎn)和多個前臺節(jié)點(diǎn)組成，能夠?qū)?fù)雜的動態(tài)場景進(jìn)行建模。我們通過大量的實(shí)驗(yàn)證明了我們框架的有效性。所提出的管道在公共基準(zhǔn)上實(shí)現(xiàn)了最先進(jìn)的渲染性能。我們還支持場景表示和采樣策略的不同設(shè)計選擇，從而在模擬過程中提供靈活性和多功能性。?
局限性。?文章來源：http://www.zghlxwxcb.cn/news/detail-660337.html
我們的方法需要數(shù)小時的訓(xùn)練，并且無法實(shí)時渲染。此外，我們的方法未能考慮玻璃或其他反射材料上的動態(tài)鏡面反射效應(yīng)，這可能會導(dǎo)致渲染圖像中的偽影。提高模擬效率和視圖相關(guān)效果將是我們未來的工作。文章來源地址http://www.zghlxwxcb.cn/news/detail-660337.html
到了這里，關(guān)于計算機(jī)視覺與圖形學(xué)-神經(jīng)渲染專題-第一個基于NeRF的自動駕駛仿真平臺的文章就介紹完了。如果您還想了解更多內(nèi)容，請?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！
