国产 无码 综合区,色欲AV无码国产永久播放,无码天堂亚洲国产AV,国产日韩欧美女同一区二区

計算機(jī)視覺與圖形學(xué)-神經(jīng)渲染專題-ConsistentNeRF

這篇具有很好參考價值的文章主要介紹了計算機(jī)視覺與圖形學(xué)-神經(jīng)渲染專題-ConsistentNeRF。希望對大家有所幫助。如果存在錯誤或未考慮完全的地方,請大家不吝賜教,您也可以點(diǎn)擊"舉報違法"按鈕提交疑問。

摘要

Neural Radiance Fields (NeRF) 已通過密集視圖圖像展示了卓越的 3D 重建能力。然而,在稀疏視圖設(shè)置下,其性能顯著惡化。我們觀察到,在這種情況下,學(xué)習(xí)不同視圖之間像素的 3D 一致性對于提高重建質(zhì)量至關(guān)重要。在本文中,我們提出了 ConsistencyNeRF,一種利用深度信息來規(guī)范像素之間的多視圖和單視圖 3D 一致性的方法。具體來說,ConstantNeRF 采用深度導(dǎo)出的幾何信息和深度不變損失來集中于表現(xiàn)出 3D 對應(yīng)性并保持一致深度關(guān)系的像素。對最近代表性作品的大量實(shí)驗(yàn)表明,我們的方法可以顯著提高稀疏視圖條件下的模型性能,與各種基準(zhǔn)的普通基線相比,PSNR 提高?94%,SSIM 提高 76%,LPIPS 提高 31%,包括 DTU、NeRF 合成和 LLFF。

框架

本文所提出的多視圖和單視圖 3D 一致性正則化的演示。我們利用不同視圖之間的多視圖深度對應(yīng)關(guān)系來對多視圖 3D 一致性進(jìn)行正則化,以屏蔽滿足 3D 對應(yīng)關(guān)系(紅點(diǎn))或不滿足 3D 對應(yīng)關(guān)系(綠點(diǎn))的像素,并根據(jù)掩模信息構(gòu)造損失。我們還通過基于最先進(jìn)的 MiDas 模型預(yù)測的單目深度構(gòu)建深度尺度不變損失函數(shù)來規(guī)范單視圖 3D 一致性。

計算機(jī)視覺與圖形學(xué)-神經(jīng)渲染專題-ConsistentNeRF,計算機(jī)視覺,人工智能

實(shí)驗(yàn)效果

以 3 個視圖作為輸入的 LLFF 數(shù)據(jù)集的新穎視圖綜合結(jié)果。?我們觀察到基線受到模糊結(jié)果的影響,而我們的 ConsistencyNeRF 可以產(chǎn)生具有細(xì)粒度細(xì)節(jié)的清晰結(jié)果。

計算機(jī)視覺與圖形學(xué)-神經(jīng)渲染專題-ConsistentNeRF,計算機(jī)視覺,人工智能

結(jié)論

在本文中,我們針對具有挑戰(zhàn)性的稀疏視圖合成問題,提出了 ConcientNeRF,它增強(qiáng)了具有 3D 一致性的神經(jīng)輻射場。為了在不同視圖中的像素之間建立對應(yīng)關(guān)系,我們提出了一種基于掩碼的損失,以 3D 一致性來定位像素,而不是在訓(xùn)練目標(biāo)中平等地對待所有像素。此外,我們采用同一塊中像素之間的深度一致性正則化來規(guī)范同一視圖中像素之間的3D一致性。我們的實(shí)驗(yàn)結(jié)果表明,我們提出的方法顯著提高了具有稀疏視圖設(shè)置的代表性 NeRF 方法的性能,并且可以比以前的基于深度的方法帶來更大的性能提升。這些有希望的結(jié)果表明,基于一致性的 NeRF 是渲染具有正確幾何形狀和細(xì)粒度細(xì)節(jié)的圖像的重要方向??傊?,我們提出的方法為稀疏視圖合成的挑戰(zhàn)性問題提供了一種新的有效解決方案,并且在未來各個領(lǐng)域的應(yīng)用中具有廣闊的前景。

論文鏈接:https://arxiv.org/pdf/2305.11031v1.pdf文章來源地址http://www.zghlxwxcb.cn/news/detail-629177.html

到了這里,關(guān)于計算機(jī)視覺與圖形學(xué)-神經(jīng)渲染專題-ConsistentNeRF的文章就介紹完了。如果您還想了解更多內(nèi)容,請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章,希望大家以后多多支持TOY模板網(wǎng)!

本文來自互聯(lián)網(wǎng)用戶投稿,該文觀點(diǎn)僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務(wù),不擁有所有權(quán),不承擔(dān)相關(guān)法律責(zé)任。如若轉(zhuǎn)載,請注明出處: 如若內(nèi)容造成侵權(quán)/違法違規(guī)/事實(shí)不符,請點(diǎn)擊違法舉報進(jìn)行投訴反饋,一經(jīng)查實(shí),立即刪除!

領(lǐng)支付寶紅包贊助服務(wù)器費(fèi)用

相關(guān)文章

  • 計算機(jī)視覺: 神經(jīng)網(wǎng)絡(luò)的視覺世界

    計算機(jī)視覺是人工智能領(lǐng)域的一個重要分支,它涉及到計算機(jī)如何理解和處理圖像和視頻。隨著深度學(xué)習(xí)技術(shù)的發(fā)展,神經(jīng)網(wǎng)絡(luò)已經(jīng)成為計算機(jī)視覺的主要工具。在這篇文章中,我們將討論計算機(jī)視覺的基本概念、核心算法和應(yīng)用。 計算機(jī)視覺的主要任務(wù)包括圖像分類、目標(biāo)

    2024年02月21日
    瀏覽(28)
  • 計算機(jī)視覺-卷積神經(jīng)網(wǎng)絡(luò)

    計算機(jī)視覺-卷積神經(jīng)網(wǎng)絡(luò)

    目錄 計算機(jī)視覺的發(fā)展歷程 卷積神經(jīng)網(wǎng)絡(luò) 卷積(Convolution) 卷積計算 感受野(Receptive Field) 步幅(stride) 感受野(Receptive Field) 多輸入通道、多輸出通道和批量操作 卷積算子應(yīng)用舉例 計算機(jī)視覺作為一門讓機(jī)器學(xué)會如何去“看”的學(xué)科,具體的說,就是讓機(jī)器去識別攝

    2024年02月10日
    瀏覽(26)
  • 7.卷積神經(jīng)網(wǎng)絡(luò)與計算機(jī)視覺

    7.卷積神經(jīng)網(wǎng)絡(luò)與計算機(jī)視覺

    計算機(jī)視覺是一門研究如何使計算機(jī)識別圖片的學(xué)科,也是深度學(xué)習(xí)的主要應(yīng)用領(lǐng)域之一。 在眾多深度模型中,卷積神經(jīng)網(wǎng)絡(luò)“獨(dú)領(lǐng)風(fēng)騷”,已經(jīng)被稱為計算機(jī)視覺的主要研究根據(jù)之一。 卷積神經(jīng)網(wǎng)絡(luò)最初由 Yann LeCun(楊立昆)等人在1989年提出,是最初取得成功的深度神經(jīng)

    2024年04月10日
    瀏覽(23)
  • 計算機(jī)視覺 圖像形成 幾何圖形和變換 3D到2D投影

    ????????現(xiàn)在我們知道如何表示2D和3D幾何圖元以及如何在空間上轉(zhuǎn)換它們,我們需要指定如何將 3D圖元投影到圖像平面上。 我們可以使用線性3D到2D投影矩陣來做到這一點(diǎn)。最簡單的模型是正交法,它不需要除法就可以得到最終的(不均勻的)結(jié)果。更常用的模型是透視,

    2023年04月08日
    瀏覽(100)
  • 計算機(jī)視覺:深層卷積神經(jīng)網(wǎng)絡(luò)的構(gòu)建

    計算機(jī)視覺:深層卷積神經(jīng)網(wǎng)絡(luò)的構(gòu)建

    上一節(jié)課程中我們學(xué)習(xí)了單卷積層的前向傳播,本次課程我們構(gòu)建一個具有三個卷積層的卷積神經(jīng)網(wǎng)絡(luò),然后從輸入(39*39*3)開始進(jìn)行三次卷積操作,我們來看一下每次卷積的輸入和輸出維度的變化。 第一層使用3*3*3的過濾器來提取特征,那么f[1]=3,然后步長s[1]=1,填充p[1]

    2024年02月10日
    瀏覽(30)
  • 【計算機(jī)視覺】萬字長文詳解:卷積神經(jīng)網(wǎng)絡(luò)

    【計算機(jī)視覺】萬字長文詳解:卷積神經(jīng)網(wǎng)絡(luò)

    以下部分文字資料整合于網(wǎng)絡(luò),本文僅供自己學(xué)習(xí)用! 如果輸入層和隱藏層和之前一樣都是采用全連接網(wǎng)絡(luò),參數(shù)過多會導(dǎo)致 過擬合 問題,其次這么多的參數(shù)存儲下來對計算機(jī)的內(nèi)存要求也是很高的 解決這一問題,就需要用到——卷積神經(jīng)網(wǎng)絡(luò) 這是一種理解卷積的角度(

    2024年02月19日
    瀏覽(40)
  • 【深度學(xué)習(xí)】計算機(jī)視覺(五)——卷積神經(jīng)網(wǎng)絡(luò)詳解

    【深度學(xué)習(xí)】計算機(jī)視覺(五)——卷積神經(jīng)網(wǎng)絡(luò)詳解

    卷積神經(jīng)網(wǎng)絡(luò)(CNN) 卷積神經(jīng)網(wǎng)絡(luò)基本上應(yīng)用于圖像數(shù)據(jù)。假設(shè)我們有一個輸入的大?。?8 * 28 * 3),如果我們使用正常的神經(jīng)網(wǎng)絡(luò),將有2352(28 * 28 * 3)參數(shù)。并且隨著圖像的大小增加參數(shù)的數(shù)量變得非常大。我們“卷積”圖像以減少參數(shù)數(shù)量。 CNN的輸入和輸出沒什么特別

    2024年02月06日
    瀏覽(34)
  • 神經(jīng)網(wǎng)絡(luò)在計算機(jī)視覺中的主要技術(shù)

    計算機(jī)視覺是一種通過計算機(jī)程序?qū)D像進(jìn)行處理和分析的技術(shù)。在過去幾十年中,計算機(jī)視覺技術(shù)發(fā)展迅速,成為了一種重要的技術(shù)手段,應(yīng)用于各個領(lǐng)域。隨著深度學(xué)習(xí)技術(shù)的發(fā)展,神經(jīng)網(wǎng)絡(luò)在計算機(jī)視覺領(lǐng)域的應(yīng)用也越來越廣泛。本文將從以下幾個方面進(jìn)行闡述: 背景

    2024年02月21日
    瀏覽(20)
  • 再見卷積神經(jīng)網(wǎng)絡(luò),使用 Transformers 創(chuàng)建計算機(jī)視覺模型

    再見卷積神經(jīng)網(wǎng)絡(luò),使用 Transformers 創(chuàng)建計算機(jī)視覺模型

    本文旨在介紹 / 更新 Transformers 背后的主要思想,并介紹在計算機(jī)視覺應(yīng)用中使用這些模型的最新進(jìn)展。 讀完這篇文章,你會知道…… 為什么 Transformers 在 NLP 任務(wù)中的表現(xiàn)優(yōu)于 SOTA 模型。 Transformer 模型的工作原理 這是卷積模型的主要限制。 Transformers 如何克服卷積模型的限

    2024年02月02日
    瀏覽(31)
  • 計算機(jī)視覺(四)神經(jīng)網(wǎng)絡(luò)與典型的機(jī)器學(xué)習(xí)步驟

    計算機(jī)視覺(四)神經(jīng)網(wǎng)絡(luò)與典型的機(jī)器學(xué)習(xí)步驟

    神經(jīng)網(wǎng)絡(luò):大量神經(jīng)元節(jié)點(diǎn)按一定體系架構(gòu)連接成的網(wǎng)狀結(jié)構(gòu)——大腦結(jié)構(gòu) 神經(jīng)網(wǎng)絡(luò)的作用 - 分類 - 模式識別 - 連續(xù)值預(yù)測 建立輸入與輸出的映射關(guān)系 每個神經(jīng)元都是一個結(jié)構(gòu)相似的獨(dú)立單位,接受前一層傳來的數(shù)據(jù),并將這些數(shù)據(jù)的加權(quán)和輸入非線性作用函數(shù)中,最后將

    2024年02月15日
    瀏覽(34)

覺得文章有用就打賞一下文章作者

支付寶掃一掃打賞

博客贊助

微信掃一掃打賞

請作者喝杯咖啡吧~博客贊助

支付寶掃一掃領(lǐng)取紅包,優(yōu)惠每天領(lǐng)

二維碼1

領(lǐng)取紅包

二維碼2

領(lǐng)紅包