3d重建
- 基于深度相機(結(jié)構(gòu)光、TOF、雙目攝像頭)的三維重建
- 基于圖像的三維重建：深度學(xué)習(xí)
- 基于視覺幾何的傳統(tǒng)三維重建：這種三維重建方法研究時間比較久遠(yuǎn)，技術(shù)相對成熟。主要通過多視角圖像對采集數(shù)據(jù)的相機位置進(jìn)行估計，再通過圖像提取特征后進(jìn)行比對拼接完成二維圖像到三維模型的轉(zhuǎn)換，就像利用立體幾何中的三視圖還原立體圖一樣。
3D形狀表示方法（shape representation）
- 深度圖（depth map）：2D圖片，每個像素都記錄了從視點（viewpoint）到遮擋物表面（遮擋物就是陰影生成物體）的距離，被遮擋的部分無法表示，僅能表示物體相對于視點平面的垂直深度
- 點云（point cloud）：某個坐標(biāo)系下的點的數(shù)據(jù)集。點包含了豐富的信息，包括三維坐標(biāo)X，Y，Z、顏色、分類值、強度值、時間等等。在我看來點云可以將現(xiàn)實世界原子化，通過高精度的點云數(shù)據(jù)可以還原現(xiàn)實世界?？赏ㄟ^三維激光掃描獲取。
- 體素（voxel）：3D空間中具有一定體積的點，相當(dāng)于3D空間中的像素。體素本身不含有位置信息，只談?wù)撆c其他體素的相對距離
- 網(wǎng)格（mesh）：表示多面體形狀的頂點與多邊形的集合，它也叫作非結(jié)構(gòu)網(wǎng)格
| 深度圖（depth map） | 點云（point cloud） | 體素（voxel） | 網(wǎng)格（mesh） |
|
|
|
|
|
3d重建算法
- Truncated Signed Distance Function (截斷符號距離函數(shù)）：實時3D重建經(jīng)典算法。TSDF是SDF的改進(jìn)，將取值限制在[-1,1]之間，同時僅在物體表面的限定的距離范圍內(nèi)進(jìn)行計算，降低了計算量。原理：用一個大的空間包圍盒(volume)去包括進(jìn)去待3D構(gòu)建的場景，volume分成多個voxel(小立體方塊)
- SIFT (Scale Invariant Feature Transform)
- ANN Feature Matching (近似最鄰近特征匹配)
- SfT(Shape from Template)：需要預(yù)先得到目標(biāo)物體在剛性狀態(tài)下的三維模型來作為模板，后面模型去追蹤單目視頻里目標(biāo)物體的變化，得到每一幀圖像對應(yīng)的形變?nèi)S模型。這種方法具有實時重建的可能
- Eight Point Algorithm (八點算法)：用八個點點對應(yīng)關(guān)系計算核線幾何(f-matrix)兩個Projective Camera之間的點點對應(yīng)關(guān)系是需要滿足核線幾何的，就像三點可以確定一個平面一樣，8對匹配可以確定兩個相機的核線幾何
3d重建流程
- ->輸入無序圖像 Unstructured Images
- ->圖像對齊(Assoc.)，篩選圖像，構(gòu)建場景圖(也稱為連接圖)。
- ->稀疏重建(Structure from Motion,SFM)，生成稀疏的3D點云結(jié)構(gòu)，該步驟的貢獻(xiàn)是建立統(tǒng)一的坐標(biāo)系，確定了重建物體的尺寸，提供可靠的2D-3D多對一的匹配點對。
- ->稠密重建(Multiple View Stereo,MVS)，生成稠密的3D點云結(jié)構(gòu)，該步驟的貢獻(xiàn)生成稠密的點云。
- ->表面重建(Mesh，Model Fitting)，稠密點云轉(zhuǎn)化為網(wǎng)格(mesh)。
- ->紋理重建(Texture Mapping) ，紋理貼圖，即對網(wǎng)格進(jìn)行紋理坐標(biāo)映射，進(jìn)行貼紋理。
- ->可視化渲染
基于深度學(xué)習(xí)的3d重建算法：
- 基于單張RGB圖像的三維重建
- 基于多視圖的三維重建
- 基于點云數(shù)據(jù)的三維重建
MVSNet（2018）：Depth Inference for Unstructured Multi-view Stereo?稠密重建
第一個基于深度學(xué)習(xí)的MVS重建架構(gòu)。提出一種端到端的多視圖重建深度學(xué)習(xí)架構(gòu)，參考基于2張圖片的代價體的雙目立體匹配深度估計方法，擴展到多張圖片中進(jìn)行深度估計。MVSNet的核心不是直接把3D模型建出來，而是端到端的學(xué)習(xí)深度圖，它的目標(biāo)是預(yù)測圖片上每個像素的深度信息。在該架構(gòu)中，首先提取深層的視覺圖像特征，然后通過可微分的單應(yīng)變換，基于參考視圖的相機視錐體構(gòu)建3D代價體。然后使用3D卷積對初始深度圖進(jìn)行正則化和回歸得到初始的深度圖，初始的深度圖通過參考圖像改進(jìn)得到最后的深度圖
LoFTR: Detector-Free Local Feature Matching with Transformers
一種新的局部圖像特征匹配方法。首先在粗粒度上建立圖像特征的檢測、描述和匹配，然后在精粒度別上細(xì)化亞像素級別的密集匹配，而不是依次執(zhí)行圖像特征檢測、描述和匹配。與使用cost volume來搜索對應(yīng)關(guān)系的密集方法相比，本文借鑒Transformer使用了自注意層和互注意層來獲得兩幅圖像的特征描述符。這種方法提供的全局接受域使得能夠在紋理較少的區(qū)域產(chǎn)生密集匹配文章來源：http://www.zghlxwxcb.cn/news/detail-495785.html
渲染方式
- 容積圖渲染（Volume Rendering）：該技術(shù)主要應(yīng)用于醫(yī)學(xué)圖像的可視化。它利用三維空間中的體素進(jìn)行渲染和加權(quán)，通過調(diào)整灰度和透明度來顯示內(nèi)部結(jié)構(gòu)。
- 表面渲染（Surface Rendering）：該技術(shù)利用三維建模工具構(gòu)建表面模型，并使用光照等效果對表面進(jìn)行渲染。表面渲染技術(shù)可以生成真實的渲染效果，但需要許多處理步驟，比較繁瑣
- 可微分渲染（differentiable rendering）
- 神經(jīng)渲染（Neural rendering）：基于深度生成模型和圖形學(xué)領(lǐng)域的光學(xué)物理知識
神經(jīng)輻射場（NeRF）使用多層感知器（MLP）來近似3D場景的輻射場和密度場。該學(xué)習(xí)的體表示可以使用解析可微分渲染（即體積分）從任何虛擬攝像頭渲染。對于訓(xùn)練，假設(shè)從多個攝像機視點觀測場景。從這些訓(xùn)練視點，渲染估計的3D場景，并最小化渲染圖像和觀察圖像之間的差異，根據(jù)這些觀察結(jié)果訓(xùn)練網(wǎng)絡(luò)。一旦訓(xùn)練完成，由神經(jīng)網(wǎng)絡(luò)近似的3D場景可以從新的視點進(jìn)行渲染，從而實現(xiàn)可控合成。與使用神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)渲染函數(shù)的方法相反，NeRF在該方法中更明確地使用了計算機圖形學(xué)的知識，由于（物理）歸納偏差，能夠更好地概括新視圖：場景密度和半徑的中間3D結(jié)構(gòu)化表示。因此，NeRF在3D空間中學(xué)習(xí)物理上有意義的顏色和密度值，物理激發(fā)的光線投射和體集成可以持續(xù)渲染到新視圖中。文章來源地址http://www.zghlxwxcb.cn/news/detail-495785.html
開源框架
- OpenMVG：?https://github.com/openMVG/openMVG
- Colmap：?https://github.com/colmap/colmap
- OpenSfM：https://github.com/mapillary/OpenSfM
- OpenMVS：https://github.com/cdcseacave/openMVS
到了這里，關(guān)于3d重建+神經(jīng)渲染的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！
