論文鏈接

ORB-SLAM

0. Abstract

• 本文提出了 ORB-SLAM，一種基于特征的單目同步定位和建圖 (SLAM) 系統(tǒng)
• 該系統(tǒng)對嚴(yán)重的運(yùn)動(dòng)雜波具有魯棒性，允許寬基線環(huán)路閉合和重新定位，并包括全自動(dòng)初始化
• 選擇重建的點(diǎn)和關(guān)鍵幀的適者生存策略具有出色的魯棒性，并生成緊湊且可跟蹤的地圖

1. Intro

捆綁調(diào)整 (BA) 可以提供相機(jī)定位的準(zhǔn)確估計(jì)以及稀疏幾何重建，前提是提供了強(qiáng)大的匹配網(wǎng)絡(luò)和良好的初始猜測。實(shí)時(shí) SLAM 算法必須為 BA 提供以下功能

• 所選幀（關(guān)鍵幀）子集之間場景特征（地圖點(diǎn)）的相應(yīng)觀察
• 隨著復(fù)雜性隨著關(guān)鍵幀數(shù)量的增加而增加，對于它們的選擇應(yīng)該避免不必要的冗余
• 關(guān)鍵幀和點(diǎn)的強(qiáng)大網(wǎng)絡(luò)配置可產(chǎn)生準(zhǔn)確的結(jié)果，即一組分布良好的關(guān)鍵幀觀察點(diǎn)，具有顯著的視差和大量的閉環(huán)匹配
• 用于非線性優(yōu)化的關(guān)鍵幀姿態(tài)和點(diǎn)位置的初始估計(jì)
• 探索中的本地地圖，重點(diǎn)優(yōu)化以實(shí)現(xiàn)可擴(kuò)展性
• 執(zhí)行快速全局優(yōu)化（例如位姿圖）以實(shí)時(shí)關(guān)閉循環(huán)的能力

Bundle Adjustment（捆綁調(diào)整）是計(jì)算機(jī)視覺和攝影測量學(xué)領(lǐng)域中的一種優(yōu)化技術(shù)，用于同時(shí)優(yōu)化三維場景的結(jié)構(gòu)和相機(jī)的姿態(tài)參數(shù)。這個(gè)技術(shù)主要用于多視圖立體重建、結(jié)構(gòu)從運(yùn)動(dòng)（Structure from Motion，SfM）和攝影測量學(xué)等應(yīng)用中。

在多視圖系統(tǒng)中，一組相機(jī)拍攝了同一場景的不同視圖，生成了一系列的圖像。Bundle Adjustment的目標(biāo)是通過調(diào)整相機(jī)的姿態(tài)（旋轉(zhuǎn)和平移）以及三維場景中的點(diǎn)的位置，使得投影到圖像平面上的這些點(diǎn)與實(shí)際觀測到的圖像點(diǎn)之間的誤差最小化

一些前期工作的不足之處：缺乏循環(huán)閉合和對遮擋的充分處理、重定位視角的低不變性以及需要人為干預(yù)來進(jìn)行地圖引導(dǎo)

本文的貢獻(xiàn)：

• 對所有任務(wù)使用相同的功能：跟蹤、映射、重新定位和循環(huán)閉合。這使得我們的系統(tǒng)更加高效、簡單和可靠。我們使用 ORB 功能，無需 GPU 即可實(shí)現(xiàn)實(shí)時(shí)性能，為視點(diǎn)和照明的變化提供良好的不變性
• 大型環(huán)境下的實(shí)時(shí)操作。由于使用了共視圖，跟蹤和地圖繪制集中在局部共視區(qū)域，與全局地圖大小無關(guān)
• 基于姿勢圖優(yōu)化的實(shí)時(shí)循環(huán)閉合，稱之為基本圖。它是由系統(tǒng)維護(hù)的生成樹、閉環(huán)鏈接和共視圖的強(qiáng)邊構(gòu)建的
• 實(shí)時(shí)相機(jī)重新定位，對視點(diǎn)和照明具有顯著的不變性。這允許從跟蹤失敗中恢復(fù)并且還增強(qiáng)了地圖的重用
• 基于模型選擇的新的自動(dòng)且穩(wěn)健的初始化過程，允許創(chuàng)建平面和非平面場景的初始地圖
• 地圖點(diǎn)和關(guān)鍵幀選擇采用適者生存的方法，在生成時(shí)很寬泛，但在剔除時(shí)卻非常嚴(yán)格。該策略提高了跟蹤的魯棒性并增強(qiáng)了終身操作，因?yàn)槿哂嗟年P(guān)鍵幀被丟棄

2. Related Work

A. 地點(diǎn)識別

• 基于外觀的技術(shù)（即圖像到圖像匹配）在大型環(huán)境中比地圖到地圖或圖像到地圖方法具有更好的擴(kuò)展性
  • 詞袋技術(shù)

B. 地圖初始化

單目 SLAM 需要一個(gè)過程來創(chuàng)建初始地圖，因?yàn)闊o法從單個(gè)圖像中恢復(fù)深度

• 在過濾方法的背景下，可以使用逆深度參數(shù)化以深度的高度不確定性來初始化點(diǎn)
• 將像素的深度初始化為具有高方差的隨機(jī)值

兩種重建方法在低視差下都沒有得到很好的約束，并且如果平面場景的所有點(diǎn)都更接近相機(jī)中心之一，會(huì)出現(xiàn)雙重歧義的解決方案問題。另一方面，如果看到有視差的非平面場景，則可以使用八點(diǎn)算法計(jì)算唯一的基本矩陣，并且可以毫無歧義地恢復(fù)相對相機(jī)位姿。

C. 單目同步定位與建圖

• 最初，單目SLAM是通過濾波方法解決：每個(gè)幀都通過濾波器進(jìn)行處理，以聯(lián)合估計(jì)地圖特征的位置和相機(jī)的姿態(tài)
• 另一方面，基于關(guān)鍵幀的方法僅使用選定的幀（關(guān)鍵幀）來估計(jì)地圖，從而允許進(jìn)行更昂貴但更準(zhǔn)確的捆綁調(diào)整優(yōu)化，因?yàn)榈貓D生成不受幀率的限制

最具代表性的基于關(guān)鍵幀的 SLAM 系統(tǒng)可能是PTAM。PTAM 不會(huì)檢測大循環(huán)，并且重新定位基于關(guān)鍵幀的低分辨率縮略圖的相關(guān)性，從而產(chǎn)生較低的視點(diǎn)不變性

3. System Overview

A. 特性選擇

主要設(shè)計(jì)思想：映射和跟蹤所使用的相同特征用于位置識別，以執(zhí)行幀速率重新定位和循環(huán)檢測

B. 三個(gè)線程：跟蹤、本地映射和閉環(huán)

Fig. 1 ORB-SLAM 系統(tǒng)概述，顯示跟蹤、本地映射和閉環(huán)線程執(zhí)行的所有步驟。還顯示了地點(diǎn)識別模塊和地圖的主要組件

• 跟蹤負(fù)責(zé)用每一幀定位攝像機(jī)并決定何時(shí)插入新的關(guān)鍵幀

  • 首先執(zhí)行與前一幀的初始特征匹配，并使用僅運(yùn)動(dòng) BA 優(yōu)化姿勢。如果跟蹤丟失（例如，由于遮擋或突然移動(dòng)），位置識別模塊將用于執(zhí)行全局重新定位
  • 一旦對相機(jī)姿態(tài)和特征匹配進(jìn)行了初步估計(jì)，就可以使用系統(tǒng)維護(hù)的關(guān)鍵幀的共視圖來檢索局部可見地圖
  • 然后，通過重投影搜索與本地地圖點(diǎn)的匹配，并對所有匹配再次優(yōu)化相機(jī)姿態(tài)
  • 最后，跟蹤線程決定是否插入新的關(guān)鍵幀

• 局部映射處理新的關(guān)鍵幀并執(zhí)行局部BA以實(shí)現(xiàn)相機(jī)位姿周圍的最佳重建

  • 在共視圖中的連接關(guān)鍵幀中搜索新關(guān)鍵幀中不匹配 ORB 的新對應(yīng)關(guān)系，以對新點(diǎn)進(jìn)行三角測量
  • 根據(jù)跟蹤期間收集的信息，應(yīng)用緊急點(diǎn)剔除策略，以便僅保留高質(zhì)量點(diǎn)
  • 本地映射還負(fù)責(zé)剔除冗余關(guān)鍵幀

• 循環(huán)閉合會(huì)在每個(gè)新關(guān)鍵幀中搜索循環(huán)

  • 如果檢測到循環(huán)，就會(huì)計(jì)算相似變換，以告知循環(huán)中累積的漂移。然后，將循環(huán)的兩側(cè)對齊并融合重復(fù)的點(diǎn)
  • 最后，對相似性約束進(jìn)行位姿圖優(yōu)化以實(shí)現(xiàn)全局一致性

C. 地圖點(diǎn)、關(guān)鍵幀及其選擇

對于地圖點(diǎn) $p_i$ 存儲(chǔ)一下內(nèi)容：

• 其在世界坐標(biāo)系中的 3D 位置 $X_{w,i}$

• 觀察方向 $n_i$，它是所有觀察方向的平均單位向量（將點(diǎn)與觀察它的關(guān)鍵幀的光學(xué)中心連接起來的光線）

• 代表性 ORB 描述符 ${\mathbf{D}}_i$，它是關(guān)聯(lián)的 ORB 描述符，其漢明距離相對于觀察點(diǎn)的關(guān)鍵幀中的所有其他關(guān)聯(lián)描述符來說是最小的

  漢明距離（Hamming Distance）是用來衡量兩個(gè)等長字符串在相應(yīng)位置上不同字符的個(gè)數(shù)。在計(jì)算機(jī)科學(xué)和信息理論中，漢明距離通常用于比較兩個(gè)等長的二進(jìn)制串，但它的概念也可以擴(kuò)展到其他類型的序列

• 根據(jù) ORB 特征的尺度不變性限制，可以觀察到該點(diǎn)的最大 $d_{max}$ 和最小 $d_{min}$ 距離

每個(gè)關(guān)鍵幀 $K_i$ 存儲(chǔ)以下內(nèi)容

• 相機(jī)位姿 $T_{iw}$ ，這是一種剛體變換，將點(diǎn)從世界坐標(biāo)系變換到相機(jī)坐標(biāo)系
• 相機(jī)內(nèi)在參數(shù)，包括焦距和主點(diǎn)
• 幀中提取的所有 ORB 特征，無論是否與地圖點(diǎn)相關(guān)，如果提供了畸變模型，則其坐標(biāo)不會(huì)畸變

地圖點(diǎn)和關(guān)鍵幀是通過寬泛的策略創(chuàng)建的，而后來非常嚴(yán)格的剔除機(jī)制負(fù)責(zé)檢測冗余關(guān)鍵幀和錯(cuò)誤匹配或不可跟蹤的地圖點(diǎn)

D. 共視圖和本質(zhì)圖

• 關(guān)鍵幀之間的共可見性信息在我們系統(tǒng)的多個(gè)任務(wù)中非常有用，并表示為無向加權(quán)圖。每個(gè)節(jié)點(diǎn)都是一個(gè)關(guān)鍵幀，如果兩個(gè)關(guān)鍵幀共享相同地圖點(diǎn)（至少 15 個(gè)）的觀測值，則存在一條邊，邊的權(quán)重 $\theta$ 為公共地圖點(diǎn)的數(shù)量
• 為了糾正循環(huán)，執(zhí)行位姿圖優(yōu)化，將循環(huán)閉合誤差沿圖分布
• 為了不包含共視圖提供的所有邊（可能非常密集），我們構(gòu)建一個(gè)保留所有節(jié)點(diǎn)（關(guān)鍵幀）的基本圖，但保留較少的邊，仍然保留產(chǎn)生準(zhǔn)確結(jié)果的強(qiáng)大網(wǎng)絡(luò)
  • 系統(tǒng)從初始關(guān)鍵幀逐步構(gòu)建生成樹，該生成樹提供了具有最少邊數(shù)的共視圖的連接子圖
  • 插入新關(guān)鍵幀時(shí)，它會(huì)包含在鏈接到共享最多點(diǎn)觀測值的關(guān)鍵幀的樹中，并且當(dāng)通過剔除策略刪除關(guān)鍵幀時(shí)，系統(tǒng)會(huì)更新受該關(guān)鍵幀影響的鏈接
  • 基本圖包含生成樹、具有高共可見性 (${\theta }_{min}=100$) 的共可見圖的邊子集以及閉環(huán)邊，從而形成強(qiáng)大的攝像機(jī)網(wǎng)絡(luò)

Fig. 2 來自 TUM RGB-D 基準(zhǔn)的辦公室家庭序列 fr3_long_office_household 的重建和圖表。 (a) 關(guān)鍵幀（藍(lán)色）、當(dāng)前相機(jī)（綠色）、地圖點(diǎn)（黑色、紅色）、當(dāng)前本地地圖點(diǎn)（紅色）。 (b) 可見性圖。 ? 生成樹（綠色）和閉環(huán)（紅色）。 (d) 基本圖表

E. 詞袋地點(diǎn)識別

“Bag of Words”（BoW）是一種用于文本數(shù)據(jù)處理的技術(shù)，主要用于文本特征提取和表示。它將文本文檔表示為一個(gè)無序詞集合，忽略文本中單詞的順序和語法，僅考慮單詞的出現(xiàn)頻率。這種方法的核心思想是將文本看作是一個(gè)“袋子”（bag），其中包含了所有詞匯的信息，但忽略了它們的順序

這里，在 Bags of Words Place Recognition 中，場景或地點(diǎn)被表示為單詞的集合，忽略了它們的空間或順序關(guān)系

該系統(tǒng)嵌入了基于DBoW2${}^2$ 的詞袋位置識別模塊，以執(zhí)行循環(huán)檢測和重新定位。視覺詞只是描述符空間的離散化，稱為視覺詞匯

• 系統(tǒng)逐步構(gòu)建一個(gè)包含倒排索引的數(shù)據(jù)庫，該索引存儲(chǔ)詞匯表中的每個(gè)視覺單詞在哪些關(guān)鍵幀中被看到，以便可以非常有效地查詢數(shù)據(jù)庫
• 當(dāng)剔除過程刪除關(guān)鍵幀時(shí)，數(shù)據(jù)庫也會(huì)更新
• 由于關(guān)鍵幀之間存在視覺重疊，因此在查詢數(shù)據(jù)庫時(shí)，不會(huì)存在唯一的高分關(guān)鍵幀。對共視圖中連接的關(guān)鍵幀進(jìn)行分組。此外，數(shù)據(jù)庫會(huì)返回分?jǐn)?shù)高于最佳分?jǐn)?shù) 75% 的所有關(guān)鍵幀匹配

4. Automatic Map Initialization

地圖初始化的目標(biāo)是計(jì)算兩個(gè)幀之間的相對姿態(tài)，以對一組初始地圖點(diǎn)進(jìn)行三角測量

• 并行計(jì)算兩個(gè)幾何模型：假設(shè)平面場景的單應(yīng)性和假設(shè)非平面場景的基本矩陣
• 使用啟發(fā)式方法來選擇模型，并嘗試使用所選模型的特定方法來恢復(fù)相對姿勢

算法的步驟如下：

• 查找初始對應(yīng)：在當(dāng)前幀 $F_c$ 中提取 ORB 特征（僅在最精細(xì)的尺度上），并在參考幀 $F_r$ 中搜索匹配 ${\mathrm{x}}_c?{\mathrm{x}}_r$ 。如果沒有找到足夠的匹配項(xiàng)，則重置參考系

• 兩個(gè)模型的并行計(jì)算：在并行線程中計(jì)算單應(yīng)性 ${\mathbf{H}}_{cr}$ 和基本矩陣 ${\mathbf{F}}_{cr}$ 為
  $${\mathrm{x}}_c={\mathbf{H}}_{cr}{\mathrm{x}}_r,{\mathrm{x}}_c^T{\mathbf{F}}_{cr}{\mathrm{x}}_r=0\text{\hspace{1em}(1)}$$
  分別使用歸一化 DLT 和八點(diǎn)算法。為了使兩個(gè)模型的過程均勻，兩個(gè)模型的迭代次數(shù)都是相同的，以及每次迭代要使用的點(diǎn)：八個(gè)用于基本矩陣，其中四個(gè)用于單應(yīng)矩陣。。在每次迭代中，我們計(jì)算每個(gè)模型 $M$ 的分?jǐn)?shù) $S_M$（$H$ 表示單應(yīng)性，$F$ 表示基本矩陣）
  $$\begin{gathered} S_M=\sum _i({\rho }_M(d_{cr}^2({\mathrm{x}}_c^i,{\mathrm{x}}_r^i,M))+{\rho }_M(d_{rc}^2({\mathrm{x}}_c^i,{\mathrm{x}}_r^i,M))) \\ {\rho }_M(d^2)=\{\begin{array}{rlrl}& \Gamma ?d^2,& if& d^2<T_M\\ & 0,& if& d^2\ge T_M\end{array}\text{\hspace{1em}(2)} \end{gathered}$$

  其中 $d_{cr}^2$ 和 $d_{rc}^2$ 是從一幀到另一幀的對稱傳輸誤差。 $T_M$ 是基于 95% 的 ${\mathcal{X}}^2$ 檢驗(yàn)的異常值拒絕閾值。$\Gamma$ 被定義為等于 $T_H$，以便兩個(gè)模型在其內(nèi)點(diǎn)區(qū)域中對于相同的 d 得分相同，再次使過程均勻

• 模型選擇：如果場景是平面、接近平面或存在低視差，則可以用單應(yīng)性來解釋。我們應(yīng)該選擇單應(yīng)性，因?yàn)橹亟ǚ椒▽钠矫嬲_初始化，否則它將檢測低視差情況并拒絕初始化。另一方面，具有足夠視差的非平面場景只能由基本矩陣來解釋，但如果匹配位于平面上或視差較低（距離較遠(yuǎn)），也可以找到單應(yīng)性來解釋匹配的子集。一個(gè)穩(wěn)健的啟發(fā)式方法如下
  $$R_H=\frac{S_H}{S_H+S_F}\text{\hspace{1em}(3)}$$
  如果 $R_H>0.45$，則選擇單應(yīng)性，這足以捕獲平面和低視差情況。否則選擇基本矩陣

• 運(yùn)動(dòng)和運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)：一旦選擇了一個(gè)模型，檢索與之關(guān)聯(lián)的運(yùn)動(dòng)假設(shè)。如果視差較低，點(diǎn)很容易進(jìn)入相機(jī)的前面或后面，這可能會(huì)導(dǎo)致選擇錯(cuò)誤的解決方案。如果沒有明確的獲勝解決方案，不會(huì)初始化并從步驟 1 繼續(xù)。這種消除解決方案歧義的技術(shù)使我們的初始化在低視差和雙重模糊配置下具有魯棒性，可以被認(rèn)為是我們方法魯棒性的關(guān)鍵。對于基本矩陣，我們使用校準(zhǔn)矩陣 $\mathbf{K}$ 將其轉(zhuǎn)換為基本矩陣：
  $${\mathbf{E}}_{rc}={\mathbf{K}}^T{\mathbf{F}}_{rc}\mathbf{K}\text{\hspace{1em}(4)}$$

• 捆綁調(diào)整：最后，執(zhí)行完整的 BA（詳細(xì)信息請參閱附錄）以細(xì)化初始重建

Fig. 3 頂部：PTAM，中間：LSD-SLAM，底部：ORB-SLAM，NewCollege 序列初始化后的一段時(shí)間。 PTAM 和 LSD-SLAM 初始化損壞的平面解決方案，而我們的方法在檢測到足夠的視差時(shí)會(huì)自動(dòng)從基本矩陣進(jìn)行初始化。根據(jù)手動(dòng)選擇的關(guān)鍵幀，PTAM 也能夠很好地初始化。

5. Tracking

A. ORB 提取

• 為了確保均勻分布，我們將每個(gè)尺度級別劃分為網(wǎng)格，嘗試為每個(gè)單元提取至少五個(gè)角點(diǎn)。然后，我們檢測每個(gè)單元中的角點(diǎn)，如果沒有找到足夠的角點(diǎn)，則調(diào)整檢測器閾值
• 如果某些單元格不包含角點(diǎn)（無紋理或低對比度），則每個(gè)單元格保留的角點(diǎn)數(shù)量也會(huì)進(jìn)行調(diào)整

B. 前一幀的初始姿態(tài)估計(jì)

• 如果最后一幀的跟蹤成功，則使用等速運(yùn)動(dòng)模型來預(yù)測相機(jī)姿勢并對最后一幀中觀察到的地圖點(diǎn)進(jìn)行引導(dǎo)搜索
• 如果沒有找到足夠的匹配項(xiàng)（即明顯違反了運(yùn)動(dòng)模型），將在最后一幀中圍繞其位置對地圖點(diǎn)進(jìn)行更廣泛的搜索
• 利用找到的對應(yīng)關(guān)系來優(yōu)化姿勢

C. 通過全局重定位進(jìn)行初始姿態(tài)估計(jì)

• 如果跟蹤丟失，則將幀轉(zhuǎn)換為詞袋，并在識別數(shù)據(jù)庫中查詢關(guān)鍵幀候選者以進(jìn)行全局重新定位
• 如果找到具有足夠內(nèi)點(diǎn)的相機(jī)姿勢，則優(yōu)化該姿勢并執(zhí)行引導(dǎo)搜索，以查找與候選關(guān)鍵幀的地圖點(diǎn)的更多匹配項(xiàng)
• 最后，再次優(yōu)化相機(jī)姿勢，如果有足夠的內(nèi)點(diǎn)支持，則跟蹤過程將繼續(xù)

D. 跟蹤本地地圖

一旦有了相機(jī)姿態(tài)的估計(jì)和一組初始特征匹配，就可以將地圖投影到框架中并搜索更多地圖點(diǎn)對應(yīng)關(guān)系。為了限制大地圖的復(fù)雜性，只投影局部地圖

• 該局部地圖包含與當(dāng)前幀共享地圖點(diǎn)的關(guān)鍵幀 ${\mathcal{K}}_1$ 集合，以及與共視圖中關(guān)鍵幀 ${\mathcal{K}}_1$ 相鄰的集合 ${\mathcal{K}}_2$
• 局部地圖還有一個(gè)參考關(guān)鍵幀 $K_{ref}\in {\mathcal{K}}_1$ ，它與當(dāng)前幀共享大多數(shù)地圖點(diǎn)
  • 計(jì)算當(dāng)前幀中的地圖點(diǎn)投影 $\mathrm{x}$。如果超出圖像范圍則丟棄
  • 計(jì)算當(dāng)前視線 $\mathrm{v}$ 與地圖點(diǎn)平均觀看方向 $\mathrm{n}$ 之間的角度。如果 $\mathrm{v}?\mathrm{n}<cos(60°)$，則丟棄
  • 計(jì)算地圖點(diǎn)到相機(jī)中心的距離 $d$。如果超出地圖點(diǎn) $d\notin [d_{min},d_{max}]$ 的尺度不變性區(qū)域，則丟棄
  • 通過比率 $d/d_{min}$ 計(jì)算框架中的比例
  • 將地圖點(diǎn)的代表描述符 $\mathbf{D}$ 與幀中在預(yù)測比例下、$\mathrm{x}$ 附近仍不匹配的ORB特征進(jìn)行比較，并將地圖點(diǎn)與最佳匹配相關(guān)聯(lián)

E. 新關(guān)鍵幀決策

最后一步是確定當(dāng)前幀是否生成為新關(guān)鍵幀。由于局部映射中有一種機(jī)制可以剔除冗余關(guān)鍵幀，因此嘗試盡快插入關(guān)鍵幀。要插入新的關(guān)鍵幀，必須滿足以下所有條件

• 自上次全局重新定位以來，必須已經(jīng)經(jīng)過 20 幀以上
• 本地映射空閑，或者距離上次關(guān)鍵幀插入已經(jīng)經(jīng)過了 20 幀以上
• 當(dāng)前幀跟蹤至少 50 個(gè)點(diǎn)
• 當(dāng)前幀跟蹤的點(diǎn)少于 $K_{ref}$ 的 90%

6. Local Mapping

A. 關(guān)鍵幀插入

• 首先，新共視圖，為 $K_i$ 添加一個(gè)新節(jié)點(diǎn)，并更新由與其他關(guān)鍵幀共享地圖點(diǎn)產(chǎn)生的邊
• 然后，更新連接 $K_i$ 與具有大多數(shù)共同點(diǎn)的關(guān)鍵幀的生成樹
• 計(jì)算關(guān)鍵幀的詞袋表示，這將有助于對新點(diǎn)進(jìn)行三角測量的數(shù)據(jù)關(guān)聯(lián)

B. 最近的地圖點(diǎn)剔除

地圖點(diǎn)必須在創(chuàng)建后的前三個(gè)關(guān)鍵幀期間通過限制性測試，這確保它們是可跟蹤的并且不會(huì)由于虛假數(shù)據(jù)關(guān)聯(lián)而被錯(cuò)誤地三角測量

• 跟蹤必須在超過 25% 的預(yù)測可見的幀中找到該點(diǎn)
• 如果地圖點(diǎn)創(chuàng)建過程中經(jīng)過了多個(gè)關(guān)鍵幀，則必須至少從三個(gè)關(guān)鍵幀進(jìn)行觀察

一旦地圖點(diǎn)通過了此測試，只有在任何時(shí)候從少于三個(gè)關(guān)鍵幀觀察到它時(shí)才能將其刪除

C. 新地圖點(diǎn)創(chuàng)建

• 新的地圖點(diǎn)是通過從共視圖中連接的關(guān)鍵幀 $K_c$ 對 ORB 進(jìn)行三角測量來創(chuàng)建的
• 對于 $K_i$ 中的每個(gè)不匹配的 ORB，我們在其他關(guān)鍵幀中搜索與其他不匹配點(diǎn)的匹配

D. 局部捆綁調(diào)整

• 局部 BA 優(yōu)化當(dāng)前處理的關(guān)鍵幀 $K_i$、共視圖中與其連接的所有關(guān)鍵幀 $K_c$ 以及這些關(guān)鍵幀看到的所有地圖點(diǎn)
• 所有其他看到這些點(diǎn)但未與當(dāng)前處理的關(guān)鍵幀相連接的關(guān)鍵幀都會(huì)被納入優(yōu)化，但將保持固定
• 在優(yōu)化過程的中間和末尾，被標(biāo)記為異常值的觀測將被丟棄

E. 局部關(guān)鍵幀剔除

為了保持緊湊的重建，局部地圖構(gòu)建嘗試檢測冗余關(guān)鍵幀并將其刪除

隨著關(guān)鍵幀數(shù)量的增加，BA的復(fù)雜性也會(huì)增長，而且這樣做還能夠在相同環(huán)境中進(jìn)行長期運(yùn)行，因?yàn)殛P(guān)鍵幀的數(shù)量不會(huì)無限增長，除非場景中的視覺內(nèi)容發(fā)生變化

• 放棄共視圖 $K_c$ 中那些90%以上的地圖點(diǎn)至少在同一或更精細(xì)的尺度內(nèi)被其他三個(gè)關(guān)鍵幀看到的關(guān)鍵幀
• 尺度條件確保地圖點(diǎn)與其測量最準(zhǔn)確的關(guān)鍵幀保持一致

7. Loop Closing

循環(huán)關(guān)閉線程采用本地映射處理的最后一個(gè)關(guān)鍵幀 $K_i$，并嘗試檢測和關(guān)閉循環(huán)

A. 循環(huán)候選檢測

• 首先，計(jì)算 $K_i$ 的詞袋向量與其在共視圖中的所有鄰居之間的相似度 (${\theta }_{min}=30$) 并保留最低分?jǐn)?shù) $s_{min}$
• 然后查詢識別數(shù)據(jù)庫并丟棄所有分?jǐn)?shù)低于 $s_{min}$ 的關(guān)鍵幀
• 此外，所有直接連接到 $K_i$ 的關(guān)鍵幀都將從結(jié)果中丟棄

為了接受循環(huán)候選，必須連續(xù)檢測三個(gè)一致的循環(huán)候選（在共視圖中連接的關(guān)鍵幀）。如果有幾個(gè)地方與 $K_i$ 的外觀相似，則可以有多個(gè)循環(huán)候選者

B. 計(jì)算相似度變換

在單目 SLAM 中，地圖可以在七個(gè)自由度中漂移：三個(gè)平移、三個(gè)旋轉(zhuǎn)和一個(gè)比例因子。

為了關(guān)閉循環(huán)，我們需要計(jì)算從當(dāng)前關(guān)鍵幀 $K_i$ 到循環(huán)關(guān)鍵幀 $K_l$ 的相似變換，以告知我們循環(huán)中累積的誤差

• 首先計(jì)算與當(dāng)前關(guān)鍵幀中的地圖點(diǎn)和循環(huán)候選關(guān)鍵幀相關(guān)的 ORB 之間的對應(yīng)關(guān)系
• 如果發(fā)現(xiàn)相似性 $S_{il}$ 具有足夠的內(nèi)點(diǎn)，則對其進(jìn)行優(yōu)化并執(zhí)行更多對應(yīng)項(xiàng)的引導(dǎo)搜索
• 再次優(yōu)化它，如果 $S_{il}$ 有足夠的內(nèi)點(diǎn)支持，則接受帶有 $K_l$ 的循環(huán)

C. 循環(huán)融合

• 環(huán)路校正的第一步是融合重復(fù)的地圖點(diǎn)并在共視圖中插入新的邊以附加環(huán)路閉合
• 首先，使用相似變換 $S_{il}$ 來校正當(dāng)前關(guān)鍵幀姿態(tài) $T_{iw}$，并將該校正傳播到 $K_i$ 的所有鄰居，連接變換，以便循環(huán)的兩側(cè)對齊
• 循環(huán)關(guān)鍵幀及其鄰居看到的所有地圖點(diǎn)都會(huì)投影到 $K_i$ 中，并且在投影周圍的狹窄區(qū)域中搜索其鄰居和匹配項(xiàng)
• 所有匹配的地圖點(diǎn)以及 $S_{il}$ 計(jì)算中的內(nèi)點(diǎn)都被融合

融合中涉及的所有關(guān)鍵幀都將更新其在共視圖中的邊緣，從而有效地創(chuàng)建附加循環(huán)閉合的邊緣

D. 基本圖優(yōu)化

• 為了有效地閉合循環(huán)，我們對基本圖執(zhí)行位姿圖優(yōu)化，沿著圖分布循環(huán)閉合誤差
• 優(yōu)化后，每個(gè)地圖點(diǎn)根據(jù)觀察它的關(guān)鍵幀之一的校正進(jìn)行變換

8. Expirements

在 NewCollege 的大型機(jī)器人序列中對我們的系統(tǒng)進(jìn)行了廣泛的實(shí)驗(yàn)驗(yàn)證，評估了系統(tǒng)的總體性能，在 TUM RGB-D 基準(zhǔn)的 16 個(gè)手持式室內(nèi)序列中評估了定位精度，重新定位和終身能力，并在 KITTI 數(shù)據(jù)集的 10 個(gè)汽車戶外序列中，評估實(shí)時(shí)大規(guī)模操作、定位精度和位姿圖優(yōu)化的效率

A. NewCollege 數(shù)據(jù)集中的系統(tǒng)性能

作為循環(huán)閉合過程的一個(gè)示例，在圖 4 中展示了對具有支持相似性變換的內(nèi)點(diǎn)的循環(huán)的檢測。圖5顯示了環(huán)路閉合之前和之后的重建。紅色表示局部地圖，在環(huán)路閉合之后，局部地圖沿著環(huán)路閉合的兩側(cè)延伸

Fig. 4 在 NewCollege 序列中檢測到的循環(huán)示例。我們繪制支持相似變換的內(nèi)部對應(yīng)關(guān)系

Fig. 5 地圖在 NewCollege 序列中循環(huán)閉合之前和之后的情況?；丨h(huán)匹配用藍(lán)色繪制，軌跡用綠色繪制，當(dāng)時(shí)跟蹤的局部地圖用紅色繪制。閉合后局部地圖沿環(huán)路兩側(cè)延伸

Fig. 6 ORB-SLAM重建NewCollege全序列。右側(cè)較大的環(huán)路以相反方向遍歷，未發(fā)現(xiàn)視覺環(huán)路閉合；因此，它們并不完全對齊

在局部映射線程中，要求最高的任務(wù)是本地BA。如果機(jī)器人正在探索或處于地圖繪制良好的區(qū)域，則本地 BA 時(shí)間會(huì)有所不同，因?yàn)樵谔剿鬟^程中，如果跟蹤插入新的關(guān)鍵幀，BA 就會(huì)中斷。如果不需要新的關(guān)鍵幀，本地 BA 會(huì)執(zhí)行大量的前綴迭代

Tab. 1 表 I 顯示了跟蹤和局部映射的結(jié)果。跟蹤工作的幀速率約為 25-30 Hz，這是跟蹤局部地圖的最苛刻的任務(wù)。如果需要，可以減少該時(shí)間，限制局部地圖中包含的關(guān)鍵幀的數(shù)量

Tab. 2 表 II 顯示了所發(fā)現(xiàn)的六個(gè)環(huán)路閉合中每一個(gè)的結(jié)果

可以看出循環(huán)檢測如何隨著關(guān)鍵幀的數(shù)量呈次線性增加。這是由于數(shù)據(jù)庫的高效查詢僅將圖像子集與共同的單詞進(jìn)行比較，這證明了詞袋在地點(diǎn)識別方面的潛力

B. TUM RGB-D 基準(zhǔn)中的定位精度

TUM RGB-D 基準(zhǔn)是評估相機(jī)定位準(zhǔn)確性的優(yōu)秀數(shù)據(jù)集，因?yàn)樗峁┝硕鄠€(gè)序列，以及通過外部運(yùn)動(dòng)捕捉系統(tǒng)獲得的準(zhǔn)確地面實(shí)況

為了進(jìn)行比較，在基準(zhǔn)測試中執(zhí)行了新穎的、直接的、半密集的 LSD-SLAM 和 PTAM，還與 RGBDSLAM 生成的軌跡進(jìn)行比較，這些軌跡是為基準(zhǔn)網(wǎng)站中的一些序列提供的

Tab. 3 ORB-SLAM、PTAM 和 LSD-SLAM 的結(jié)果是每個(gè)序列中五次執(zhí)行的中值。軌跡已與 7 個(gè)自由度與地面實(shí)況對齊。 RGBD-SLAM 的軌跡取自基準(zhǔn)網(wǎng)站，僅適用于 fr1 和 fr2 序列，并且已與 6 DoF 和 7 DoF 對齊（括號內(nèi)的結(jié)果）。 X 表示跟蹤在某個(gè)點(diǎn)丟失，并且序列的很大一部分未被系統(tǒng)處理

可以看出，ORB-SLAM能夠處理除 fr3_nostruct_texture_far（fr3_nstr_tex_far）之外的所有序列。這是一個(gè)平面場景，因?yàn)橄鄼C(jī)相對于平面的軌跡有兩種可能的解釋，即雙重模糊性。

• 在精度方面，ORB-SLAM 和 PTAM 在開放軌跡中相似，而 ORB-SLAM 在檢測序列 fr3_nostruct_texture_near_withloop (fr3_nstr_tex_near) 中的大環(huán)時(shí)實(shí)現(xiàn)了更高的精度。最令人驚訝的結(jié)果是，PTAM 和 ORB-SLAM 顯然比 LSD-SLAM 和 RGBD-SLAM 更準(zhǔn)確。可能的原因之一可能是它們將地圖優(yōu)化簡化為姿勢圖優(yōu)化，其中傳感器測量結(jié)果被丟棄
• 一個(gè)有趣的結(jié)果是，LSD-SLAM 對于動(dòng)態(tài)對象的魯棒性似乎不如 ORB-SLAM，如 fr2_desk_with_person 和 fr3_walking_xyz 中
• RGBD-SLAM 在 fr2 序列中存在尺度偏差，因?yàn)閷④壽E與 7 個(gè) DoF 對齊可以顯著減少誤差

C. TUM RGB-D 基準(zhǔn)中的重新定位

在 TUM RGBD 基準(zhǔn)測試中進(jìn)行了兩次重定位實(shí)驗(yàn)。

• 在第一個(gè)實(shí)驗(yàn)中，使用序列 fr2_xyz 的前 30 秒構(gòu)建地圖，并對每個(gè)連續(xù)幀執(zhí)行全局重定位，并評估恢復(fù)姿勢的準(zhǔn)確性。用 PTAM 進(jìn)行相同的實(shí)驗(yàn)進(jìn)行比較。圖 7 顯示了用于創(chuàng)建初始地圖的關(guān)鍵幀、重新定位幀的姿勢以及這些幀的地面實(shí)況

  

  Fig. 7 fr2_xyz 中的重定位實(shí)驗(yàn)。地圖最初是在序列 (KF) 的前 30 秒內(nèi)創(chuàng)建的。目標(biāo)是重新定位后續(xù)幀。顯示了我們的系統(tǒng)和 PTAM 的成功重新定位 ?。僅針對要重新定位的幀顯示真實(shí)值 (GT)

  可以看出，PTAM由于其重定位方法的不變性很小，只能對靠近關(guān)鍵幀的幀進(jìn)行重定位。

  

  Fig. 4 表 IV 顯示了相對于真實(shí)情況的召回率和誤差。 ORB-SLAM 比 PTAM 準(zhǔn)確地重新定位了兩倍以上的幀

• 在第二個(gè)實(shí)驗(yàn)中，我們使用序列 fr3_sitting_xyz 創(chuàng)建初始地圖，并嘗試重新定位 fr3_walking_xyz 中的所有幀。

  因?yàn)閳鼍爸械娜艘苿?dòng)會(huì)產(chǎn)生很大的遮擋。在這里，PTAM 沒有發(fā)現(xiàn)重新定位，而我們的系統(tǒng)重新定位了 78% 的幀

  

  Fig. 8 我們的系統(tǒng)在重定位實(shí)驗(yàn)中成功發(fā)現(xiàn)了具有挑戰(zhàn)性的重定位示例（嚴(yán)重的尺度變化、動(dòng)態(tài)對象）

D. TUM RGB-D 基準(zhǔn)的長期實(shí)驗(yàn)

之前的重定位實(shí)驗(yàn)表明，我們的系統(tǒng)能夠從非常不同的角度在地圖中進(jìn)行定位，并且在適度的動(dòng)態(tài)變化下能夠穩(wěn)健地進(jìn)行定位

• 在完全靜態(tài)的情況下，即使相機(jī)從不同的視點(diǎn)觀察場景，我們的系統(tǒng)也能夠維持有限的關(guān)鍵幀數(shù)量
• PTAM 總是插入關(guān)鍵幀，而我們修剪冗余關(guān)鍵幀的機(jī)制使其數(shù)量達(dá)到飽和

Fig. 9 在靜態(tài)環(huán)境中進(jìn)行長期實(shí)驗(yàn)，其中相機(jī)始終從不同的角度觀察同一個(gè)地方。 PTAM 始終插入關(guān)鍵幀，而 ORB-SLAM 能夠修剪冗余關(guān)鍵幀并維護(hù)有界大小的地圖

Fig. 10 根據(jù) TUM RGB-D 基準(zhǔn)在動(dòng)態(tài)環(huán)境中進(jìn)行長期實(shí)驗(yàn)。 (a) 地圖中關(guān)鍵幀數(shù)量的演變。 (b) 關(guān)鍵幀創(chuàng)建和銷毀。每條水平線對應(yīng)一個(gè)關(guān)鍵幀，從其創(chuàng)建幀直到其銷毀。 ? 所有生成關(guān)鍵幀的生存時(shí)間相對于實(shí)驗(yàn)剩余時(shí)間的直方圖

在這些長期的實(shí)驗(yàn)中，可以證明我們的地圖隨著場景的內(nèi)容而不是隨著時(shí)間而增長，并且能夠存儲(chǔ)場景的動(dòng)態(tài)變化，這對于通過積累環(huán)境中的經(jīng)驗(yàn)來執(zhí)行一些場景理解是有用的

E. KITTI 數(shù)據(jù)集中的大規(guī)模和大閉環(huán)

Fig. 11 來自 KITTI 數(shù)據(jù)集里程計(jì)基準(zhǔn)的序列 00、05 和 07。 （左）點(diǎn)和關(guān)鍵幀軌跡。 （中）軌跡和地面實(shí)況。 （右）完整 BA 迭代 20 次后的軌跡。我們系統(tǒng)的輸出相當(dāng)準(zhǔn)確，但可以通過 BA 的一些迭代來稍微改進(jìn)

Fig. 12 來自 KITTI 數(shù)據(jù)集里程計(jì)基準(zhǔn)的序列 02、03、04、06、08、09 和 10 中的 ORB-SLAM 關(guān)鍵幀軌跡。序列 08 不包含循環(huán)，并且漂移（尤其是比例）未校正。 (a)序列02。(b)序列03。?序列04。(d)序列06。(e)序列08。(f)序列09。(g)序列10

與 TUM RGB-D 基準(zhǔn)一樣，我們通過相似變換將系統(tǒng)的關(guān)鍵幀軌跡與地面實(shí)況對齊?？梢远ㄐ缘乇容^圖 1 和 2 的結(jié)果。 ORB-SLAM 為所有這些序列生成了明顯更準(zhǔn)確的軌跡，但序列 08 除外，其中它們似乎受到的漂移較小

Tab. 5 表 V 顯示了每個(gè)序列中五次執(zhí)行的關(guān)鍵幀軌跡的中值 RMSE 誤差

在這個(gè)實(shí)驗(yàn)中，還檢查了通過在每個(gè)序列末尾執(zhí)行 20 次完整 BA 迭代可以改善重建多少。全 BA 的一些迭代稍微提高了帶循環(huán)的軌跡的精度，但在開放軌跡中的影響可以忽略不計(jì)

最后，展示我們的閉環(huán)方法的有效性以及用于在基本圖中包含邊的 ${\theta }_{min}$ 的影響。我們選擇了序列09（一個(gè)非常長的序列，末尾有一個(gè)循環(huán)閉合），并且在同一次執(zhí)行中，我們評估了不同的循環(huán)閉合策略

Tab. 6 第一行顯示沒有循環(huán)關(guān)閉的結(jié)果。 BA 括號內(nèi)的數(shù)字表示 Levenberg-Marquardt (LM) 迭代次數(shù)，而對于 EG（本質(zhì)圖），則表示構(gòu)建本質(zhì)圖的 ${\theta }_m$。所有 EG 優(yōu)化均執(zhí)行十次 LM 迭代

9. Conlusion And Discussion

A. 結(jié)論

• 在這項(xiàng)研究中，我們提出了一種新的單目 SLAM 系統(tǒng)，詳細(xì)描述了其構(gòu)建模塊，并對公共數(shù)據(jù)集進(jìn)行了詳盡的評估
• 生成和剔除關(guān)鍵幀的新穎策略允許每隔幾幀創(chuàng)建關(guān)鍵幀，當(dāng)認(rèn)為冗余時(shí)最終將其刪除。這種靈活的地圖擴(kuò)展在條件較差的探索軌跡中非常有用，即接近純旋轉(zhuǎn)或快速移動(dòng)。當(dāng)在同一環(huán)境中重復(fù)操作時(shí)，只有當(dāng)場景的視覺內(nèi)容發(fā)生變化時(shí)，地圖才會(huì)增長，并存儲(chǔ)其不同視覺外觀的歷史記錄
• 證明了 ORB 特征具有足夠的識別能力，可以從劇烈的視點(diǎn)變化中進(jìn)行地點(diǎn)識別。此外，它們的提取和匹配速度非常快（無需多線程或 GPU 加速），從而實(shí)現(xiàn)實(shí)時(shí)準(zhǔn)確的跟蹤和映射

B. 稀疏/基于特征的方法與密集/直接方法

• 最近的實(shí)時(shí)單目 SLAM 算法，如 DTAM 和 LSD-SLAM 能夠?qū)Νh(huán)境進(jìn)行密集或半密集重建，同時(shí)通過直接優(yōu)化圖像像素強(qiáng)度來定位相機(jī)。這些直接方法不需要特征提取，因此避免了相應(yīng)的偽影。它們對于模糊、低紋理環(huán)境和瀝青等高頻紋理也更加魯棒
• 直接方法有其自身的局限性。
  • 首先，這些方法假設(shè)一個(gè)表面反射率模型，該模型在真實(shí)場景中會(huì)產(chǎn)生自己的偽影。光度一致性限制了匹配的基線，通常比特征允許的基線更窄。這對重建精度有很大影響，需要寬基線觀測以減少深度不確定性
  • 直接方法如果建模不正確，會(huì)受到滾動(dòng)快門、自動(dòng)增益和自動(dòng)曝光偽像的影響
  • 最后，由于直接方法通常對計(jì)算要求很高，因此地圖只是像 DTAM 中那樣逐漸擴(kuò)展，或者地圖優(yōu)化簡化為位姿圖，像 LSD-SLAM 中那樣丟棄所有傳感器測量結(jié)果
• 基于特征的方法能夠匹配具有寬基線的特征，這要?dú)w功于它們對視點(diǎn)和光照變化的良好不變性

C. 后期工作

• 我們的系統(tǒng)的準(zhǔn)確性仍然可以通過在跟蹤中加入無窮遠(yuǎn)點(diǎn)來提高。這些點(diǎn)在足夠的視差下看不到，并且我們的系統(tǒng)未包含在地圖中，但它們對于相機(jī)的旋轉(zhuǎn)提供了非常豐富的信息

• 另一種開放的方式是將我們系統(tǒng)的稀疏地圖升級為更密集、更有用的重建文章來源地址http://www.zghlxwxcb.cn/news/detail-815535.html

到了這里，關(guān)于ORB-SLAM 論文閱讀的文章就介紹完了。如果您還想了解更多內(nèi)容，請?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！