為什么重要？我們是在做什么事？
- 特征提取和匹配： 首先是兩幅圖像的特征提取，然后是對應特征點的匹配。接下來的工作是根據(jù)得到的匹配點對，估計相機的運動，具體根據(jù)相機分為三種方法：
-
- 單目相機：2D-2D： 對極幾何 方法
-
- 雙目或者RGBD相機： 3D-3D： ICP 方法
-
- 一個3D點和它相機中的投影位置： 3D-2D ： PnP 方法
0. 基礎知識
視覺SLAM兩階段：
- 前端(VO) —> 粗略相機運動 ------> 提供給后端初始值
- 后端 —> 優(yōu)化
VO的實現(xiàn)方法兩派：
- 不提取特征點 ----> 直接法
- 提取特征點 ------> 特征點法 ----> 成熟
1. 特征提取和匹配
注意：有些東西的作用你要明白：
- 關鍵點： 是在一幅圖像中找到的點，作用是在一幅圖中找到路標點(有代表性的點)。
- 描述子： 在兩個圖像的關鍵點找到的情況下，匹配兩個圖像中的對應關鍵點。 通常是向量
- 特征點： 由關鍵點和描述子兩部分組成，任務是(提取XXX關鍵點，計算XXX描述子)
- 尺度不變性： 為了確保從遠到近都能檢測出來關鍵點
- 旋轉不變性： 為了確保圖像旋轉后還能檢測出來關鍵點
- 特征提取的是關鍵點和描述子，特征匹配是根據(jù)描述子匹配的
幾種圖像特征：
- SIFT特征：計算量太大，有些精確
- FAST關鍵點：沒有描述子，最快，不準。
- ORB特征：改進FAST關鍵點，采用BRIEF描述子
1.1 FAST關鍵點
-
- 比較周圍半徑圓范圍內的灰度情況，差別大就是角點。
-
- 設定一個數(shù)量，比如9，范圍內至少有連續(xù)9個點和選定點的亮度色差大于閾值T的時候，該點就稱為特征點。這種方法叫FAST-9。
-
- 檢測完角點扎堆,非極大值抑制
1.2 ORB的關鍵點–改進FAST
改進了FAST關鍵點法，克服了缺點：
-
- 可以指定提取數(shù)量： 對點分別計算Harris相應，取前N個響應最大的角點；
-
- 尺度不變性： 用圖像金字塔提取每一層的角點，均為角點才是角點；
-
- 旋轉不變性：灰度質心法，保證圖像旋轉后還能檢測到。最后得到的是角度，從圖像光度明指向光度暗的一側，具體實現(xiàn)如下：
1.3 ORB的描述子–BRIEF
作用：為了保證兩個圖像中提取出的關鍵點能對應上各自匹配的點對。
- BRIEF是二進制描述子，描述向量由0和1組成
- 做法：選取關鍵點周圍的圖像塊，隨機選取像素點對(有很多選點方法)，如128就是取128個點對，設兩個點像素分別為 p , q p, q p,q , 然后計算 p , q p, q p,q 的大小關系，按結果分別記為0，1， 最后得到128位的二進制數(shù)。匹配的時候在第二幅圖像中也用相同的選點方法,最后比較兩幅圖像中關鍵點描述子距離(二進制的字串衡量就是漢明距離)。
1.4 總結
通過圖像特征點的對應關系，解決了SLAM最重要的一步：同一個點在不同圖像中如何檢測出來。
特征匹配的方法有：
- 暴力匹配(Brute-Force Matcher): 第二幅圖像中每個點都計算其在第一幅圖對應的特征點，運算量大；
- 快速最近鄰(FLANN)： 適用于匹配點數(shù)量多
- 。。。
2. 對極幾何，對極約束
目的是求相機運動 R , t R, t R,t，內參一般知道
這是2D-2D的單目情形，假設相機經(jīng)過一次運動 R , t R, t R,t 后得到的兩幀圖如下：
其中點和線定義如下：
- p 1 , p 2 p_1,p_2 p1?,p2? ： 分別同一個點在兩幀下的投影點
- O 1 , O 2 O_1, O_2 O1?,O2? ： 相機光心
- P P P ： 真實世界中的點
- I 1 , I 2 I_1, I_2 I1?,I2? : 兩幀圖像
- O 1 O 2 連線 O_1O_2連線 O1?O2?連線 ： 基線
- e 1 , e 2 e_1, e_2 e1?,e2? : O 1 O 2 O_1O_2 O1?O2? 和 I 1 , I 2 I_1,I_2 I1?,I2? 的交點，也叫極點
- 極平面 ： O 1 , O 2 , P O_1,O_2,P O1?,O2?,P 所在平面
- 極線 ： l 1 , l 2 l_1, l_2 l1?,l2? 。
如果沒有深度信息，則 O 1 P O_1P O1?P 直線上任一點投影都在 p 1 p_1 p1?，且他在第二幀圖像上的軌跡在 極線 p 2 e 2 p_2e_2 p2?e2? 上，所以有真確的匹配，就可以推斷 P P P 的位置，然后得到相機的運動。
2.1 本質矩陣(對極約束)
推理部分略，詳見《視覺SLAM十四講》第七章7.3節(jié)，這里給出結果。
仍參考上圖，取兩個像素點歸一化平面上的點
x
1
,
x
2
x_1,x_2
x1?,x2?：
x
1
=
K
?
1
p
1
,
x
2
=
K
?
1
p
2
x_1=K^{-1}p_1,\qquad\qquad x_2 = K^{-1}p_2
x1?=K?1p1?,x2?=K?1p2?
則 最終的對極約束 為：
p
2
T
K
?
T
t
\qquad\qquad\qquad\qquad\qquad\qquad\qquad\qquad\qquad\qquad p_2^TK^{-T}t
p2T?K?Tt^
R
K
?
1
p
1
=
0
RK^{-1}p_1 = 0
RK?1p1?=0
它的含義是 O 1 ， O 2 , P O_1，O_2,P O1?，O2?,P 三點共面。從式中心部分，記本質矩陣 E \boldsymbol E E 和基礎矩陣 F \boldsymbol F F 如下:
E = t \qquad\qquad\qquad\qquad\qquad\qquad\qquad E=t E=t^ R F = K ? T E K ? 1 x 2 T E x 1 = p 2 T F p 1 = 0 R\qquad\qquad F=K^{-T}EK^{-1}\qquad\qquad x_2^TEx_1=p_2^TFp_1=0 RF=K?TEK?1x2T?Ex1?=p2T?Fp1?=0
可以看出
E
\boldsymbol E
E 和
F
\boldsymbol F
F 只差內參
K
K
K (已知)，所以二者 求一即可。
不妨以
E
=
t
E=t
E=t^
R
R
R來求解。則后續(xù)工作如下：
- 根據(jù)已匹配點對，求出 E \boldsymbol E E或 F \boldsymbol F F
- 根據(jù) E \boldsymbol E E或 F \boldsymbol F F,求出相機運動 R , t \boldsymbol {R,t} R,t
2.1.1 求解本質矩陣
探究本質矩陣的特點：
-
- 由對極約束 x 2 T E x 1 = 0 x_2^TEx_1=0 x2T?Ex1?=0 , 所以它在不同尺度下等價，左右乘依舊滿足約束。又因為 E = t E=t E=t^ R R R, 原本有6個自由度，故去掉尺度，還有5個自由度
-
- E 的內在性質 E的內在性質 E的內在性質 ： 它的奇異值必定是 [ δ ， δ ， 0 ] T [\delta ，\delta， 0]^T [δ，δ，0]T 的形式，非線性的性質。
求解依據(jù)：
x
2
T
E
x
1
=
0
(
1
)
x_2^TEx_1 = 0 \qquad\qquad\qquad\qquad (1)
x2T?Ex1?=0(1)
理論上可以用5對點來求解，但是很麻煩。故用 八點法 求解(由于尺度不變性)。
1.首先考慮一對點(歸一化坐標
x
1
,
x
2
x_1, x_2
x1?,x2? )： 將(1)式展開:
(
u
1
,
v
1
,
1
)
(
e
1
e
2
e
3
e
4
e
5
e
6
e
7
e
8
e
9
)
(
u
2
v
2
1
)
=
0
??
??
?
將
e
展開
??
??
e
=
[
e
1
,
e
2
,
e
3
,
e
4
,
e
5
,
e
6
,
e
7
,
e
8
,
e
9
]
??
??
?
展開并重寫
??
??
[
u
1
u
2
,
u
1
v
2
,
u
1
,
v
1
u
2
,
v
1
v
2
,
v
1
,
u
2
,
v
2
,
1
]
?
e
=
0
??
?
考慮
8
對點的方程組
(u_1, v_1,1)\begin{pmatrix} e_1\quad e_2\quad e_3 \\e_4\quad e_5\quad e_6 \\e_7\quad e_8\quad e_9 \end{pmatrix}\begin{pmatrix} u_2\\v_2\\1 \end{pmatrix}=0 \quad\\\; \\\;\Downarrow 將e展開 \\\;\\\;e=[e_1,e_2,e_3,e_4,e_5,e_6,e_7,e_8,e_9]\\\;\\\; \Downarrow展開并重寫\\\;\\\; [u_1u_2,u_1v_2,u_1,v_1u_2,v_1v_2,v_1,u_2,v_2,1]\cdot e = 0 \\\;\\\Downarrow考慮8對點的方程組
(u1?,v1?,1)
?e1?e2?e3?e4?e5?e6?e7?e8?e9??
?
?u2?v2?1?
?=0?將e展開e=[e1?,e2?,e3?,e4?,e5?,e6?,e7?,e8?,e9?]?展開并重寫[u1?u2?,u1?v2?,u1?,v1?u2?,v1?v2?,v1?,u2?,v2?,1]?e=0?考慮8對點的方程組
至此，本質矩陣的求解結束
2.1.2 恢復相機運動 R ， t R，t R，t
- 對
E
\boldsymbol E
E 做SVD分解
E = U ∑ V T ( U , V 正交陣， ∑ 為奇異矩陣且 = d i a g ( δ , δ , 0 ) ) E=U\sum V_T\qquad\qquad (U,V正交陣，\sum 為奇異矩陣且=diag(\delta,\delta,0)) E=U∑VT?(U,V正交陣，∑為奇異矩陣且=diag(δ,δ,0)) - 求解較為復雜，這里給出結果
一共存在4組解。如下：
藍色橫線就是相機平面，紅色點為投影點。
有(1)滿足要求，因為只有這樣才符合投影模型，深度才為正。將解出來的解帶入驗算即可。
2.1.3 本質矩陣調整
5個自由度，用了8個點，上邊的方程求解出的
E
E
E 可能不滿足
E
E
E 的內在性質(
∑
=
d
i
a
g
(
δ
,
δ
,
0
)
\boldsymbol {\sum = diag(\delta,\delta,0)}
∑=diag(δ,δ,0) )，因此要調整。做法如下：
在做SVD分解時，得到
∑
=
d
i
a
g
(
δ
1
,
δ
2
,
δ
3
)
??
?
設
δ
1
≥
δ
2
≥
δ
3
，則新的
∑
如下
??
∑
′
=
d
i
a
g
(
δ
1
+
δ
2
2
,
δ
1
+
δ
2
2
,
0
)
??
?
帶入
S
V
D
分解式
??
E
=
U
d
i
a
g
(
δ
1
+
δ
2
2
,
δ
1
+
δ
2
2
,
0
)
V
T
\sum = diag(\delta_1,\delta_2,\delta_3) \\\;\\\Downarrow 設\delta_1\ge\delta_2\ge\delta_3，則新的\sum如下\\\; \\\sum' = diag(\frac{\delta_1+\delta_2}{2}, \frac{\delta_1+\delta_2}{2},0)\\\; \\\Downarrow 帶入SVD分解式\\\; \\E=Udiag(\frac{\delta_1+\delta_2}{2}, \frac{\delta_1+\delta_2}{2},0)V^T
∑=diag(δ1?,δ2?,δ3?)?設δ1?≥δ2?≥δ3?，則新的∑如下∑′?=diag(2δ1?+δ2??,2δ1?+δ2??,0)?帶入SVD分解式E=Udiag(2δ1?+δ2??,2δ1?+δ2??,0)VT
相當于把求出來的矩陣投影到了 E \boldsymbol E E 的流形上，也可以直接取 ∑ = ( 1 , 1 , 0 ) \sum = (1,1,0) ∑=(1,1,0) (尺度不變性)
2.1.3 遺留問題
- E \boldsymbol E E 的尺度不確定性導致了 t \boldsymbol {t} t 的尺度不確定性。(由于 R \boldsymbol R R) 自身帶有約束。因此單目SLAM存在初始化： 以 t \boldsymbol t t 的單位為固定尺度1的計算相機運動和特征點；
- 單目初始化不能只有純旋轉，必須要有一定的平移： 因為 t \boldsymbol t t 為0，所以 E \boldsymbol E E 最終也為0;
- 當點多于8對，此時構成超定方程，我們有兩種做法：
- 3.1. 最小化一個二次型(最小二乘意義下的)
- 3.2. 隨機采樣一致性(RANSAC)，可以處理有錯誤匹配的情況，一般用這個。
2.2 單應矩陣（特別提一下）
為什么需要單應矩陣 H H H (Homography)？
- 當特征點共面，相機純旋轉， F \boldsymbol F F 的自由度少了 t t t ，下降。這就是退化現(xiàn)象。
- 如果這時仍用八點法求解，多出來的自由度是噪聲帶來的。
- 為了避免退化，同時估計基礎矩陣 F \boldsymbol F F 和 單應矩陣 H \boldsymbol H H，選擇重投影誤差小的矩陣作為最終運動估計矩陣。
故 H H H 假設的所有特征點位于平面上。
詳細推導內容見SLAM十四講7.3.3 。根據(jù)法平面做的，求解與 E 和 F E和F E和F 相似。只需要4對匹配點就可以算出。
2.3 三角測量(Triangulation)—深度信息
-
計算深度：回想相機模型那一節(jié)，這里的深度就是之前被我們固定為1的 s \boldsymbol s s 。以第一幀圖像為坐標原點，由以上對極約束內容有：
s 1 x 1 = s 2 R x 2 + t ?? ? 分別單獨計算，左乘 x 1 的反對稱矩陣 s_1x_1 = s_2Rx_2+t \\\; \\\Downarrow 分別單獨計算，左乘x_1的反對稱矩陣 s1?x1?=s2?Rx2?+t?分別單獨計算，左乘x1?的反對稱矩陣
s 1 ( x 1 \qquad\qquad\qquad\qquad\qquad\qquad\qquad\qquad s_1(x_1 s1?(x1?^ ) x 1 = 0 = s 2 ( x 1 )x_1=0=s_2(x_1 )x1?=0=s2?(x1? ^ ) ?? R x 2 + ( x 1 )\;Rx_2+(x_1 )Rx2?+(x1? ^ ) t )t )t -
可以直接求得深度 s 1 , s 2 \boldsymbol {s_1,s_2} s1?,s2? 。但是由于噪聲的存在，我們一般是求最小二乘解，而不是零解。同樣由于尺度不確定性，我們只知道深度對于t的數(shù)量，而不知道具體究竟是多少米。文章來源：http://www.zghlxwxcb.cn/news/detail-684935.html
-
三角化矛盾： 平移越大三角化越精確，但是視野越短，反之亦然。文章來源地址http://www.zghlxwxcb.cn/news/detail-684935.html
到了這里，關于【視覺SLAM入門】5.1. （基于特征點的視覺里程計）特征提取和匹配--FAST,ORB(關鍵點描述子)，2D-2D對極幾何，本質矩陣，單應矩陣，三角測量，三角化矛盾的文章就介紹完了。如果您還想了解更多內容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關文章，希望大家以后多多支持TOY模板網(wǎng)！
