論文題目：Line-based Automatic Extrinsic Calibration of LiDAR and Camera

中文題目：基于線特征的激光雷達(dá)和相機(jī)外參自動(dòng)標(biāo)定

作者：Xinyu Zhang, Shifan Zhu, Shichun Guo, Jun Li, and Huaping Liu

作者機(jī)構(gòu)：清華大學(xué)汽車安全與能源國(guó)家重點(diǎn)實(shí)驗(yàn)室

論文鏈接：https://www.researchgate.net/publication/354877994_Line-based_Automatic_Extrinsic_Calibration_of_LiDAR_and_Camera

為了解決外參逐漸漂移的問題，提出了一種基于線的方法，可以在真實(shí)場(chǎng)景中實(shí)現(xiàn)激光雷達(dá)和相機(jī)的自動(dòng)在線外參標(biāo)定。首先，從點(diǎn)云和圖像中提取和過濾線特征。然后，利用自適應(yīng)優(yōu)化方法提供精確的外部參數(shù)。然后在KITTI基準(zhǔn)上用地面真值對(duì)其進(jìn)行了評(píng)估。實(shí)驗(yàn)驗(yàn)證了標(biāo)定方法的準(zhǔn)確性。在數(shù)百幀的在線實(shí)驗(yàn)中，本文提出的方法自動(dòng)校正了誤標(biāo)定誤差，達(dá)到了0.2度的精度，驗(yàn)證了它在各種場(chǎng)景下的適用性。

1 引言

本文提出的目的：

1. 傳統(tǒng)的手動(dòng)校準(zhǔn)方法需要專門設(shè)計(jì)對(duì)象，如標(biāo)定板或手動(dòng)選擇點(diǎn)，這導(dǎo)致校準(zhǔn)過程繁瑣。
2. 長(zhǎng)時(shí)間的運(yùn)行和不同的載荷會(huì)導(dǎo)致外部參數(shù)的輕微漂移和累計(jì)誤差，因此需要自動(dòng)在線標(biāo)定對(duì)其進(jìn)行調(diào)整。

本文主要貢獻(xiàn)：

• 提出了一種能在線自動(dòng)估計(jì)六自由度(6-DOF)參數(shù)的外參標(biāo)定方法。該方法利用一般的直線特征減少了傳感器之間的漂移誤差，不需要人工選擇點(diǎn)和特殊目標(biāo)，因此能夠適用于任何給定的場(chǎng)景。
• 提出了一種點(diǎn)云線提取方法，利用點(diǎn)云處理方法過濾噪聲數(shù)據(jù)，準(zhǔn)確提取線特征。
• 引入自適應(yīng)優(yōu)化方法和結(jié)果置信度估計(jì)方法，實(shí)現(xiàn)了向正確方向優(yōu)化和高效計(jì)算標(biāo)定結(jié)果。

2 算法概述

提出的方法分為三個(gè)步驟：

1. 在圖像和點(diǎn)云的特征提取之前進(jìn)行一系列的預(yù)處理
2. 從圖像和點(diǎn)云中提取線特征，通過特征濾波進(jìn)行細(xì)化
3. 最后，通過對(duì)初始外部參數(shù)添加小擾動(dòng)，將點(diǎn)云線特征投影到像素幀上，并對(duì)每個(gè)擾動(dòng)的得分進(jìn)行計(jì)算和優(yōu)化

本文的算法框架如下：

3 算法框架

3.1 問題表述

激光雷達(dá)與相機(jī)的外參標(biāo)定問題在于確定兩者之間正確的變換矩陣。將問題定義為求旋轉(zhuǎn)角向量θ=(θx;θy;θz)，平移向量t=(tx,ty,tz)；點(diǎn)云記為$P_t$，圖像記為$I_{ij}^t$，表示點(diǎn)I和像素ij在第t幀的值。通過將LiDAR點(diǎn)投影到圖像上計(jì)算成本分?jǐn)?shù)，目標(biāo)函數(shù)定義為:
$$S_t=\sum _{t=n?w}^n{I}_{ij}^t[\alpha \sum _{p_t}^{p_t\in F_h^t}{T}_t{p}_t+(1?\alpha )\sum _{p_t}^{p_t\in F_v^t}{T}_t{p}_t]/w$$

其中每個(gè)LiDAR點(diǎn)$p_t$分別迭代水平特征$F_h$和垂直特征$F_v$。系數(shù)α對(duì)水平和垂直線特征賦予不同的權(quán)重。本文將α賦值為0.65，以增強(qiáng)對(duì)水平誤差的約束。另外，w是滑動(dòng)窗口的大小?？紤]之前的w幀，計(jì)算第t幀的分?jǐn)?shù)。

通俗的說就是：將激光雷達(dá)點(diǎn)檢測(cè)到的水平線特征和豎直線特征分別通過轉(zhuǎn)換矩陣T，變換到相機(jī)坐標(biāo)系中，然后投影到圖像上，然后通過一個(gè)在圖像上的滑動(dòng)窗口計(jì)算得分。

3.2 圖像處理

在圖像處理中，首先將RGB圖像轉(zhuǎn)換為灰度圖像；然后通過[1]中的線特征提取算法進(jìn)行線特征提??；然后對(duì)灰度圖像進(jìn)行距離變換。

下圖展示了這個(gè)過程。

圖(b)中的白色邊緣和圖?中的白色線條分別代表聚類的邊緣特征和線特征。如圖(b)所示，應(yīng)用距離變換模型后，聚類后的邊緣特征更加無序。相反，圖?中的線特征組織得更好，產(chǎn)生的灰度變化更小。它可以允許更大的搜索步長(zhǎng)，從而防止優(yōu)化過程進(jìn)入局部解決方案。

白色像素表示提取的特征，灰度變化表示到邊緣或線特征的距離。像素越白，越接近這些線特征的中心

3.3 雷達(dá)處理

在激光雷達(dá)處理中，其原理是利用距離不連續(xù)性來獲得更多的邊線特征。為了實(shí)現(xiàn)這一目標(biāo)，采用局部映射的方法，將三幀點(diǎn)云合并為一幀，使一幀能呈現(xiàn)更多的點(diǎn)。具體來說，利用NDT方法計(jì)算當(dāng)前幀和前兩幀之間的變換矩陣。

在單幀和三合一幀中提取的邊界線點(diǎn)對(duì)比如下圖所示。圖(a)顯示了通過將三幀點(diǎn)云$P_{t?2}:t$轉(zhuǎn)換為一幀點(diǎn)云得到的更密集的點(diǎn)云，與圖(b)中的另一幀點(diǎn)云相比，可以顯示更多的點(diǎn)。這可以提高提取性能，特別是在應(yīng)用低光束激光雷達(dá)時(shí)。

然后將更密集的點(diǎn)云轉(zhuǎn)換成圖像，每個(gè)像素存儲(chǔ)對(duì)應(yīng)雷達(dá)點(diǎn)的距離信息。通過比較當(dāng)前點(diǎn)與相鄰點(diǎn)之間的距離，消除離相鄰點(diǎn)太遠(yuǎn)的離群點(diǎn)，提取出更精確的線特征。需要注意的是，本文考慮了多個(gè)激光束之間的距離信息。這使得可以提取水平特征，從而使用線特征最小化水平和垂直誤差。水平線特征$F_h$和垂直線特征$F_v$分別存儲(chǔ)在兩個(gè)不同的點(diǎn)云中。在此設(shè)置中，忽略了很少出現(xiàn)的平面相交線特征，有利于提高計(jì)算效率。

3.4 特征過濾

在上面的處理之后，得到了無序的線特征。下面采用兩步過濾方法來消除異常值。

**第一步：**由于點(diǎn)云已經(jīng)轉(zhuǎn)換成圖像形式，因此設(shè)計(jì)了一個(gè)卷積核來過濾掉距離所有八個(gè)相鄰點(diǎn)超過一定閾值的點(diǎn)。這種過濾方法可以去除所有的異常點(diǎn)以及與地面對(duì)應(yīng)的點(diǎn)。剩余的特征可以被識(shí)別為線特征。

過濾前后的線特征如下圖所示。

**第二步：**使用聚類算法去除相鄰點(diǎn)很少的線特征，剔除短于8像素的線特征。

以上兩個(gè)過濾步驟可以提供更有條理的點(diǎn)云線特征，保證后續(xù)步驟的優(yōu)化效果更好

3.5 自適應(yīng)優(yōu)化

在優(yōu)化之前，已經(jīng)將LiDAR線特征提取到圖像上，并計(jì)算投影到灰色區(qū)域的LiDAR點(diǎn)的比例。

為了準(zhǔn)確地找到解，采用了兩個(gè)搜索步驟。

1. 首先，為了防止搜索陷入局部解，采用圖像線特征寬、灰度變化小、步長(zhǎng)相對(duì)較大的粗糙搜索，可以快速發(fā)現(xiàn)可能包含最佳解的區(qū)域。
2. 然后，應(yīng)用更細(xì)的圖像線特征和更大的灰度變化，以及更小的步長(zhǎng)，以獲得更精確的校準(zhǔn)結(jié)果。

當(dāng)激光雷達(dá)點(diǎn)投射到灰色區(qū)域的比例超過一定閾值時(shí)，就會(huì)發(fā)生這兩步大小和灰度變化之間的切換。

為了提高計(jì)算效率，提出了一種自適應(yīng)優(yōu)化方法，使優(yōu)化向著正確的方向進(jìn)行。

將當(dāng)前像素得分與相鄰的728個(gè)得分進(jìn)行比較。在此過程中，如果搜索程序發(fā)現(xiàn)得分較高的參數(shù)，則停止當(dāng)前搜索過程，并在得分較高的位置開始新的搜索過程。此外，當(dāng)達(dá)到設(shè)定的迭代次數(shù)或找到最佳分?jǐn)?shù)時(shí)，該搜索過程將停止，從而可以提高計(jì)算效率。另外，還使用滑動(dòng)窗口來設(shè)置優(yōu)化過程中需要考慮的幀。在本文中，為了防止從錯(cuò)誤的方向進(jìn)行優(yōu)化搜索或陷入局部最優(yōu)解，使用了三幀。因此，最終優(yōu)化的外部參數(shù)應(yīng)該在滑動(dòng)窗口的所有幀中都超過其他參數(shù)。

4 實(shí)驗(yàn)與結(jié)果

在KITTI數(shù)據(jù)集的不同場(chǎng)景下進(jìn)行了兩次實(shí)驗(yàn)。

4.1 精度分析

圖(a)和(b)給出了實(shí)驗(yàn)一的結(jié)果，圖?和(d)給出了實(shí)驗(yàn)二的結(jié)果。在這兩個(gè)實(shí)驗(yàn)中，在X、Y、Z軸上增加了1度的旋轉(zhuǎn)偏置，并對(duì)地面真值參數(shù)增加了0.05米的變換偏置。然后，每10幀添加0.5度的旋轉(zhuǎn)偏差。需要指出的是，1度旋轉(zhuǎn)偏置是正還是負(fù)是隨機(jī)的。實(shí)驗(yàn)將標(biāo)定誤差與地面真實(shí)值進(jìn)行了比較。此外，還測(cè)試了檢測(cè)誤校準(zhǔn)的能力和糾正偏差的速度。

在不計(jì)算人為誤差的情況下，橫搖、俯仰、偏航的最大誤差始終在0.5度以內(nèi)。由于激光雷達(dá)具有較高的水平分辨率，偏航的校準(zhǔn)結(jié)果最為精確。盡管激光雷達(dá)在垂直方向上的分辨率要低得多，并且該方向上的3D特征呈現(xiàn)頻率較低，但由于采用了自適應(yīng)優(yōu)化算法，并且該方向的權(quán)重較高，因此所提出方法仍然可以達(dá)到較高的精度?？傮w而言，在所有維度上的平均旋轉(zhuǎn)誤差為0.12度，低于大多數(shù)離線校準(zhǔn)技術(shù)。

4.2 糾錯(cuò)速度分析

在上圖(a)和(b)中，黑色箭頭1、2、3和4指向添加偏差的框架。對(duì)于箭頭1和3提出的方法立即糾正了偏差，而沒有顯示置信度下降，而對(duì)于黑色箭頭2和4，紅色部分在兩幀內(nèi)變?yōu)榫G色(圖(a))，這意味著偏差在兩幀內(nèi)得到了糾正。實(shí)驗(yàn)二也出現(xiàn)了同樣的情況(圖?和(d))。

在KITTI數(shù)據(jù)集上更多場(chǎng)景下的整體校準(zhǔn)結(jié)果如下圖所示，說明本文方法適用于不同場(chǎng)景。

5 總結(jié)

本文提出了一種在線自動(dòng)標(biāo)定激光雷達(dá)和相機(jī)外部參數(shù)的方法。與以前的自動(dòng)化方法不同，這種新的校準(zhǔn)方法不需要在場(chǎng)景中放置標(biāo)記。作者證明了點(diǎn)云和圖像的線特征是校正校準(zhǔn)偏差的魯棒特征。人為添加的偏置可以在一到兩幀內(nèi)得到糾正，比其他方法更快。此外，文中還說明了當(dāng)前校準(zhǔn)結(jié)果的置信度可以計(jì)算，并進(jìn)一步用于提高計(jì)算效率和精度。

未來的工作希望評(píng)估提取的線特征的準(zhǔn)確性，以減少特征較少的場(chǎng)景中的校準(zhǔn)偏差。利用蒙特卡羅方法可以提供初始參數(shù)。

6 參考文獻(xiàn)

[1]R. G. Von Gioi, J. Jakubowicz, J.-M. Morel, and G. Randall, “Lsd: a
line segment detector,” Image Processing On Line, vol. 2, pp. 35–55, 2012.文章來源地址http://www.zghlxwxcb.cn/news/detail-736788.html

到了這里，關(guān)于【文獻(xiàn)分享】基于線特征的激光雷達(dá)和相機(jī)外參自動(dòng)標(biāo)定的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！