0. 簡介

Camera與LiDAR之間的外部標(biāo)定研究正朝著更精確、更自動、更通用的方向發(fā)展，由于很多方法在標(biāo)定中采用了深度學(xué)習(xí)，因此大大減少了對場景的限制。然而，數(shù)據(jù)驅(qū)動方法具有傳輸能力低的缺點。除非進(jìn)行額外的訓(xùn)練，否則它無法適應(yīng)數(shù)據(jù)集的變化。隨著基礎(chǔ)模型的出現(xiàn)，這個問題可以得到顯著緩解，通過使用分割任意模型（Segment Anything Model，SAM），我們這次提出了一種新的激光雷達(dá)相機(jī)標(biāo)定方法，該方法不需要額外的訓(xùn)練，并適用于常見場景。相關(guān)的代碼可以在Github上獲得。

1. 主要貢獻(xiàn)

首先使用SAM對整個圖像進(jìn)行語義分割，得到一組掩碼，在沒有在點云和掩模之間建立明確的對應(yīng)關(guān)系，而是計算掩模內(nèi)點云屬性的一致性，包括其強(qiáng)度、法向量和分割類。如圖1所示，在正確的外在條件下，汽車mask內(nèi)點的強(qiáng)度具有更高的一致性。對于法線向量，plane masks上的點應(yīng)具有一致的法線方向，簡單地通過平面擬合和歐氏聚類得到點云的分割類。vehicles和trunks 等目標(biāo)將聚集在一個類別中，因此mask上也具有一致性！論文計算了具有這三個屬性的每個mask的一致性得分，通過給出一個初始的外在值，可以通過最大化所有mask的總分來優(yōu)化它。

圖1. 通過正確的外參(a)和錯誤的外參(b)投影到車的掩模上的點云。點的顏色表示強(qiáng)度值。

為此，本文主要工作的貢獻(xiàn)如下：

1）我們提出了一種新穎的自動LiDAR-相機(jī)外參校準(zhǔn)方法，使用SAM和點云一致性，不需要額外的訓(xùn)練。

2）外參參數(shù)的優(yōu)化標(biāo)準(zhǔn)是點云在掩模上的強(qiáng)度、法線向量和分割類別的一致性，使我們的方法適用于大多數(shù)場景。

3）我們在多個數(shù)據(jù)集上驗證了我們的方法，證明了其通用性和可比性精度。

2. 方法概述

整個過程可以分為三個部分。對于圖像分割，我們使用SAM生成整個圖像的掩模。對于點云，我們實現(xiàn)了法線估計、簡單的分割方法和強(qiáng)度歸一化，以生成每個點的對應(yīng)屬性。然后，優(yōu)化目標(biāo)是使落在一個掩模上的點具有接近的屬性值。我們設(shè)計了一個評估一致性的得分函數(shù)。進(jìn)行幾輪搜索以獲得最終結(jié)果。圖2顯示了我們提出的方法的流程。

圖2. 方法概述。對于圖像，使用Segment Anything模型生成整個圖像的掩碼。對于點云，我們實現(xiàn)了法線估計、簡單的分割方法和強(qiáng)度歸一化，以生成每個點的相應(yīng)屬性。在優(yōu)化階段，通過外參將點云投影到掩碼上。我們設(shè)計了一個損失函數(shù)，該函數(shù)由掩碼區(qū)域內(nèi)點的屬性一致性決定。

3. 數(shù)據(jù)預(yù)處理

3.1 圖像分割

首先在整個圖像上應(yīng)用SAM，以獲取許多不同對象的掩模。由于我們使用點云的一致性，我們希望分割更加細(xì)致和詳細(xì)。因此，我們調(diào)整SAM的超參數(shù)以獲得更多的掩模，并減少重疊區(qū)域。這些掩模被注釋為 M = { M i ∣ i = 0 , 1 , … , N } \mathbb{M} = \{M_i | i = 0, 1, …, N\} M={Mi?∣i=0,1,…,N}。每個掩模是一個與圖像相同大小的二進(jìn)制矩陣。值 M i ( u , v ) = { 0 , 1 } M_i(u, v) = \{0, 1\} Mi?(u,v)={0,1}表示像素$(u,v)$是否屬于第$i$個分割。

3.2 點云預(yù)處理

預(yù)處理有三個部分：法線估計、強(qiáng)度歸一化和分割。

對于法線估計，有許多方法[32]，[33]可以直接使用。在這里，我們選擇了一個簡單的方法，足以滿足我們的應(yīng)用需求。表面上的一個點的法線方向被近似為與表面相切的平面的法線。平面法線可以通過分析由查詢點的一些最近鄰創(chuàng)建的協(xié)方差矩陣的特征向量和特征值或主成分分析（PCA）來估計。使用K-d樹數(shù)據(jù)結(jié)構(gòu)進(jìn)行高效的k最近鄰（KNN）搜索。

點云的強(qiáng)度通過比例因子進(jìn)行歸一化，以便在點云的強(qiáng)度根據(jù)LiDAR類型不同而不同的情況下進(jìn)行后續(xù)的一致性計算。

除了這兩個屬性之外，我們對點云進(jìn)行簡單的分割方法。我們首先通過RANSAC算法進(jìn)行平面擬合，提取場景中的大型平面，如地面和墻壁。然后我們對剩余的點云應(yīng)用一些歐幾里得聚類[32]，并獲得個體對象的聚類，如車輛和樹木。我們?yōu)辄c分配一個數(shù)字$c$，表示它屬于哪個類別。 點云中點的最終屬性可以表示為：

這是點$P$的位置、法線向量、反射率和分割類別。

3.3 外參優(yōu)化 （重點內(nèi)容）

1）一致性函數(shù)： 點$p$可以通過初始外參$T$投影到圖像幀中：

在這里，我們假設(shè)內(nèi)參$K$已知。然后對于每個掩模$M_i$，我們可以得到一組落在其上的點：

可以通過以下公式計算點集$P_i$的一致性得分：

其中，是反射率、法線向量和分割類別的對應(yīng)函數(shù)，$w_R$、$w_N$、$w_S$是它們的權(quán)重。在實踐中，我們使用$w_R=w_N=w_S$。$f(?)$是根據(jù)Pi中點的數(shù)量進(jìn)行調(diào)整的函數(shù)。 反射率一致性可以通過所有值的標(biāo)準(zhǔn)差(std)簡單計算：

假設(shè)大小為(3 × n)的矩陣$A$由$P_i$中的法線向量組成。法線向量的一致性函數(shù)$F_N$表示為：

它是所有**向量成對點積的平均值。對于分割類別，首先對每個類別的點進(jìn)行計數(shù)并按從大到小的順序排序。**這表示為，其中$c_i$是第$i$個最大類別中的點數(shù)。一致性是所有類別的加權(quán)和：

文章來源地址http://www.zghlxwxcb.cn/news/detail-783697.html

…詳情請參照古月居

到了這里，關(guān)于經(jīng)典文獻(xiàn)閱讀之--Calib Anything(使用SAM的無訓(xùn)練標(biāo)定雷達(dá)相機(jī)外參)的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！