Reference:
- 深藍學院-多傳感器融合
- 多傳感器融合定位理論基礎(chǔ)
文章跳轉(zhuǎn)：
- 多傳感器融合定位一-3D激光里程計其一：ICP
- 多傳感器融合定位二-3D激光里程計其二：NDT
- 多傳感器融合定位三-3D激光里程計其三：點云畸變補償
- 多傳感器融合定位四-3D激光里程計其四：點云線面特征提取
- 多傳感器融合定位五-點云地圖構(gòu)建及定位
- 多傳感器融合定位六-慣性導航原理及誤差分析
- 多傳感器融合定位七-慣性導航解算及誤差分析其一
- 多傳感器融合定位八-慣性導航解算及誤差分析其二
- 多傳感器融合定位九-基于濾波的融合方法Ⅰ其一
- 多傳感器融合定位十-基于濾波的融合方法Ⅰ其二
- 多傳感器融合定位十一-基于濾波的融合方法Ⅱ
- 多傳感器融合定位十二-基于圖優(yōu)化的建圖方法其一
- 多傳感器融合定位十三-基于圖優(yōu)化的建圖方法其二
- 多傳感器融合定位十四-基于圖優(yōu)化的定位方法
- 多傳感器融合定位十五-多傳感器時空標定(綜述)
1. 多傳感器標定簡介
1.1 標定內(nèi)容及方法
1.2 講解思路
- 以思路講解為主，并給出參考文獻和開源代碼，不做過多細節(jié)展開；
- 對已有方法做匯總分析，以求能在新的任務(wù)中掌握標定方案設(shè)計思路。
2. 內(nèi)參標定
2.1 雷達內(nèi)參標定
-
目的
由于安裝原因，線束之間的夾角和設(shè)計不一致，會導致測量不準。 -
方法
多線束打在平面上，利用共面約束，求解夾角誤差。 -
參考
論文：Calibration of a rotating multi-beam Lidar
論文：Improving the Intrinsic Calibration of a Velodyne LiDAR Sensor
論文：3D LIDAR–camera intrinsic and extrinsic calibration: Identifiability and analytical least-squares-based initialization
2.2 IMU內(nèi)參標定
-
目的
由于加工原因，產(chǎn)生零偏、標度因數(shù)誤差、安裝誤差。 -
方法
分立級標定：基于轉(zhuǎn)臺；
迭代優(yōu)化標定：不需要轉(zhuǎn)臺。 -
參考
論文：A Robust and Easy to Implement Method for IMU Calibration without External Equipments
代碼：https://github.com/Kyle-ak/imu_tk
2.3 編碼器內(nèi)參標定
-
目的
用編碼器輸出解算車的位移增量和角度增量，需已知輪子半徑和兩輪軸距。 -
方法
以車中心雷達/組合導航做觀測，以此為真值，反推模型參數(shù)。 -
參考
論文：Simultaneous Calibration of Odometry and Sensor Parameters for Mobile Robots
2.4 相機內(nèi)參標定
-
目的
相機與真實空間建立關(guān)聯(lián)，需已知其內(nèi)參。 -
方法
張正友經(jīng)典方法
3. 外參標定
3.1 雷達和相機外參標定
-
目的
解算雷達和相機之間的相對旋轉(zhuǎn)和平移。 -
方法
PnP是主流，視覺提取特征點，雷達提取邊緣，建立幾何約束。 -
參考
論文： LiDAR-Camera Calibration using 3D-3D Point correspondences
代碼： https://github.com/ankitdhall/lidar_camera_calibration
論文： Automatic Extrinsic Calibration for Lidar-Stereo Vehicle Sensor Setups
代碼： https://github.com/beltransen/velo2cam_calibration
3.2 多雷達外參標定
-
目的
多雷達是常見方案，使用時將點云直接拼接，但前提是已知雷達之間的外參（相對旋轉(zhuǎn)和平移）。 -
方法
基于特征(共面)建立幾何約束，從而優(yōu)化外參。 -
參考
論文：A Novel Dual-Lidar Calibration Algorithm Using Planar Surfaces
代碼：https://github.com/ram-lab/lidar_appearance_calibration
3.3 手眼標定
-
目的
手眼標定適用于所有無共視，但是能輸出位姿的傳感器之間標定。包括：
? 無共視的相機、雷達，或雷達與雷達之間；
? 相機與IMU，或雷達與IMU之間(前提是IMU要足夠好，或直接使用組合導航)。 -
方法
均基于公式 A X = X B AX=XB AX=XB -
參考
論文：LiDAR and Camera Calibration using Motion Estimated by Sensor Fusion Odometry
代碼：https://github.com/ethz-asl/lidar_align
3.4 融合中標定
-
目的
? 脫離標靶，實現(xiàn)在線標定；
? 某些器件無法提供準確位姿(如低精度IMU)，不能手眼標定。 -
方法
在融合模型中，增加外參作為待估參數(shù)。 -
參考
眾多vio/lio系統(tǒng)，如vins、 lio-mapping、 M-Loam 等
3.5 總結(jié)
-
這些方法中，推薦優(yōu)先級從高到低為：
a. 基于共視的標定
b. 融合中標定
c. 手眼標定 -
建議
應(yīng)在良好環(huán)境下標定，盡量避免不分場景的在線標定。良好環(huán)境指觀測數(shù)據(jù)優(yōu)良的場景，例如：
a. GNSS 信號良好；
b. 點云面特征豐富，沒有特征退化；
c. 動態(tài)物體較少
4. 時間標定
4.1 離散時間
-
目的
在原有離散時間融合模式下，簡單地解決時間同步問題。
-
方案 I
簡單但巧妙的策略： IMU時間保持不變，圖像上特征點基于勻速運動模型修改位置。
與不考慮時間誤差時相比，架構(gòu)不變，使用極小的改動，實現(xiàn)了期望的效果。
e l k = z l k ? π ( R c k w T ( P l ? p c k w ) ) z l k = [ u l k v l k ] T . ↓ ↓ ↓ ↓ ↓ ↓ ↓ ↓ ↓ ↓ ↓ ↓ ↓ ↓ ↓ e l k = z l k ( t d ) ? π ( R c k w T ( P l ? p c k w ) ) z l k ( t d ) = [ u l k v l k ] T + t d V l k . \begin{array}{l} \mathbf{e}_l^k=\mathbf{z}_l^k-\pi\left(\mathbf{R}_{c_k}^{w^T}\left(\mathbf{P}_l-\mathbf{p}_{c_k}^w\right)\right) \\ \mathbf{z}_l^k=\left[\begin{array}{ll} u_l^k & v_l^k \end{array}\right]^T . \\ \downarrow\downarrow\downarrow\downarrow\downarrow\downarrow\downarrow\downarrow\downarrow\downarrow\downarrow\downarrow\downarrow\downarrow\downarrow \\ \mathbf{e}_l^k=\mathbf{z}_l^k\left(t_d\right)-\pi\left(\mathbf{R}_{c_k}^{w^T}\left(\mathbf{P}_l-\mathbf{p}_{c_k}^w\right)\right) \\ \mathbf{z}_l^k\left(t_d\right)=\left[\begin{array}{ll} u_l^k & v_l^k \end{array}\right]^T+t_d \mathbf{V}_l^k . \end{array} elk?=zlk??π(Rck?wT?(Pl??pck?w?))zlk?=[ulk??vlk??]T.↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓elk?=zlk?(td?)?π(Rck?wT?(Pl??pck?w?))zlk?(td?)=[ulk??vlk??]T+td?Vlk?.?參考文獻：Online Temporal Calibration for Monocular Visual-Inertial Systems文章來源：http://www.zghlxwxcb.cn/news/detail-620433.html -
方案 II
在濾波中計算相機位姿時，直接按時間差對積分區(qū)間進行調(diào)整。
狀態(tài)量： x = [ x I T I C q ￣ T C p I T t d c 1 T ? c M T ] T \mathbf{x}=\left[\begin{array}{lllllll} \mathbf{x}_I^T & { }_I^C \overline{\mathbf{q}}^T & { }^C \mathbf{p}_I^T & t_d & \mathbf{c}_1^T & \cdots & \mathbf{c}_M^T \end{array}\right]^T x=[xIT??IC?q?T?CpIT??td??c1T????cMT??]T
相機位姿估計： c ^ n e w = [ G C q ( t + t d ) ^ G p C ( t + t d ) ^ ] = [ I C q ^ ? G I q ^ ( t + t ^ d ) G p ^ I ( t + t ^ d ) + G I R ^ ( t + t ^ d ) T I p ^ C ] \hat{\mathbf{c}}_{n e w}=\left[\begin{array}{c}{ }_G^C \widehat{\mathbf{q}\left(t+t_d\right)} \\ { }^G \widehat{\mathbf{p}_C\left(t+t_d\right)}\end{array}\right]=\left[\begin{array}{c}{ }_I^C \hat{\mathbf{q}} \otimes{ }_G^I \hat{\mathbf{q}}\left(t+\hat{t}_d\right) \\ { }^G \hat{\mathbf{p}}_I\left(t+\hat{t}_d\right)+{ }_G^I \hat{\mathbf{R}}\left(t+\hat{t}_d\right)^T{ }^I \hat{\mathbf{p}}_C\end{array}\right] c^new?=[GC?q(t+td?) ?GpC?(t+td?) ??]=[IC?q^??GI?q^?(t+t^d?)Gp^?I?(t+t^d?)+GI?R^(t+t^d?)TIp^?C??]
參考文獻：Online Temporal Calibration for Camera-IMU Systems: Theory and Algorithms文章來源地址http://www.zghlxwxcb.cn/news/detail-620433.html
4.2 連續(xù)時間
- 原因
預(yù)積分中把時間差作為待估狀態(tài)量，對時間差進行建模，如下：
Δ p m i = ∑ k = κ i ? 1 ( Δ v m k Δ t k + Δ R m k 2 f ? ( t k ? δ t m ? b f m ) Δ t k 2 ) Δ v m i = ∑ k = κ i ? 1 Δ R m k f ( t k ? δ t m ) ? b f m ) Δ t k Δ R m i = ∏ k = κ i = 1 Exp ? ( ω ( t k ? δ t m ) ? b ω m ) Δ t k ) , \begin{array}{l} \Delta \mathbf{p}_m^i=\sum_{k=\kappa}^{i-1}\left(\Delta \mathbf{v}_m^k \Delta t_k+\frac{\Delta \mathbf{R}_m^k}{2} \operatorname{f}\left(t_k-\delta_t^m-\mathbf_f^m\right) \Delta t_k^2\right) \\ \left.\Delta \mathbf{v}_m^i=\sum_{k=\kappa}^{i-1} \Delta \mathbf{R}_m^k \mathbf{f}\left(t_k-\delta_t^m\right)-\mathbf_f^m\right) \Delta t_k \\ \left.\Delta \mathbf{R}_m^i=\prod_{k=\kappa}^{i=1} \operatorname{Exp}\left(\omega\left(t_k-\delta_t^m\right)-\mathbf_\omega^m\right) \Delta t_k\right), \end{array} Δpmi?=∑k=κi?1?(Δvmk?Δtk?+2ΔRmk??f(tk??δtm??bfm?)Δtk2?)Δvmi?=∑k=κi?1?ΔRmk?f(tk??δtm?)?bfm?)Δtk?ΔRmi?=∏k=κi=1?Exp(ω(tk??δtm?)?bωm?)Δtk?),?由于要對時間差求雅可比，因此插值函數(shù)必須可導，雅可比如下：
Δ R m ( b ω , δ t ) i ≈ Δ R m ( b ˉ ω m , δ ˉ δ m ) i Exp ? ( ? Δ R m i ? b ω b ^ ω m + ? Δ R m i ? δ t δ ^ t m ) . Δ v m ( b f , b ω , δ t ) i ≈ Δ Δ v m ( b ˉ f m , b ˉ m m , δ ˉ t m ) i + ? Δ v m i ? b f b ^ f m + ? Δ v m i ? b ω b ^ ω m + ? Δ v m i ? δ t δ ^ t m Δ p m ( b f , b ω , , δ t ) i ≈ Δ p m ( b f m ￣ , b ˉ m m , δ ˉ t m ) i + ? Δ p m m ? b f b ^ f m + ? Δ p m i ? b ω b ^ ω m + ? Δ p m i ? δ t δ ^ t m \begin{array}{l} \Delta \mathbf{R}_{m\left(\mathbf_\omega, \delta_t\right)}^i \approx \Delta \mathbf{R}_{m\left(\bar_\omega^m, \bar{\delta}_\delta^m\right)}^i \operatorname{Exp}\left(\frac{\partial \Delta \mathbf{R}_m^i}{\partial \mathbf_\omega} \hat{\mathbf}_\omega^m+\frac{\partial \Delta \mathbf{R}_m^i}{\partial \delta_t} \hat{\delta}_t^m\right). \\ \Delta \mathbf{v}_{m\left(\mathbf_f, \mathbf_\omega, \delta_t\right)}^i \approx \Delta \Delta \mathbf{v}_{m\left(\bar_f^m, \bar_m^m, \bar{\delta}_t^m\right)}^i+\frac{\partial \Delta \mathbf{v}_m^i}{\partial \mathbf_f} \hat{\mathbf}_f^m +\frac{\partial \Delta \mathbf{v}_m^i}{\partial \mathbf_\omega} \hat{\mathbf}_\omega^m+\frac{\partial \Delta \mathbf{v}_m^i}{\partial \delta_t} \hat{\delta}_t^m \\ \Delta \mathbf{p}_{m\left(\mathbf_f, \mathbf_{\omega,}, \delta_t\right)}^i \approx \Delta \mathbf{p}_{m\left(\overline{\mathbf_f^m}, \bar_m^m, \bar{\delta}_t^m\right)}^i+\frac{\partial \Delta \mathbf{p}_m^m}{\partial \mathbf_f} \hat{\mathbf}_f^m +\frac{\partial \Delta \mathbf{p}_m^i}{\partial \mathbf_\omega} \hat_\omega^m+\frac{\partial \Delta \mathbf{p}_m^i}{\partial \delta_t} \hat{\delta}_t^m \\ \end{array} ΔRm(bω?,δt?)i?≈ΔRm(bˉωm?,δˉδm?)i?Exp(?bω??ΔRmi??b^ωm?+?δt??ΔRmi??δ^tm?).Δvm(bf?,bω?,δt?)i?≈ΔΔvm(bˉfm?,bˉmm?,δˉtm?)i?+?bf??Δvmi??b^fm?+?bω??Δvmi??b^ωm?+?δt??Δvmi??δ^tm?Δpm(bf?,bω,?,δt?)i?≈Δpm(bfm??,bˉmm?,δˉtm?)i?+?bf??Δpmm??b^fm?+?bω??Δpmi??b^ωm?+?δt??Δpmi??δ^tm??參考文獻：3D Lidar-IMU Calibration based on Upsampled Preintegrated Measurements for Motion Distortion Correction - 方法
把輸入建立為連續(xù)時間函數(shù)，從而可以在任意時間求導。 - 參考
a. kalibr 系列
論文：Continuous-Time Batch Estimation using Temporal Basis Functions
論文：Unified Temporal and Spatial Calibration for Multi-Sensor Systems
論文：Extending kalibr Calibrating the Extrinsics of Multiple IMUs and of Individual Axes
代碼：https://github.com/ethz-asl/kalibr
b. 其他
論文：Targetless Calibration of LiDAR-IMU System Based on Continuous-time Batch Estimation
代碼：https://github.com/APRIL-ZJU/lidar_IMU_calib
4.3 總結(jié)
- 時間差估計，在某些情況下不得已而為之，實際中應(yīng)盡量創(chuàng)造條件實現(xiàn)硬同步；
- 不得不估計時，也應(yīng)盡量在良好環(huán)境下估計。
到了這里，關(guān)于多傳感器融合定位十五-多傳感器時空標定(綜述)的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！
