基于可重構(gòu)標定板的激光與視覺聯(lián)合標定方法

黃 強，潘常春，裴 凌，劉海春，李嵐臻，李 揚，李澤亞

(1.上海交通大學電子信息與電氣工程學院，上海 200240；2.上海交通大學北斗導航與位置服務重點實驗室，上海 200240；3.上海西虹橋?qū)Ш郊夹g(shù)有限公司，上海 201799；4.北京跟蹤與通信技術(shù)研究所，北京 100089)

0 引言

激光雷達與視覺傳感器在智能化移動機器人與無人駕駛領(lǐng)域具有廣泛應用，激光雷達的優(yōu)點在于其有著較遠的探測距離和較高的三維信息獲取能力、受環(huán)境影響較小、魯棒性好，但也存在著價格高昂、數(shù)據(jù)點稀疏的問題；視覺傳感器的優(yōu)勢在于其有著非常豐富的直觀視覺信息，以及大量優(yōu)秀的視覺算法，在環(huán)境感知和目標檢測方面具有極大優(yōu)勢，且成本低廉，但也存在著難以獲取相對精確的三維信息、魯棒性差、需要大量計算資源、受環(huán)境光照影響較大的問題。對兩者進行數(shù)據(jù)融合可以發(fā)揮兩個傳感器各自的優(yōu)勢，提升整體運行中的精度與魯棒性，在多傳感器融合的SLAM和多模態(tài)的環(huán)境感知等多個領(lǐng)域內(nèi)都是研究的熱點問題。而傳感器間的聯(lián)合標定是實現(xiàn)傳感器融合的重要基礎(chǔ)，其精度直接影響后續(xù)融合算法的精度。

激光雷達與視覺傳感器的標定方法主要分為靜態(tài)離線標定與動態(tài)在線標定兩大類。靜態(tài)離線標定主要依賴于標定物如棋盤格、Arucomarker[1-2]等構(gòu)成的標定板等。Q.Zhang等[3]采用棋盤格標定板首先進行了單線激光雷達與視覺傳感器的聯(lián)合標定。通過激光點云識別出標定板是靜態(tài)標定中的重要一步，A.Dhall等[4]和L.Zhou等[5]通過檢測激光雷達下的標定板邊緣點來擬合角點，借此實現(xiàn)點云配準。A.Khosravian等[6]將棋盤格提取公式轉(zhuǎn)化為具有明確目標函數(shù)的組合優(yōu)化問題，并提出了一種用于優(yōu)化目標的分支定界技術(shù)。在激光點云分類上，A.Geiger等[7]利用貪婪的思想去除數(shù)量少的點集以實現(xiàn)配準，而康國華等[8]則是利用點云中心粗配準實現(xiàn)點云整體精配準。改進標定板也是靜態(tài)標定中的一種思路。Z.Chen等[9]則設(shè)計了一種標定立方體，通過建立立方體下雷達點云與圖像之間的方程，并采集標定立方體多角度點云來求解標定參數(shù)。L.Tao等[10]針對不同材料的激光雷達反射強度設(shè)置閾值來獲取激光雷達點云，并據(jù)此設(shè)計了一種新標定板。ROS下的Autoware工具箱[11]也采用棋盤格與手動選擇的方式進行多線激光雷達與視覺傳感器的標定。動態(tài)在線標定主要依賴于環(huán)境特征，一般采用邊緣檢測等方式得到特征之間的對應關(guān)系，斯坦福大學人工智能實驗室智能車[12]與百度Apollo平臺[13]上使用的激光雷達與相機的聯(lián)合標定均采用此方式，其標定效果受標定環(huán)境和振動等問題影響較大，通常容易在豎直方向有較大的標定誤差。

靜態(tài)標定在精度上優(yōu)于動態(tài)標定，是當前主要研究方向。在上述靜態(tài)標定方法中，一部分[5,7-8]針對傳統(tǒng)標定板進行標定，存在采集幀數(shù)和激光點云較多的問題，并且需要手動選取雷達點云；另一部分[9-10]對標定板進行了改進，但改進過于復雜，對具體實施效率影響較大。針對上述問題，本文在Tao等[10]的標定板上進行改進，設(shè)計了一種新的標定板，通過分解重構(gòu)提升標定板的易用性與適用性，實現(xiàn)激光雷達特征點的自動識別，并增加相機校驗機制以緩解誤差，提升了標定結(jié)果的精度與魯棒性，最終分別與雙目相機的左右目進行標定實驗，量化地評估其標定結(jié)果的誤差。

1 方法

1.1 概述

本方法通過設(shè)計可重構(gòu)標定板，為激光雷達marker的自動識別提供基礎(chǔ)。通過算法自動識別標定板雷達點云，并通過相機識別校驗機制緩解相機識別中存在的誤差。相比于傳統(tǒng)方法，本方法具有以下優(yōu)勢：

1)不需要復雜的標定板，實用性高；

2)避免了人為選取雷達點云，提升了易用性；

3)針對相機可能存在的誤差進行了處理，提升了魯棒性。

具體涉及的軟件模塊構(gòu)成如圖1所示。

圖1 標定軟件模塊構(gòu)成

1.2 可重構(gòu)標定板

本文提出了一種可重構(gòu)的標定板以實現(xiàn)多線激光雷達與視覺傳感器的聯(lián)合標定，該標定板為基于Tao等[10]提出的標定板進行改進得到的。前者通過強度進行特征點的選取，但需要手動選取并且標定板的適用范圍非常局限，在實際操作中需要花費大量的時間去尋找標定板所處的合適位置；當視覺傳感器與激光雷達的傳感器相對位置發(fā)生變化時，同樣需要花費大量的時間去調(diào)整合適的位置，且位置的調(diào)整是無規(guī)律可循的；同時，在一些視覺傳感器與激光雷達的相對位置下不存在所謂的標定板的合適位置，極大地限制了該方法的適用性與易用性。

因此，本文在上述標定方法的基礎(chǔ)上對標定板進行了改進，將標定板中視覺marker與激光雷達marker構(gòu)建成標準化單板。在實際使用時，通過觀測激光雷達的可視化數(shù)據(jù)，擺放單個激光雷達marker標準化單板，以及觀測視覺傳感器下圖像，調(diào)整視覺marker標準化單板的位置。然后基于兩側(cè)的刻度尺數(shù)值進行先驗信息的快速重構(gòu)，從而實現(xiàn)標定板的重構(gòu)，大幅提升了其適用性與易用性。具體的可重構(gòu)標定板的設(shè)計圖如圖2所示。

圖2 可重構(gòu)標定板設(shè)計圖

在激光雷達marker標準化單板中，為了實現(xiàn)激光雷達marker的自動識別，借鑒條形碼的思路設(shè)計了用于識別的起始符與終止符，中間的黑色方塊即為激光雷達識別的marker，如圖3所示。在激光雷達marker標準化單板中，每個黑色塊以及中間的白色塊均為既定的寬度。

圖3 激光雷達marker標準化單板

1.3 激光雷達marker自動識別方法

激光雷達marker的自動識別方法借鑒了條形碼識別方法[14]，首先累積若干幀的數(shù)據(jù)，并采用強度閾值對ROI區(qū)域進行激光雷達特征點的濾波。但受限于激光雷達的測距精度，以及觀測的激光雷達標準板通常處于較遠距離，因此與常規(guī)的條形碼近距離掃描方式存在一定差異。而且所采用的Velodyne 16線激光雷達的精度為3cm，而本文所使用的標準化單板上的marker方塊尺寸為1cm，這導致了激光雷達采樣結(jié)果稀疏，同時依靠三維空間距離的判定會存在難以識別的問題。

針對這種情況，本文采用預設(shè)投影的方式，通過預設(shè)的投影矩陣將激光雷達的三維點投影到像平面，在像平面上對單線以DBSCAN聚類[15]方法進行投影點的聚類，并采用相對寬松的比例閾值以及對應的實際物理距離等組合約束進行激光雷達marker的識別，最終識別出21(3×7)處。對識別出的激光雷達marker點再做進一步的校正。該方法從一定程度上緩解了激光雷達測距精度和遠距離識別的問題，最后結(jié)合所有幀數(shù)據(jù)信息實現(xiàn)特征點的對應。其算法流程圖如圖4所示。

1.4 視覺marker校驗

在實際的運行中，由于環(huán)境因素、距離遠近和對焦問題等影響，會存在視覺marker識別不穩(wěn)的情況，引入不必要的誤差。對于上述問題，本文采用雙視覺marker進行校驗的方法對識別不穩(wěn)的情況進行檢測與剔除，如圖5所示。

(1)

圖5 視覺校驗

1.5 外參求解

其優(yōu)化模型可寫作

(2)

在初始外參上通過最小二乘擬合求解上述優(yōu)化問題。

2 實驗

為了驗證所提標定方法的性能，采用ZED雙目相機與Velodyne 16線激光雷達進行聯(lián)合標定，標定實驗場景如圖6所示。

圖6 標定實驗

(3)

將式(3)得到的左右目外參與相機出廠時給定的左右目外參進行比較，計算標定的誤差。實驗中，通過改變標定板位置進行了三組實驗，取均值作為最終評價指標。實驗數(shù)據(jù)如表1所示，前兩行是雷達與左右目分別標定時的均方根誤差(Root Mean Squared Error, RMSE)，后六行為標定所得左右目外參與出廠外參的誤差。

表1 相機左右目與雷達標定實驗誤差

相機左右目標定的RMSE分別為0.98cm和1.57cm，取二者的均值1.275cm作為整體標定實驗的RMSE。

在上述實驗的基礎(chǔ)上，復現(xiàn)文獻[4]中Dhall等的實驗，同樣也進行雷達與相機左右目的標定，將實驗結(jié)果與本文實驗結(jié)果進行對比，如表2所示。

表2 對比實驗結(jié)果

對比實驗結(jié)果顯示，本文標定效果優(yōu)于文獻[4]中Dhall等的方法。

除了利用數(shù)據(jù)客觀地評價標定結(jié)果外，也可以采用將激光雷達點云投影到像平面上的可視化方法進行結(jié)果驗證。雷達點云投影到像平面,利用標定得到的雷達與相機的外參可以實現(xiàn)。投影得到的可視化圖像如圖7所示。通過對比可以看出，經(jīng)過本文方法標定后的雷達點云投影到圖像后，與圖像中場景的契合度比較高，優(yōu)于Dhall的方法,直觀地表明了本方法下雷達與相機的標定精度高。

(a)本文方法

圖8 雙目相機投影驗證可視化結(jié)果

3 總結(jié)

本文主要設(shè)計了一款可重構(gòu)標定板用于雷達與相機的聯(lián)合標定?；诖藰硕ò逄岢隽艘环N類條形碼的激光雷達特征點的自動識別方法，以及一種棋盤格和Aruco marker的相機校驗方法。算法分析與實驗結(jié)果表明：

1)通過將多種標定板進行合理的重構(gòu)組合，能夠得到優(yōu)于單一標定板的標定效果，并且重構(gòu)組合后的標定板具有一定的靈活性，以及很高的實用性。

2)雷達點的自動識別和誤差幀的自動剔除減少了標定中的誤差。在標定過程中，設(shè)計自動處理環(huán)節(jié)能有效地減少誤差，并且使得標定更加方便快捷。

3)本文新設(shè)計的標定板以及相應改進算法，在標定實驗中RMSE為1.275cm，重投影后對應效果好，具有較高的實用性和工程應用價值。

本文實驗中使用的標定板沒有經(jīng)過精加工,后續(xù)可以對標定板采取進一步標準化、模塊化的工業(yè)化加工，以提升標定結(jié)果的精度。