基于觀測概率有效下界估計的二維激光雷達和攝像機標定方法

彭 夢 萬 琴 陳白帆 鄔書躍

①(湖南工程學院計算機與通信學院 湘潭 411104)

②(中南大學自動化學院 長沙 410083)

1 引言

利用多種類型傳感器的感知信息融合將大大提高系統(tǒng)的綜合感知能力。而在眾多類型的外部探測傳感器中，攝像機和2維激光雷達由于其低成本、體積小、適用性高被廣泛應用于無人車輛、機器人、智能檢測等領域[1–3]。通過攝像機和2維激光雷達的信息融合，不僅可以獲取攝像機的高分辨率顏色和紋理信息，而且可以獲取2維激光雷達的高精度的距離信息。為了實現(xiàn)這兩種傳感器的信息融合，需要精確估計它們的相對姿態(tài)和位置，即標定兩種傳感器的旋轉(zhuǎn)變換和平移變換參數(shù)。相比較3維激光雷達，2維激光雷達無法直接給出激光點與圖像像素的對應關系，外參數(shù)標定的約束建模和求解比較難。目前，2維激光雷達和攝像機的標定主要分為基于標定物的標定方法[4?13]和自標定方法[14?17]兩大類。

基于標定物的標定方法中，Zhang等人[4]最早提出使用棋盤格進行標定，該方法首先估計每次觀測中攝像機和棋盤格之間的相對姿態(tài)，然后利用激光點和棋盤格平面之間的空間約束，以獲得標定參數(shù)的線性解，該解作為非線性優(yōu)化過程的初始值。但是該方法不能保證旋轉(zhuǎn)矩陣的正交性，因此初始解的有效性不穩(wěn)定。針對文獻[4]中缺點，文獻[5]使用棋盤作為標定物，在對偶空間中將“線-面”空間約束關系轉(zhuǎn)換為透視3點問題(Perspectivethree-Point, P3P)，求解旋轉(zhuǎn)矩陣和平移向量的解析解，并通過最小化激光投影誤差進行參數(shù)優(yōu)化。然而，由于P3P問題固有的局限性，該方法存在多解問題和退化問題。相比文獻[5]同樣是使用棋盤格，胡釗政等人[6]基于虛擬三面體構(gòu)造P3P問題，并通過引入了平面成像區(qū)域約束，提高了真解準確度，而彭夢等人[7]提出了多約束誤差函數(shù)模型計算標定誤差，提高了標定結(jié)果的精度。除了棋盤格以外，研究人員還設計了一些其他類型標定物來實現(xiàn)標定。例如Hoang等人[8]使用三角形模板來捕捉線約束上的點，通過點線之間的約束關系實現(xiàn)標定。Sim等人[9]使用V形板的3組點線約束，利用點面約束求解進行標定。Dong等人[10]利用兩個帶棋盤格的對折的三角形，能只依靠一組觀測數(shù)據(jù)完成標定，大大簡化了標定過程。Itami等人[11]采用球體作為標定物，獲取動態(tài)跟蹤的點匹配來實現(xiàn)標定。Fan等人[12]使用均勻分布在3維空間中的若干控制點組成作為標定物，通過精確測量控制點實現(xiàn)標定。Ye等人[13]提出了一種基于點線約束和歐氏變換不變性約束的標定方法，以獲得更準確有效的外部參數(shù)。

基于自標定的方法中，Zhou等人[14]利用自然景觀的道路直線特征構(gòu)建點線約束，提出了基于道路邊緣特征的自標定方法。Gomez-Ojeda等人[15]提出基于室內(nèi)建筑環(huán)境的墻角作為相互垂直的三面體標定物，構(gòu)建激光掃描直線和墻面平面約束以及激光點和墻角線投影平面約束來實現(xiàn)自標定。Hu等人[16]擴展了文獻[15]的工作，通過結(jié)構(gòu)化墻角作為中間坐標系，將標定問題轉(zhuǎn)化為P3P問題和3線透視(Perspective-three-Line, P3L)問題求解，從而獲取標定參數(shù)閉式解。Royer等人[17]首先利用同步定位與地圖構(gòu)建算法(Simultaneous Localization And Mapping, SLAM)獲取車輛的運行軌跡對攝像機進行標定，然后基于直線匹配對激光雷達進行標定，從而實現(xiàn)兩個傳感器標定。但是這些自標定方法的缺點很明顯，嚴重依賴特征人工環(huán)境下的特征，魯棒性較差，實用性較差。

針對多解問題，本文提出一種基于觀測概率有效下界估計的2維激光雷達和攝像機標定方法。首先，設計了一種最小解集合的分級聚類方法，將屬于同一局部最優(yōu)解鄰域內(nèi)的解劃歸為一類(3.1節(jié))。然后，提出了一種基于激光誤差的聯(lián)合觀測概率，對解集合元素的好壞程度提供一個合理準確的度量(4.1節(jié))。最后，利用聚類結(jié)果和觀測概率度量結(jié)果，本文提出一種基于觀測概率有效下界估計的有效解選取策略(4.2節(jié))，并給出了標定方法的整體實現(xiàn)流程(4.3節(jié))。本文的標定方法利用觀測概率有效下界，將優(yōu)化初始值從選擇一個最優(yōu)解轉(zhuǎn)化為選擇有效解候選集合，因而能有效避免錯選局部最優(yōu)值鄰域的假解，提高了標定結(jié)果的準確性和可靠性。

2 問題描述

圖1 2維激光雷達坐標系和攝像機坐標系轉(zhuǎn)換關系

3 最小解集合的分級聚類

傳統(tǒng)最小解標定方法利用距離誤差函數(shù)從解集合選擇一個最小誤差解。通過分析多解的分布特點，本文發(fā)現(xiàn)距離誤差函數(shù)存在多個局部最優(yōu)值，由于噪聲干擾，最小誤差解可能是某個局部最優(yōu)值鄰域的假解而丟失真解。因此，首先本文提出一種最小解集合的分級聚類方法，通過對解集合進行聚類，將屬于同一局部最優(yōu)值鄰域內(nèi)的解劃歸為一類。目的是利用聚類結(jié)果將所有類別的類內(nèi)最優(yōu)解構(gòu)建成初始的有效解集合，為后面的有效解篩選提供基礎。

3.1 最小解集合的分級聚類方法

3.2 自適應聚類閾值設定

4 基于觀測概率有效下界估計的標定方法

本節(jié)首先定義了一種基于激光誤差的聯(lián)合觀測概率，對解集合元素的優(yōu)劣進行度量(4.1節(jié))。然后，結(jié)合解集合聚類和觀測概率的結(jié)果，提出一種基于觀測概率有效下界估計的有效解選取方法(4.2節(jié))。最后，給出了標定方法的整體實現(xiàn)流程(4.3節(jié))。

4.1 基于激光誤差的聯(lián)合觀測概率

4.2 基于觀測概率有效下界估計的有效解篩選

4.3 本文標定方法的實現(xiàn)流程

由于最小解標定方法都存在多解問題，因此本文上述改進方法適用于所有最小解標定方法。本文以文獻[5]的Francisco標定方法為例，在其基礎上提出一種基于觀測概率有效下界估計的標定方法，利用觀測概率有效下界，將優(yōu)化初始值從選擇一個最優(yōu)解轉(zhuǎn)化為選擇有效解候選集合。本文標定方法的具體步驟如下。首先，使用文獻[5]的最小解算法求解旋轉(zhuǎn)矩陣和平移向量從而形成初始解集合D，對初始解集合進行聚類，將屬于同一局部最優(yōu)解鄰域內(nèi)的解劃歸為一類。然后，基于激光誤差的聯(lián)合觀測概率對解集合元素的優(yōu)劣進行度量。最后，根據(jù)聚類的結(jié)果和觀測概率度量，本文提出了一種基于觀測概率有效下界估計的有效解選取策略。

圖2 局部最優(yōu)觀測概率分布示意圖，其中p ?opt為觀測概率有效下界

5 實驗結(jié)果與分析

5.1 仿真實驗

利用仿真數(shù)據(jù)評測多個算法在不同條件下的性能，將本文算法與文獻[4]的Zhang算法和文獻[5]的Francisco算法進行比較。仿真實驗中，分別用仿真2維激光雷達和理想的針孔模型攝像機產(chǎn)生激光數(shù)據(jù)和圖像數(shù)據(jù)。仿真攝像機采集圖像的大小為(1280, 960)，焦距f為541 mm。設激光雷達角度分辨率為0.25°，掃描角度范圍為–20°～+20°。并且設棋盤格標定板有8×8個黑白方塊構(gòu)成，黑白方塊的邊長為80 mm 。棋盤格隨機擺放在激光雷達前方的3～6 m的位置，棋盤格的姿態(tài)也是隨機生成的，并對姿態(tài)自動進行檢查，以保證棋盤格能被所有傳感器有效觀測到。仿真實驗中，給激光雷達的仿真掃描數(shù)據(jù)加上不同水平的0均值高斯噪聲。

仿真實驗中分別針對旋轉(zhuǎn)矩陣和平移向量兩個指標進行誤差分析，將計算得到的旋轉(zhuǎn)矩陣和平移向量的估計值R和t與真實值Rr和tr比較。旋轉(zhuǎn)矩陣誤差度量eR表示兩個旋轉(zhuǎn)矩陣之間的角度誤差，單位是(°)，其中‖·‖F(xiàn)ro為矩陣的Frobenius范數(shù)。平移向量誤差度量et表示兩個平移向量之間的歐氏距離

第1種仿真實驗測試比較3個標定算法的真解命中率。其中真解命中率定義為每種標定算法獲取真解實驗數(shù)占總的實驗數(shù)的百分比，姿態(tài)誤差超過10°或者平移誤差超過100 cm的標定結(jié)果為假解，否則為真解。

首先，定量分析不同棋盤格個數(shù)情況下的真解命中率。設置激光測距的噪聲方差δ=20 mm，棋盤格的個數(shù)從3逐漸增加到8，各自進行100次相互獨立實驗，將3種算法的標定誤差進行比較。從圖3(a)可知，在各種棋盤格個數(shù)下，本文方法的真解命中率均要高于其他兩種方法。當棋盤格個數(shù)為6時，本文方法真解命中率達到了100%，相比Francisco方法85%和Zhang方法50%真解命中率，本文方法的性能提高了20%和100%。

然后，定量分析不同的噪聲水平下的真解命中率。設置棋盤格的個數(shù)為6，激光測距的噪聲方差δ從5 mm逐漸增加到30 mm，各自進行100次相互獨立實驗，將3種算法的標定誤差進行比較。從圖3(b)可知，在不同的噪聲水平下，本文方法的真解命中率均要好于其他兩種方法，而且噪聲越大性能差距越明顯。在激光測距的噪聲方差位于5～30 mm時，本文方法真解命中率保持在98%以上。當激光測距的噪聲方差為30 mm時，相比于Francisco方法80% 和Zhang方法30%真解命中率，本文方法的真解命中率為100%，性能提高明顯。

圖3 3種方法的真解命中率對比分析

第2種仿真實驗測試比較了3種方法在不同棋盤格個數(shù)輸入下的誤差均值和誤差分布。設置激光測距的噪聲方差δ=20 mm，棋盤格的個數(shù)從3逐漸增加到8，各自進行100次相互獨立實驗。分別比較旋轉(zhuǎn)矩陣和平移向量兩個指標的誤差均值(圖4)和誤差分布(圖5)，其中Zhang方法至少需要5個棋盤格。從圖4可知，在任意棋盤格個數(shù)下，本文方法的標定精度都要好于其他兩種方法，且隨著棋盤格個數(shù)的增加而誤差逐漸遞減。在棋盤格個數(shù)超過4時，本文方法的旋轉(zhuǎn)矩陣誤差保持在3°以下，平移向量誤差保持在200 mm以下，可以滿足實際應用精度。從圖5可知，本文方法在各種棋盤格個數(shù)情況下的誤差分布更集中、方差更小，因此出現(xiàn)假解的可能性更小。

圖4 不同棋盤格個數(shù)輸入下3種方法的誤差均值

圖5 不同棋盤格數(shù)目情況下3種方法標定誤差值的分布

第3種仿真實驗測試比較了3種方法在不同的噪聲水平下的誤差均值和誤差分布。設置棋盤格的個數(shù)為6，激光測距的噪聲方差δ從5 mm逐漸增加到30 mm，各自進行100次相互獨立實驗，分別比較旋轉(zhuǎn)矩陣和平移向量兩個指標的誤差均值(圖6)和誤差分布(圖7)。從圖6可知，本文方法在不同噪聲水平下的標定精度上均要好于其他兩種方法，性能有明顯提高。本文方法的旋轉(zhuǎn)矩陣誤差在各噪聲水平下均保持在1°～2°，平移向量誤差保持在200 mm以下。相比較Francisco方法，旋轉(zhuǎn)矩陣精度提高了1.5°～4°，平移向量精度提高了150～400 mm。且在不同噪聲水平，本文標定方法的精度保持較好的穩(wěn)定性，波動性不大。從圖7可知，本文方法在不同噪聲水平下的誤差分布更集中、方差更小，因此出現(xiàn)奇異解的概率更小。

圖6 不同激光噪聲方差情況下3種方法的誤差均值

圖7 不同激光噪聲方差情況下3種方法標定誤差值的分布

5.2 真實實驗

為了進一步驗證本文方法的性能，本文利用實驗室的激光雷達和攝像機采集真實數(shù)據(jù)進行實驗。實驗中采用的2D激光雷達是SICK LMS291單線掃描激光雷達，掃描角度為180°，角度分辨率為0.5°，每個周期獲得前方361個數(shù)據(jù)。采用的攝像機是JAI BB141-GE工業(yè)攝像機，圖像分辨率為800像素×600像素。首先，設置激光雷達和攝像機的姿態(tài)與位置，獲取的4個棋盤格觀測數(shù)據(jù)。分別使用本文標定方法和文獻[5]的Francisco方法對激光雷達和攝像機進行外參數(shù)標定，計算得到的旋轉(zhuǎn)矩陣和平移向量為(R1,t1)和 (R2,t2)

使用與仿真實驗同樣的誤差評估指標，得出兩種方法標定的旋轉(zhuǎn)矩陣誤差為2.42°，平移向量誤差為12.9 mm，兩個標定結(jié)果接近，驗證了本文標定方法的正確有效性。

然后，將激光點投射到成像平面上。圖8顯示激光點在圖像上進行投影的結(jié)果，藍色“*”標記是Francisco方法投影結(jié)果[5]，紅色“O”標記是本文方法投影結(jié)果。從激光雷達和攝像機的信息融合的直觀效果看，本文方法在棋盤格上具有更多的投影點，表明更具有合理性。

圖8 激光點在圖像上的投影結(jié)果

由于無法直接測量傳感器外參數(shù)的真實值，本文通過真實環(huán)境實驗的標定結(jié)果分布狀態(tài)進行分析評價。將棋盤格的個數(shù)從3逐漸增加到8，每組各自進行30次獨立真實實驗，對旋轉(zhuǎn)矩陣R的角度度量θR和平移向量t的大小度量μt兩個指標的分布進行比較分析，兩個度量指標的定義為

如圖9所示，根據(jù)旋轉(zhuǎn)矩陣分布和平移向量分布，表明本文方法的標定結(jié)果分布更集中、奇異值更少，因此可知本文方法具有更高的標定精度和穩(wěn)定性。從表2可知，雖然本文方法將標定初始值從一個誤差最小解轉(zhuǎn)化為有效解候選集，增加了解的個數(shù)，但是通過本文的聚類和基于觀測概率有效下界的篩選兩個過程將時間復雜度降到可接受的范圍，能夠滿足實用需求。

圖9 真實實驗中旋轉(zhuǎn)矩陣分布和平移向量分布示意圖

表2 本文方法的有效解個數(shù)以及運算時間的比較

6 結(jié)束語

針對最小解標定方法的多解問題，本文提出一種基于觀測概率有效下界估計的標定方法，主要貢獻有3點：(1)提出一種最小解集合的分級聚類方法，將屬于同一局部最優(yōu)解鄰域內(nèi)的解劃歸為一類，利用每類最優(yōu)解替代解集合從而減少解集合樣本個數(shù)。(2)提出一種基于激光誤差的聯(lián)合觀測概率，對解集合元素的好壞程度提供一個合理準確的度量。(3)提出一種基于觀測概率有效下界估計的有效解選取策略，將優(yōu)化初始值從選擇一個最優(yōu)解轉(zhuǎn)化為選擇有效解候選集合，有效避免丟失真解，提高了標定結(jié)果的準確性和可靠性。

通過仿真實驗和真實實驗的性能對比，結(jié)果表明本文標定方法能有效提高真解命中率和標定精度。仿真實驗結(jié)果表明，相比其他兩種方法性能均有明顯的提高。在真解命中率性能上相比于Francisco方法，本文方法在不同棋盤格個數(shù)情況下真解命中率提升16%～17%，在不同噪聲水平下真解命中率提升6%～19%。在標定精度性能上相比于Francisco方法，本文方法在不同噪聲水平下旋轉(zhuǎn)矩陣精度提高了1.5°～4°，平移向量精度提高了150～400 mm。未來工作將更多考慮利用傳感器載體的自身運動信息，構(gòu)造特殊的PnP問題，實現(xiàn)高魯棒和高精度的自標定。