基于特征點(diǎn)匹配的激光雷達(dá)與相機(jī)間外參標(biāo)定方法

摘" 要： 激光雷達(dá)點(diǎn)云和相機(jī)圖像融合常被應(yīng)用在多個(gè)領(lǐng)域，準(zhǔn)確的外參標(biāo)定是融合兩種信息的前提?，F(xiàn)有的基于特征的標(biāo)定算法，提取的3D?2D特征存在不匹配的問題，影響了整體標(biāo)定的性能。為此提出一種基于特征點(diǎn)匹配的激光雷達(dá)與相機(jī)外參標(biāo)定方法。首先利用圓心特征提取算法從點(diǎn)云和圖像中分別獲取標(biāo)定板上4個(gè)圓心特征點(diǎn)的三維和二維坐標(biāo)；然后建立三維點(diǎn)云數(shù)據(jù)和二維圖像數(shù)據(jù)中點(diǎn)對(duì)間約束關(guān)系；最后通過非線性優(yōu)化算法得到激光雷達(dá)和相機(jī)標(biāo)定的外參，利用外參矩陣將激光雷達(dá)點(diǎn)云投影在對(duì)應(yīng)的圖像上。實(shí)驗(yàn)結(jié)果表明，文中所提方法平均重投影誤差在2.6像素內(nèi)，與基于手動(dòng)匹配的標(biāo)定方法相比，精度提升了42.2%；與基于兩孔圓形標(biāo)定板的標(biāo)定方法相比，精度提升了27.8%。

關(guān)鍵詞： 激光雷達(dá)； 點(diǎn)云； 相機(jī)圖像融合； 外參標(biāo)定； 特征點(diǎn)匹配； 平均重投影誤差

中圖分類號(hào)： TN249?34" " " " " " " " " " " " " "文獻(xiàn)標(biāo)識(shí)碼： A" " " " " " " " " " " " 文章編號(hào)： 1004?373X（2025）03?0019?07

Feature point matching based extrinsic parameter calibration between lidar and camera

LI Xin， WANG Xiaoxia， YANG Fengbao

（School of Information and Communication Engineering， North University of China， Taiyuan 030051， China）

Abstract： The fusion of lidar point cloud and camera images is often applied in multiple fields， and accurate extrinsic parameter calibration is a prerequisite for fusing the two types of information. The 3D?2D features extracted with the existing feature?based calibration algorithms do not match with each other， which affects the overall calibration performance. In view of the above， this article proposes a feature point matching based calibration method for extrinsic parameters between lidar and camera. The center feature extraction algorithm is utilized to obtain the 3D and 2D coordinates of the four center feature points on the calibration board from the point cloud and image， respectively. The constraint relationships between point pairs in 3D point cloud data and 2D image data are established. The extrinsic parameters for lidar and camera calibration are obtained by nonlinear optimization algorithms， and the extrinsic parameter matrix is utilized to project the lidar point cloud onto the corresponding image. The experimental results show that the average reprojection error of the proposed method is kept within 2.6 Pixels. Its accuracy has improved by 42.2% in comparison with the calibration method based on manual matching， and by 27.8% in comparison with the calibration method based on the circular calibration plate with two holes.

Keywords： lidar; point cloud; camera image fusion; extrinsic parameter calibration; feature point matching; average reprojection error

0" 引" 言

激光雷達(dá)和相機(jī)的融合技術(shù)被廣泛應(yīng)用在無人駕駛、三維建模、目標(biāo)識(shí)別等領(lǐng)域[1]。激光雷達(dá)能精確提供目標(biāo)的深度和強(qiáng)度信息，從而可以確定目標(biāo)的精確位置及分析其表面特性，卻難以獲取目標(biāo)的顏色、紋理等視覺特征。而可見光相機(jī)雖然能捕獲目標(biāo)的色彩和紋理等信息，但空間感知能力不足[2]，兩者的結(jié)合可以獲取更為豐富的三維模型數(shù)據(jù)。為了實(shí)現(xiàn)激光雷達(dá)和相機(jī)之間的信息融合，需要對(duì)這兩類傳感器進(jìn)行標(biāo)定以獲得精確的外參矩陣。

激光雷達(dá)與相機(jī)間外參標(biāo)定主要包括基于輔助信息[3?4]和基于標(biāo)定設(shè)備的幾何特征[5?6]兩類方法?；谳o助信息的方法主要通過運(yùn)動(dòng)估計(jì)、強(qiáng)度互信息、語義信息等進(jìn)行標(biāo)定[7?9]，這些標(biāo)定方法受限于特定的環(huán)境物體，且沒有使用特征點(diǎn)對(duì)間約束關(guān)系求解標(biāo)定的平移矩陣，導(dǎo)致外參標(biāo)定精度較差?；跇?biāo)定設(shè)備的幾何特征方法，通常是借助棋盤格或特殊形狀的標(biāo)定物，在激光雷達(dá)點(diǎn)云和相機(jī)圖像中分別提取對(duì)應(yīng)的特征，并根據(jù)特征匹配進(jìn)行外參標(biāo)定[10]。文獻(xiàn)[11]通過手動(dòng)選取棋盤格上頂點(diǎn)，根據(jù)二維?三維間的對(duì)應(yīng)關(guān)系，采用PnP （Perspective?n?Points）算法計(jì)算得到初始的外部參數(shù)估計(jì)值。文獻(xiàn)[12]利用兩個(gè)圓孔的標(biāo)定板計(jì)算圓孔圓心在激光雷達(dá)坐標(biāo)系和相機(jī)坐標(biāo)系下的三維空間位置，并通過非線性優(yōu)化后求解外參。該方法需要采集標(biāo)定板不同的位姿數(shù)據(jù)以獲得多組特征點(diǎn)對(duì)，從多組數(shù)據(jù)中任選3組以上的特征點(diǎn)進(jìn)行標(biāo)定實(shí)驗(yàn)，但選取的特征點(diǎn)可能存在不共面的情況。文獻(xiàn)[13]在圖像和激光點(diǎn)云中分別提取了標(biāo)定板的線和面特征，再依據(jù)線面對(duì)應(yīng)算法求解外參矩陣，但該方法僅僅依靠線作為標(biāo)定約束，求解的平移矩陣誤差較大。文獻(xiàn)[14]利用三維標(biāo)定板，從點(diǎn)云和圖像中提取了單幀的棋盤格中心點(diǎn)，由于存在環(huán)境噪聲、標(biāo)定板擺放精度等因素，提取到的中心點(diǎn)與理想位置之間存在一定的偏離誤差，無法保證求得旋轉(zhuǎn)矩陣的精確性。上述方法雖然各有其特點(diǎn)和優(yōu)勢(shì)，但在特征點(diǎn)匹配這一關(guān)鍵環(huán)節(jié)上都存在一定的局限性。通過準(zhǔn)確匹配激光雷達(dá)點(diǎn)云中的三維特征點(diǎn)與相機(jī)圖像中的二維特征點(diǎn)，可以建立起兩者之間的對(duì)應(yīng)關(guān)系，進(jìn)而求解出外參矩陣，因此，特征點(diǎn)匹配的準(zhǔn)確性直接影響到標(biāo)定結(jié)果的精度。近年來，基于深度學(xué)習(xí)的方法[15?17]也逐漸被應(yīng)用于激光雷達(dá)與相機(jī)的校準(zhǔn)任務(wù)中，但深度學(xué)習(xí)模型依賴于大量高精度訓(xùn)練數(shù)據(jù)，且針對(duì)不同場(chǎng)景需要重新訓(xùn)練以獲得模型參數(shù)，泛化受限且成本較高。

綜上所述，本文提出一種基于特征點(diǎn)匹配的激光雷達(dá)與相機(jī)間的外參標(biāo)定方法。該方法首先通過設(shè)計(jì)與標(biāo)定板平面具有相同幾何結(jié)構(gòu)的掩膜，采用網(wǎng)格搜索的方法獲取三維點(diǎn)云圓心特征；再根據(jù)預(yù)先設(shè)定的閾值篩選出圓形輪廓，并依據(jù)圓形的半徑精確定位到圓孔的圓心，從而獲取二維圖像的圓心特征點(diǎn)坐標(biāo)；最后通過構(gòu)建4個(gè)圓孔的三維與二維特征點(diǎn)間匹配關(guān)系，利用非線性優(yōu)化算法精確求解激光雷達(dá)與相機(jī)間的外參。

1" 基本原理

激光雷達(dá)與相機(jī)間外參標(biāo)定流程圖如圖1所示。

1.1" 外參標(biāo)定原理

外參標(biāo)定是從點(diǎn)云和圖像數(shù)據(jù)中提取對(duì)應(yīng)的特征點(diǎn)坐標(biāo)，構(gòu)建這些特征點(diǎn)坐標(biāo)之間的關(guān)聯(lián)方程，利用優(yōu)化算法計(jì)算出外參。

本文采用基于特征點(diǎn)匹配的外參標(biāo)定方法，由于圓孔的圓心特征比較明顯，使用帶有4個(gè)圓孔的標(biāo)定板為標(biāo)定物。標(biāo)定板的4個(gè)圓孔圓心點(diǎn)在激光雷達(dá)坐標(biāo)系下的坐標(biāo)表示為[{PLcircle， j（xLcircle， j，yLcircle， j， zLcircle， j）}4j=1]，[{PLcircle， j（xLcircle， j，yLcircle， j， zLcircle， j）}4j=1]是在相機(jī)坐標(biāo)系下的表示，在像素坐標(biāo)系下表示為[{PIcircle， j（uIcircle， j，vIcircle， j）}4j=1]。它們之間的轉(zhuǎn)換關(guān)系如下：

[ZCuv1=K?XCYCZC1=K?RT01?XLYLZL1=K?RT?XLYLZL1] （1）

式中：[R]表示激光雷達(dá)坐標(biāo)系到相機(jī)坐標(biāo)系的3×3旋轉(zhuǎn)矩陣；[T]表示激光雷達(dá)坐標(biāo)系到相機(jī)坐標(biāo)系的3×1平移向量；[K]為相機(jī)的內(nèi)參矩陣，其描述了相機(jī)的內(nèi)部屬性。

根據(jù)上述式子可知，通過從標(biāo)定板上提取點(diǎn)云4個(gè)圓孔的圓心點(diǎn)[{PLcircle， j}4j=1]，并與圖像上圓孔的中心點(diǎn)[{PIcircle， j}4j=1]匹配。在求解相機(jī)的固有參數(shù)[K]的基礎(chǔ)上，設(shè)定激光雷達(dá)與相機(jī)的外參初始值。根據(jù)式（1）求得點(diǎn)云中的圓孔中心點(diǎn)[{PLcircle， j}4j=1]在像素坐標(biāo)下的投影點(diǎn)，最小化激光雷達(dá)到圖像上的投影點(diǎn)與圖像中圓孔中心點(diǎn)[{PIcircle， j}4j=1]之間的歐氏距離，優(yōu)化激光雷達(dá)與相機(jī)的外參矩陣，即旋轉(zhuǎn)矩陣[R]和平移矩陣[T]。

1.2" 特征點(diǎn)匹配的聯(lián)合標(biāo)定方法

標(biāo)定板的示意圖如圖2所示。圖中自制矩形標(biāo)定板的尺寸為70 cm×70 cm，厚度為8 mm，并在標(biāo)定板上挖空4個(gè)圓孔。采集不同場(chǎng)景下對(duì)應(yīng)的點(diǎn)云和圖像數(shù)據(jù)，提取圓孔的點(diǎn)云三維坐標(biāo)和圖像像素二維坐標(biāo)，建立基于圓孔特征點(diǎn)的匹配約束方程組，利用非線性優(yōu)化算法計(jì)算激光雷達(dá)與相機(jī)間的外參矩陣。

1.2.1" 點(diǎn)云數(shù)據(jù)圓心特征提取算法

對(duì)于三維點(diǎn)云中的特征點(diǎn)，與文獻(xiàn)[12]中方法不同的是，通過生成與標(biāo)定目標(biāo)具有相同結(jié)構(gòu)的點(diǎn)云掩膜以此定位每個(gè)孔的圓心，具體步驟如下。

1） 點(diǎn)云預(yù)處理。假設(shè)激光雷達(dá)掃描到的數(shù)據(jù)為[pL0]，為了更有效地分割點(diǎn)云數(shù)據(jù)，采用ROI（Region of Interest）過濾方法。通過在[x]軸和[y]軸分別設(shè)定一定的范圍，以此來過濾掉異常的噪聲點(diǎn)和周邊環(huán)境的干擾噪聲，進(jìn)而為后續(xù)的點(diǎn)云分割操作提供便利。

2） 分割目標(biāo)平面。為了保證在不同類型的真實(shí)環(huán)境中分割出合適的平面，包括在地平面或建筑物墻壁可能影響分割的情況下。首先，在RANSAC算法中設(shè)定了分割的模型必須與傳感器參考系的垂直軸在指定的角度容差內(nèi)平行；其次，設(shè)置模型系數(shù)優(yōu)化的最大迭代次數(shù)。至此，從預(yù)處理后的點(diǎn)云分割得到目標(biāo)平面，分割后的點(diǎn)云數(shù)據(jù)用[pLplane]表示。

[pLplane={（x，y，z）}?pL0] （2）

3） 定位圓孔坐標(biāo)。首先，根據(jù)標(biāo)定板的尺寸，設(shè)計(jì)了與標(biāo)定圓孔目標(biāo)具有相同結(jié)構(gòu)的幾何掩模，用[pLmap]表示。在此基礎(chǔ)上，首先確定掩膜的圓心位置[omap]，然后依據(jù)文獻(xiàn)[18]描述的網(wǎng)格搜尋方法，在初始確定的圓心領(lǐng)域?qū)ふ覅^(qū)域內(nèi)包含最少點(diǎn)的位置，即為目標(biāo)平面真正的圓心[oplane]。這里只關(guān)注相對(duì)于標(biāo)定板平面的旋轉(zhuǎn)偏航角[R*yaw]和[x]、[y]軸平移。

[R*yaw，t*x，y=argminyaw，x，yRyaw（pLmap+tx，y）?pLplane] （3）

匹配原理圖如圖3所示，當(dāng)[omap]與[oplane]實(shí)現(xiàn)完美匹配時(shí)，圓孔內(nèi)點(diǎn)的數(shù)量最少，因此可以在激光雷達(dá)坐標(biāo)系中定位每個(gè)圓孔中心的三維位置。與文獻(xiàn)[12]相比，本文方法不需要額外的圖像信息進(jìn)行反投影來獲取三維點(diǎn)云坐標(biāo)，生成的掩模固定了孔間的相對(duì)位置，大大提高了中心檢測(cè)的魯棒性和準(zhǔn)確性。最后，每幅場(chǎng)景中都可以在Lidar坐標(biāo)系中獲得標(biāo)定板4個(gè)圓孔的中心點(diǎn)坐標(biāo)。

1.2.2" 圖像數(shù)據(jù)圓心特征提取算法

對(duì)于從Lidar數(shù)據(jù)中提取3D圓孔中心點(diǎn)，需要在圖像上提取相應(yīng)的圓孔中心點(diǎn)，具體步驟如下。

1） 圖像預(yù)處理。為了從圖像中提取對(duì)應(yīng)的標(biāo)定板圓心特征，根據(jù)圖像中標(biāo)定板的像素值分布選擇一個(gè)合適的二值化閾值，將原始彩色圖像轉(zhuǎn)換為灰度圖像。由于圖像中可能存在與標(biāo)定板像素值相似的其他景物，并且光照的條件會(huì)造成標(biāo)定板反光，因此圖像中存在噪點(diǎn)，為了消除這些噪點(diǎn)，要對(duì)二值化圖像進(jìn)行中值濾波。

2） 檢測(cè)圖像中的圓心。對(duì)處理后的圖像進(jìn)行梯度求解，根據(jù)Canny邊緣檢測(cè)算法預(yù)先設(shè)定的閾值篩選出標(biāo)定板圓孔邊緣。假設(shè)圓孔目標(biāo)的方程可表示為：

[（x-a）2+（y-b）2=r2] （4）

式中：[（x，y）]表示圖像邊緣點(diǎn)；（[a，b]）為圓孔圓心坐標(biāo)；[r]為圓孔的半徑。

對(duì)于圓孔邊緣上的每一點(diǎn)[{（xi，yi），i=1，2，…，n}]集合，變換后的參數(shù)空間為多個(gè)三維錐面形成的一個(gè)錐面簇。在參數(shù)空間中，錐面簇的交點(diǎn)[（a0，b0，r0）]對(duì)應(yīng)于圖像空間中共同邊緣點(diǎn)的圓心位置，如圖4所示。通過這種方法就可以得到圖像中標(biāo)定板4個(gè)圓孔圓心的特征點(diǎn)坐標(biāo)。

1.2.3" 3D?2D特征點(diǎn)匹配與外參優(yōu)化算法

通過建立激光雷達(dá)點(diǎn)云數(shù)據(jù)點(diǎn)的三維坐標(biāo)和其在RGB圖像中對(duì)應(yīng)像素點(diǎn)的像素坐標(biāo)的匹配關(guān)系，以及相機(jī)的固有參數(shù)[K]，就可以計(jì)算出激光雷達(dá)坐標(biāo)系與像素坐標(biāo)系的位姿關(guān)系，包括旋轉(zhuǎn)矩陣[R]和平移矩陣[T]，而求解位姿關(guān)系至少需要三對(duì)特征點(diǎn)對(duì)作為輸入數(shù)據(jù)[19]。

在獲取點(diǎn)云中標(biāo)定板的圓心點(diǎn)[{PLcircle， j（xLcircle， j，yLcircle， j， zLcircle， j）}4j=1]和圖像中標(biāo)定板的圓心點(diǎn)[{PIcircle， j（uIcircle， j，vIcircle， j）}4j=1]后，將外參矩陣的求解問題轉(zhuǎn)換為PnP（Perspective?n?Points）問題。采用LM（Levenberg?Marquardt）算法最小化激光雷達(dá)到圖像上的投影點(diǎn)與圖像中圓孔中心點(diǎn)[{PIcircle， j}4j=1]之間的歐氏距離，以獲取精確的旋轉(zhuǎn)矩陣[R]和平移矩陣[T]。

[e*j=j=14[PIcircle， j-KRTPLcircle， j]2] （5）

[[RT]=argmine*j] （6）

式中：[PLcircle]表示激光雷達(dá)點(diǎn)云的圓心坐標(biāo)；[PIcircle]表示圖像中對(duì)應(yīng)的圓心坐標(biāo)；[e*j]表示激光雷達(dá)點(diǎn)云的圓心坐標(biāo)[PLcircle]與圖像中對(duì)應(yīng)的圓心坐標(biāo)[PIcircle]之間的重投影誤差。

2" 實(shí)驗(yàn)過程及結(jié)果分析

2.1" 實(shí)驗(yàn)設(shè)備配置

本文采用Focus型激光雷達(dá)和云臺(tái)上的可見光相機(jī)對(duì)算法進(jìn)行測(cè)試，其中相機(jī)的圖像分辨率為1 920×1 080，激光雷達(dá)的相關(guān)參數(shù)信息如表1所示。

本文在無人車駕駛平臺(tái)上進(jìn)行實(shí)驗(yàn)，實(shí)驗(yàn)裝置如圖5所示。

2.2" 實(shí)驗(yàn)結(jié)果

本節(jié)分別展示相機(jī)內(nèi)參標(biāo)定、激光雷達(dá)與相機(jī)聯(lián)合標(biāo)定的實(shí)驗(yàn)結(jié)果。

1） 相機(jī)內(nèi)參標(biāo)定

在相機(jī)內(nèi)參標(biāo)定實(shí)驗(yàn)中，選用了規(guī)格為9×12黑白格子的棋盤格標(biāo)定板，其中標(biāo)定板的尺寸為600 mm×450 mm。采集了共計(jì)24張不同角度和位置的棋盤格圖像進(jìn)行標(biāo)定過程，相機(jī)標(biāo)定圖像如圖6所示。

使用張正友棋盤格標(biāo)定法對(duì)相機(jī)進(jìn)行了精確的標(biāo)定，在最終獲得的標(biāo)定結(jié)果中，重投影誤差為0.028 Piexl，能夠滿足精度要求。

[K=2 076.90898.202 074.7583.7001] （7）

2） 激光雷達(dá)與相機(jī)聯(lián)合標(biāo)定

按照1.2節(jié)描述的方法提取每對(duì)圖像和點(diǎn)云的4組圓孔圓心特征點(diǎn)。實(shí)驗(yàn)涵蓋了3個(gè)不同場(chǎng)景，并采集8組實(shí)驗(yàn)數(shù)據(jù)，提取32組圓孔圓心特征點(diǎn)進(jìn)行標(biāo)定，以其中一組數(shù)據(jù)為例，特征點(diǎn)提取結(jié)果如圖7所示。

圖7a）為圖像特征點(diǎn)提取的效果圖，其中黑色圓圈為圓孔的邊緣，黑色點(diǎn)為圓孔的圓心，其圓心坐標(biāo)為相應(yīng)特征點(diǎn)的像素坐標(biāo)值；圖7b）為在不同類型的真實(shí)環(huán)境中分割的標(biāo)定板平面；圖7c）為根據(jù)點(diǎn)云圓心特征提取算法提取的4個(gè)圓孔中心點(diǎn)，其圓心坐標(biāo)為相應(yīng)特征點(diǎn)的三維坐標(biāo)值。

將提取到的特征點(diǎn)坐標(biāo)代入式（1）即可求解出激光雷達(dá)與相機(jī)之間的外參變換矩陣，結(jié)果如下所示：

[[RT]=0.934 8350.351 303-0.051 671 5-1.541 5180.037 676 9-0.242 835-0.969 3362.338 394-0.353 078-0.904 222-0.240 2471.116 7940001] （8）

3） 可視化結(jié)果

不同場(chǎng)景下的可視化結(jié)果如圖8～圖10所示。

2.3" 實(shí)驗(yàn)結(jié)果分析

主觀評(píng)價(jià)主要依靠觀察者將三維點(diǎn)云通過標(biāo)定得到的外參矩陣投影至二維圖像并進(jìn)行可視化。然而，由于激光雷達(dá)的局限性導(dǎo)致可視化圖像中點(diǎn)云稀疏，且存在遮擋引起的孔洞問題。

本文采用平均重投影誤差作為客觀評(píng)價(jià)標(biāo)準(zhǔn)，該指標(biāo)綜合考慮了單應(yīng)矩陣計(jì)算和圖像點(diǎn)測(cè)量誤差，確保更高的精度。計(jì)算真實(shí)三維空間點(diǎn)在圖像平面上的投影（也就是圖像上的像素點(diǎn)）和將激光雷達(dá)坐標(biāo)投影到圖像上得到的圖像坐標(biāo)的差值，即為平均重投影誤差。

[En=1Nj=1NPIcircle， j-KRTPLcircle， j] （9）

式中：[En]表示第[n]次實(shí)驗(yàn)的平均重投影誤差；[PLcircle]表示激光雷達(dá)點(diǎn)云的圓心坐標(biāo)；[PIcircle]表示圖像中對(duì)應(yīng)的圓心坐標(biāo)；[N]為圓心特征點(diǎn)的個(gè)數(shù)。

將本文方法與基于手動(dòng)匹配[11]的標(biāo)定方法和基于兩孔圓形標(biāo)定板[12]的標(biāo)定方法進(jìn)行平均重投影誤差對(duì)比。下面將基于手動(dòng)匹配[11]的標(biāo)定方法記為Manual，基于兩孔圓形標(biāo)定板[12]的標(biāo)定方法記為Circular。

將采集到的8組數(shù)據(jù)分別通過式（9）計(jì)算得到平均重投影誤差，設(shè)置訓(xùn)練數(shù)據(jù)組數(shù)為1～8，結(jié)果如表2所示。

從表2可以看出，本文提出的方法平均重投影誤差低于兩種比較方法。圖11為表2的折線圖形式，隨著訓(xùn)練數(shù)據(jù)的增加，所有方法的平均重投影誤差均呈現(xiàn)下降趨勢(shì)。

由表2可知：本文利用32組圓孔圓心特征點(diǎn)進(jìn)行平均重投影誤差計(jì)算，平均重投影誤差在2.6 Pixel內(nèi)；基于手動(dòng)匹配和基于兩孔圓形標(biāo)定板的平均重投影誤差分別在4.5 Pixel和3.6 Pixel內(nèi)。

與兩種對(duì)比方法相比，本文方法精度分別提升42.2%和27.8%。因此上述實(shí)驗(yàn)驗(yàn)證了本文算法的有效性，實(shí)現(xiàn)了激光雷達(dá)點(diǎn)云與相機(jī)間的精確外參標(biāo)定。

3" 結(jié)" 論

本文在總結(jié)了現(xiàn)有激光雷達(dá)與相機(jī)外參標(biāo)定算法的基礎(chǔ)上，針對(duì)現(xiàn)有基于特征的標(biāo)定算法提取的3D?2D特征存在不匹配以及影響整體標(biāo)定的問題，提出了一種基于特征點(diǎn)匹配的外參標(biāo)定方法。該方法的平均重投影誤差在2.6 Pixel內(nèi)，與基于手動(dòng)匹配的方法和基于兩孔圓形標(biāo)定板方法相比，分別實(shí)現(xiàn)了42.2%和27.8%的精度提升，點(diǎn)云投影的結(jié)果也展示了本文方法的準(zhǔn)確性。然而，考慮到無人車在行駛過程中可能因振動(dòng)導(dǎo)致傳感器位置變動(dòng)，如何實(shí)現(xiàn)激光雷達(dá)與相機(jī)的實(shí)時(shí)標(biāo)定成為未來研究的重點(diǎn)。

注：本文通訊作者為王肖霞。

參考文獻(xiàn)

[1] 熊超，烏萌，劉宗毅，等.激光雷達(dá)與相機(jī)聯(lián)合標(biāo)定進(jìn)展研究[J].導(dǎo)航定位學(xué)報(bào)，2024，12（2）：155?166.

[2] 王世強(qiáng)，孟召宗，高楠，等.激光雷達(dá)與相機(jī)融合標(biāo)定技術(shù)研究進(jìn)展[J].紅外與激光工程，2023，52（8）：119?132.

[3] YUAN C J， LIU X Y， HONG X P， et al. Pixel?level extrinsic self calibration of high resolution LiDAR and camera in targetless environments [J]. IEEE robotics and automation letters， 2021， 6（4）： 7517?7524.

[4] YIN J， YAN F， LIU Y S， et al. Automatic and targetless LiDAR?camera extrinsic calibration using edge alignment [EB/OL]. [2023?09?23]. https：//www.researchgate.net/publication/372667718.

[5] AN P， MA T， YU K， et al. Geometric calibration for LiDAR?camera system fusing 3D?2D and 3D?3D point correspondences [J]. Optics express， 2020， 28（2）： 2122?2141.

[6] ZHANG G Y， WU K Y， LIN J， et al. Automatic extrinsic parameter calibration for camera?LiDAR fusion using spherical target [J]. IEEE robotics and automation letters， 2024， 9（6）： 5743?5750.

[7] PANDEY G， MCBRIDE J R， SAVARESE S， et al. Automatic extrinsic calibration of vision and Lidar by maximizing mutual information [J]. Journal of field robotics， 2015， 32（5）： 696?722.

[8] LIU X， YUAN C， ZHANG F. Targetless extrinsic calibration of multiple small FoVLiDARs and cameras using adaptive voxelization [J]. IEEE transactions on instrumentation and measurement， 2022， 71： 1?12.

[9] TANG S， FENG Y， HUANG J， et al. Robust calibration of vehicle solid?state LiDAR?camera perception system using line?weighted correspondences in natural environments [J]. IEEE transactions on intelligent transportation systems， 2024， 25（5）： 4489?4502.

[10] FLOREZ S A R， FREMONT V， BONNIFAIT P. Extrinsic calibration between a multi?layer lidar and a camera [C]// 2008 IEEE International Conference on Multisensor Fusion and Integration for Intelligent Systems. New York： IEEE， 2008： 214?219.

[11] KON R， LEVEN J， KOTHAPALLI K， et al. CIS?UltraCal： An open?source ultrasound calibration toolkit [C]// Medical Imaging 2005： Ultrasonic Imaging and Signal Processing. [S.l.]： SPIE， 2005： 516?523.

[12] 陳美林，蔣國濤，皮志超，等.基于特征匹配的激光雷達(dá)和相機(jī)外參標(biāo)定方法[J].控制與信息技術(shù)，2024（1）：102?108.

[13] ZHOU L P， LI Z M， KAESS M. Automatic extrinsic calibration of a camera and a 3D LiDAR using line and plane correspondences [C]// 2018 IEEE/RSJ International Conference on Intelligent Robots and Systems （IROS）. New York： IEEE， 2018： 5562?5569.

[14] KAISER M， BRUSA T， BERTSCH M， et al. Extrinsic calibration for a modular 3D scanning quality validation platform with a 3D checkerboard [J]. Sensors， 2024， 24（5）： 1575.

[15] Lü X D， WANG S， YE D. CFNet： LiDAR?camera registration using calibration flow network [J]. Sensors， 2021， 21（23）： 8112.

[16] NGUYEN A D， YOO M. CalibBD： Extrinsic calibration of the LiDAR and camera using a bidirectional neural network [J]. IEEE access， 2022， 10： 121261?121271.

[17] CHOI J D， KIM M Y. A sensor fusion system with thermal infrared camera and LiDAR for autonomous vehicles and deep learning based object detection [J]. ICT express， 2023， 9（2）： 222?227.

[18] LEVINSON J， THRUN S. Automatic online calibration of cameras and lasers [EB/OL]. [2013?06?23]. https：//www.researchgate.net/publication/305298924.

[19] VERMA S， BERRIO J S， WORRALL S， et al. Automatic extrinsic calibration between a camera and a 3D Lidar using 3D point and plane correspondences [C]// 2019 IEEE Intelligent Transportation Systems Conference （ITSC）. New York： IEEE， 2019： 3906?3912.