基于球面角點(diǎn)特征的魚眼相機(jī)與激光雷達(dá)聯(lián)合標(biāo)定方法

摘" 要： 針對(duì)魚眼相機(jī)和激光雷達(dá)的聯(lián)合標(biāo)定問題，提出一種基于球面角點(diǎn)特征的魚眼相機(jī)與激光雷達(dá)聯(lián)合標(biāo)定方法。首先利用靜電斥力物理模型得到了均勻分布在球面上的點(diǎn)集，并以這些點(diǎn)集為生長(zhǎng)點(diǎn)對(duì)球面進(jìn)行Voronoi劃分，得到了均勻的球面像素，實(shí)現(xiàn)了魚眼相機(jī)圖像在球面上的均勻重采樣；之后在球面上提取了魚眼相機(jī)圖像的角點(diǎn)特征，有效地避免了圖像畸變帶來的角點(diǎn)提取困難的問題；最后利用17組標(biāo)定數(shù)據(jù)在球面上實(shí)現(xiàn)了魚眼相機(jī)和激光雷達(dá)聯(lián)合標(biāo)定，在魚眼圖像上的重投影誤差小于2個(gè)像素，并通過數(shù)據(jù)融合實(shí)驗(yàn)復(fù)現(xiàn)了真實(shí)場(chǎng)景中的彩色三維效果。

關(guān)鍵詞： 魚眼相機(jī)； 激光雷達(dá)； 像素采樣； Voronoi劃分； 球面角點(diǎn)； 聯(lián)合標(biāo)定； 三維重建

中圖分類號(hào)： TN29?34" " " " " " " " " " " " "文獻(xiàn)標(biāo)識(shí)碼： A" " " " " " " " " " " " " " 文章編號(hào)： 1004?373X（2024）13?0102?06

Joint calibration method of fisheye camera and LiDAR based on spherical corner features

GAO Zhiyuan1， 2， XING Yubo1， 2， XIAO Yao1， 2， SHI Hang1， XIE Yangmin1， 2

（1. School of Mechanical and Electrical Engineering and Automation， Shanghai University， Shanghai 200444， China;

2. Shanghai Key Laboratory of Intelligent Manufacturing and Robotics， Shanghai University， Shanghai 200444， China）

Abstract： A joint calibration method of fisheye camera and LiDAR based on spherical corner features is proposed to address the issue of joint calibration of fisheye camera and LiDAR. The point sets uniformly distributed on the sphere are obtained by the electrostatic repulsion physical model. The sphere is subjected to Voronoi partitioning with these point sets as growing points， and then the uniform spherical pixels are obtained， which realizes the uniform resampling of the fisheye camera image on the sphere. And then， the corner features of the fisheye camera image are extracted on the sphere， which effectively avoids the difficult corner extraction caused by image distortion. 17 sets of calibration data are used to achieve joint calibration of the fisheye camera and LiDAR on the sphere. The error of reprojection on the fisheye image is less than 2 pixels， and the color 3D effect in the real scene is reproduced by data fusion experiments.

Keywords： fisheye camera; LiDAR; pixel sampling; Voronoi partitioning; spherical corner; joint calibration; 3D reconstruction

0" 引" 言

隨著三維重建技術(shù)的不斷發(fā)展，對(duì)于三維重建效率、精度以及顯示效果的要求不斷提高[1?3]。在這一趨勢(shì)下，RGB相機(jī)和激光雷達(dá)傳感器得到了廣泛應(yīng)用[4]。RGB相機(jī)以其高解釋性和高分辨率的彩色信息而聞名，而激光雷達(dá)則可以提供高精度的3D信息，這兩者的數(shù)據(jù)具有高度的互補(bǔ)性。因此，將RGB相機(jī)數(shù)據(jù)與激光雷達(dá)數(shù)據(jù)融合可以實(shí)現(xiàn)高精度和高解釋性的三維重建任務(wù)。

聯(lián)合標(biāo)定是指通過標(biāo)定得到多個(gè)傳感器坐標(biāo)系之間的轉(zhuǎn)換外參，在先前的研究中，文獻(xiàn)[5]提出了一種基于EPnP算法的激光雷達(dá)與可見光相機(jī)聯(lián)合標(biāo)定方法，首先通過先驗(yàn)信息提取針孔相機(jī)圖像特征點(diǎn)和三維點(diǎn)云特征點(diǎn)，在同步匹配后使用EPnP算法準(zhǔn)確求解激光雷達(dá)與針孔相機(jī)外參矩陣，解決了標(biāo)定過程繁瑣、精度不高的問題。此外，文獻(xiàn)[6]針對(duì)視野更大的運(yùn)動(dòng)相機(jī)，提出了基于Levenberg?Marquard（LM）算法的聯(lián)合標(biāo)定方法，通過引入阻尼因子進(jìn)行優(yōu)化，但該方法仍局限于符合針孔相機(jī)模型的相機(jī)。

為了提高三維重建的效率，研究人員逐漸將注意力轉(zhuǎn)向魚眼等更大視場(chǎng)相機(jī)的應(yīng)用。由于魚眼相機(jī)具有非相似成像和桶形畸變的特性，其相機(jī)模型不再符合針孔相機(jī)模型，現(xiàn)有標(biāo)定技術(shù)在獲得位姿關(guān)系矩陣時(shí)存在較大誤差。文獻(xiàn)[7]提出了一種基于SIFT算法的魚眼鏡頭與激光雷達(dá)的三維標(biāo)定方法，通過尺度不變特征轉(zhuǎn)換（SIFT）算法求解位姿關(guān)系。然而，該方法需要將多幅魚眼圖像拼接成全景圖后再與激光雷達(dá)深度全景圖進(jìn)行特征點(diǎn)匹配，對(duì)于固定式的單顆魚眼相機(jī)與動(dòng)態(tài)激光雷達(dá)的標(biāo)定不適用。

為解決上述問題，本文提出了一種基于球面角點(diǎn)特征的魚眼相機(jī)與激光雷達(dá)聯(lián)合標(biāo)定方法。與傳統(tǒng)方法不同，本文方法不要求魚眼相機(jī)圖像畸變矯正，也不受魚眼鏡頭或魚眼圖片數(shù)量的限制。通過魚眼相機(jī)的球面幾何特性構(gòu)建空間單位球圖像，在球面上提取了標(biāo)定板角點(diǎn)特征，并結(jié)合激光雷達(dá)三維角點(diǎn)特征的球面投影，實(shí)現(xiàn)了球面角點(diǎn)特征的匹配，完成了聯(lián)合標(biāo)定任務(wù)。本文方法避免了對(duì)魚眼相機(jī)的超廣角圖像進(jìn)行矯正時(shí)出現(xiàn)的非線性畸變問題，而激光雷達(dá)為三維數(shù)據(jù)，進(jìn)行單位球投射時(shí)也不會(huì)出現(xiàn)畸變與錯(cuò)位問題，因此本文方法能夠在球面上有效實(shí)現(xiàn)魚眼相機(jī)與激光雷達(dá)的高精度無畸變聯(lián)合標(biāo)定。

1" 實(shí)驗(yàn)設(shè)備及傳感器介紹

本文所提出的方法基于手持式動(dòng)態(tài)掃描設(shè)備。該設(shè)備的示意圖如圖1a）所示，主要集成了一個(gè)固定的魚眼相機(jī)和一個(gè)動(dòng)態(tài)的單線激光雷達(dá)傳感器。該設(shè)備的激光掃描子系統(tǒng)由一個(gè)單線激光雷達(dá)和一個(gè)電機(jī)組成，這使得單線激光雷達(dá)額外擁有了一個(gè)軸的旋轉(zhuǎn)自由度，提高了激光雷達(dá)的掃描密度和范圍，具體而言，就是使得激光雷達(dá)可以繞[YB]軸旋轉(zhuǎn)，使得繞[ZB]軸所獲得的激光點(diǎn)云可以覆蓋到整個(gè)三維視場(chǎng)中的各個(gè)位置。

該設(shè)備的不同傳感器擁有不同的坐標(biāo)系，坐標(biāo)系定義如圖1b）所示，其中的坐標(biāo)系[{A}]表示激光雷達(dá)坐標(biāo)系，[OA]是激光雷達(dá)的光心，向正前方是[YA]，向上為[ZA]，根據(jù)右手定則確定[XA]的方向。激光建圖坐標(biāo)系定義為[{B}]，該坐標(biāo)系的[ZB]與[ZA]同軸，[YB]與電機(jī)的轉(zhuǎn)軸重合，激光雷達(dá)坐標(biāo)系在電機(jī)的作用下繞著[YB]軸旋轉(zhuǎn)，旋轉(zhuǎn)的角度定義為[θ]，移動(dòng)的激光雷達(dá)坐標(biāo)系定義為[{Aθ}]。坐標(biāo)系[{C}]為魚眼相機(jī)坐標(biāo)系，其坐標(biāo)原點(diǎn)[OC]為魚眼相機(jī)成像球面的球心，正前方為[ZC]，向上為[XC]，根據(jù)右手定則確定[YC]。

在魚眼相機(jī)的成像系統(tǒng)中，需要使用魚眼鏡頭來擴(kuò)大相機(jī)的視野，其鏡面通常是橢圓形和拋物面，為了簡(jiǎn)化魚眼相機(jī)模型，可以將所有透鏡簡(jiǎn)化為一個(gè)球面[8]，如圖2所示。由于鏡頭的不同，因此折射角[θP]與[θ]存在不同的映射關(guān)系。

光源[P]經(jīng)過球面鏡折射到成像平面上的點(diǎn)[p=（u，v）T]，設(shè)[P]在成像球面上的投影點(diǎn)[P]在[{C}]中的坐標(biāo)為[P=（x，y，z）T]，根據(jù)幾何特征不難得出：

[uv= αxy，" "αgt;0]" （1）

進(jìn)而可以得到魚眼相機(jī)模型：

[P=xyz=αuvfu，v，" "αgt;0] （2）

式中[f（u，v）]即為從圖像坐標(biāo)系[{u?v}]到{[C]}的投影函數(shù)，由于鏡頭是對(duì)稱的，因此函數(shù)[f（u，v）]僅取決于點(diǎn)到圖像中心的距離，因此有：

[P=xyz=αuvfρ，" " "αgt;0ρ=u2+v2]" （3）

使用多項(xiàng)式模型可表示為：

[fρ=k0+k1ρ+k2 ρ2+…+kN ρN] （4）

式中系數(shù)為需要標(biāo)定的魚眼相機(jī)的內(nèi)參。

2" 球形圖像的像素分割及采樣

對(duì)于魚眼相機(jī)與激光雷達(dá)的聯(lián)合標(biāo)定，魚眼圖像中的標(biāo)定板角點(diǎn)提取是至關(guān)重要的一步。如圖3所示，由于魚眼相機(jī)的平面原圖存在較大的畸變，容易導(dǎo)致角點(diǎn)提取失敗。因此，將魚眼相機(jī)的原始圖像投影回成像球面是常用于解決圖像畸變問題的有效方案。

然而由于感光元件是平面，因此使得魚眼圖像周圍被急劇壓縮，直接導(dǎo)致原投影回球面的魚眼圖像呈現(xiàn)離散不均勻的狀態(tài)，十分不利于后續(xù)的球面特征提取，因此需要對(duì)其進(jìn)行像素均勻劃分及重采樣。

如圖4所示，為了實(shí)現(xiàn)球面像素塊的均勻劃分，首先要在原始球面上均勻分布一個(gè)點(diǎn)集，這些點(diǎn)就是之后要進(jìn)行像素重采樣的采樣點(diǎn)。以這些點(diǎn)為中心對(duì)球面進(jìn)行均勻劃分，得到球面像素塊。

2.1" 球面均布點(diǎn)集

本文使用靜電斥力物理模型來獲得球面上均勻分布的點(diǎn)集。設(shè)以原點(diǎn)為中心的單位球面為[S]，點(diǎn)集[ViNvi=1?S]為初始位置點(diǎn)集，假設(shè)每個(gè)點(diǎn)為帶有相同電荷的粒子，那么每個(gè)粒子均滿足如下物理模型：

[Fi=j=1NvkVi-Vj2?Vi-VjVi-Vj，" " i≠j] （5）

式中：[Fi]是[Vi]受到的靜電合力；[Vi]和[Vj]是帶電粒子對(duì)應(yīng)的位置向量；[k]是一個(gè)常數(shù)，它用于約束每個(gè)粒子在合力作用下的移動(dòng)距離。

在靜電力的推動(dòng)下，球面上的帶電粒子最終會(huì)逐漸趨于一個(gè)相對(duì)穩(wěn)定的狀態(tài)，迭代后的點(diǎn)集定義為[{Vi*}Nvi=1?S]。為了使整個(gè)迭代過程快速且穩(wěn)定，本文以正二十面細(xì)分[9]的頂點(diǎn)作為初始點(diǎn)集。

2.2" 球形圖像的Voronoi像素分割

為了使每個(gè)像素塊盡可能均勻，本文以點(diǎn)集為生長(zhǎng)點(diǎn)，對(duì)球面進(jìn)行Voronoi劃分。Voronoi區(qū)域內(nèi)的任一點(diǎn)到構(gòu)成該多邊形生長(zhǎng)點(diǎn)的距離小于到其他多邊形控制點(diǎn)的距離[10]。Voronoi邊是共享一個(gè)點(diǎn)的兩個(gè)Voronoi區(qū)域的交點(diǎn)，這是它們和連接兩個(gè)節(jié)點(diǎn)對(duì)的測(cè)地線的垂直平分線邊界。在單位球面[S]上以[{Vi*}Nvi=1]為生長(zhǎng)點(diǎn)的測(cè)地線Voronoi區(qū)域可以定義為：

[Ri=p∈S：p-V*i≤p-V*j， j=1，2，…，Nv，i≠j，" " " " " " " " " " " " " " " " "i=1，2，…，Nv" " " " " " " " " " " " " " " " " " " " " " " "（6）]

結(jié)果如圖5所示，通過使用Voronoi分割球面，得到了[Nv]個(gè)測(cè)地線六邊形網(wǎng)格單元。

最后，以生長(zhǎng)點(diǎn)[{V*i}Nvi=1]為采樣點(diǎn)，對(duì)每一個(gè)像素區(qū)域內(nèi)[Ri]的原始像素點(diǎn)進(jìn)行采樣便可以得到球形圖像。以平均采樣為例，設(shè)[Ri]區(qū)域內(nèi)的采樣前像素存在，則采樣點(diǎn)[V*i]處的像素值可表達(dá)為：

[Pi=j=1mipjmi] （7）

式中：[mi]表示[Ri]區(qū)域內(nèi)采樣前球形圖像的像素點(diǎn)個(gè)數(shù)； [pj]表示[Ri]區(qū)域內(nèi)第[j]個(gè)像素點(diǎn)的像素值。

3" 魚眼相機(jī)與激光雷達(dá)的聯(lián)合標(biāo)定

在對(duì)第1節(jié)所介紹的手持式設(shè)備的激光雷達(dá)與魚眼相機(jī)進(jìn)行聯(lián)合標(biāo)定之前，需要對(duì)激光雷達(dá)?電機(jī)軸子系統(tǒng)進(jìn)行獨(dú)立的系統(tǒng)內(nèi)參標(biāo)定工作[11]，得到[BAR]和[BAT]，結(jié)果如表1所示。除此之外，針對(duì)魚眼相機(jī)的內(nèi)參標(biāo)定工作，本文使用的是文獻(xiàn)[12]所使用的方法，魚眼相機(jī)的內(nèi)參標(biāo)定結(jié)果如表2所示。

3.1" 聯(lián)合標(biāo)定實(shí)驗(yàn)設(shè)計(jì)

實(shí)驗(yàn)所使用的標(biāo)定板是鏤空?qǐng)A標(biāo)定板，如圖6所示，它由10個(gè)正方形及其同心的鏤空?qǐng)A組成，黑正方形用于產(chǎn)生相機(jī)的圖像角點(diǎn)。鏤空?qǐng)A為了方便激光雷達(dá)得到其圓心的三維坐標(biāo)，進(jìn)而得到激光雷達(dá)坐標(biāo)系下的黑色正方形角點(diǎn)[11]三維坐標(biāo)，將其投影到單位球面上，得到激光雷達(dá)的球面角點(diǎn)特征，用于匹配魚眼相機(jī)球面角點(diǎn)特征，最終獲得兩個(gè)傳感器的坐標(biāo)系轉(zhuǎn)換關(guān)系。

3.2" 球形圖像角點(diǎn)特征提取

球形圖像角點(diǎn)特征提取是整個(gè)標(biāo)定工作中關(guān)鍵的一步，在第2節(jié)的球面像素?cái)?shù)據(jù)分割的基礎(chǔ)上，在魚眼相機(jī)像素坐標(biāo)系{[u?v]}下像素點(diǎn)可根據(jù)式（2）反投影到坐標(biāo)系{[C]}下，得到球形圖像，如圖7a）所示。

整個(gè)特征角點(diǎn)提取分為預(yù)處理、目標(biāo)四邊形提取、目標(biāo)角點(diǎn)獲取三個(gè)步驟：

1） 預(yù)處理。首先對(duì)球形圖像進(jìn)行二值化處理，經(jīng)過二值化處理后，通過使用圖的廣度優(yōu)先算法（BFS）將所有黑色區(qū)域的范圍進(jìn)行像素逐層縮小，達(dá)到黑色像素腐蝕目的，直到將10個(gè)黑色四方塊在白色像素間相互獨(dú)立出來，結(jié)果如圖7b）所示。為了方便分離黑色四方塊，在數(shù)據(jù)采集的時(shí)候需要將鏤空標(biāo)定板后面的背景設(shè)置為黑色。

2） 目標(biāo)四邊形提取。首先計(jì)算每個(gè)黑色區(qū)域輪廓的凸包，并檢測(cè)每個(gè)黑色區(qū)域的角點(diǎn)[13]，通過判斷是否只有4個(gè)角點(diǎn)來初步判斷四邊形。然后使用四邊形的周長(zhǎng)和面積等約束，消除干擾的四邊形，提取出標(biāo)定板中的目標(biāo)四邊形，效果如圖7c）所示。

3） 目標(biāo)角點(diǎn)獲取。該步驟是第一步分離黑色四方塊的反操作，通過對(duì)每個(gè)目標(biāo)四邊形的邊緣進(jìn)行像素逐層擴(kuò)張來膨脹四邊形，經(jīng)過所有四邊形同步進(jìn)行多輪次的擴(kuò)張，直到出現(xiàn)交點(diǎn)，將擴(kuò)張的交點(diǎn)記為標(biāo)定板的特征角點(diǎn)，結(jié)果如圖7d）所示。

3.3" 聯(lián)合標(biāo)定

聯(lián)合標(biāo)定是為了得到激光建圖坐標(biāo)系{[B]}到魚眼相機(jī)坐標(biāo)系{[C]}的轉(zhuǎn)換關(guān)系，即得到[CBR]和[CBT]。為了便于迭代求解，本文將旋轉(zhuǎn)矩陣使用歐拉角表示為[（γCBx，γCBy，γCBz）T]，將三個(gè)平移變量表示為[（tCBx，tCBy，tCBz）T]。

設(shè)第[i]組數(shù)據(jù)的第[j]個(gè)激光雷達(dá)特征角點(diǎn)在激光坐標(biāo)系{[B]}下的三維坐標(biāo)點(diǎn)為[Pl-i，j]，第[i]組數(shù)據(jù)的第[j]個(gè)魚眼相機(jī)特征角點(diǎn)在相機(jī)坐標(biāo)系{[C]}下的三維坐標(biāo)為[Pf-i，j]，則整體的誤差可表示為：

[ElfCBR，CBT=i=1Ngj=1NpCBRPl-i，j+CBTCBRPl-i，j+CBT-Pf-i，jPf-i，j] （8）

式中：[Elf]是[（γCBx，γCBy，γCBz）T]和[（tCBx，tCBy，tCBz）T]的函數(shù)；[Np]表示每組數(shù)據(jù)對(duì)應(yīng)特征角點(diǎn)的個(gè)數(shù)；[Ng]表示標(biāo)定數(shù)據(jù)的組數(shù)。

根據(jù)式（8），激光雷達(dá)與魚眼相機(jī)的標(biāo)定問題就可以轉(zhuǎn)化成一個(gè)對(duì)誤差[Elf]的非線性優(yōu)化問題，[（γCBx，γCBy，γCBz，tCBx，tCBy，tCBz）T]為待優(yōu)化求解的參數(shù)。本文使用OQNLP（OptQuest Nonlinear Programming）迭代算法求解上述非線性優(yōu)化問題，輸出優(yōu)化后的傳感器系統(tǒng)外部參數(shù)。

3.4" 魚眼相機(jī)與激光雷達(dá)聯(lián)合標(biāo)定結(jié)果

為了驗(yàn)證本文提出的方法，如圖8所示，一共采集了多個(gè)方向及角度的一共17組標(biāo)定實(shí)驗(yàn)數(shù)據(jù)，每一組實(shí)驗(yàn)數(shù)據(jù)包含一整幅激光雷達(dá)數(shù)據(jù)和一幀魚眼相機(jī)圖像，得到的標(biāo)定結(jié)果如表3所示。

將標(biāo)定后的激光雷達(dá)和魚眼相機(jī)的角點(diǎn)特征使用公式（2）投影到[{u?v}]坐標(biāo)系上得到的激光雷達(dá)和魚眼相機(jī)的聯(lián)合標(biāo)定重投影誤差小于2個(gè)像素。

4" 魚眼相機(jī)與激光雷達(dá)數(shù)據(jù)融合

4.1" 數(shù)據(jù)融合方法

為了可視化地驗(yàn)證魚眼相機(jī)與激光雷達(dá)的聯(lián)合標(biāo)定結(jié)果，本文利用標(biāo)定后的魚眼相機(jī)與激光雷達(dá)的外部參數(shù)，將激光點(diǎn)云與魚眼相機(jī)的色彩信息進(jìn)行關(guān)聯(lián)，將兩個(gè)傳感器數(shù)據(jù)融合成真彩點(diǎn)云。具體地，對(duì)于在{[Aθ]}坐標(biāo)系下的原始點(diǎn)云[AθP]可以利用標(biāo)定參數(shù)轉(zhuǎn)換到魚眼相機(jī)坐標(biāo)下的單位球面上，得到[CPsl]。

[CPl=CBR*?RyθBAR*?AθP+BAT*+CBT*CPsl=CPlCPl] （9）

式中“*”表示標(biāo)定后的參數(shù)。

根據(jù)式（9）可以解出每個(gè)像素點(diǎn)在像素球面上的像素點(diǎn)[CPf（x，y，z，r，g，b）]，為了統(tǒng)一尺度，將像素球面歸一化為單位球面，得到像素點(diǎn)[CPsf]。

[CPsf=CPfCPf] （10）

設(shè)在[{C}]坐標(biāo)系下的激光點(diǎn)云為[CPlx，y，z]，一般地，對(duì)于任意一個(gè)單位球面上的激光點(diǎn)云[CPsl-i]，都可以找到距離它最近的[k]個(gè)魚眼像素點(diǎn)集合：

[Ksl-i=pj∈CPsf：pj-CPsl-i≤pk-CPsl-i，" " " " " " "?pk∈CPsf， pk?Ksl-i且Ksl-i=k] （11）

式中[Ksl-i]表示集合[Ksl-i]的基數(shù)。

那么[CPsl-i]的色彩數(shù)據(jù)可表示為：

[CPsl-i（r，g，b）=1kpi（r，g，b）∈Ksl-ipi（r，g，b）] （12）

因此，根據(jù)映射關(guān)系可以得到坐標(biāo)系{[C]}下的三維彩色點(diǎn)云[CPl（x，y，z，r，g，b）]。

4.2" 數(shù)據(jù)融合結(jié)果

使用激光雷達(dá)與魚眼相機(jī)的聯(lián)合標(biāo)定結(jié)果，根據(jù)上一節(jié)所給出的魚眼相機(jī)與激光雷達(dá)數(shù)據(jù)融合方法，可以得到真彩點(diǎn)云，實(shí)現(xiàn)真彩三維建模，結(jié)果如圖9所示。從結(jié)果上可以看出，經(jīng)過兩個(gè)傳感器的數(shù)據(jù)融合，可以精準(zhǔn)復(fù)現(xiàn)真實(shí)場(chǎng)景中的彩色三維效果。

5" 結(jié)" 語(yǔ)

魚眼相機(jī)與激光雷達(dá)的聯(lián)合標(biāo)定是大視場(chǎng)感知和環(huán)境建模中不可缺少的技術(shù)環(huán)節(jié)，標(biāo)定的結(jié)果直接影響對(duì)現(xiàn)實(shí)彩色環(huán)境的建模效果。然而，由于魚眼相機(jī)直接獲得的大視場(chǎng)平面圖片在邊緣位置會(huì)被急劇壓縮，因此導(dǎo)致了位于視場(chǎng)邊緣的物體發(fā)生嚴(yán)重的畸變，極易導(dǎo)致標(biāo)定特征提取失敗。因此，本文提出了一種在單位球面上基于標(biāo)定板角點(diǎn)特征進(jìn)行聯(lián)合標(biāo)定的方法，并通過數(shù)據(jù)融合實(shí)驗(yàn)驗(yàn)證了標(biāo)定的結(jié)果，該方法可以有效地避免魚眼相機(jī)在平面狀態(tài)下的非線性畸變問題，為大視場(chǎng)傳感器的標(biāo)定提供了一個(gè)新思路，另外，該方法可適用于360°的全場(chǎng)景傳感器的聯(lián)合標(biāo)定任務(wù)，為高效率的基于相機(jī)與激光雷達(dá)數(shù)據(jù)融合的三維環(huán)境重建等任務(wù)奠定了基礎(chǔ)。

注：本文通訊作者為解楊敏。

參考文獻(xiàn)

[1] 王兆慶，牛朝一，佘維，等.基于被動(dòng)視覺的三維重建技術(shù)研究進(jìn)展[J/OL].鄭州大學(xué)學(xué)報(bào)（理學(xué)版）：1?7[2023?12?18].https：//doi.org/10.13705/j.issn.1671?6841.2023012.

[2] 李冉，楊超宇.基于改進(jìn)的SIFT算法的三維重建技術(shù)研究[J/OL].重慶工商大學(xué)學(xué)報(bào)（自然科學(xué)版）：1?8[2023?11?30].http：//kns.cnki.net/kcms/detail/50.1155.N.20231129.1514.002.html.

[3] 李少偉，鐘勇，楊華山，等.融合激光雷達(dá)和RGB?D相機(jī)建圖[J].福建理工大學(xué)學(xué)報(bào)，2023，21（6）：551?557.

[4] 王世強(qiáng)，孟召宗，高楠，等.激光雷達(dá)與相機(jī)融合標(biāo)定技術(shù)研究進(jìn)展[J].紅外與激光工程，2023，52（8）：119?132.

[5] 戴云峰，丁亞杰，馮興明，等.基于EPnP算法的激光雷達(dá)與可見光相機(jī)標(biāo)定方法[J].光電子技術(shù)，2023，43（2）：166?172.

[6] 李紅帥，羅笑南，鄧春貴，等.基于LM算法的運(yùn)動(dòng)相機(jī)與激光雷達(dá)聯(lián)合標(biāo)定方法[J].桂林電子科技大學(xué)學(xué)報(bào)，2022，42（5）：345?353.

[7] 來澤慶.基于SIFT算法的魚眼鏡頭與激光雷達(dá)的三維標(biāo)定[D].天津：河北工業(yè)大學(xué)，2022.

[8] 梁卓凡，方遒，李偉林.基于魚眼相機(jī)混合模型的棋盤格角點(diǎn)檢測(cè)方法[J].激光雜志，2024，45（1）：211?217.

[9] LEE Y， JEONG J， YUN J， et al. SpherePHD： Applying CNNs on 360° images with non?Euclidean spherical PolyHeDron representation [J]. IEEE transactions on pattern analysis and machine intelligence， 2022， 44（2）： 834?847.

[10] BURCH M， VAN LITH J， VAN DE WATERLAAT N， et al. Voronoier： From images to Voronoi diagrams [C]// Proceedings of the 13th International Symposium on Visual Information Communication and Interaction. New York： IEEE， 2020： 1?9.

[11] LIN Y L， FEI Y F， GAO Y H， et al. A LiDAR?camera calibration and sensor fusion method with edge effect elimination [C]// 2022 17th International Conference on Control， Automation， Robotics and Vision （ICARCV）. New York： IEEE， 2022： 28?34.

[12] ZHANG Y H， YOU S D， GEVERS T. Automatic calibration of the fisheye camera for egocentric 3D human pose estimation from a single image [C]// Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision. New York： IEEE， 2021： 1771?1780.

[13] MOON C H， LEE S W. Fast image?matching technique robust to rotation in spherical images [J]. IEIE transactions on smart processing amp; computing， 2020， 9（2）： 104?111.