基于激光雷達(dá)與相機(jī)融合的城市交叉路口車輛識(shí)別技術(shù)

摘要：針對(duì)單一傳感器環(huán)境感知系統(tǒng)不可避免存在難以克服的缺陷，將激光雷達(dá)與相機(jī)進(jìn)行融合，綜合2種傳感器的優(yōu)勢(shì)，形成互補(bǔ)，提高無(wú)人車的環(huán)境感知能力.研究了激光雷達(dá)與相機(jī)的融合技術(shù)，將傳感器融合技術(shù)應(yīng)用于城市道路交叉路口的目標(biāo)識(shí)別.基于Flood Fill算法的搜索理論與譜聚類算法的切圖理論結(jié)合，同時(shí)考慮點(diǎn)云之間的歐氏距離和空間分布特征，進(jìn)行激光雷達(dá)目標(biāo)檢測(cè)方法研究.提出了基于激光雷達(dá)與相機(jī)融合的目標(biāo)識(shí)別方法，對(duì)傳統(tǒng)的PnP求解原理進(jìn)行分析.提出了基于平面法線對(duì)齊的方式求解位姿轉(zhuǎn)換關(guān)系，并引入遺傳算法對(duì)求解結(jié)果進(jìn)行優(yōu)化，利用自動(dòng)駕駛仿真軟件，對(duì)激光雷達(dá)與相機(jī)的融合結(jié)果進(jìn)行仿真驗(yàn)證.結(jié)果表明：提出的激光雷達(dá)與相機(jī)融合方法，可以對(duì)城市道路交叉路口中的車輛目標(biāo)進(jìn)行準(zhǔn)確識(shí)別，使無(wú)人車在城市道路交叉路口具備感知無(wú)人車周圍360°范圍內(nèi)目標(biāo)的能力，保障無(wú)人車的安全以及提高無(wú)人車的環(huán)境理解能力.

關(guān)鍵詞： "無(wú)人車； 環(huán)境感知； 傳感器融合； 交叉路口； 目標(biāo)檢測(cè)

中圖分類號(hào)： U463文獻(xiàn)標(biāo)志碼： "A文章編號(hào)： ""1671-7775（2024）06-0621-08

Vehicle recognition technology at urban intersection

based on fusion of LiDAR and camera

LI Shengqin， SUN Xin， ZHANG Min′an

（College of Mechanical and Electrical Engineering， Northeast Forestry University， Harbin， Heilongjiang 150040， China）

Abstract： To solve the inevitable shortcomings of single sensor environmental perception system， the LiDAR and camera were fused to combine the advantages of the two sensors and form complementarity for improving the environmental perception capability of unmanned vehicles. The fusion technology of LiDAR and camera was investigated and applied for the target recognition at urban intersections. Combining the search theory of Flood Fill algorithm with the tangent theory of spectral clustering algorithm， and considering the Euclidean distance and spatial distribution characteristics between point clouds， the laser radar target detection method was investigated. The target recognition method based on the fusion of LiDAR radar and camera was proposed， and the traditional PnP solving principle was analyzed. The pose transformation relationship was solved based on the plane normal alignment， and the genetic algorithm was introduced to optimize the solution results. The fusion results of LiDAR and camera were simulated and verified by the autonomous driving simulation software. The results show that by the proposed fusion method of LiDAR and camera， the vehicle targets at urban intersections can be accurately recognized， and the unmanned vehicles can perceive targets within 360° range. This can ensure the safety of unmanned vehicles and improve the environmental understanding ability.

Key words： "unmanned vehicle; environmental perception; sensor fusion; intersection; object detection

無(wú)人車自動(dòng)駕駛系統(tǒng)技術(shù)主要分為感知定位、決策規(guī)劃、控制執(zhí)行3大模塊[1].環(huán)境感知模塊處于自動(dòng)駕駛系統(tǒng)架構(gòu)的上游，通過(guò)車上安裝的視覺傳感器或者雷達(dá)獲取周圍環(huán)境信息，算法模塊通過(guò)對(duì)傳感器輸入的原始數(shù)據(jù)進(jìn)行處理后，將準(zhǔn)確的環(huán)境信息輸給下游模塊.因此，如何快速準(zhǔn)確理解并感知環(huán)境信息，是保障無(wú)人車準(zhǔn)確進(jìn)行決策規(guī)劃與控制執(zhí)行的前提[2].

按感知環(huán)境用傳感器的布置方案可將無(wú)人車大致分為2類： ① 以激光雷達(dá)為主要傳感器、單獨(dú)相機(jī)等為輔助傳感器的方案；② 以相機(jī)為主要傳感器、毫米波雷達(dá)等為輔助傳感器的方案[3].李研芳等[4]、楊鑫等[5]采用決策級(jí)融合方法，將四線激光雷達(dá)檢測(cè)結(jié)果與基于圖像的檢測(cè)結(jié)果進(jìn)行融合，彌補(bǔ)了單一傳感器的局限，解決了單獨(dú)毫米波雷達(dá)傳感器存在的虛假目標(biāo)問題和單獨(dú)相機(jī)存在的漏檢問題.鄭少武等[6]采用深度學(xué)習(xí)方法，分別對(duì)點(diǎn)云數(shù)據(jù)與圖像數(shù)據(jù)進(jìn)行目標(biāo)檢測(cè)，并采用匈牙利算法進(jìn)行跟蹤匹配，輸出最終的融合結(jié)果，但該方法沒有考慮投影后置信度的問題，無(wú)法消除外參誤差對(duì)融合結(jié)果帶來(lái)的影響.陳昆[7]設(shè)計(jì)了一種基于雙目視覺和激光雷達(dá)前融合的道路環(huán)境感知方法，基于卷積神經(jīng)網(wǎng)絡(luò)方法，對(duì)雙目視差圖和激光雷達(dá)視差圖進(jìn)行融合，提高了算法的可移植性.梁晨晨等[8]提出一種基于角度對(duì)齊的毫米波雷達(dá)與相機(jī)的決策級(jí)目標(biāo)檢測(cè)方法，通過(guò)聯(lián)合標(biāo)定和近似插值，將攝像頭識(shí)別到的目標(biāo)與毫米波雷達(dá)探測(cè)到的目標(biāo)進(jìn)行融合，實(shí)現(xiàn)道路環(huán)境的融合感知.

筆者基于Flood Fill與譜聚類算法相結(jié)合的激光雷達(dá)目標(biāo)檢測(cè)方法，提出激光雷達(dá)與相機(jī)融合的城市交叉口車輛識(shí)別檢測(cè)方案，基于平面法線對(duì)齊方法對(duì)激光雷達(dá)點(diǎn)云與相機(jī)圖像進(jìn)行時(shí)間與空間對(duì)齊，并引入遺傳算法對(duì)求解結(jié)果進(jìn)行優(yōu)化.設(shè)置城市典型交叉路口環(huán)境，采用該檢測(cè)法對(duì)激光雷達(dá)與相機(jī)融合的車輛識(shí)別效果進(jìn)行分析，對(duì)所提出的決策級(jí)融合方案的正確性與有效性進(jìn)行驗(yàn)證.

1基于激光雷達(dá)的點(diǎn)云聚類目標(biāo)檢測(cè)

傳統(tǒng)的歐氏聚類算法本質(zhì)上是將距離較近的點(diǎn)聚為一類，只要點(diǎn)與點(diǎn)之間的距離小于設(shè)定的半徑閾值，即認(rèn)為屬于一類，這種聚類方法會(huì)將2個(gè)距離近的目標(biāo)識(shí)別為同一個(gè)物體[9].在城市交叉路口場(chǎng)景中，待檢測(cè)目標(biāo)之間的距離通常會(huì)很小，傳統(tǒng)的聚類方法無(wú)法滿足無(wú)人車對(duì)交通場(chǎng)景的檢測(cè)需求，而聚類分割問題則可將聚類問題轉(zhuǎn)化為求解2個(gè)子圖之間相互連接的邊權(quán)值最小問題，從而使得每個(gè)子圖內(nèi)部數(shù)據(jù)點(diǎn)的相似度最大，子圖之間的相似度最小，即將點(diǎn)云的聚類分割問題轉(zhuǎn)換為子圖的最優(yōu)劃分問題.本研究提出一種基于Flood Fill與譜聚類算法結(jié)合的激光雷達(dá)點(diǎn)云聚類方法，結(jié)合搜索算法理論與圖像分割領(lǐng)域中的譜聚類理論，首先對(duì)預(yù)處理后的點(diǎn)云進(jìn)行過(guò)分割，再利用譜聚類算法對(duì)過(guò)分割的結(jié)果進(jìn)行重新聚類，即可完成對(duì)交叉路口場(chǎng)景車輛或行人目標(biāo)的檢測(cè)[10].

結(jié)合Flood Fill算法與譜聚類算法的點(diǎn)云聚類方法，首先利用Flood Fill算法將激光雷達(dá)點(diǎn)云做1次簡(jiǎn)單的聚類，得到聚類后點(diǎn)云，并對(duì)點(diǎn)云進(jìn)行過(guò)分割；然后利用譜聚類算法將過(guò)分割的點(diǎn)云重新聚合，構(gòu)造高度特征，并結(jié)合高度特征和歐氏距離來(lái)計(jì)算連通組件之間的權(quán)重；最后根據(jù)權(quán)重矩陣來(lái)重新聚合連通組件，達(dá)到聚類點(diǎn)云的目的.

激光雷達(dá)掃描到的目標(biāo)點(diǎn)云中兩頂點(diǎn)之間連線的邊權(quán)重值ωij表示兩頂點(diǎn)之間的相似程度，組成的矩陣定義為相似度矩陣W，W=ωijn×n，n為Flood Fill算法輸出的連通組件個(gè)數(shù)，對(duì)應(yīng)譜聚類算法輸入數(shù)據(jù)集中子集的數(shù)量.激光雷達(dá)掃描到的目標(biāo)點(diǎn)云中，無(wú)法體現(xiàn)點(diǎn)云的空間分布特征，需要借鑒譜聚類中量綱一化分割的相似度矩陣構(gòu)建方式，將代表圖像顏色空間特征的向量Fi，改進(jìn)為代表點(diǎn)云空間分布特征fi，得到相似度矩陣W中的ωij為

ωij=exp-vi-vj2minσs+fi-fj2minσf，

vi-vj≤1，

0，vi-vjgt;1，（1）

式中：vi-vjmin為連通組件i與j之間最小歐氏距離，vi-vj2min=min［（xi-xj）2+（yi-yj）2+（zi-zj）2］，（xi，yi，zi）與（xj，yj，zj）分別為連通組件i與j的位置坐標(biāo)；fi-fjmin為連通組件i與j之間的特征距離；σs、σf分別為位置敏感系數(shù)與空間特征敏感系數(shù)，取值都為1.5.

對(duì)于一個(gè)無(wú)向權(quán)重圖G（V，E）中任意一點(diǎn)vi，定義該節(jié)點(diǎn)與其他節(jié)點(diǎn)的連接或邊的數(shù)量和為度di，計(jì)算式為

di=∑nj=1ωij.（2）

通過(guò)定義數(shù)據(jù)集中每個(gè)點(diǎn)的度，得到一個(gè)n×n階的度矩陣，表示為D，該矩陣為對(duì)角陣，對(duì)角線上的值為每個(gè)點(diǎn)的度，定義為

D=d1

d2

dn.（3）

定義權(quán)值矩陣為拉普拉斯矩陣L=D-W，對(duì)L進(jìn)行特征值分解，將分解后得到的特征值按照遞增順序排序?yàn)閧λ1，λ2，…，λn}.定義線性插值規(guī)則為

λj=λ1+（j+1）（λn-λ1）Nc+1，0≤jlt;n，（4）

式中： Nc為量綱一分割參數(shù)，取Nc=5.

將輸入連通組件劃分為2部分：當(dāng)λigt;λj時(shí)，該連通組件屬于A子集部分；當(dāng)λi≤λj時(shí)，該連通組件屬于B子集部分.此時(shí)，可將輸入數(shù)據(jù)通過(guò)量綱一化分割算法劃分為2部分，但是由于量綱一分割參數(shù)Nc的可定義性，需要對(duì)分割結(jié)果進(jìn)行優(yōu)化處理，才能得到最優(yōu)的分割.

應(yīng)用譜聚類理論中正則切割的目標(biāo)函數(shù)，按式（5）計(jì)算A、B子集部分的NCut（A，B）值，評(píng)價(jià)每一種分割方式的效果.

NCut（A，B）=cut（A，B）assoc（A，V）+cut（A，B）assoc（B，V），（5）

式中：cut（A，B）為A、B子集之間的邊權(quán)值之和；assoc（A，V）為A子集中所有點(diǎn)與圖中所有點(diǎn)的邊權(quán)值之和；assoc（B，V）為B子集中所有點(diǎn)與圖中所有點(diǎn)的邊權(quán)值之和.

則NCut（A，B）的最小值所對(duì)應(yīng)的分割方式即為最優(yōu)，對(duì)激光雷達(dá)掃描的點(diǎn)云進(jìn)行聚類的偽代碼如下：

Input：

X=cluster_points， result of Flood Fill algorithm

Function NCut Segment（X）：

Function Segment（X ）：

//1. precompute skeleton

Function precompute all skeleton and bbox（）：

Build average height map（）

//calculate skeleton feature

for i=0; ilt;num_clusters： ++ i do

Sample by grid （cluster_points， amp; skeleton_features[i]）

end

//2. grach cut

Function

Normalized Cut （NCuts_stop_threshold， amp;seqment_clusters， amp; segment_labels）：

//calculate skeleton weights matrix

Compute skeleton weights→ωij

Function Get MinNCuts（ωij）：

//（1） eigen decompostion

Laplacian decomposition→ωij

//（2） search for best split

for j=0; jlt;num_cuts：++j do

calculate cost→NCut（A，B）

end

find minimun cost→NCut（A，B）

//3. split data according to best split

Get segment point cloud←minimun NCut cost

return obstacles_points

利用SVL Simulator自動(dòng)駕駛仿真軟件，模擬城市道路中的交叉路口場(chǎng)景，對(duì)基于Flood Fill算法結(jié)合譜聚類算法的激光雷達(dá)點(diǎn)云聚類方法進(jìn)行仿真，晴天場(chǎng)景激光雷達(dá)檢測(cè)結(jié)果如圖1所示.

從圖1可以看出： 經(jīng)過(guò)激光雷達(dá)點(diǎn)云類聚，50 m以內(nèi)左側(cè)相鄰的4輛車，被分割為4個(gè)目標(biāo)，由于激光雷達(dá)傳感器的屬性限制，存在目標(biāo)之間互相遮擋問題；由于黃色校車位于激光雷達(dá)50 m以外的遠(yuǎn)處，激光雷達(dá)產(chǎn)生了識(shí)別錯(cuò)誤，校車車身后半部沒有被檢測(cè)到.

2基于圖像的目標(biāo)檢測(cè)

基于YOLOv2，重新設(shè)計(jì)網(wǎng)絡(luò)的預(yù)測(cè)參數(shù)和損失函數(shù)，使用VOC2007數(shù)據(jù)集中城市交叉口及汽車的圖片對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練[11].首先輸入圖像，并根據(jù)選用的卷積網(wǎng)絡(luò)調(diào)整圖像的大小，得到卷積特征圖；然后利用檢測(cè)網(wǎng)絡(luò)進(jìn)行回歸和分類處理，得到目標(biāo)邊框，進(jìn)行目標(biāo)識(shí)別.設(shè)置交叉路口仿真場(chǎng)景，利用短焦相機(jī)識(shí)別，基于圖像的車輛目標(biāo)識(shí)別結(jié)果如圖2所示，基于圖像方法，無(wú)法對(duì)距離無(wú)人車50 m以外目標(biāo)進(jìn)行識(shí)別，圖2中的貨車，單短焦相機(jī)識(shí)別不到.

3激光雷達(dá)與相機(jī)信息融合檢測(cè)方法

目標(biāo)融合主要包含激光雷達(dá)和相機(jī)檢測(cè)數(shù)據(jù)的空間對(duì)齊以及時(shí)間對(duì)齊.空間對(duì)齊主要是解決相機(jī)坐標(biāo)系與激光雷達(dá)坐標(biāo)系之間的位姿轉(zhuǎn)換關(guān)系，時(shí)間對(duì)齊則是解決由于激光雷達(dá)與相機(jī)傳感器頻率不同造成的時(shí)間戳不同步問題[12].經(jīng)過(guò)空間和時(shí)間同步之后，即可獲得信息完整的目標(biāo)信息，為無(wú)人車自動(dòng)駕駛系統(tǒng)下游模塊提供可靠、豐富的環(huán)境信息.

3.1激光雷達(dá)與相機(jī)的空間對(duì)齊

空間對(duì)齊方式是將激光雷達(dá)坐標(biāo)系通過(guò)一系列轉(zhuǎn)換與相機(jī)坐標(biāo)系進(jìn)行重合，實(shí)現(xiàn)點(diǎn)云信息和圖像信息的一致.由于傳感器在無(wú)人車上的安裝位置不同，激光雷達(dá)坐標(biāo)系與相機(jī)坐標(biāo)系之間存在旋轉(zhuǎn)和平移轉(zhuǎn)換[13].激光雷達(dá)坐標(biāo)系為OLXLYLZL，相機(jī)坐標(biāo)系為OCXCYCZC.假設(shè)世界坐標(biāo)系中某一點(diǎn)P，其在激光雷達(dá)坐標(biāo)系和相機(jī)坐標(biāo)系中的坐標(biāo)分別為（xl，yl，zl）、（xC，yC，zC），則2個(gè)傳感器之間的轉(zhuǎn)換關(guān)系為

PC=RLCPl+TLC，（6）

式中：PC=［xCyCzC］;Pl=［xlylzl］;RLC、TLC分別為激光雷達(dá)與相機(jī)的旋轉(zhuǎn)矩陣和平移矩陣.

當(dāng)旋轉(zhuǎn)和平移矩陣已知時(shí)，通過(guò)相機(jī)的投影模型和內(nèi)參數(shù)，可以將激光雷達(dá)的點(diǎn)云投影在圖像中.本研究采用標(biāo)定板法線擬合方式來(lái)求解，并引入遺傳算法對(duì)參數(shù)進(jìn)行優(yōu)化.

3.1.1問題模型構(gòu)建

首先估計(jì)旋轉(zhuǎn)向量，假設(shè)標(biāo)定板在激光雷達(dá)點(diǎn)云與相機(jī)圖像中的法線向量分別為Nl與NC，則有NC=RLCNl，對(duì)等式兩端同時(shí)取轉(zhuǎn)置再乘上Nl，則有

RLC=（NlNTl）-1（NlNTC）T.（7）

在激光雷達(dá)點(diǎn)云庫(kù)中利用自帶函數(shù)可以提取出目標(biāo)標(biāo)定板的點(diǎn)云平面以及其法線向量Nl.相機(jī)中標(biāo)定板的法線求解庫(kù)中同樣可以檢測(cè)標(biāo)定板在圖像中的像素點(diǎn)，該像素點(diǎn)對(duì)應(yīng)在標(biāo)定板坐標(biāo)系中的實(shí)際位置，根據(jù)制作標(biāo)定板的參數(shù)可以直接獲得，則標(biāo)定板與相機(jī)之間就構(gòu)成了一個(gè)PnP求解問題，將相機(jī)的內(nèi)參數(shù)、畸變參數(shù)和對(duì)應(yīng)的匹配點(diǎn)，利用PnP函數(shù)對(duì)輸出的旋轉(zhuǎn)向量做羅德里格斯變換，即可得到旋轉(zhuǎn)矩陣，再由旋轉(zhuǎn)矩陣計(jì)算得到法線向量NC.將Nl、NC代入式（7），即可解出激光雷達(dá)到相機(jī)的旋轉(zhuǎn)關(guān)系.平移矩陣計(jì)算式為

TLC=RLCTl-Tc，（8）

式中：Tl、Tc分別為標(biāo)定板中心點(diǎn)在激光雷達(dá)坐標(biāo)系與相機(jī)坐標(biāo)系中的坐標(biāo).

3.1.2參數(shù)優(yōu)化

采用遺傳算法來(lái)優(yōu)化位姿參數(shù)RS（α，β，θ）與TLC（x，y，z），α、β、θ分別為旋轉(zhuǎn)變換中的側(cè)翻角、俯仰角以及橫擺角.在標(biāo)定過(guò)程中，通過(guò)不斷變換標(biāo)定板與傳感器之間的距離和標(biāo)定板的角度，求解多組結(jié)果，作為遺傳算法優(yōu)化的樣本種群[14].

評(píng)價(jià)旋轉(zhuǎn)參數(shù)時(shí)，設(shè)計(jì)適應(yīng)度函數(shù)來(lái)計(jì)算法線對(duì)齊的誤差及法線與平面的位置誤差，計(jì)算式為

RS（α，β，θ）=argmin（ed+er），（9）

式中：argmin為函數(shù)符號(hào)；ed為法線與平面的位置誤差，ed=∑Ni=1［（pc，i-pl，i）ncl，i］N2，ncl，i為雷達(dá)中標(biāo)定板的法線經(jīng)過(guò)位姿變換在相機(jī)坐標(biāo)系中的位置，pc，i和pl，i分別為相機(jī)坐標(biāo)系中標(biāo)定板的中心點(diǎn)坐標(biāo)和任意一個(gè)角點(diǎn)坐標(biāo)，在理想狀態(tài)下，ed為0；er為法線的對(duì)齊誤差，er=∑Ni=1（ncl，i-nc，i）2N，nc，i為相機(jī)坐標(biāo)系中標(biāo)定板的法線位置.

評(píng)價(jià)平移參數(shù)時(shí)，主要考慮標(biāo)定板中心點(diǎn)的重投影誤差et、重投影方差σt和中心點(diǎn)投影到圖像中的最大像素投影誤差et_I，構(gòu)建的適應(yīng)度函數(shù)為

RST（α，β，θ，TLC）=

argmin（ed+er+et+σt+et_I），（10）

式中：et_I=maxpc_I，i-pl_I，i，pc_I，i、pl_I，i分別為中心點(diǎn)、任一點(diǎn)在圖像中的像素位置；et=∑Ni=1（pc，i-pl，i）2N；σt=∑Ni=1［（pc，i-pl，i）2-et］2N.

綜上，通過(guò)設(shè)計(jì)適應(yīng)度函數(shù)，解決了遺傳算法優(yōu)化中個(gè)體評(píng)估問題，適應(yīng)度函數(shù)值低的個(gè)體將被送入交叉、變異流程中進(jìn)行更新迭代，直到獲得最優(yōu)估計(jì)值或者達(dá)到最大迭代次數(shù)，遺傳算法終止.在標(biāo)定過(guò)程中，采集20組數(shù)據(jù)，其中包含標(biāo)定板在激光雷達(dá)與相機(jī)中的尺寸信息、平面法線、中心點(diǎn)坐標(biāo)、標(biāo)定板的角點(diǎn)坐標(biāo).通過(guò)式（10）計(jì)算出20組位姿轉(zhuǎn)換結(jié)果，利用遺傳算法進(jìn)行優(yōu)化，得到20組優(yōu)化后的數(shù)據(jù)，并對(duì)優(yōu)化結(jié)果進(jìn)行隨機(jī)抽樣，利用高斯分布函數(shù)提取波峰處的參數(shù)值作為最終外參標(biāo)定.

3.2激光雷達(dá)與相機(jī)的時(shí)間對(duì)齊

在真實(shí)道路場(chǎng)景中，激光雷達(dá)和相機(jī)是互相獨(dú)立的傳感器，二者坐標(biāo)系互相獨(dú)立，且采樣頻率不同.雖然進(jìn)行空間對(duì)齊將二者的坐標(biāo)系聯(lián)合起來(lái)，但是無(wú)人車在行駛時(shí)，周圍環(huán)境一直處于變化中，采樣頻率不同導(dǎo)致無(wú)人車接收的點(diǎn)云信息和圖像信息不一致，會(huì)影響信息融合的精度.因此需要對(duì)激光雷達(dá)和相機(jī)采集的信息進(jìn)行時(shí)間同步，保證激光雷達(dá)和相機(jī)在同一時(shí)刻完成信息采集，即1幀點(diǎn)云信息對(duì)應(yīng)1幀圖像信息，從而提高信息融合的精度.

選用激光雷達(dá)的工作頻率為20.0 Hz，相機(jī)工作頻率為28.7 Hz.鑒于相機(jī)的掃描頻率高于激光雷達(dá)，因此，采用基于時(shí)間戳的同步方式.以激光雷達(dá)的掃描時(shí)刻為基準(zhǔn)，對(duì)相機(jī)采集的圖像信息進(jìn)行緩存，系統(tǒng)在接收點(diǎn)云信息和圖像信息時(shí)會(huì)附加系統(tǒng)當(dāng)前時(shí)刻的時(shí)間戳.當(dāng)點(diǎn)云信息獲取后，從緩存中找到與該時(shí)刻點(diǎn)云信息的時(shí)間戳最相近的圖像信息，然后將點(diǎn)云信息和圖像信息同時(shí)送入處理函數(shù)進(jìn)行信息融合，完成2種傳感器信息的時(shí)間同步.2種傳感器信息時(shí)間同步如圖3所示.

3.3點(diǎn)云與圖像信息融合

點(diǎn)云和圖像信息完成時(shí)間、空間匹配后，接下來(lái)對(duì)2種信息進(jìn)行融合.采用目標(biāo)級(jí)融合策略，將激光雷達(dá)點(diǎn)云聚類得到的障礙物投影到圖像上，障礙物點(diǎn)云的三維包絡(luò)框變成二維包絡(luò)框，然后與圖像中車輛目標(biāo)分類器得到的像素二維框進(jìn)行對(duì)比，并基于激光雷達(dá)的物理特性設(shè)計(jì)新的融合指標(biāo)[15].

將激光雷達(dá)點(diǎn)云投影到圖像上的效果如圖4所示，標(biāo)定板點(diǎn)云數(shù)據(jù)中估計(jì)的平面中心點(diǎn)，通過(guò)外參的轉(zhuǎn)換，與圖像中標(biāo)定板中心點(diǎn)基本吻合，并且環(huán)境中其他目標(biāo)如行人、立柱的點(diǎn)云輪廓與圖像中行人和立柱也能比較完整進(jìn)行匹配.

對(duì)采樣的20組數(shù)據(jù)進(jìn)行重投影，分析其重投影誤差，如圖5所示，其中：lb為標(biāo)定板到雷達(dá)的距離；es為尺寸誤差；ec為中心點(diǎn)重投影像素誤差.中心點(diǎn)重投影像素誤差小于15 mm，這對(duì)于低速無(wú)人車而言，能夠滿足數(shù)據(jù)融合的要求.

4仿真結(jié)果與分析

在SVL Simulator自動(dòng)駕駛仿真軟件中，分別構(gòu)建晴天、霧天、夜晚以及雨天場(chǎng)景，將2種傳感器融合，檢測(cè)結(jié)果與單傳感器檢測(cè)結(jié)果進(jìn)行對(duì)比.

4.1晴天場(chǎng)景

晴天單相機(jī)檢測(cè)結(jié)果如圖6a所示，在相機(jī)視野內(nèi)的車輛可被檢測(cè)到，對(duì)相機(jī)視野外的目標(biāo)無(wú)法進(jìn)行檢測(cè)，如視野外紅框所示.單激光雷達(dá)檢測(cè)結(jié)果如圖6b所示，對(duì)近處的車輛激光雷達(dá)檢測(cè)效果良好，但遠(yuǎn)處目標(biāo)無(wú)法檢測(cè)，而相機(jī)可以檢測(cè)到.將2種傳感器融合，檢測(cè)結(jié)果如圖6c所示，與單一傳感器相比，融合后的檢測(cè)結(jié)果在檢測(cè)范圍上有明顯增大，使無(wú)人車具備感知周圍360°范圍內(nèi)的目標(biāo)，且增加了有效檢測(cè)距離，至50 m以外的遠(yuǎn)處.

4.2霧天場(chǎng)景

霧天單相機(jī)檢測(cè)結(jié)果如圖7a所示，由于濃霧的影響，極大降低了圖像中目標(biāo)的色彩強(qiáng)度變化，增大了特征提取的難度，導(dǎo)致相機(jī)視野中的目標(biāo)出現(xiàn)漏檢，右側(cè)相機(jī)圖像顯示窗口中，框內(nèi)的2輛車由于濃霧的影響，導(dǎo)致無(wú)法被相機(jī)檢測(cè)到.單激光雷達(dá)檢測(cè)結(jié)果如圖7b所示，濃霧對(duì)其檢測(cè)影響不大.將2種傳感器融合，檢測(cè)結(jié)果如圖7c所示，由于濃霧影響了相機(jī)對(duì)遠(yuǎn)處目標(biāo)的識(shí)別，導(dǎo)致無(wú)人車的檢測(cè)范圍并沒有增加，但融合激光雷達(dá)之后，能夠克服由于濃霧對(duì)相機(jī)檢測(cè)造成的影響，無(wú)人車左側(cè)及右前方的4輛車均被檢測(cè)到，實(shí)現(xiàn)了無(wú)人車周圍360°范圍內(nèi)的目標(biāo)感知.

4.3夜晚場(chǎng)景

夜晚單相機(jī)檢測(cè)結(jié)果如圖8a所示，無(wú)人車右前方的一輛車在高精度地圖中的車道位置與仿真器中車輛真實(shí)的車道位置不對(duì)應(yīng)，這是由于夜晚相機(jī)對(duì)目標(biāo)距離估計(jì)不準(zhǔn)所造成的.而在圖8b中，激光雷達(dá)在夜間的檢測(cè)結(jié)果相對(duì)相機(jī)的檢測(cè)結(jié)果更加準(zhǔn)確，且不受光線影響.將2種傳感器融合，檢測(cè)結(jié)果如圖8c所示，融合檢測(cè)可以彌補(bǔ)相機(jī)受光線影響的缺陷.

4.4雨天場(chǎng)景

雨天單相機(jī)檢測(cè)結(jié)果如圖9a所示，由于雨水影響，造成相機(jī)對(duì)車輛目標(biāo)位置的估計(jì)出現(xiàn)偏差，無(wú)人車左前方黑色轎車被識(shí)別為客車，正前方無(wú)車卻識(shí)別顯示有車.單激光雷達(dá)的檢測(cè)結(jié)果如圖9b所示，目標(biāo)位置檢測(cè)相對(duì)相機(jī)更加準(zhǔn)確，但檢測(cè)不到遠(yuǎn)處的白色轎車.將2種傳感器融合，檢測(cè)結(jié)果如圖9c所示，采用融合激光雷達(dá)檢測(cè)，可減小雨水天氣對(duì)無(wú)人車感知功能的影響，在雨天下依然能對(duì)遠(yuǎn)處車輛目標(biāo)進(jìn)行識(shí)別，無(wú)人車左前方相鄰的4輛車、前后方車輛的位置及數(shù)量均能夠被準(zhǔn)確識(shí)別，實(shí)現(xiàn)了無(wú)人車周圍360°范圍內(nèi)的目標(biāo)感知.

綜合4種天氣條件下對(duì)單相機(jī)檢測(cè)結(jié)果、激光雷達(dá)檢測(cè)結(jié)果和融合檢測(cè)結(jié)果進(jìn)行可視化，并統(tǒng)計(jì)車輛目標(biāo)的檢測(cè)結(jié)果，如表1所示.

從表1可以看出：在不同天氣條件下，單傳感器檢測(cè)與傳感器融合檢測(cè)均存在不同程度的目標(biāo)漏檢情況，單相機(jī)檢測(cè)情況下，漏檢數(shù)量最多，融合檢測(cè)漏檢數(shù)量最少.相機(jī)檢測(cè)目標(biāo)的漏檢是由于天氣、光照以及視角造成，而激光雷達(dá)能夠克服相機(jī)的缺陷，但是存在目標(biāo)之間的遮擋，也會(huì)造成目標(biāo)的漏檢.圖7c中，晴天場(chǎng)景中實(shí)際有6輛車，但由于無(wú)人車左前方貨車的遮擋，導(dǎo)致貨車后方的1輛轎車無(wú)法被檢測(cè)到.圖9c的夜晚場(chǎng)景中，無(wú)人車右前方的1輛轎車，由于距離過(guò)遠(yuǎn)，且光線不足，導(dǎo)致激光雷達(dá)與相機(jī)都無(wú)法檢測(cè)到.通過(guò)傳感器的融合，感知系統(tǒng)可以綜合相機(jī)與激光雷達(dá)的優(yōu)勢(shì)，實(shí)現(xiàn)優(yōu)勢(shì)互補(bǔ)，使得遠(yuǎn)處的車輛目標(biāo)能被無(wú)人車識(shí)別，并且借助激光雷達(dá)360°的視野優(yōu)勢(shì)，實(shí)現(xiàn)對(duì)交叉路口的全方位感知.

5結(jié)論

1） 基于Flood Fill與譜聚類算法結(jié)合方法，提出基于激光雷達(dá)點(diǎn)云的目標(biāo)檢測(cè)方法，將譜聚類算法應(yīng)用于點(diǎn)云的聚類分割中，考慮連通組件之間的特征距離，改進(jìn)相似度矩陣.結(jié)果表明，激光雷達(dá)對(duì)近處目標(biāo)有良好的檢測(cè)效果，對(duì)于距離無(wú)人車50 m以內(nèi)的相鄰車道中的車輛目標(biāo)，能夠準(zhǔn)確識(shí)別其位置.

2） 基于平面法線對(duì)齊方法，對(duì)激光雷達(dá)點(diǎn)云信息與相機(jī)圖像信息進(jìn)行融合，引入遺傳算法對(duì)求解結(jié)果進(jìn)行優(yōu)化，對(duì)結(jié)果進(jìn)行高斯分布處理，獲得最優(yōu)解.結(jié)果表明，重投影像素誤差小于15 mm.

3） 構(gòu)建城市交叉口仿真環(huán)境，針對(duì)晴天、雨天、夜晚及霧天場(chǎng)景，分別對(duì)單相機(jī)檢測(cè)、激光雷達(dá)檢測(cè)及融合檢測(cè)方法進(jìn)行仿真分析.結(jié)果表明，進(jìn)行傳感器融合之后，綜合激光雷達(dá)與相機(jī)的優(yōu)勢(shì)，無(wú)人車能夠?qū)ψ攒囍車?60°范圍內(nèi)的目標(biāo)進(jìn)行識(shí)別.

參考文獻(xiàn)（References）

［1］賈文博.基于雷達(dá)與視覺融合的車輛檢測(cè)方法研究[D].大連：大連理工大學(xué)，2021.

［2］徐文軒，李偉.無(wú)人駕駛汽車環(huán)境感知與定位技術(shù)[J].汽車科技，2021（6）：53-60，52.

XU W X， LI W.Environmental perception and location technology of driverless vehicles[J]. Automobile Science amp; Technology，2021（6）：53-60，52. （in Chinese）

［3］曾帥康.基于ROS的低速無(wú)人車環(huán)境感知與控制方法研究[D]. 北京：北京交通大學(xué)，2021.

［4］李研芳，黃影平. 基于激光雷達(dá)和相機(jī)融合的目標(biāo)檢測(cè)[J]. 電子測(cè)量技術(shù)，2021， 44（5）：112-117.

LI Y F， HUANG Y P. Target detection based on the fusion of lidar and camera[J]. Electronic Measurement Technology，2021， 44（5）：112-117.（in Chinese）

［5］楊鑫，劉威，林輝. 面向高級(jí)輔助駕駛雷達(dá)和視覺傳感器信息融合算法的研究[J]. 汽車實(shí)用技術(shù)， 2018（1）：37-40.

YANG X， LIU W， LIN H. Research of radar and vision sensors data fusion algorithm applied in advanced driverassistance systems[J]. Automobile Applied Technology， 2018（1）：37-40.（in Chinese）

［6］鄭少武，李巍華，胡堅(jiān)耀. 基于激光點(diǎn)云與圖像信息融合的交通環(huán)境車輛檢測(cè)[J]. 儀器儀表學(xué)報(bào)， 2019， 40（12）：143-151.

ZHENG S W， LI W H， HU J Y. Vehicle detection in the traffic environment based on the fusion of laserpoint cloud and image information[J]. Chinese Journal of Scientific Instrument， 2019， 40（12）：143-151.（in Chinese）

［7］陳昆. 基于雙目視覺和激光雷達(dá)融合的道路環(huán)境感知技術(shù)[D]. 杭州：浙江大學(xué)， 2020.

［8］梁晨晨，田金鵬，宋春林. 基于雷達(dá)和攝像頭傳感器融合的輔助駕駛目標(biāo)檢測(cè)算法[J].信息技術(shù)與信息化， 2021（12）：5-9.

LIANG C C， TIAN J P， SONG C L. Aided driving target detection algorithm based on radar and camera sensor fusion[J]. Information Technology amp; Informatization， 2021（12）：5-9.（in Chinese）

［9］圣園園. 鏈篦機(jī)臺(tái)車側(cè)板裂縫檢測(cè)方法研究[D]. 包頭：內(nèi)蒙古科技大學(xué)， 2021.

［10］楊迪，蔡怡然，王鵬，等. 基于改進(jìn)譜聚類算法的交通區(qū)域劃分方法[J]. 計(jì)算機(jī)工程與設(shè)計(jì)， 2021，42（9）：2478-2484.

YANG D， CAI Y R， WANG P， et al. Traffic regional division method based on improved spectral clustering algorithm[J]. Computer Engineering and Design， 2021， 42（9）：2478-2484.（in Chinese）

［11］REDMON J， FARHADI A. YOLO9000： better， faster， stronger[C]∥Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Piscataway，USA：IEEE，2017：7263-7271.

［12］MOUSAVIAN A， ANGUELOV D， FLYNN J， et al. 3D bounding box estimation using deep learning and geometry[C]∥Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Piscataway，USA：IEEE，2017：7074-7082.

［13］潘浩然. 基于改進(jìn)損失函數(shù)的YOLOv3的人臉檢測(cè)[D]. 南昌：南昌大學(xué)， 2020.

［14］宮銘錢. 基于激光雷達(dá)和相機(jī)信息融合的車輛識(shí)別與跟蹤研究[D]. 重慶：西南大學(xué)， 2021.

［15］MOHAMMADI A， ASADI H， MOHAMED S， et al. OpenGA， a C++ genetic algorithm library[C]∥2017 IEEE International Conference on Systems， Man， and Cybernetics （SMC）. Piscataway，USA：IEEE，2017：2051-2056.

（責(zé)任編輯賈國(guó)方）

引文格式： "李勝琴，孫鑫，張民安. 基于激光雷達(dá)與相機(jī)融合的城市交叉路口車輛識(shí)別技術(shù)[J].江蘇大學(xué)學(xué)報(bào)（自然科學(xué)版），2024，45（6）：621-628.

收稿日期： ""2022-08-18

基金項(xiàng)目： "中央高?；究蒲袠I(yè)務(wù)費(fèi)專項(xiàng)資金資助項(xiàng)目（2572021BG01）

作者簡(jiǎn)介： ""李勝琴（1976—），女，黑龍江哈爾濱人，教授，博士生導(dǎo)師（lishengqin@nefu.edu.cn），主要從事車輛系統(tǒng)動(dòng)力學(xué)建模及車輛操縱穩(wěn)定性研究.

孫鑫（1998—），女，山東臨沂人，碩士研究生（470739947@qq.com），主要從事車輛避撞控制研究.