視覺與激光雷達信息融合的目標領航車識別方法*

賈子永，任國全，李冬偉，程子陽

（陸軍工程大學石家莊校區(qū)，石家莊 050003）

0 引言

隨著智能無人系統(tǒng)技術的發(fā)展，軍用地面無人平臺自主跟隨相關技術研究工作備受關注。軍用地面無人平臺自主跟隨指的是在編隊環(huán)境下車輛領航-跟隨的行車模式，主要用于戰(zhàn)場環(huán)境下編隊行軍過程中的車輛引導-多車自主跟隨的行軍模式，有效減輕士兵長途駕駛的負擔。軍用地面無人平臺自主跟隨系統(tǒng)主要研究內容包括：領航車輛的識別和定位、跟隨車輛的控制和局部路徑規(guī)劃等。

軍用地面無人平臺自主跟隨系統(tǒng)中領航車輛狀態(tài)檢測識別，是跟隨地面無人平臺自主駕駛的基礎和前提。多種傳感器用于車輛的檢測，包括攝像機［1］、激光雷達［2］、超聲波［3］、紅外攝像機和立體攝像機［4］。 Sun Z H 等［5］全面闡釋了基于視覺的車輛檢測方法。文獻［6-7］均提出利用Haar特征對車輛進行識別，然后利用積分圖像對是否為車輛進行判斷。利用視覺檢測車輛主要依靠車輛的顏色、紋理、梯度等特征對行駛中的車輛進行識別，該方法獲取信息量大，識別精度高，有效地降低了車輛的誤檢率。但是基于圖像的車輛檢測得不到檢測車輛相對攝像機的深度信息，且車輛行駛速度快，所拍攝的照片較模糊，對視覺算法的實時性要求較高。文獻［8-9］利用激光雷達的掃描數(shù)據(jù)對車輛的行駛進行監(jiān)控，分析車輛在激光雷達數(shù)據(jù)的形狀變化，再利用SVM分類方法進行車輛識別。但是此方法緊靠激光雷達掃描形成的形狀很難準確判斷出目標是否為車輛。鑒于單一傳感器不能同時滿足車輛的準確定位和準確辨識，文獻［10］利用毫米波雷達和視覺融合對車輛進行檢測，取得了較好的效果，但毫米波雷達由于波長的差別，其測距精度和成像能量不如激光雷達，只能應用到簡單環(huán)境中。

軍用地面無人平臺常用于非標準道路條件下，應用環(huán)境復雜，目標車輛檢測難度高。領航車輛檢測識別過程中，跟隨車輛周圍環(huán)境中存在著目標領航車輛用于引導跟隨車輛自主控制，也可能存在著其他車輛、叢林、行人、巖石等背景數(shù)據(jù)干擾目標車輛的檢測識別。傳感器獲得的數(shù)據(jù)主要包括3類：目標領航車輛數(shù)據(jù)、背景數(shù)據(jù)和噪聲干擾。為快速實時地把目標車輛從背景中區(qū)別開來，準確檢測出目標領航車輛所在的位置，本文結合激光雷達能夠精確獲取目標的距離與角度信息，攝像機能夠獲取目標的顏色和梯度信息。設計了基于激光雷達和攝像機傳感器信息融合的目標領航車輛檢測識別系統(tǒng)。利用激光雷達確定假設目標的初始位置，然后利用圖像處理提取假設目標對稱性、角點特征的參數(shù)，最終對假設目標進行多特征級聯(lián)分類識別方法進行驗證。

1 傳感器的安裝和聯(lián)合標定

1.1 傳感器的型號及安裝

激光雷達和攝像機用于感知跟隨車輛周圍環(huán)境，采集車輛行駛環(huán)境的信息，本實驗選用LMS151型激光雷達，其最大測量距離為50 m，角度分辨率為0.25°，掃描頻率為25 Hz。攝像機分辨率為1 294×964，鏡頭的焦距為6 mm。實驗選用的目標領航車輛為實驗室中型差速履帶車，跟隨車輛選用的是一輛小型履帶車。激光雷達固定于跟隨車輛的正前方且居中，攝像機利用二軸云臺固定在激光雷達上方，激光雷達和攝像機左右方向兩者大致重合，激光雷達在攝像機的前方，如圖1所示。

圖1 激光雷達、攝像機安裝位置圖

1.2 激光雷達和攝像機的聯(lián)合標定

為了確定激光雷達數(shù)據(jù)和攝像機空間對應關系，需要對激光雷達和攝像機進行聯(lián)合標定。攝像機和激光雷達與車體剛性連接，兩者與車體的相對姿態(tài)和位移固定不變。任意的激光雷達掃描點，在車體坐標系中存在唯一的點與之對應，在攝像機圖像中也存在唯一的一個像素點與之對應。因此，對于在攝像機視角范圍內的激光雷達掃描點，在圖像像素坐標系中都存在一個像素點與之對應。

本實驗選用梯形棋盤格標定板對激光雷達和攝像機進行聯(lián)合標定，利用激光雷達在梯形板上的掃描信息，獲取激光雷達安裝的俯仰角和安裝高度，利用梯形棋盤格上的黑白棋盤格標定出攝像機的內外參數(shù)，詳解過程見文獻［11］。得到激光雷達數(shù)據(jù)到攝像機圖像像素之間的對應變換關系為：

其中：（u，v）表示圖像像素坐標；fx和fy分別為x方向和y方向的等效焦距；（u0，v0）為圖像像素中心的坐標。Rveh→cam為 3×3 的坐標旋轉矩陣，Tveh→cam為 1×3坐標平移矩陣。（ρn，θn）表示在極坐標下激光雷達掃描點的距離和角度；δ為激光雷達安裝的俯仰角；h為激光雷達安裝的高度。

2 基于激光雷達數(shù)據(jù)感興趣區(qū)域的確定

2.1 激光雷達數(shù)據(jù)預處理及假設目標的確立

將激光雷達原始目標數(shù)據(jù)投影到圖像中，得到激光雷達數(shù)據(jù)和攝像機圖像的像素級融合，融合效果如圖2所示。圖中黑色點集為激光雷達掃描點映射到圖像的結果，黑色橢圓圈出的是激光雷達點融合到對應的物體上的融合點。由圖可以看出，如果把激光雷達原始數(shù)據(jù)直接融合到圖像中，即包含激光雷達探測到的錐桶、地面、紙箱等信息也包含激光雷達掃描到的地面等噪聲，為了減小噪聲的干擾和確定假設目標的個數(shù)，需要對激光雷達數(shù)據(jù)進行預處理。

圖2 激光雷達和圖像的像素級信息融合效果圖

為了從激光雷達數(shù)據(jù)中分析得到周圍目標的外形特征，需要對激光雷達的數(shù)據(jù)進行分割和聚類處理。激光雷達根據(jù)設定的角度分辨率，對環(huán)境進行連續(xù)掃描，連續(xù)障礙物返回點比較密集、非連續(xù)障礙物之間存在較大的間隙，根據(jù)這一特點對激光雷達數(shù)據(jù)進行最近鄰域法聚類分析。最近鄰域法聚類的主要思想是把第1個數(shù)據(jù)點作為第1組的聚類中心，若下一個點到該點的距離小于聚類半徑R則為同一物，則把這個數(shù)據(jù)放到這個組中并更新為新的聚類中心，否則把數(shù)據(jù)作為新一組的聚類中心。聚類算法如式（2）：

其中，ρi為當前掃描的距離，ρi-1為前一掃描檢測點的距離，R為分割半徑。如果式（2）成立，則兩個掃描點為同一障礙物。其中，聚類半徑R根據(jù)每個激光反射點的距離而自適應變化，R為：

式中，ri-1為ρi和ρi-1的最小值，σ為余量。實驗時，取λ=10，σ=0.03 m。

激光雷達數(shù)據(jù)聚類分析后，提供了清晰的環(huán)境信息。周圍物體表示方式為（x，y，z，w），其中（x，y，z）表示激光雷達聚類點的中心點，w表示聚類的寬度。由先驗知識可以確定目標引導車輛在激光雷達成像聚類后的寬度為1.5 m，為了防止漏檢和虛檢，擴大目標領航車輛檢測的閾值范圍為（1.3 m，1.7 m）。如果目標在激光雷達的聚類結果滿足閾值條件則假設該物體為假設目標，否則判斷該物體為障礙物，可以有效地剔除與目標引導車輛差別較大的障礙物或者非目標車輛。

2.2 自適應感興趣窗口的選取

車輛識別感興趣區(qū)域的確定包括區(qū)域位置和區(qū)域大小的確定，激光雷達數(shù)據(jù)聚類預處理確定假設目標的中心位置和類的寬度（x，y，z，w）。由于車輛在加減速、彎道行駛和經過起伏路面時，會造成懸架和輪胎的變形，導致攝像頭的外參數(shù)發(fā)生變化。為了保證感興趣窗口能夠完整地包含假設目標，同時也要保證系統(tǒng)處理的實時性，提出了自適應感興趣窗口的確立方法。

理論上預處理后的激光雷達目標映射到圖像中，中心點位于圖像目標輪廓中心，因此，把該點作為車輛識別感興趣區(qū)域的中心。目標領航車輛的實際高度可以通過先驗知識測量得到為0.8 m，通過車輛的中心點、寬度和高度進行擴展而形成假設目標感興趣區(qū)域。中心點向其左右兩邊各擴展5/6個寬度w，向上向下擴展1個高度h。利用透視原理將該區(qū)域投影到圖像中，得到像素尺寸為m×n，中心為O的矩形圖像窗口，如下頁圖3所示。圖3中，方框內代表假設目標感興趣區(qū)域的選定，可以看出該窗口足以容納車輛在圖像中的投影。

圖3 感興趣區(qū)域的選取

3 基于特征的目標領航車輛識別與驗證

3.1 感興趣區(qū)域預處理

圖3中的履帶車輛為本實驗檢測的目標領航車輛，觀察其尾部，如果直接利用灰度圖像進行分析，可能造成精度低，運算量大。Canny算子是一個經典的輪廓提取算子，具有自適應功能。通過兩個相關的閾值來確定邊緣點，通過高閾值定位邊緣區(qū)域，并利用低閾值找出邊緣線的邊緣點。實際應用中，Canny邊緣提取算子主要的步驟為：

1）對圖像進行高斯濾波，把二維高斯函數(shù)

與原始圖像進行卷積：

以消除噪聲；

2）利用Sobel算子進行邊緣提取，采用3×3區(qū)域模板：

進行卷積近似求沿x，y兩個方向偏導數(shù)Gx，Gy，并求出該點梯度值大?。?/p>

計算梯度方向：

3）梯度方向上進行極大值抑制；

4）設定兩個閾值精確定位圖像的邊緣位置。

對目標領航車輛進行Canny算子邊緣提取效果如圖4所示。

圖4（a）顯示的是局部感興趣區(qū)域窗口，圖 4（b）為進行Canny算子之后的二值化圖像。由于邊界較模糊，遂對其進行膨脹，效果如圖4（c）。

圖4 Canny算子提取的目標領航車輛邊緣

3.2 目標領航車輛車輛特征提取

1）對稱性檢測。車輛輪廓的左右對稱性可以幫助對車輛的識別，排除非對稱物體的干擾。圖像在Canny算子處理后得到二值化邊界圖像，基于區(qū)域垂直邊緣［7］和左半邊和右半邊兩部分的關系，對稱性特征值為：

其中：w 為圖像的寬度；h 為圖像的高度；I（i，j）表示垂直邊緣圖中坐標為（i，j）處的像素值；φ為像素差值的閾值，由經驗可知，對稱特征值越大，對稱性越好。

2）角點檢測。角點是反應圖像信息的重要特征。Harris角點提取算法主要利用水平、豎直差分算子對圖像每個像素進行濾波，求得水平與豎直的灰度梯度Ix和Iy，進而得到矩陣：

對矩陣m中的4個元素進行高斯濾波處理。利用新的m，計算每個像素的角點量，如果角點量大于閾值且角點量是某鄰域內的局部極大值的點被認為是角點。

利用Harris角點提取方法，提取感興趣窗口內車輛上的角點個數(shù)，得到感興趣區(qū)域內的角點個數(shù)為N，則角點特征值為：

式中，w為感興趣局部窗口的像素寬度；h為感興趣局部窗口的像素高度；Pconern代表角點的特征值。

3.3 多特征級聯(lián)分類識別驗證目標領航車輛

多特征級聯(lián)分類識別目標領航車輛是將一系列單級分類器級聯(lián)起來，在車輛檢測過程中保證較高檢測率的情況下盡可能降低誤檢率，流程如圖5所示。該結構將一系列單級分類器級聯(lián)起來，當被判斷為非目標領航車輛時，該目標窗口立即被排除。多特征級聯(lián)分類識別過程中，由于車輛目標領航車輛在圖像中只占很小的一部分，利用激光雷達初步篩選出假設目標，剔除了大量的背景圖像和與車輛外形區(qū)別較大的障礙物目標，提高了后續(xù)車輛檢測速度。依據(jù)車輛尾部的對稱性縮小檢測范圍，排除巖石等非對稱物體。由于車輛尾部的角點數(shù)不隨車輛的遠近改變而改變，最終利用提取出的車輛尾部角點數(shù)對其進行最終判斷。如果感興趣區(qū)域圖像逐級滿足條件即判斷假設目標為目標領航車輛，否則為障礙物。

圖5 多特征級聯(lián)分類目標領航車輛流程圖

4 車輛識別結果

本文利用4個指標來直觀地表示目標領航車輛算法精度：檢測率，表示不同時間和場景準確檢測到車輛數(shù)目占實驗次數(shù)的百分比；漏檢率，表示沒有被檢測到的車輛數(shù)目占總實驗次數(shù)的百分比；誤檢率，表示被錯誤檢測到的車輛占總實驗次數(shù)的百分比，算法運行時間。實驗與其他兩種方法進行對比，方法1［9］利用車底陰影區(qū)域確定車輛感興趣區(qū)域并對感興趣區(qū)域進行多特征級聯(lián)分類方法；方法2［10］利用激光雷達確定車輛的感興趣區(qū)域但對圖像特征并行運算，給予特征值不同的權重。實驗采集不同時間和工況下的500幀數(shù)據(jù)對其統(tǒng)計分析，對算法運行時間進行統(tǒng)計，得到算法運行的平均時間，統(tǒng)計分析的結果見表1。從表中可以看出本方法在目標領航車輛檢測的準確性方面高于方法1，在檢測的實時性方面高于方法2，說明該方法滿足檢測目標領航車輛的準確性和實時性的要求［11-15］。

表1 不同方法目標領航車輛檢測方法

5 結論

本文提出了一種基于攝像機和激光雷達信息融合檢測識別目標領航車輛的方法，利用激光雷達確定假設目標，根據(jù)激光雷達的數(shù)據(jù)自適應確定感興趣區(qū)域窗口的大小。根據(jù)感興趣區(qū)域窗口的對稱性特征值、角度特征值，利用多特征級聯(lián)分類識別方法對目標領航車輛與跟隨車輛環(huán)境進行區(qū)分。實驗結果表明，該方法在不同的工況和光照條件具有較好的適應性和準確性。本文只對目標領航車輛的檢測展開研究，在后期的研究中將基于目標領航車輛檢測結果的車輛跟隨研究。