基于雷達(dá)與相機(jī)融合的行人軌跡跟蹤

李宏暉，張昊宇

(1.浙江海洋大學(xué) 海洋工程裝備學(xué)院，浙江 舟山 316000； 2.浙江海洋大學(xué) 信息工程學(xué)院，浙江 舟山 316000)

0 引 言

目前，大多數(shù)實(shí)時(shí)多目標(biāo)跟蹤算法是基于相機(jī)傳感器設(shè)計(jì)的，但相機(jī)在一幀中可以捕捉到的像素?cái)?shù)量是固定的，目標(biāo)與傳感器之間的距離會(huì)對(duì)跟蹤精度產(chǎn)生很大的影響。事實(shí)上，代表同一目標(biāo)的像素量將隨著傳感器和目標(biāo)之間距離的增加而呈平方遞減。然而，毫米波雷達(dá)能夠通過(guò)目標(biāo)與雷達(dá)的距離信息來(lái)區(qū)分不同的目標(biāo)，且毫米波雷達(dá)的一個(gè)重要優(yōu)勢(shì)是不易受環(huán)境條件的影響，如雨、灰塵、煙霧、霧或霜[1]。但與激光雷達(dá)相比，毫米波雷達(dá)角分辨率太低。激光雷達(dá)分辨率高、抗干擾能力強(qiáng)，但也存在數(shù)據(jù)交換量大, 軟、硬件成本高等問(wèn)題。

基于上述原因，研究人員開(kāi)始探索異類(lèi)傳感器融合在目標(biāo)跟蹤領(lǐng)域的應(yīng)用。Heuer等使用24 GHz雷達(dá)和先跟蹤后探測(cè)的方法來(lái)實(shí)現(xiàn)目標(biāo)跟蹤。他們的方法是基于一個(gè)粒子濾波器[2]，其權(quán)重受人體行走引起的多普勒信號(hào)的影響。但該系統(tǒng)僅限于跟蹤單個(gè)目標(biāo)，而不考慮軌跡的創(chuàng)建和終止等事件。Gruyer等提出了一種基于激光雷達(dá)和相機(jī)的融合方法。但該方法不執(zhí)行任何類(lèi)型的對(duì)象分類(lèi)，并且依賴(lài)基于檢測(cè)區(qū)域大小和運(yùn)動(dòng)模型的假設(shè)。Yenkanchi等[3]提出了一種基于雷達(dá)和相機(jī)的協(xié)同測(cè)距成像探測(cè)器，用于道路障礙物檢測(cè)。作者使用試探法將矩形遮罩應(yīng)用于各種對(duì)象，如汽車(chē)、卡車(chē)、行人等。得到的圖像遮罩在視覺(jué)上與圖像內(nèi)容相匹配。然而，還不清楚這些遮罩如何用于對(duì)特定目標(biāo)進(jìn)行分類(lèi)，以及是否有性能改進(jìn)。

綜合考慮上述方法出現(xiàn)的問(wèn)題，本文設(shè)計(jì)了一種先檢測(cè)后跟蹤的算法?；贔elix等[4]的研究，利用CRFNet神經(jīng)網(wǎng)絡(luò)代替?zhèn)鹘y(tǒng)純圖像網(wǎng)絡(luò)對(duì)目標(biāo)進(jìn)行檢測(cè)。借鑒Martin等[5]和Alessio等論文中描述的結(jié)構(gòu)，采取在特征層對(duì)雷達(dá)數(shù)據(jù)與圖像進(jìn)行融合的方法，并受到Michael等[6]工作的啟發(fā)，通過(guò)粒子濾波算法處理這些融合信息最終實(shí)現(xiàn)對(duì)行人多目標(biāo)的精確跟蹤。

1 算法流程圖

本文的跟蹤算法采用先檢測(cè)后跟蹤的工作模式，先借助CRFNet神經(jīng)網(wǎng)絡(luò)對(duì)圖片進(jìn)行檢測(cè)得到目標(biāo)邊界框，再根據(jù)針孔模型估計(jì)目標(biāo)在地平面上的位置坐標(biāo)。接著利用目標(biāo)的位置坐標(biāo)對(duì)雷達(dá)點(diǎn)云進(jìn)行修正與篩選，并根據(jù)處理后得到的點(diǎn)云數(shù)據(jù)設(shè)計(jì)了一種改進(jìn)的粒子濾波算法。算法流程如圖1所示。

2 基于傳感器融合的目標(biāo)檢測(cè)

2.1 雷達(dá)點(diǎn)云與圖像融合

本文所使用的CRFNet網(wǎng)絡(luò)通過(guò)對(duì)圖像和雷達(dá)信號(hào)進(jìn)行融合以提高網(wǎng)絡(luò)的目標(biāo)檢測(cè)性能，其融合方法如下。

雷達(dá)傳感器的輸出包括三維點(diǎn)云和相關(guān)的目標(biāo)參數(shù)，如速度、信號(hào)強(qiáng)度等?？紤]到雷達(dá)點(diǎn)云的高度并不能反映物體的實(shí)際高度，所以首先將雷達(dá)點(diǎn)云高度置為0，然后將雷達(dá)數(shù)據(jù)從三維空間中映射到圖像平面。根據(jù)歐盟的數(shù)據(jù)，人類(lèi)的平均身高為1.7 m，因此我們將雷達(dá)投影由投影點(diǎn)向上、下延伸為1.8 m長(zhǎng)的線段，使雷達(dá)投影盡可能完全覆蓋行人目標(biāo)。

雷達(dá)點(diǎn)云的投影以像素值的形式存儲(chǔ)在融合圖像中。在無(wú)雷達(dá)回波的圖像像素位置，將投影雷達(dá)通道值置為0。圖像由紅、綠、藍(lán)3個(gè)通道組成，在此基礎(chǔ)上，我們將雷達(dá)通道與圖像通道相連作為神經(jīng)網(wǎng)絡(luò)的輸入，如圖2所示。

分別對(duì)毫米波雷達(dá)與相機(jī)進(jìn)行空間標(biāo)定，得到旋轉(zhuǎn)矩陣R與平移矩陣T。再通過(guò)張正友標(biāo)定法對(duì)相機(jī)進(jìn)行內(nèi)參標(biāo)定，得到圖像空間坐標(biāo)系到像素坐標(biāo)系的轉(zhuǎn)換矩陣。最后將投影以投影點(diǎn)為中心，往豎直方向上、下分別延伸0.9 m，生成一個(gè)1.8 m長(zhǎng)的豎線。圖3(a)為雷達(dá)測(cè)得的三維點(diǎn)云圖，圖3(b)為將點(diǎn)云投影到圖片上的效果圖。

2.2 基于傳感器融合的神經(jīng)網(wǎng)絡(luò)架構(gòu)

CRFNet(如圖4所示)神經(jīng)網(wǎng)絡(luò)架構(gòu)建立在RetinaNet[7]上，并以VGG16為基礎(chǔ)網(wǎng)絡(luò)。網(wǎng)絡(luò)的輸出端分別為邊界框回歸子網(wǎng)絡(luò)和目標(biāo)分類(lèi)子網(wǎng)絡(luò)。如文獻(xiàn)[7]中所建議的，網(wǎng)絡(luò)使用聚焦損失(focal loss)作為目標(biāo)分類(lèi)的損失函數(shù)，并使用smooth L1作為邊界框回歸的損失函數(shù)。

融合網(wǎng)絡(luò)的主干為圖4中特征提取子網(wǎng)絡(luò)的第二列，由VGG16模塊組成。相機(jī)數(shù)據(jù)流和雷達(dá)數(shù)據(jù)流通過(guò)連接器連接，并在第一層輸入VGG16的模塊1。網(wǎng)絡(luò)的這一分支通過(guò)VGG16層處理相機(jī)和雷達(dá)的融合數(shù)據(jù)。在左邊的分支中，原始雷達(dá)數(shù)據(jù)通過(guò)最大池化以相應(yīng)的比例輸入到網(wǎng)絡(luò)的更深層，同時(shí)與VGG16層的輸出相連接。

接下來(lái)再在輸出端引入特征金字塔網(wǎng)絡(luò)(FPN)[8]由模塊P3到P7表示，通過(guò)在每個(gè)級(jí)別上的級(jí)聯(lián)來(lái)額外地融合雷達(dá)通道。FPN模塊的輸出連接了兩個(gè)子網(wǎng)絡(luò)，分別是邊界框回歸子網(wǎng)絡(luò)和目標(biāo)分類(lèi)子網(wǎng)絡(luò)。

2.3 數(shù)據(jù)關(guān)聯(lián)與針孔模型

借助CRFNet網(wǎng)絡(luò)檢測(cè)到行人目標(biāo)后，需進(jìn)行以下兩步操作，為后續(xù)粒子濾波算法提供必要數(shù)據(jù)：一是借助KM算法實(shí)現(xiàn)前、后幀目標(biāo)的數(shù)據(jù)關(guān)聯(lián)，并得到目標(biāo)a、b之間的色差Cola,b； 二是借助針孔模型計(jì)算行人在地平面上的位置坐標(biāo)。

(1)根據(jù)匈牙利算法的改進(jìn)算法KM算法對(duì)相機(jī)前、后幀檢測(cè)出的目標(biāo)進(jìn)行關(guān)聯(lián)。KM算法即是在一個(gè)二分圖內(nèi)，每一組左右連接有權(quán)值ωab， 求一種匹配使得所有ωab的和最小。本實(shí)驗(yàn)中，設(shè)定ωab為前一幀目標(biāo)a與后一幀目標(biāo)b之間的顏色差值Cola,b。 為了減小背景對(duì)算法的干擾，取目標(biāo)邊界框的中間部分(水平方向?yàn)閇1/3,2/3]，豎直方向?yàn)閇1/5,7/10])作為目標(biāo)的顏色取樣區(qū)間。分別對(duì)目標(biāo)a、b的顏色取樣區(qū)間中的所有像素的紅(r)、綠(g)、藍(lán)(b)這3個(gè)顏色通道取平均值 [ra,ga,ba]、 [rb,gb,bb]， 且已知每個(gè)像素的通道顏色的取值范圍為1～256。Cola,b如式(1)所示

(1)

(2)“針孔模型”首先為目標(biāo)的實(shí)際高度設(shè)置一個(gè)估計(jì)值H，再借助目標(biāo)邊界框的位置和大小來(lái)估計(jì)目標(biāo)在地平面上的位置坐標(biāo)。

針孔模型如圖5所示，通過(guò)一個(gè)代表相機(jī)鏡頭的點(diǎn)，將三維世界映射到圖像平面。其中，左部分人像表示行人在圖片平面上的投影，右部分表示人在三維空間的位置。f表示相機(jī)焦距，D表示行人的中心位置到相機(jī)的距離，h表示目標(biāo)邊界框的寬度，H表示行人身高的估計(jì)值，d表示目標(biāo)邊界框中心到相機(jī)鏡頭的距離，c表示邊界框中心到相機(jī)鏡頭在圖片上垂直投影的距離，F(xiàn)表示行人到相機(jī)的距離。邊界框中心點(diǎn)在圖像平面上的位置可表示為 (px,py)。 則行人在地平面上的位置坐標(biāo) (x,y) 為

(2)

(x,y)=(D·sin(θx),D·cos(θx))

(3)

3 基于傳感器融合的粒子濾波

3.1 傳感器誤差

本節(jié)對(duì)相機(jī)傳感器與雷達(dá)傳感器的測(cè)量誤差做簡(jiǎn)要介紹，為后續(xù)雷達(dá)點(diǎn)云的預(yù)處理提供必要參數(shù)。

(1)目標(biāo)距離誤差：

借助針孔模型可以得到行人在地平面上的位置，但其中有兩步操作會(huì)產(chǎn)生誤差：①用目標(biāo)邊界框的高度h來(lái)近似行人在圖片中的高度；②在針孔模型中將行人的身高統(tǒng)一假設(shè)為H。經(jīng)過(guò)多次實(shí)驗(yàn)發(fā)現(xiàn)第一類(lèi)誤差很小可忽略不計(jì)。針對(duì)第二類(lèi)誤差，先假設(shè)行人真實(shí)身高為γH， 如圖6所示。

再由針孔模型可得

f=dcos(θx)

(4)

(5)

根據(jù)歐盟的數(shù)據(jù)人類(lèi)的平均身高為1.7 m，因此本文設(shè)定H=1.7m。考慮到多數(shù)行人的身高區(qū)間為[1.5m,1.9m]，根據(jù)公式可得目標(biāo)距離誤差ΔD最大為d/5hm。

(2)雷達(dá)點(diǎn)云的切向誤差：

根據(jù)本實(shí)驗(yàn)所使用毫米波雷達(dá)的參數(shù)說(shuō)明書(shū)，本款雷達(dá)的角分辨率為1.4°，因此雷達(dá)點(diǎn)云點(diǎn)相對(duì)于雷達(dá)的切向誤差最大約為1/40Dm。

3.2 雷達(dá)點(diǎn)云預(yù)處理

本文設(shè)計(jì)的粒子濾波算法使用雷達(dá)點(diǎn)云的相關(guān)參數(shù)對(duì)粒子的權(quán)值進(jìn)行更新。雷達(dá)點(diǎn)云含有大量噪聲，本文設(shè)計(jì)了一種算法，借助上一節(jié)介紹的參數(shù)對(duì)雷達(dá)點(diǎn)云進(jìn)行校正、篩選。

相機(jī)傳感器具有很好的角度分辨率，但距離分辨率較差。而雷達(dá)傳感器正好相反，距離分辨率優(yōu)良角度分辨率較差。為融合二者優(yōu)點(diǎn)本文采取以下融合方法：

(1)借助針孔模型得到行人位置坐標(biāo)。

(2)(考慮到相機(jī)有很高的角分辨率，因此本文以相機(jī)檢測(cè)到的目標(biāo)方位角作為基準(zhǔn)，對(duì)雷達(dá)點(diǎn)云進(jìn)行篩選)以相機(jī)為坐標(biāo)原點(diǎn)，向行人位置坐標(biāo)射出一條射線。

(3)由前文可知目標(biāo)距離誤差最大為d/5hm, 雷達(dá)點(diǎn)云切向誤差最大為1/40Dm。因此以預(yù)估的目標(biāo)位置為中心建立一個(gè)長(zhǎng)為2d/5hm、寬為1/20Dm的方框作為采樣區(qū)間，并將方框所覆蓋的點(diǎn)云點(diǎn)映射到第2步確定的射線上(點(diǎn)云點(diǎn)與雷達(dá)的距離保持不變)，其余的點(diǎn)云點(diǎn)丟棄。

(4)將第3步所得的點(diǎn)云點(diǎn)作為本次迭代的觀測(cè)值。以上操作如圖7所示。

3.3 從運(yùn)動(dòng)模型采樣

粒子濾波分為3步：采樣、權(quán)值更新、重采樣。

假設(shè)粒子在每次檢測(cè)間隔ΔT內(nèi)速度恒定，即粒子速度等于粒子在ΔT內(nèi)運(yùn)動(dòng)的距離除以ΔT。然而這種運(yùn)動(dòng)模型存在誤差，因此引入高斯噪聲εi。εi的協(xié)方差定義如式(8)所示，這樣設(shè)計(jì)有兩個(gè)原因：①基于恒速假設(shè)得到的速度與實(shí)際速度有誤差，可以借助參數(shù)α進(jìn)行部分補(bǔ)償；②粒子有加速度，所以檢測(cè)間隔ΔT越短，誤差越小。

εi的均值為粒子以當(dāng)前速度在ΔT內(nèi)的運(yùn)動(dòng)距離。定義了所有參數(shù)后，位置預(yù)測(cè)公式如下

(6)

(7)

(8)

3.4 通過(guò)觀測(cè)模型修正粒子的權(quán)值

(9)

μj=[xj,yj]

(10)

(11)

其中，M表示當(dāng)前雷達(dá)點(diǎn)云的點(diǎn)的個(gè)數(shù)。μj=[xj,yj] 表示當(dāng)前幀第j個(gè)點(diǎn)云點(diǎn)的坐標(biāo)。Ij為第j個(gè)點(diǎn)云點(diǎn)的信號(hào)強(qiáng)度。Cola,b為不同目標(biāo)間的顏色差值。參數(shù)δ=28。

4 實(shí)驗(yàn)結(jié)果和分析

4.1 實(shí)驗(yàn)設(shè)備和參數(shù)

本實(shí)驗(yàn)使用的設(shè)備是TI公司的MMWCAS-RF-EVM 4D毫米波雷達(dá)，該款雷達(dá)由4塊AWR2243毫米波雷達(dá)芯片級(jí)聯(lián)而成，具有高穿透特性、高信噪比和高角分辨率的特點(diǎn)。其擁有192個(gè)信道是普通毫米波雷達(dá)的16倍，并且可在140°水平、60°縱向的寬視場(chǎng)中提供0.8°水平、1.4°縱向的角分辨率。雷達(dá)的優(yōu)異性能大大提高了本文算法的跟蹤精度。此外，該款雷達(dá)能探測(cè)距離超過(guò)350 m的大型物體(例如汽車(chē)和卡車(chē))，距離分辨率為35 cm；人體RCS可探測(cè)物體能在150 m的距離內(nèi)被探測(cè)到。雷達(dá)有波束成形和MIMO兩種工作模式，本實(shí)驗(yàn)主要在MIMO模式下進(jìn)行。

本實(shí)驗(yàn)使用的視覺(jué)傳感器型號(hào)為PointGrey Blackfly S USB3.0，采集分辨率為2048×2048像素，RGB模式下幀頻率為25幀/s。

本實(shí)驗(yàn)控制平臺(tái)配置如下：Intel(R)Core(TM)i5-10210U CPU@1.60 GHz，16 G內(nèi)存，Ubuntu 16.04操作系統(tǒng)。目標(biāo)檢測(cè)程序運(yùn)行環(huán)境如下：Python版本為3.5，Anaconda版本為4.2.0。訓(xùn)練神經(jīng)網(wǎng)絡(luò)選用的數(shù)據(jù)集為nuscenes[9]。粒子濾波程序運(yùn)行環(huán)境為matlab。

4.2 參數(shù)優(yōu)化

對(duì)式(8)中的參數(shù)α和式(11)中的參數(shù)δ進(jìn)行優(yōu)化。取濾波的結(jié)果與真實(shí)運(yùn)動(dòng)軌跡的均方根誤差(RMSE)作為評(píng)價(jià)標(biāo)準(zhǔn)，RMSE反映了濾波器粒子在跟蹤過(guò)程中偏離真實(shí)軌跡的程度。

為了平衡不同運(yùn)動(dòng)場(chǎng)景對(duì)參數(shù)的影響，為參數(shù)優(yōu)化選取4個(gè)典型運(yùn)動(dòng)場(chǎng)景：①單個(gè)行人做直線運(yùn)動(dòng)；②單個(gè)行人做圓周運(yùn)動(dòng)；③兩個(gè)行人做十字交叉運(yùn)動(dòng)；④兩個(gè)行人做相向運(yùn)動(dòng)。為了防止過(guò)擬合，將4個(gè)測(cè)試場(chǎng)景中得到的4個(gè)RMSE的平均值作為最終值。

經(jīng)過(guò)多次測(cè)試，發(fā)現(xiàn)當(dāng)α被設(shè)置為大于4的值時(shí)，粒子不會(huì)收斂到任何目標(biāo)上，因此設(shè)置α測(cè)試區(qū)間為[0,4]，結(jié)果如圖8(a)所示。觀察圖8(a)發(fā)現(xiàn)當(dāng)α設(shè)置為較小的值時(shí)能得到更好的結(jié)果，因此修改測(cè)試區(qū)間為[0,0.5]再次進(jìn)行實(shí)驗(yàn)。

在實(shí)驗(yàn)場(chǎng)地測(cè)試得到的雷達(dá)信號(hào)強(qiáng)度的變化范圍為[20,50]，所以設(shè)置δ的測(cè)試區(qū)間為[1,100]，使得測(cè)試的標(biāo)準(zhǔn)偏差區(qū)間為[0.14 m,2.24 m]在可接受范圍內(nèi)。

最終實(shí)驗(yàn)結(jié)果如圖8(b)、圖8(c)所示，可得當(dāng)α=0.1、δ=28時(shí)對(duì)應(yīng)的均方根誤差最小。

4.3 算法測(cè)試結(jié)果與對(duì)比

為驗(yàn)證本文算法在行人目標(biāo)被遮擋情況下的檢測(cè)性能，在實(shí)驗(yàn)場(chǎng)地對(duì)算法進(jìn)行測(cè)試，并與Martin[10]開(kāi)發(fā)的最新的融合算法結(jié)果作對(duì)比。此外，為提高測(cè)試樣本多樣性，選取nuscenes數(shù)據(jù)集中存在行人目標(biāo)被遮擋情況的樣本集進(jìn)行測(cè)試。考慮到雷達(dá)采樣頻率為10幀/s，相機(jī)采樣頻率為25幀/s，本實(shí)驗(yàn)首先通過(guò)時(shí)間配準(zhǔn)將雷達(dá)和相機(jī)的采樣頻率同步為10幀/s。單次實(shí)驗(yàn)的雷達(dá)采樣數(shù)設(shè)置為400幀，粒子濾波器的粒子總數(shù)設(shè)置為5000。測(cè)試結(jié)果如下：

圖9～圖12為4種不同場(chǎng)景中行人目標(biāo)被遮擋情況下的測(cè)試結(jié)果，其中每幅圖的圖(a)、圖(c)為Martin算法的檢測(cè)和跟蹤結(jié)果，圖(b)、圖(d)為本文算法的檢測(cè)和跟蹤結(jié)果。圖9為室內(nèi)場(chǎng)景中的測(cè)試結(jié)果對(duì)比，可以看到圖9(a)中被部分遮擋的目標(biāo)沒(méi)有被檢測(cè)出來(lái)，導(dǎo)致圖9(c)中的跟蹤軌跡出現(xiàn)了明顯的間斷，并且當(dāng)被遮擋的目標(biāo)再次被檢測(cè)到時(shí)，Martin算法將其錯(cuò)誤判斷成新出現(xiàn)的目標(biāo)。從圖9(b)、圖9(d)中可發(fā)現(xiàn)本文設(shè)計(jì)的跟蹤算法能在目標(biāo)被部分遮擋時(shí)，仍然對(duì)目標(biāo)精確跟蹤。圖10為道路場(chǎng)景中的測(cè)試結(jié)果對(duì)比，可以發(fā)現(xiàn)Martin算法錯(cuò)誤的將3個(gè)距離很近的目標(biāo)識(shí)別為同一目標(biāo)，而本文的算法能夠準(zhǔn)確區(qū)分每個(gè)目標(biāo)。圖11為夜間場(chǎng)景中的測(cè)試結(jié)果對(duì)比，可以發(fā)現(xiàn)相機(jī)傳感器幾乎看不到兩個(gè)行人，因此僅通過(guò)圖像無(wú)法檢測(cè)到他們，但基于融合數(shù)據(jù)的網(wǎng)絡(luò)能夠檢測(cè)到它們。圖12為雨天場(chǎng)景中的測(cè)試結(jié)果對(duì)比，與夜晚的場(chǎng)景類(lèi)似兩個(gè)行人只能被雷達(dá)探測(cè)到，Martin算法只能在目標(biāo)距離較近時(shí)正確檢測(cè)，當(dāng)目標(biāo)距離較遠(yuǎn)時(shí)跟蹤失敗，但本文算法始終能成功檢測(cè)并跟蹤目標(biāo)。

為了進(jìn)一步驗(yàn)證本文算法的優(yōu)勢(shì)，采取對(duì)照實(shí)驗(yàn)，將本文提出的跟蹤算法分別與Martin等[10]、吳憲等[11]、劉志強(qiáng)等[12]開(kāi)發(fā)的融合算法進(jìn)行對(duì)比。在實(shí)驗(yàn)場(chǎng)地通過(guò)改變行人的個(gè)數(shù)和行人與傳感器的距離進(jìn)行了多組實(shí)驗(yàn)，實(shí)驗(yàn)包括4種運(yùn)動(dòng)模式：①實(shí)驗(yàn)1和實(shí)驗(yàn)2為單個(gè)行人做圓周運(yùn)動(dòng)；②實(shí)驗(yàn)3和實(shí)驗(yàn)4為兩個(gè)行人做十字交叉運(yùn)動(dòng)；③實(shí)驗(yàn)5和實(shí)驗(yàn)6為3個(gè)行人做“川”字運(yùn)動(dòng)，其中最外圍的兩個(gè)行人與中間行人的運(yùn)動(dòng)方向相反；④實(shí)驗(yàn)7和實(shí)驗(yàn)8為4個(gè)行人做“豐”字運(yùn)動(dòng)，其中橫向運(yùn)動(dòng)的三人各自的運(yùn)動(dòng)方向與相鄰的行人相反。對(duì)比跟蹤結(jié)果與真實(shí)運(yùn)動(dòng)軌跡的均方根誤差(RMSE)得到表1。我們發(fā)現(xiàn)雖然4種方法的跟蹤精度都隨距離的增加而降低，但本文算法的平均RMSE達(dá)到了1.2 m，相比之下，Martin跟蹤算法的平均RMSE為1.38 m，吳的為1.33 m，劉的為1.39 m。顯然，本文提出的融合算法對(duì)目標(biāo)的跟蹤效果更精確，RMSE提高了超過(guò)10%。相較于其它算法，本文的算法使用CRFNet作為檢測(cè)網(wǎng)絡(luò)，大大降低了光線等外部條件對(duì)算法的干擾，提高了跟蹤精度。此外，本文的融合算法借助相機(jī)測(cè)量結(jié)果對(duì)點(diǎn)云數(shù)據(jù)進(jìn)行了矯正，并能夠在相機(jī)丟失目標(biāo)時(shí)利用雷達(dá)點(diǎn)云繼續(xù)對(duì)目標(biāo)進(jìn)行跟蹤，最終使精度提高了約10%。

最后對(duì)本文、Martin、吳和劉的算法在時(shí)間延遲和丟失率上進(jìn)行了定量比較，結(jié)果見(jiàn)表2。劉的算法相比于Martin、吳的算法在時(shí)間延遲方面有了很大改善，但在丟失率方面改進(jìn)不大。本文算法相比于Martin、吳和劉的算法在目標(biāo)丟失率方面大大改善，并將時(shí)間延遲縮短至4 ms，滿(mǎn)足了系統(tǒng)對(duì)實(shí)時(shí)性的要求。

表1 對(duì)照實(shí)驗(yàn)的均方根誤差

表2 各檢測(cè)方法性能對(duì)比

5 結(jié)束語(yǔ)

本文利用CRFNet神經(jīng)網(wǎng)絡(luò)對(duì)相機(jī)和雷達(dá)信號(hào)進(jìn)行融合，提高了算法在復(fù)雜光線與惡劣氣候條件下的跟蹤精度，增強(qiáng)了系統(tǒng)的魯棒性。設(shè)計(jì)了一種基于針孔模型與傳感器誤差參數(shù)的融合算法，大大降低了雷達(dá)噪聲與傳感器誤差對(duì)跟蹤結(jié)果的影響。此外，本文還設(shè)計(jì)了一種改進(jìn)的粒子濾波算法，在相機(jī)丟失目標(biāo)時(shí)仍能借助雷達(dá)數(shù)據(jù)繼續(xù)跟蹤目標(biāo)。

與傳統(tǒng)融合跟蹤算法相比精度上提高了10%,并一定程度上解決了Martin等融合跟蹤算法在目標(biāo)被遮擋情況下易跟蹤失敗的問(wèn)題。