融合4D毫米波雷達(dá)與深度視覺的目標(biāo)檢測(cè)與跟蹤

摘要：為解決現(xiàn)有毫米波雷達(dá)和傳統(tǒng)機(jī)器視覺融合方案在復(fù)雜環(huán)境下車輛檢測(cè)準(zhǔn)確率較低的問題，首先使用4D毫米波雷達(dá)替代傳統(tǒng)毫米波雷達(dá)，使用自適應(yīng)卡爾曼濾波算法濾除雷達(dá)雜波并跟蹤目標(biāo)；其次使用車輛數(shù)據(jù)集訓(xùn)練改進(jìn)深度視覺網(wǎng)絡(luò)MobileNetV2+SSDLite來提高視覺識(shí)別車輛的準(zhǔn)確率；最后采用決策融合方案完成毫米波雷達(dá)信號(hào)和視覺信號(hào)融合。通過對(duì)比不同環(huán)境下的實(shí)驗(yàn)結(jié)果表明，改進(jìn)方案可以完成對(duì)目標(biāo)車輛的有效估計(jì)與跟蹤，在不同環(huán)境下都有著很好的車輛識(shí)別效果，有著更好的可靠性和魯棒性。

關(guān)鍵詞：毫米波雷達(dá)車輛檢測(cè)卡爾曼濾波神經(jīng)網(wǎng)絡(luò)深度視覺目標(biāo)跟蹤

中圖分類號(hào)：P208

TargetDetectionandTrackingwiththeFusionofthe4DMillimeter-WaveRadarandDepthVision

ZHANGQintaiWANGJingzhuo*

SchoolofElectronicEngineering，JiangsuOceanUniversity，Lianyungang，JiangsuProvince，222000China

Abstract：Inordertosolvetheproblemofthelowvehicledetectionaccuracyoftheexistingfusionschemeofthemillimeter-waveradarandtraditionalmachinevisioninthecomplexenvironment，thisarticlefirstlyusesthe4Dmillimeter-waveradartoreplacethetraditionalmillimeter-waveradar，andusestheadaptiveKalmanfilteringalgorithmtofilteroutradarclutterandtracktargets.Then，itusesvehicledatasetstotrainandimprovethedepthvisionnetworkMobileNetV2+SSDLitetoimprovetheaccuracyofthevisualrecognitionofvehicles.Finally，itusesadecisionfusionschemetocompletethefusionofmillimeter-waveradarsignalsandvisualsignals.Bycomparingexperimentalresultsindifferentenvironments，itisshownthattheimprovedschemecaneffectivelyestimateandtrackthetargetvehicle，whichhasgoodvehiclerecognitioneffectsindifferentenvironmentsandhasbetterreliabilityandrobustness.

KeyWords：Millimeter-waveradar;Vehicledetection;KalmanfilterING;Neuralnetwork;Depthvision;Targettracking

隨著汽車保有量的逐漸增大，交通環(huán)境變得日益復(fù)雜，隨之而來的交通事故也越來越多。在此背景下，研究能進(jìn)行車輛識(shí)別、跟蹤的車載系統(tǒng)很有必要。車載系統(tǒng)可以通過車載傳感器來獲取周圍環(huán)境信息為自動(dòng)駕駛車輛的決策和控制提供參考依據(jù)[1]。

4D毫米波雷達(dá)由于在不同天氣和光照環(huán)境下性能穩(wěn)定，同時(shí)可以解決傳統(tǒng)毫米波雷達(dá)點(diǎn)云稀疏、輸出信息過少的問題，因此4D雷達(dá)在目標(biāo)檢測(cè)方面的表現(xiàn)要優(yōu)于傳統(tǒng)雷達(dá)[2]。

視覺傳感器能夠采集到信息量豐富且適用于目標(biāo)識(shí)別的數(shù)據(jù)，被廣泛應(yīng)用到對(duì)前方車輛的檢測(cè)中。隨著深度學(xué)習(xí)領(lǐng)域的發(fā)展，基于深度學(xué)習(xí)進(jìn)行目標(biāo)檢測(cè)的算法主要分為以快速區(qū)域卷積網(wǎng)絡(luò)（FasterRegion-basedConvolutionalNeuralNetwork，F(xiàn)asterR-CNN）[3]為代表的一類基于分類目標(biāo)檢測(cè)框架的算法，和另一類以單激發(fā)多框檢測(cè)器（SingleShotMultiBoxDetector，SSD）[4]為代表采用多尺度特征圖基于回歸的目標(biāo)檢測(cè)框架的算法。

在實(shí)際應(yīng)用中使用基于多傳感器融合的車輛檢測(cè)方法能夠融合多傳感器的優(yōu)勢(shì)。趙望宇等人[5]提出一種擴(kuò)展卡爾曼濾波（ExtendedKalmanFilter，EKF）的目標(biāo)跟蹤方法，用來提高車輛信息檢測(cè)的穩(wěn)定性。上述文章的雷達(dá)應(yīng)用方案，盡管考慮到了雷達(dá)的噪聲對(duì)系統(tǒng)的影響，但未考慮噪聲的先驗(yàn)統(tǒng)計(jì)特性以及雷達(dá)應(yīng)用環(huán)境的動(dòng)態(tài)變化，這將影響雷達(dá)的跟蹤檢測(cè)效果。

為了解決上述問題，文章使用4D毫米波雷達(dá)替代傳統(tǒng)毫米波雷達(dá)；使用自適應(yīng)EKF算法對(duì)濾波器噪聲統(tǒng)計(jì)特性實(shí)時(shí)跟蹤和修正；改用MobileNetV2+SSDLite相結(jié)合的神經(jīng)網(wǎng)絡(luò)來對(duì)前方車輛進(jìn)行檢測(cè)；最后提出一種決策級(jí)融合策略將毫米波雷達(dá)與視覺算法相結(jié)合，完成對(duì)車輛目標(biāo)的檢測(cè)。

14D毫米波雷達(dá)跟蹤

1.1基于AEKF的毫米波雷達(dá)跟蹤

毫米波雷達(dá)選用采埃孚（ZF）的ZFFR-Gen21毫米波雷達(dá)，該雷達(dá)工作頻率為13Hz。使用卡爾曼濾波（EextendedKalmanFiltering，EKF）可以提高車載毫米波雷達(dá)目標(biāo)的位置跟蹤準(zhǔn)確性，用于毫米波雷達(dá)跟蹤[6]。但是EKF算法在面對(duì)未知噪聲時(shí)的濾波誤差無法穩(wěn)定，導(dǎo)致其濾波性能變差。AEKF（AdaptiveExtendedKalmanFiltering）通過實(shí)時(shí)監(jiān)測(cè)觀測(cè)噪聲的變化來調(diào)節(jié)濾波增益，進(jìn)而控制狀態(tài)預(yù)測(cè)值和狀態(tài)觀測(cè)值在濾波結(jié)果中的權(quán)重，最終達(dá)到更好的濾波效果?；诖?，本文使用基于AEKF算法的4D毫米波雷達(dá)跟蹤方法[7]，通過自適應(yīng)的估計(jì)和修正濾波器噪聲統(tǒng)計(jì)特性，提高濾波的精確度，進(jìn)而優(yōu)化估計(jì)狀態(tài)。

使用1階泰勒展開近似線性化得到狀態(tài)轉(zhuǎn)移矩陣和更新矩陣。

1.2毫米波雷達(dá)在視覺圖像上投影

雷達(dá)輸出信息經(jīng)過濾波篩選后轉(zhuǎn)換從開始掃描時(shí)的點(diǎn)云到最后一次掃描的點(diǎn)云的坐標(biāo)系，將毫米波雷達(dá)信息通過時(shí)間對(duì)齊和空間坐標(biāo)系進(jìn)行轉(zhuǎn)換，從而投射到視覺坐標(biāo)系中，以便于后續(xù)毫米波雷達(dá)信息與視覺圖像信息融合[8]。

為了實(shí)現(xiàn)各傳感器信息融合，需要將各個(gè)傳感器的坐標(biāo)系進(jìn)行統(tǒng)一，相機(jī)坐標(biāo)系與雷達(dá)坐標(biāo)系的融合轉(zhuǎn)換模型如下：

式（8）中：為單位正交旋轉(zhuǎn)矩陣，其大小取決于相機(jī)的偏航角和俯仰角；為平移向量；為相機(jī)焦距；為縮放因子；、分別表示每個(gè)單位像素在橫、縱軸上的大??；為雷達(dá)檢測(cè)到的目標(biāo)物在毫米波雷達(dá)坐標(biāo)系中的坐標(biāo)；為該目標(biāo)物在圖像坐標(biāo)系中的坐標(biāo)；為目標(biāo)物在相機(jī)坐標(biāo)系中的軸坐標(biāo)。

2基于深度視覺的車輛檢測(cè)

SSD神經(jīng)網(wǎng)絡(luò)算法利用CNN提取特征，能夠一次完成目標(biāo)的檢測(cè)和分類過程，檢測(cè)速度也大大提高；將SSD預(yù)測(cè)層中所有常規(guī)卷積替換成可分離卷積，就變成了SSD的修改版本SSDLite。這種設(shè)計(jì)更符合MobileNets的總體設(shè)計(jì)，有著更少的參數(shù)和更小的計(jì)算復(fù)雜度，在計(jì)算效率上更高。

由于MobileNetV2作為輕量級(jí)網(wǎng)絡(luò)模型有著更快的檢測(cè)速度和更高的檢測(cè)效率，因此用MobileNetV2替換SSDLite中的VGG網(wǎng)絡(luò)。算法的訓(xùn)練和檢測(cè)使用VoD（View-of-Delft）數(shù)據(jù)集中的車輛樣本[9]，結(jié)合采埃孚官方的公開數(shù)據(jù)集，得到道路實(shí)測(cè)數(shù)據(jù)和毫米波雷達(dá)的原始數(shù)據(jù)以及帶標(biāo)注的雷達(dá)點(diǎn)云信息。數(shù)據(jù)集包含26949個(gè)小轎車樣本，以及2601個(gè)卡車或者其他型號(hào)車輛。使用車輛目標(biāo)數(shù)據(jù)集進(jìn)行神經(jīng)網(wǎng)絡(luò)訓(xùn)練，用其中9000張標(biāo)注過的數(shù)據(jù)集進(jìn)行訓(xùn)練，3000張數(shù)據(jù)集進(jìn)行檢測(cè)。最終計(jì)算得到檢測(cè)的平均準(zhǔn)確率AP（AveragePrecision）的值為0.768。

基于MobileNetV2+SSDLite神經(jīng)網(wǎng)絡(luò)的檢測(cè)方法進(jìn)行車輛識(shí)別的平均準(zhǔn)確率能達(dá)到86.9%，平均漏檢率為2.9%，算法檢測(cè)速度為22fps。該結(jié)果表明，基于MobileNetV2+SSDLite神經(jīng)網(wǎng)絡(luò)的檢測(cè)方法有著快速準(zhǔn)確識(shí)別前方車輛的能力，滿足實(shí)際應(yīng)用。

3毫米波雷達(dá)信號(hào)與深度視覺信息融合

將前文中跟蹤到的雷達(dá)信號(hào)與深度視覺信息相融合，完成對(duì)車輛目標(biāo)的檢測(cè)。傳統(tǒng)對(duì)雷達(dá)信號(hào)與視覺圖像特征整合一般都在2D平面，即對(duì)雷達(dá)點(diǎn)云得到的檢測(cè)框與視覺圖像得到的檢測(cè)框計(jì)算交并比（IOU）。然而在真實(shí)的自動(dòng)駕駛場(chǎng)景中，復(fù)雜的交通環(huán)境需要滿足3D目標(biāo)檢測(cè)的特征融合，因此需要計(jì)算3D中雷達(dá)的預(yù)測(cè)邊界和視覺的預(yù)測(cè)邊界的3DIOU。

當(dāng)，輸出毫米波雷達(dá)和視覺信息融合后的檢測(cè)效果圖；當(dāng)，分別輸出視覺檢測(cè)3D框和毫米波雷達(dá)檢測(cè)的目標(biāo)位置；若3DIOU為0時(shí)分以下兩種情況：（1）雷達(dá)檢測(cè)目標(biāo)為空，無論視覺檢測(cè)結(jié)果如何，都不輸出檢測(cè)結(jié)果；（2）當(dāng)雷達(dá)目標(biāo)檢測(cè)結(jié)果不為空，視覺檢測(cè)結(jié)果為空時(shí)，僅輸出雷達(dá)檢測(cè)目標(biāo)位置。

4實(shí)驗(yàn)結(jié)果分析

對(duì)VoD數(shù)據(jù)集中道路環(huán)境下的行駛車輛進(jìn)行檢測(cè)研究。進(jìn)行實(shí)驗(yàn)所使用的平臺(tái)搭載IntelCorei7-8700處理器，NVIDIAGeForceRTX3060Ti顯卡。算法基于PyTorch神經(jīng)網(wǎng)絡(luò)框架搭建，使用python語言。

實(shí)驗(yàn)最終檢測(cè)結(jié)果如表1所示，使用傳統(tǒng)毫米波雷達(dá)與基于HOG特征的SVN分類器信息融合方案的文獻(xiàn)[5]的檢測(cè)結(jié)果如表2所示。

對(duì)比表4和表5的數(shù)據(jù)可以發(fā)現(xiàn)，本文所使用的AEKF濾波跟蹤后的4D雷達(dá)檢測(cè)效率相較于傳統(tǒng)的EKF濾波跟蹤的傳統(tǒng)毫米波雷達(dá)，在檢測(cè)準(zhǔn)確率和漏檢率上的表現(xiàn)都要更加優(yōu)秀。本文采用MobileNetV2+SSDLite的神經(jīng)網(wǎng)絡(luò)算法泛用性好，可以在更好地應(yīng)對(duì)復(fù)雜交通環(huán)境的同時(shí)提高視覺檢測(cè)目標(biāo)的精確性，而且在相同條件下，改進(jìn)后的神經(jīng)網(wǎng)絡(luò)算法檢測(cè)速度由15fps提高到22fps。最后，決策級(jí)信號(hào)融合策略進(jìn)一步提升了檢測(cè)車輛目標(biāo)的精確性，通過信息融合降低光照、陰影、車輛目標(biāo)外的障礙物等環(huán)境影響。提高了對(duì)道路上車輛位置、運(yùn)動(dòng)狀態(tài)和幾何參數(shù)的檢測(cè)效果。

5結(jié)論

本文針對(duì)傳統(tǒng)雷達(dá)點(diǎn)云稀疏以及毫米波雷達(dá)與機(jī)器視覺融合后的檢測(cè)實(shí)時(shí)性、準(zhǔn)確性差的問題，使用點(diǎn)云數(shù)量更多的4D雷達(dá)，通過AEKF濾波跟蹤，在未知噪聲背景下，利用毫米波雷達(dá)的數(shù)據(jù)不斷對(duì)濾波器噪聲進(jìn)行估計(jì)和修正，從而提高濾波的效果；針對(duì)傳統(tǒng)計(jì)算機(jī)視覺檢測(cè)泛用性差、檢測(cè)精度較低的問題，采用MobileNetV2+SSDLite神經(jīng)網(wǎng)絡(luò)對(duì)車輛進(jìn)行檢測(cè)；最后通過決策級(jí)融合框架策略實(shí)現(xiàn)毫米波雷達(dá)和視覺信息的融合，進(jìn)一步提高檢測(cè)的準(zhǔn)確性。實(shí)驗(yàn)結(jié)果表明，改進(jìn)后的融合算法在檢測(cè)精度以及檢測(cè)速度上相較于傳統(tǒng)算法都有提高。后續(xù)可通過進(jìn)一步提高雷達(dá)分辨率和目標(biāo)提取準(zhǔn)確性進(jìn)一步改進(jìn)目標(biāo)檢測(cè)的性能。

參考文獻(xiàn)

• FORTUNATIS，SANGUINETTIL，GINIF，etal.MassiveMIMOradarfortargetdetection[J].IEEETransactionsonSignalProcessing，2020，68：859-871.
• BANSALK，RUNGTAK，ZHUS，etal.Pointillism：Accurate3dboundingboxestimationwith multi-radars[C]//Proceedingsofthe18thConferenceonEmbeddedNetworkedSensorSystems.2020：340-353.
• RENS，HEK，GIRSHICKR，etal.Fasterr-cnn：Towardsreal-timeobjectdetectionwithregionproposalnetworks[J].Advancesinneuralinformationprocessingsystems，2015，9199（10.5555）：2969239-2969250.
• LIUW，ANGUELOVD，ERHAND，etal.Ssd：Singleshotmultiboxdetector[C]//ComputerVision–ECCV2016：14thEuropeanConference.Amsterdam，TheNetherlands，SpringerInternationalPublishing，2016：21-37.
• 趙望宇，李必軍，單云霄，等.融合毫米波雷達(dá)與單目視覺的前車檢測(cè)與跟蹤[J].武漢大學(xué)學(xué)報(bào)（信息科學(xué)版），2019，44（12）：1832-1840.
• HENRIQUESJF，CASEIROR，MARTINSP，etal.High-speedtrackingwithkernelizedcorrelationfilters[J].IEEEtransactionsonpatternanalysisandmachineintelligence，2014，37（3）：583-596.
• 甘耀東，鄭玲，張志達(dá)，等.融合毫米波雷達(dá)與深度視覺的多目標(biāo)檢測(cè)與跟蹤[J].汽車工程，2021，43（7）：1022-1029.
• 王文欽，邵懷宗，陳慧.頻控陣?yán)走_(dá)：概念，原理與應(yīng)用[J].電子與信息學(xué)報(bào)，2016，38（4）：242-253.
• PALFFYA，POOLE，BARATAMS，etal.Multi-classroaduserdetectionwith3+1DradarintheView-of-Delftdataset[J].IEEERoboticsandAutomationLetters，2022，7（2）：4961-4968.