復(fù)雜環(huán)境下雷達(dá)-視覺目標(biāo)融合技術(shù)

李小柳,姜 敏,蘇皎陽,尹潔珺,席光榮

(1.上海無線電設(shè)備研究所,上海 201109;2.上海目標(biāo)識別與環(huán)境感知工程技術(shù)研究中心,上海 201109;3.中國航天科技集團(tuán)有限公司交通感知雷達(dá)技術(shù)研發(fā)中心,上海 201109)

0 引言

作為現(xiàn)代軍民用技術(shù)發(fā)展的重要部分,目標(biāo)探測感知系統(tǒng)可對場景態(tài)勢作出實時評估,提升系統(tǒng)決策應(yīng)對效能,對于交通監(jiān)控、周界防護(hù)等場景應(yīng)用具有重要意義。但由于應(yīng)用環(huán)境復(fù)雜且不可預(yù)測,如何有效利用各類傳感器來實現(xiàn)環(huán)境感知和目標(biāo)跟蹤成為目標(biāo)探測領(lǐng)域的難點[1-2]。

作為目標(biāo)探測感知系統(tǒng)中十分重要的兩類傳感器,毫米波雷達(dá)和視覺傳感器各有優(yōu)劣勢,而雷達(dá)-視覺融合技術(shù)可以充分發(fā)揮各傳感器的優(yōu)勢,實現(xiàn)信息互補,突破單個傳感器的性能限制,獲取更有效可靠的環(huán)境兼容信息。雷達(dá)-視覺融合技術(shù)已有大量研究成果。CHADWICK 等[3]提出一種毫米波雷達(dá)與視覺融合方法,采用不同焦距的相機進(jìn)行聯(lián)合標(biāo)定。該方法可以在一定程度上提升系統(tǒng)的遠(yuǎn)距目標(biāo)檢測能力。靳延偉[4]分別進(jìn)行了基于圖像和雷達(dá)的障礙物檢測,通過坐標(biāo)變換和決策判別對二者的檢測結(jié)果進(jìn)行融合,實現(xiàn)對前方環(huán)境的連續(xù)實時監(jiān)測。JIANG等[5]根據(jù)反射強度對雷達(dá)目標(biāo)的類型進(jìn)行估計,并映射到圖像上生成感興趣區(qū)域(ROI),采用圖像去霧算法處理后,通過YOLOv2 網(wǎng)絡(luò)進(jìn)行目標(biāo)識別。該方法對霧天目標(biāo)的識別準(zhǔn)確率有顯著提升作用。

但現(xiàn)有雷達(dá)-視覺融合技術(shù)研究仍存在一些不足。雷達(dá)與視覺融合多采用單幀加權(quán)方法,融合信息利用率低,雷達(dá)多散射點問題無法解決。另外,單傳感器的工作狀態(tài)將直接影響監(jiān)測效果。而采取以視覺為主、雷達(dá)為輔的策略,則會導(dǎo)致環(huán)境條件惡劣時系統(tǒng)無法正常工作,且無法充分發(fā)揮雷達(dá)傳感器的優(yōu)勢。

針對目前目標(biāo)探測感知系統(tǒng)對傳感器檢測跟蹤能力的迫切需求,以及現(xiàn)有傳感器融合技術(shù)的不足,本文提出基于目標(biāo)運動特征的雷達(dá)-視覺融合技術(shù)。利用視覺邊界框進(jìn)行雷達(dá)多散射點聚類,并以數(shù)據(jù)交疊時間、平均歐氏距離、關(guān)聯(lián)唯一性等指標(biāo)為判據(jù),篩選得到目標(biāo)關(guān)聯(lián)匹配關(guān)系。面向復(fù)雜多變環(huán)境進(jìn)行適應(yīng)性目標(biāo)檢測跟蹤,充分發(fā)揮雷達(dá)和視覺兩類傳感器的優(yōu)勢,以提高單傳感器信息利用率,并在復(fù)雜交通場景下驗證融合系統(tǒng)的有效性和可行性。

1 雷達(dá)-視覺融合系統(tǒng)

雷達(dá)-視覺融合系統(tǒng)如圖1所示。雷達(dá)數(shù)據(jù)處理模塊采用目標(biāo)聚類等航跡跟蹤算法處理輸出目標(biāo)航跡數(shù)據(jù),包括目標(biāo)編號(ID)和位置等。視覺數(shù)據(jù)處理模塊利用人工智能(AI)網(wǎng)絡(luò)識別技術(shù)生成目標(biāo)連續(xù)幀航跡及豐富的目標(biāo)語義化描述。對雷達(dá)和視覺目標(biāo)數(shù)據(jù)在航跡級別上進(jìn)行邊界框聚類、基于修正k-最近鄰(modifiedknearest neighbor,MK-NN)法和多級約束的航跡關(guān)聯(lián)、基于定位精度的航跡融合及卡爾曼濾波等處理,最后輸出完整平滑的融合航跡。對融合航跡與AI圖像識別網(wǎng)絡(luò)輸出的視覺語義信息進(jìn)行融合,即可實現(xiàn)對目標(biāo)的穩(wěn)定準(zhǔn)確跟蹤。

圖1 雷達(dá)-視覺融合系統(tǒng)

2 雷達(dá)-視覺目標(biāo)融合處理算法

2.1 目標(biāo)數(shù)據(jù)預(yù)處理

(1) 傳感器航跡生成

針對視覺傳感器,系統(tǒng)采用卷積神經(jīng)網(wǎng)絡(luò)(CNN)圖像深度學(xué)習(xí)識別技術(shù)[6],通過深度學(xué)習(xí)和視頻結(jié)構(gòu)化技術(shù),綜合利用YOLOv5 網(wǎng)絡(luò)與DeepSORT 跟蹤算法,有效提取目標(biāo)的顏色、類型、邊界框等多維微特征信息,實現(xiàn)目標(biāo)識別,并為目標(biāo)賦予指定ID,進(jìn)而生成視覺目標(biāo)航跡。

針對雷達(dá)傳感器,目標(biāo)回波信號經(jīng)過雷達(dá)信號處理后生成目標(biāo)點跡,并基于聯(lián)合概率數(shù)據(jù)關(guān)聯(lián)算法(JPDA)和卡爾曼濾波算法實現(xiàn)雷達(dá)目標(biāo)跟蹤與預(yù)測,得到雷達(dá)目標(biāo)航跡。

(2) 邊界框聚類

在時空同步[7]的基礎(chǔ)上,針對雷達(dá)視場下大目標(biāo)或橫向運動目標(biāo)易出現(xiàn)的多散射點問題,利用視覺傳感器輸出的目標(biāo)邊界框進(jìn)行聚類。根據(jù)空間同步關(guān)系解算出雷達(dá)目標(biāo)散射點的像素坐標(biāo)(pr,x,pr,y),該坐標(biāo)與視覺目標(biāo)邊界框坐標(biāo)比較,應(yīng)滿足條件

式中:pc,x,pc,y為目標(biāo)邊界框左上角點像素坐標(biāo);Δρ為邊界框向外放大常量;w,h分別為目標(biāo)邊界框像素寬度和像素高度。對滿足條件的雷達(dá)目標(biāo)散射點信息進(jìn)行加權(quán),避免分布在目標(biāo)主體附近的多散射點無法聚類。按1∶1∶1面積比例將邊界框區(qū)域劃分為3部分,如圖2所示。雷達(dá)目標(biāo)散射點所屬區(qū)域S1,S2,S3對應(yīng)不同權(quán)重進(jìn)行加權(quán),以此實現(xiàn)雷達(dá)目標(biāo)多散射點濾除。

圖2 邊界框內(nèi)雷達(dá)目標(biāo)散射點加權(quán)區(qū)域劃分

對邊界框聚類后的雷達(dá)目標(biāo)散射點作點跡到航跡的關(guān)聯(lián)性判斷,以保證雷達(dá)航跡的跟蹤準(zhǔn)確性和穩(wěn)定性。

2.2 目標(biāo)航跡關(guān)聯(lián)融合算法

針對應(yīng)用場景存在的遮擋、擁堵等復(fù)雜情況,考慮到傳統(tǒng)航跡關(guān)聯(lián)算法[8-9]計算復(fù)雜、不利于工程實現(xiàn)的問題,本文基于MK-NN 算法,將航跡關(guān)聯(lián)狀態(tài)分為關(guān)聯(lián)期、檢查期兩個階段。提出三級關(guān)聯(lián)約束,以數(shù)據(jù)交疊時間、平均歐氏距離、關(guān)聯(lián)唯一性等指標(biāo)為判據(jù),篩選關(guān)聯(lián)質(zhì)量矩陣,得到最優(yōu)關(guān)聯(lián)關(guān)系,同時顯著降低運算量。

(1) 航跡關(guān)聯(lián)算法

設(shè)雷達(dá)-視覺融合系統(tǒng)在當(dāng)前時刻接收到的雷達(dá)A 航跡i和視覺傳感器B 航跡j的航跡狀態(tài)為

式中:tA,i(k)表示雷達(dá)A 航跡i第k個數(shù)據(jù)點對應(yīng)的系統(tǒng)時間;xA,i(k),(k)表示雷達(dá)A 航跡i第k個數(shù)據(jù)點目標(biāo)橫向位置及橫向位置估計值;yA,i(k),(k)表示雷達(dá)A 航跡i第k個數(shù)據(jù)點目標(biāo)縱向位置及縱向位置估計值;tB,j(k)表示視覺傳感器B航跡j第k個數(shù)據(jù)點對應(yīng)的系統(tǒng)時間;xB,j(k)(k)表示視覺傳感器B航跡j第k個數(shù)據(jù)點目標(biāo)橫向位置及橫向位置估計值;yB,j(k),(k)表示視覺傳感器B 航跡j第k個數(shù)據(jù)點目標(biāo)縱向位置及縱向位置估計值。

若時間窗[t-nΔt,t]內(nèi)航跡i與航跡j的交疊時間小于MΔt,則排除該組關(guān)聯(lián)關(guān)系,其中t為當(dāng)前時刻,Δt為時間同步后最小時間單元,n為時間窗間隔單元數(shù),M為交疊時間單元數(shù)閾值。

計算雷達(dá)A 的航跡i和視覺傳感器B 的航跡j在當(dāng)前時間窗內(nèi)對應(yīng)的平均歐氏距離

式中:Ncro為航跡交疊時間單元數(shù);k0為交疊序列起始點序號。

記航跡i,j的關(guān)聯(lián)質(zhì)量Lij=1/φij(i=1,2,…,N1;j=1,2,…,N2),N1,N2分別為傳感器A、B當(dāng)前時刻的檢測目標(biāo)個數(shù),則航跡關(guān)聯(lián)矩陣ψ可表示為

若目標(biāo)粗關(guān)聯(lián)門限為ηL,當(dāng)Lij≤ηL時,航跡集合中航跡i與航跡j預(yù)判為不關(guān)聯(lián)。利用剩余關(guān)聯(lián)航跡進(jìn)行最優(yōu)關(guān)聯(lián)篩選,對于雷達(dá)航跡i,可能存在多個滿足粗關(guān)聯(lián)條件的視覺航跡j。尤其當(dāng)目標(biāo)密集或處于遠(yuǎn)距離區(qū)域時,需根據(jù)關(guān)聯(lián)角度和關(guān)聯(lián)時長聯(lián)合取最優(yōu),確認(rèn)關(guān)聯(lián)的航跡不參與其他航跡的關(guān)聯(lián)篩選,以此保證關(guān)聯(lián)關(guān)系的唯一性。最終得到全局最優(yōu)關(guān)聯(lián)矩陣

系統(tǒng)設(shè)定持續(xù)時間ΔT內(nèi),t時刻的航跡關(guān)聯(lián)矩陣ψt將保持關(guān)聯(lián)關(guān)系。新出現(xiàn)的雷達(dá)航跡l將與視覺傳感器B 的全部航跡進(jìn)行關(guān)聯(lián)匹配,并將初篩后t時刻的關(guān)聯(lián)矩陣ψ＇t與ψt比較,篩選全局最優(yōu)的關(guān)聯(lián)對集合。

當(dāng)持續(xù)時間達(dá)到ΔT時,對雷達(dá)A 和視覺傳感器B的航跡遍歷生成全關(guān)聯(lián)矩陣,篩選尋優(yōu)得到最佳關(guān)聯(lián)對集合,并將其輸入航跡融合模塊,即可維持系統(tǒng)感知穩(wěn)定性并極大降低融合系統(tǒng)運算量。

(2) 航跡關(guān)聯(lián)算法仿真對比

利用k-最近鄰(k-nearest neighbor,K-NN)關(guān)聯(lián)、MK-NN 關(guān)聯(lián)及本文關(guān)聯(lián)算法分別對場景數(shù)據(jù)進(jìn)行關(guān)聯(lián)處理,以平均關(guān)聯(lián)正確率和平均計算時間綜合評估算法性能。各關(guān)聯(lián)算法平均關(guān)聯(lián)正確率如圖3所示。不同目標(biāo)密集場景下,各關(guān)聯(lián)算法的性能如表1所示?？梢钥闯?本文關(guān)聯(lián)算法關(guān)聯(lián)結(jié)果更加準(zhǔn)確,在目標(biāo)密集場景下表現(xiàn)更加穩(wěn)定,計算時間相對更短,可用性更強。

表1 航跡關(guān)聯(lián)算法性能

圖3 各關(guān)聯(lián)算法平均關(guān)聯(lián)正確率

(3) 航跡融合

在判定航跡關(guān)聯(lián)對后,航跡融合處理的重要步驟是加權(quán)融合[10]。本文算法以各傳感器的定位能力為依據(jù),引入定位幾何精度衰減因子(geometric dilution of precision,GDOP)作為融合系數(shù)。融合前首先對傳感器進(jìn)行誤差配準(zhǔn),設(shè)第m個傳感器測量得到的目標(biāo)位置坐標(biāo)為(xm,ym),測量精度分別為σm,x,σm,y。

GDOP為傳感器在工作區(qū)域內(nèi)各點處的定位精度。則第m個傳感器的定位幾何精度衰減因子

以測量值X為例,計算單傳感器GDOP 值后,可計算M個傳感器加權(quán)融合后X的估計值

式中:Xm為第m個傳感器的測量值。

加權(quán)融合后,對航跡對應(yīng)的單傳感器信息進(jìn)行目標(biāo)級融合,最終得到完備準(zhǔn)確的目標(biāo)信息。目標(biāo)級融合內(nèi)容包括:a)視覺結(jié)構(gòu)化輸出的目標(biāo)語義化描述,如類型、顏色、型號、款式等信息;b)雷達(dá)檢測輸出的精確速度、雷達(dá)散射截面積(RCS)等信息。

2.3 航跡連接

由于單傳感器工作狀態(tài)不穩(wěn)定、目標(biāo)跟蹤性能不高等因素,系統(tǒng)航跡易出現(xiàn)中斷、目標(biāo)ID跳變情況,因此需進(jìn)行航跡連接處理,保證航跡連續(xù)性和唯一性。航跡存在中斷時的融合過程如圖4所示。

圖4 航跡存在中斷時的融合過程示意圖

通過卡爾曼濾波將系統(tǒng)航跡1、2進(jìn)行正向/反向遞推,在設(shè)定的時間段內(nèi)通過航跡關(guān)聯(lián)方法判斷兩系統(tǒng)航跡是否存在關(guān)聯(lián)關(guān)系,對兩航跡中間段進(jìn)行加權(quán)平均并繼承航跡編號,得到目標(biāo)完整航跡,保證目標(biāo)跟蹤的穩(wěn)定性。最后利用卡爾曼跟蹤濾波對輸出航跡進(jìn)行處理,使系統(tǒng)航跡更加平滑。

3 試驗結(jié)果與分析

各類目標(biāo)探測環(huán)境與交通環(huán)境下,目標(biāo)行為特性具備一定的共通性,如目標(biāo)運動狀態(tài)復(fù)雜、系統(tǒng)實時性和準(zhǔn)確性要求高等。為了驗證算法的有效性與可行性,本文借助復(fù)雜交通多目標(biāo)場景進(jìn)行測試試驗,為算法在各類目標(biāo)探測環(huán)境下的應(yīng)用提供參考。

試驗驗證的雷達(dá)-視覺融合系統(tǒng)組成如圖5所示。毫米波雷達(dá)及雷達(dá)信號處理模塊用于生成雷達(dá)目標(biāo)航跡;網(wǎng)絡(luò)攝像機生成的視覺圖像經(jīng)深度學(xué)習(xí)視頻處理模塊處理后,實現(xiàn)圖像目標(biāo)檢測與重識別,并生成視覺目標(biāo)航跡;嵌入式處理平臺用于多源異構(gòu)數(shù)據(jù)融合處理;通信模塊包括5G模塊和路由模塊,用于實現(xiàn)各模塊間數(shù)據(jù)通信;可視化平臺用于實時展示融合系統(tǒng)目標(biāo)感知信息,觀測融合情況。

圖5 雷達(dá)-視覺融合系統(tǒng)組成

得到雷達(dá)和視覺傳感器的目標(biāo)航跡后,參照視覺真實情況,對邊界框聚類處理情況進(jìn)行分析。測試場景為:10 min內(nèi),出現(xiàn)大目標(biāo)(卡車、客車等)60個,對應(yīng)雷達(dá)多散射點航跡166個。邊界框聚類后得到航跡60個,大量多散射點被濾除,但仍存在少量時刻多散射點未能滿足聚類條件,可在后續(xù)關(guān)聯(lián)階段做進(jìn)一步濾除。影響聚類效果的主要因素有:a)聚類后雷達(dá)航跡無法與歷史航跡連接而無法重新獲得航跡編號;b)雷達(dá)多散射點分布不滿足聚類條件,距離目標(biāo)主散射點太遠(yuǎn),導(dǎo)致多散射點無法濾除。

選取典型場景作為示意,航跡關(guān)聯(lián)處理和融合結(jié)果如圖6所示?？梢钥闯?雷達(dá)、視覺航跡能夠及時有效關(guān)聯(lián),并根據(jù)關(guān)聯(lián)對進(jìn)行融合,與單個傳感器航跡相比,融合航跡更加穩(wěn)定,獲取的目標(biāo)信息更加完整豐富。

圖6 航跡關(guān)聯(lián)及融合結(jié)果

平均關(guān)聯(lián)正確率βcorr和平均關(guān)聯(lián)錯誤率βerr的計算公式為

式中:Ntr為真實目標(biāo)數(shù);NP為正確關(guān)聯(lián)目標(biāo)數(shù);Nre為真實關(guān)聯(lián)目標(biāo)數(shù);Nlos為關(guān)聯(lián)漏檢目標(biāo)數(shù);Ne為關(guān)聯(lián)錯誤目標(biāo)數(shù)。

在測試時段內(nèi)以500 ms為間隔進(jìn)行采樣,統(tǒng)計航跡關(guān)聯(lián)情況,如表2所示?？芍?平均關(guān)聯(lián)正確率為98.3%,平均關(guān)聯(lián)錯誤率為1.7%。在目標(biāo)密集場景下存在的關(guān)聯(lián)匹配瞬時錯誤的情況,將在檢查期被修正。

表2 航跡關(guān)聯(lián)情況

針對特殊場景下系統(tǒng)航跡中斷并重新起批的問題,進(jìn)行航跡連接處理,獲取最優(yōu)系統(tǒng)航跡連接對,再通過卡爾曼濾波算法進(jìn)行濾波平滑處理,即可得到最終系統(tǒng)航跡。

利用目標(biāo)ID 跳變率SID和航跡符合率Ptr表征目標(biāo)跟蹤的準(zhǔn)確性和穩(wěn)定性,其表達(dá)式分別為

式中:MS為目標(biāo)ID 跳變次數(shù);Tobj為單個目標(biāo)航跡符合時間;Ttr為單個航跡總時間。當(dāng)真實位置與融合位置角度歐氏距離小于1°時,認(rèn)為目標(biāo)航跡符合。

利用雷達(dá)-視覺融合系統(tǒng)進(jìn)行路段實時測試。設(shè)測試時長為10 min,縱向距離350 m 內(nèi)為傳感器感興趣區(qū)域。統(tǒng)計目標(biāo)跟蹤情況,路段實時測試結(jié)果如表3所示,車輛檢測效果如圖7所示。

表3 路段實時測試結(jié)果

圖7 車輛檢測效果

由表3可知,相較于雷達(dá)、視覺傳感器獨立工作的情況,本文所提融合系統(tǒng)目標(biāo)跟蹤ID 跳變率為3.45%,分別降低了7.24%、3.46%;航跡符合率達(dá)97.6%,分別提升了1.9%、4.4%。測試結(jié)果表明,相比于以往的雷達(dá)-視覺單幀融合系統(tǒng),本文所提融合系統(tǒng)在視覺交通場景下工作狀態(tài)良好,目標(biāo)跟蹤的準(zhǔn)確率和穩(wěn)定性均得到極大提升,同時目標(biāo)語義信息更加豐富,充分發(fā)揮了雷達(dá)、視覺傳感器的工作優(yōu)勢,互相彌補劣勢,大幅提升了傳感系統(tǒng)對環(huán)境的感知能力。

4 結(jié)論

本文在以往雷達(dá)-視覺單幀融合算法的基礎(chǔ)上進(jìn)行融合技術(shù)優(yōu)化,基于深度學(xué)習(xí)、視頻結(jié)構(gòu)化技術(shù),采用航跡跟蹤算法分別生成視覺、雷達(dá)目標(biāo)航跡,并結(jié)合兩類傳感器的工作特性制定航跡關(guān)聯(lián)融合策略,提高傳感器信息的利用率,實現(xiàn)復(fù)雜場景下目標(biāo)的有效感知和穩(wěn)定跟蹤。利用交通場景對該融合系統(tǒng)進(jìn)行測試驗證,結(jié)果表明,該融合系統(tǒng)能夠?qū)崟r穩(wěn)定輸出,目標(biāo)跟蹤ID 跳變率和融合系統(tǒng)航跡符合率均得到大幅提升,目標(biāo)語義信息豐富穩(wěn)定,目標(biāo)探測系統(tǒng)的環(huán)境感知能力得到有效提升。該系統(tǒng)可應(yīng)用于交通監(jiān)控、周界防護(hù)等場景,有效支撐多目標(biāo)環(huán)境感知的相關(guān)應(yīng)用。研究成果也可為反無人機群等軍事場景應(yīng)用提供參考。