曾大治 鄭 樂 曾雯雯 張 鑫 黃 琰 田瑞豐,
(1.北京理工大學(xué)雷達(dá)技術(shù)研究院,北京 100081;2.北京理工雷科電子信息技術(shù)有限公司,北京 100097;3.北京理工大學(xué)重慶創(chuàng)新中心,重慶 401135;4.北京理工睿行電子科技有限公司,北京 100081;5.理工雷科智途(北京)科技有限公司,北京 100081)
自動(dòng)駕駛技術(shù)提出于智能交通系統(tǒng)(Intelligent Transportation System,ITS)[1],旨在解放駕駛員雙手,讓車輛能自主的在道路上行駛。自動(dòng)駕駛的關(guān)鍵技術(shù)包括環(huán)境感知、定位導(dǎo)航、路徑?jīng)Q策與規(guī)劃等[2],其中環(huán)境感知是關(guān)鍵點(diǎn)。隨著技術(shù)的發(fā)展,車載雷達(dá)的分辨率越來越高,利用車載毫米波雷達(dá)觀測得到的散射點(diǎn)云[3-4]對交通參與者進(jìn)行環(huán)境感知,成為目前國內(nèi)外研究的熱點(diǎn)之一[5]。實(shí)例分割(Instance Segmentation)是環(huán)境感知中極具挑戰(zhàn)性的任務(wù),不僅需要區(qū)分出同一類別的不同實(shí)例,還要給出其準(zhǔn)確的語義類別,細(xì)粒度要求較高。
根據(jù)散射點(diǎn)的處理方式不同,基于點(diǎn)云的實(shí)例分割方案可分為以下三類[5]——基于點(diǎn)云體素化的分割方案、基于卷積神經(jīng)網(wǎng)絡(luò)的分割方案和基于聚類的分割方案。其中,點(diǎn)云體素化(Voxelization)是對整個(gè)分割場景進(jìn)行單元格劃分,每個(gè)單元格也稱為體素(Voxel)[5],可以包含零個(gè)或多個(gè)散射點(diǎn)。分割算法后續(xù)以體素為單位完成實(shí)例分割[6-7]。該方案適用于密集點(diǎn)云,如激光雷達(dá)點(diǎn)云常使用的OpenPCDet[8],但對內(nèi)存和計(jì)算能力的要求高。此外,點(diǎn)與體素的轉(zhuǎn)換過程中也引入了量化誤差[9-10],不利于稀疏點(diǎn)云的分割;基于卷積神經(jīng)網(wǎng)絡(luò)的方案則直接處理散射點(diǎn)生成用于實(shí)例分割的特征,散射點(diǎn)的物理坐標(biāo)也作為特征的一部分參與分割[2,11-12]。最早有Charles R.Qi 等人提出的PointNet 算法[10]。該方案由于直接處理散射點(diǎn),避免了轉(zhuǎn)換中的量化誤差。此后,Charles R.Qi 等人又在PointNet 算法基礎(chǔ)上參考卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks,CNN)中“感受野”的思想,對單個(gè)散射點(diǎn)周圍若干散射點(diǎn)進(jìn)行加權(quán)求和完成散射點(diǎn)特征的逐層提取,提出了PointNet++算法[11],提高了分割模型的泛化能力;基于聚類的分割方案是使用聚類(Clustering)算法估計(jì)哪些散射點(diǎn)屬于同一實(shí)例,如基于密度的空間聚類算法(Density-Based Spatial Clustering of Applications with Noise,DBSCAN)將具有足夠密度的區(qū)域劃分為一個(gè)實(shí)例[13],然后使用隨機(jī)森林(Random Forest,RF)等算法對每個(gè)實(shí)例進(jìn)行分類[14]。相較于前兩類,該方法的性能有限,但由于計(jì)算量小,常被用于實(shí)時(shí)數(shù)據(jù)處理[9,15-18]。
在散射點(diǎn)處理的基礎(chǔ)上,利用散射點(diǎn)特征直接計(jì)算散射點(diǎn)之間的特征相似度和分類矩陣完成分割[19-23]的方式,稱為端到端分割。但該分割方式在同一實(shí)例中的相鄰散射點(diǎn)之間相距較遠(yuǎn)[6,15]和交通區(qū)域內(nèi)多個(gè)實(shí)例空間密集分布[6,24-27]的情況下,分割性能表現(xiàn)不佳。2022年,Liu Jianan等人提出了一種面向毫米波雷達(dá)散射點(diǎn)觀測的非端到端分割方案。該方案計(jì)算實(shí)例內(nèi)的各散射點(diǎn)到實(shí)例中心的偏移矢量(Center Shifted Vector,CSV)[9],利用CSV 對原始散射點(diǎn)觀測進(jìn)行補(bǔ)償,意圖克服上述問題。然而上述方案沒有考慮遮擋情況,在路面障礙物或交通參與者對實(shí)例造成部分遮擋情況時(shí),分割性能有限。
受啟發(fā)于Akshay Dudhane 提出的“偽特征”概念[28],即從每個(gè)相鄰圖像中提取預(yù)處理的特征,經(jīng)過邊緣對齊模塊來匹配后,使用多尺度上下文信息融合相鄰圖像特征,創(chuàng)建并豐富“偽特征”。原作的目的是通過合并來自快速連續(xù)捕獲的同一場景的(降級)幀集合的期望信息來合成高質(zhì)量圖像,從而緩解圖像多噪點(diǎn)和顏色失真的問題。因此在Liu Jianan 等人的基礎(chǔ)上,本文將Akshay Dudhane 從圖像領(lǐng)域引入雷達(dá)點(diǎn)云,將邊緣對齊模塊通過航跡先驗(yàn)構(gòu)造的幀間匹配模塊實(shí)現(xiàn),從而提出了一種利用航跡先驗(yàn)融合特征的車載雷達(dá)實(shí)例分割算法。
本文的其余部分組織如下:第2 節(jié)詳細(xì)介紹了所提算法的構(gòu)成模塊,包括特征提取、幀間匹配、特征融合、分割網(wǎng)絡(luò)模塊和損失函數(shù)。第3 節(jié)為實(shí)驗(yàn)及參數(shù)設(shè)置,分別展示了實(shí)驗(yàn)設(shè)置、對比算法和實(shí)驗(yàn)結(jié)果。最后,結(jié)束語載于第4節(jié)。
算法由以下四個(gè)模塊組成,包括特征生成、幀間匹配、特征融合和分割網(wǎng)絡(luò)模塊。各模塊詳細(xì)介紹見第2節(jié)各小節(jié)內(nèi)容。
圖1 展示了所提算法的架構(gòu)。其中,雷達(dá)傳感器在t幀觀測得到的結(jié)果為Yt,Yt表示為Mt個(gè)散射點(diǎn)的集合,即,yt,m表示第m個(gè)散射點(diǎn)的物理信息,包括位置和速度信息,Dy表示物理信息維度。Yt通過特征生成模塊得到散射點(diǎn)高維語義特征γt,與上一時(shí)刻的實(shí)例特征Ωt-1進(jìn)行特征融合,得到融合后特征。經(jīng)過多任務(wù)網(wǎng)絡(luò)分支后,得到用于表征各散射點(diǎn)語義類別的分類矩陣PSM和用于補(bǔ)償原始散射點(diǎn)的中心偏移矢量PCSV。補(bǔ)償后的觀測通過DBSCAN 得到各散射點(diǎn)的實(shí)例編號,結(jié)合分類矩陣得到的類別信息即可完成實(shí)例分割,分割結(jié)果Xt表征實(shí)例中心的物理信息。上述過程中,特征融合依賴的匹配關(guān)系Ψab通過幀間匹配模塊計(jì)算得到,表征實(shí)例中心Xt-1與散射點(diǎn)Yt之間的映射關(guān)系。上一時(shí)刻的實(shí)例特征Ωt-1基于γt-1和實(shí)例編號計(jì)算得到。
圖1 基于航跡先驗(yàn)的點(diǎn)云實(shí)例分割架構(gòu)圖Fig.1 The overall architecture of proposed method
特征生成模塊包括t幀的散射點(diǎn)特征生成和t-1幀的實(shí)例特征生成。
散射點(diǎn)特征生成如圖2所示,輸入t幀的雷達(dá)散射點(diǎn)集合Yt,PointNet++網(wǎng)絡(luò)基于集合抽象(Set Abstraction,SA)層設(shè)定的采樣半徑和采樣點(diǎn)數(shù)為每個(gè)散射點(diǎn)劃分采樣范圍,采樣范圍內(nèi)的散射點(diǎn)通過特征傳播(Feature Propagation,F(xiàn)P)層得到高維語義特征γt,γt∈RQ×Mt。其中,Q表示語義特征維度。
圖2 散射點(diǎn)特征生成模塊Fig.2 Point-wise feature generation
本研究方案參考了Liu Jianan 等人的特征提取方案[9],即在每個(gè)SA 層和FP 層加入一種視覺多層感知機(jī)(gating Multi-Layer Perceptron,gMLP)模塊,通過門控單元控制采樣半徑內(nèi)散射點(diǎn)的通過率。因此模塊一方面在采樣半徑等參數(shù)設(shè)置方面更具魯棒性,另一方面能自適應(yīng)的檢索到高價(jià)值散射點(diǎn)的信息。
實(shí)例特征生成過程如下,假設(shè)在t-1 幀,各散射點(diǎn)的實(shí)例編號已知,對同一實(shí)例編號的散射點(diǎn)物理信息和特征分別取均值近似該實(shí)例中心的物理信息Xt-1和實(shí)例特征圖Ωt-1。公式如下:
傳統(tǒng)實(shí)例分割只使用單幀散射點(diǎn)信息,忽略了相鄰幀之間的關(guān)聯(lián)信息。為了進(jìn)一步提升分割效果,本算法通過建立實(shí)例中心Xt-1與散射點(diǎn)Yt之間的映射關(guān)系挖掘相鄰幀之間的關(guān)聯(lián)信息,完成幀間匹配。由于上述關(guān)系的直接建立較為困難,因此算法引入航跡先驗(yàn)作為兩者之間的橋梁,幀間匹配的具體示意圖見圖3。
圖3 幀間匹配示意圖Fig.3 Frame-frame match
航跡先驗(yàn)為探測目標(biāo)運(yùn)動(dòng)的先驗(yàn)信息,定義第t幀的航跡先驗(yàn)為Zt=[zt,1,zt,2,…zt,Nt]∈RDz×Nt,其中zt,s=[xt,s,yt,s,vt,s…]T∈RDz×1表示第s條航跡的位置和速度等,s∈[1,St],Dz為航跡先驗(yàn)維度,St為第t幀的航跡條數(shù)。此時(shí),t-1 幀的航跡先驗(yàn)Zt-1與t-1 幀的實(shí)例中心Xt-1具有相同的物理信息,t幀的航跡先驗(yàn)Zt和t幀的散射點(diǎn)Yt同理。此外,Zt-1和Zt的對應(yīng)關(guān)系由航跡編號s直接獲得。因此,該模塊將Xt-1和Yt的匹配問題轉(zhuǎn)化為Xt-1和Zt-1、Zt和Yt的匹配問題。
Xt-1和Zt-1的匹配問題通過最近鄰算法[25]求解,定義Θai表示第a個(gè)實(shí)例中心xt-1,a和第i條航跡zt-1,i的匹配關(guān)系,Θai=1表示匹配成功,反之Θai=0。
Yt和Zt的匹配問題通過門限法求解。求解步驟如下:
步驟1:計(jì)算第b個(gè)散射點(diǎn)yt,b與第i條航跡zt,i的余弦相似度ωi,b,公式如下:
步驟2:找到第b個(gè)散射點(diǎn)余弦相似度最大值對應(yīng)的航跡先驗(yàn)編號Γb:
步驟3:基于下述判決準(zhǔn)則建立表示第i條航跡和第b個(gè)散射點(diǎn)的匹配關(guān)系Φib:
其中,Φib=1表示匹配成功,反之Φib=0。
步驟4:實(shí)例中心Xt-1與散射點(diǎn)Yt之間的映射關(guān)系Ψab由Θai和Φib計(jì)算得到:
其中,Ψab=1表示匹配成功,反之Ψab=0。
基于上述匹配關(guān)系Ψab即可融合t幀散射點(diǎn)特征γt和t-1 幀的實(shí)例特征Ωt-1,得到網(wǎng)絡(luò)分割模塊的最終輸入,其中,第b個(gè)散射點(diǎn)的融合后特征由第b個(gè)散射點(diǎn)特征γt,b和匹配成功的實(shí)例特征Ωt-1,a計(jì)算得到:
當(dāng)沒有匹配所屬實(shí)例中心的散射點(diǎn)存在時(shí),算法認(rèn)為該散射點(diǎn)屬于為t幀新進(jìn)入雷達(dá)觀測的實(shí)例。使用原始高維語義特征作為融合后特征即可,即=γt,b。
圖4 展示了分割網(wǎng)絡(luò)具體實(shí)現(xiàn)模塊。在t幀特征融合模塊得到的特征圖分別通過2個(gè)多層感知機(jī)(Multi-Layer Perceptron,MLP),即MLP1和MLP2處理,得到散射點(diǎn)分類矩陣PSM和中心偏移矢量PCSV。
圖4 分割網(wǎng)絡(luò)模塊Fig.4 Segmentation network
MLP1 和MLP2 模塊均由卷積核為1×1 卷積層conv 實(shí)現(xiàn)。激活函數(shù)選擇ReLU(Rectified Linear Unit),搭配使用批歸一化(Batch Normalization)和隨機(jī)失活(Dropout)緩解模型過擬合。網(wǎng)絡(luò)不同分支的頭部結(jié)構(gòu)如下所示:
其中,公式(8)中第一行的常量4表征該散射點(diǎn)屬于各類別的概率;D為原始散射點(diǎn)的物理信息維度,包括散射點(diǎn)的x坐標(biāo)偏移量和y坐標(biāo)偏移量和速度偏移量等。PSM對應(yīng)每個(gè)散射點(diǎn)的類別,PCSV后續(xù)用于原始散射點(diǎn)補(bǔ)償,補(bǔ)償后的散射點(diǎn)再經(jīng)過DBSCAN算法聚類。各散射點(diǎn)的聚類結(jié)果結(jié)合分類結(jié)果為該幀下的實(shí)例分割結(jié)果。
網(wǎng)絡(luò)的損失函數(shù)由分類損失函數(shù)LSEM和中心偏移矢量的直接損失函數(shù)LSHIFT加權(quán)計(jì)算得到,即L=LSEM+αLSHIFT,其中α為加權(quán)系數(shù)。假設(shè)第m個(gè)散射點(diǎn)的類別真值為lm,其網(wǎng)絡(luò)預(yù)測的散射點(diǎn)所屬類別為,則散射點(diǎn)類別的分類誤差LSEM可通過計(jì)算lm和的交叉熵得到,。假設(shè)Δxgt為各觀測點(diǎn)的真實(shí)中心偏移矢量,Δxpred為網(wǎng)絡(luò)計(jì)算的用于補(bǔ)償其位置的中心偏移矢量,則中心偏移矢量的預(yù)測誤差LSHIFT是表征矢量Δxgt和Δxpred之間的角度損失LCS和表征兩個(gè)矢量之間的長度損失LNIP的組合,LSHIFT=LCS+LNIP。其中,LCS和LNIP分別計(jì)算如下:
其中cos(Δxpred,i,Δxgt,i)表示Δxpred和Δxgt第i(1 ≤i≤f)維特征的矢量夾角的余弦值,ε一般取10-5,保證分母不為0。
為驗(yàn)證特征融合后的分割算法精度,本文基于搭建的交通十字路口場景下的仿真數(shù)據(jù)集完成了實(shí)驗(yàn)驗(yàn)證。實(shí)驗(yàn)對比了所提算法與不使用融合特征的算法,后者包括傳統(tǒng)分割算法、基于神經(jīng)網(wǎng)絡(luò)的分割算法。對于使用神經(jīng)網(wǎng)絡(luò)的算法,首先在訓(xùn)練集上完成算法的訓(xùn)練,然后利用數(shù)據(jù)驅(qū)動(dòng)模型(卷積神經(jīng)網(wǎng)絡(luò))在測試集進(jìn)行了和傳統(tǒng)方法分割性能的對比試驗(yàn)。本節(jié)主要介紹了驗(yàn)證算法所使用的數(shù)據(jù)集、算法參數(shù)設(shè)置、對比算法和實(shí)驗(yàn)結(jié)果。
數(shù)據(jù)集基于MATLAB 軟件Driving Scenario Designer(DSD)生成。軟件通過在探測車輛上安裝毫米波雷達(dá),能直接得到連續(xù)時(shí)間下的散射點(diǎn)云數(shù)據(jù)。該數(shù)據(jù)包含各散射點(diǎn)在直角坐標(biāo)系和極坐標(biāo)系下的位置、速度、方位角,所屬類別編號和所屬實(shí)例編號。
車載雷達(dá)的參數(shù)參考Radarscenes數(shù)據(jù)集設(shè)置。雷達(dá)采用77 GHz 近場毫米波雷達(dá),其距離、速度和方位角分辨率分別為15 cm、0.36 m/s 和2°,方位角FOV 為±60°,幀周期為70 ms。場景設(shè)置為100 m×100 m 的交通十字路口,模擬了各類實(shí)例的運(yùn)動(dòng)情況。實(shí)例種類共計(jì)4 類:小車、大型車、二輪車和行人,占比約為0.46∶0.17∶0.09∶0.28。數(shù)據(jù)集按照4∶1劃分訓(xùn)練集和測試集,具體樣本分布如表1所示。
表1 仿真數(shù)據(jù)集樣本分布Tab.1 Detail of dataset division
所有對比實(shí)驗(yàn)的參數(shù)設(shè)置為相同的值:訓(xùn)練批次大小為5,初始學(xué)習(xí)率為10-2,優(yōu)化器為Adam。使用余弦退火迭代器,學(xué)習(xí)率每25個(gè)訓(xùn)練輪次重新啟動(dòng)一次。為了解決每一幀的散射點(diǎn)個(gè)數(shù)Nt不同的問題,我們對每個(gè)場景的每一幀散射點(diǎn)數(shù)目進(jìn)行統(tǒng)計(jì),得到max(Nt)和mean(Nt),以確定樣本量。參考了文獻(xiàn)[19]的處理方式,在訓(xùn)練和測試時(shí)將散射點(diǎn)數(shù)目固定設(shè)置為200,略大于mean(Nt),保證保留了大部分樣本信息外不增加計(jì)算成本。
基于單幀散射點(diǎn)數(shù)目和場景大小,我們要求PointNet++網(wǎng)絡(luò)具有兩個(gè)SA 層和兩個(gè)對應(yīng)的FP層。第一個(gè)SA 層的采樣點(diǎn)數(shù)設(shè)置為64,采樣半徑為8 m。這些參數(shù)的設(shè)計(jì)使得所有采樣周期將覆蓋整個(gè)視場,并有適當(dāng)?shù)闹丿B。其他各層的網(wǎng)絡(luò)參數(shù)見表2。SA 層參數(shù)SA(Nsample,Rsample,(c1,…cd))表示在每個(gè)散射點(diǎn)的采樣半徑Rsample內(nèi)選取Nsample個(gè)采樣點(diǎn),通過d層卷積核為1×1,輸出通道數(shù)為[c1,…cd]的卷積層完成采樣;FP 層參數(shù)FP(c1,…cd)表示d層卷積核為1×1,輸出通道數(shù)為(c1,…cd)的卷積層。此外,BatchNorm 和ReLU 在兩個(gè)連續(xù)的卷積層之間使用,gMLP塊不改變輸出特征向量的維數(shù),因此可以直接附加在每個(gè)SA或FP的后面。
表2 網(wǎng)絡(luò)參數(shù)Tab.2 Network parameter
傳統(tǒng)實(shí)例分割方案:方案原理圖如圖5 所示。該方案對單幀散射點(diǎn)觀測進(jìn)行聚類,然后將每個(gè)聚類后的實(shí)例發(fā)送給分類器得到預(yù)測的類別。分類器可選擇支持向量機(jī)(Support Vector Machine,SVM)或RF 等。本次對比實(shí)驗(yàn)選擇的聚類和分類算法分別為DBSCAN 和RF。使用DBSCAN 估計(jì)得到每個(gè)散射點(diǎn)的實(shí)例編號,相同實(shí)例的散射點(diǎn)物理特征經(jīng)過簡單統(tǒng)計(jì)處理后作為隨機(jī)森林分類器的輸入。統(tǒng)計(jì)處理參考文獻(xiàn),具體包括計(jì)算距離、方位角、徑向速度的平均值、極值和偏差等[14]。
圖5 傳統(tǒng)實(shí)例分割方案Fig.5 Traditional instance segmentation method
PointNet++分割方案:圖6為方案架構(gòu)圖。該方案[9]基于PointNet++的語義分割版本設(shè)計(jì),新加入了一個(gè)網(wǎng)絡(luò)計(jì)算分支,用于估計(jì)每個(gè)散射點(diǎn)到其對應(yīng)實(shí)例的幾何中心在潛在空間中的偏移量CSV。算法首先利用CSV 將每個(gè)散射點(diǎn)偏移到對應(yīng)的預(yù)測實(shí)例中心。接著使用DBSCAN 算法對偏移后的散射點(diǎn)進(jìn)行聚類,得到每個(gè)散射點(diǎn)的實(shí)例編號。最后,配合分類矩陣預(yù)測得到的散射點(diǎn)語義類別完成實(shí)例分割。
圖6 基于PointNet++的分割方案架構(gòu)圖Fig.6 Segmentation method based on PointNet++and CSV
基于上述仿真數(shù)據(jù)集開展實(shí)驗(yàn),實(shí)驗(yàn)設(shè)置中保持各算法的參數(shù)和損失函數(shù)一致。測試的50個(gè)交通場景中,每個(gè)場景均存在同一實(shí)例的散射點(diǎn)相距較遠(yuǎn)和多個(gè)實(shí)例密集分布導(dǎo)致遮擋的復(fù)雜情況。因此本節(jié)從典型場景的分割可視化圖和測試集的評價(jià)指標(biāo)表兩方面定性和定量地對實(shí)驗(yàn)結(jié)果展示和分析。其中,典型場景的分割可視化圖見圖7、圖8 和圖9,經(jīng)典算法的評價(jià)指標(biāo)結(jié)果見表3,消融實(shí)驗(yàn)結(jié)果見表4。這些實(shí)驗(yàn)結(jié)果強(qiáng)調(diào)了我們提出的算法在應(yīng)對復(fù)雜車載毫米波雷達(dá)場景時(shí)的潛在優(yōu)勢。
表3 算法對比結(jié)果Tab.3 Comparison of mCov and mAP on test data
表4 消融實(shí)驗(yàn)結(jié)果對比Tab.4 Comparison of different models on test data
圖7 典型實(shí)例分割結(jié)果可視化對比圖Fig.7 Comparison of segmentation results in typical instance
圖8 典型場景分割結(jié)果可視化對比圖Fig.8 Comparison of segmentation results in typical scene
圖9 連續(xù)時(shí)間分割結(jié)果可視化圖Fig.9 Visualization of continuous timestep segmentation results
為分析算法對復(fù)雜交通場景的分割情況,圖7和圖8分別是利用不同算法對單個(gè)小車和密集分布多目標(biāo)場景分割的可視化結(jié)果。目標(biāo)類別見圖最上方,其中×代表算法標(biāo)記該散射點(diǎn)為噪聲,(a)為實(shí)例的真值;(b)為不使用偏移矢量補(bǔ)償散射點(diǎn)的傳統(tǒng)分割算法(DBSCAN+RF);(c)為不使用航跡先驗(yàn)的PointNet++算法;(d)為本文所提算法。
可以觀察到,由于目標(biāo)被行人遮擋,因此x坐標(biāo)8 m 附近無散射點(diǎn)。經(jīng)典算法均無法正確分割,導(dǎo)致目標(biāo)“ID 分裂”,小車被分割為多個(gè)目標(biāo)及噪聲,而所提算法由于引入CSV,將目標(biāo)邊緣的散射點(diǎn)聚集至目標(biāo)質(zhì)心,可以避免上述“分裂”出現(xiàn)。此外,交通區(qū)域內(nèi)多個(gè)實(shí)例空間密集分布對分割算法帶來極大挑戰(zhàn)。在圖8 的(b)和(c)中,右上角的小車實(shí)例被分割成為兩個(gè)。(d)能有效應(yīng)對相鄰實(shí)例的分割問題,但由于所提算法只聯(lián)合了一個(gè)歷史幀,因此對于分布在邊緣的散射點(diǎn)仍然存在分割錯(cuò)誤的情況。
為體現(xiàn)使用航跡先驗(yàn)的效果,增加了單幀和聯(lián)合兩幀的可視化對比結(jié)果,如圖9 所示。(a)~(c)分別為場景第8、10 和12 幀的可視化對比結(jié)果。在第12 幀,雷達(dá)右前方視野存在卡車的遮擋,因此右前方的散射點(diǎn)數(shù)量大大減小。但是由于航跡先驗(yàn)的約束,算法仍能完全正確的分割出兩個(gè)空間位置相鄰的真實(shí)實(shí)例??梢娨牒桔E先驗(yàn)后,算法能有效克服上述遮擋問題,提高分割準(zhǔn)確率。
此外,本文使用實(shí)例分割指標(biāo)——平均覆蓋率(Mean Coverage,mCov)和平均精度(Mean Average Precision,mAP)評價(jià)最終實(shí)例預(yù)測值和真值,其中平均精度mAP 是在交并比(Intersection Over Union,IoU)閾值為0.5 時(shí)計(jì)算得到,下文統(tǒng)一表示為mAP@IoU0.5。
表3展示了不同的分割算法在仿真數(shù)據(jù)集上的對比結(jié)果。傳統(tǒng)分割方案的mCov 和mAP 僅為31.72% 和17.47%;基于PointNet++的分割方案mCov 和mAP 分別達(dá)到65.75%和53.09%;而所提算法利用航跡先驗(yàn)融合上一幀的實(shí)例特征,CSV 計(jì)算效果更好,指標(biāo)分別提升了6.19%和4.54%,進(jìn)一步提高了聚類效果,證明了所提適用于稀疏雷達(dá)觀測的實(shí)例分割。
為證明融合歷史特征的有效性,我們增加了純基于PointNet++的分割方案和僅使用航跡先驗(yàn)基于PointNet++的分割方案作為對比,結(jié)果如表4 所示。在沒有中心偏移矢量的純分割方案中,融合歷史特征后的mCov 有提升但僅提升了1.96%,而融合帶來的網(wǎng)絡(luò)參數(shù)量大大增加。從算法性能提升方面評價(jià),所提的融合方案更適用于使用了中心偏移矢量的分割網(wǎng)絡(luò)。
綜上,基于聚類的分類方法可能會得到錯(cuò)誤的實(shí)例和語義估計(jì),而基于偏移矢量補(bǔ)償散射點(diǎn)的PointNet++算法糾正了部分估計(jì),但無法應(yīng)對分布在目標(biāo)輪廓邊緣的單個(gè)散射點(diǎn)。本文所提算法在航跡先驗(yàn)的約束下提供了更好的估計(jì),對這種特定情況能實(shí)現(xiàn)更好的分割。
復(fù)雜行車場景中,交通參與物尺寸及空間分布各異且遮擋頻繁發(fā)生,導(dǎo)致實(shí)例分割性能大大降低,嚴(yán)重影響智能駕駛中的環(huán)境感知。本文利用實(shí)際行車場景的時(shí)間連續(xù)性,引入包含上一時(shí)刻和當(dāng)前時(shí)刻探測目標(biāo)運(yùn)動(dòng)的先驗(yàn)信息輔助分割,進(jìn)而提出了一種新的車載雷達(dá)實(shí)例分割策略,即利用航跡先驗(yàn)融合上一幀的實(shí)例特征增強(qiáng)不同實(shí)例的特征差異性,再基于PointNet++和DBSCAN完成實(shí)例分割。在仿真數(shù)據(jù)集中測試所提算法的有效性,平均覆蓋率mCov 達(dá)到71.94%,平均精度mAP 在IoU 閾值為0.5時(shí)達(dá)到57.63%,優(yōu)于其他文獻(xiàn)所提算法。典型場景的可視化結(jié)果也表明所提算法的有效性。相較于單幀,所提算法在航跡先驗(yàn)的約束下,融合后的散射點(diǎn)特征不僅信息更豐富,不同實(shí)例間的特征差異更明顯,而且能彌補(bǔ)由于遮擋導(dǎo)致的實(shí)例信息缺失,更好的實(shí)現(xiàn)復(fù)雜行車環(huán)境感知。然而,算法性能也存在局限性。考慮到算法的時(shí)間與空間復(fù)雜度隨聯(lián)合幀數(shù)增加而增加,因此所提算法只聯(lián)合了一個(gè)歷史幀。這導(dǎo)致算法對于分布在邊緣的單個(gè)散射點(diǎn)仍然存在分割錯(cuò)誤的情況。后續(xù)可以采用遷移學(xué)習(xí)或自監(jiān)督學(xué)習(xí)來更好地利用多幀數(shù)據(jù)。