基于語(yǔ)義點(diǎn)云的巡航系統(tǒng)移動(dòng)目標(biāo)軌跡識(shí)別

張 業(yè) 徐 婧

(寧波市阿拉圖數(shù)字科技有限公司,浙江 寧波 315000)

0 引言

自適應(yīng)巡航系統(tǒng)是當(dāng)前智能汽車應(yīng)用的主要系統(tǒng)之一[1],該系統(tǒng)將雷達(dá)作為傳感裝置,采集周邊環(huán)境信息,擴(kuò)展司機(jī)的感知與識(shí)別性能。移動(dòng)目標(biāo)軌跡識(shí)別是自適應(yīng)巡航系統(tǒng)的主要應(yīng)用之一[2-3],能夠有效識(shí)別周邊車輛的行駛軌跡,可用于判斷車輛的駕駛意圖[3],對(duì)于保障汽車行駛安全產(chǎn)生重要影響,因此自適應(yīng)巡航系統(tǒng)移動(dòng)目標(biāo)軌跡識(shí)別的研究具有重要意義。

黃士琛等人在研究軌跡識(shí)別問題中,構(gòu)建深度學(xué)習(xí)模型重建移動(dòng)目標(biāo)軌跡,并通過自編碼網(wǎng)絡(luò)提取軌跡特征實(shí)現(xiàn)目標(biāo)軌跡識(shí)別[4]。但該方法實(shí)際應(yīng)用過程中未考慮深度學(xué)習(xí)網(wǎng)絡(luò)的特征分辨率下降與空間不敏感等現(xiàn)象,由此造成最終的軌跡識(shí)別結(jié)果存在一定誤差。胡春生等人采用圖像特征提取方法獲取目標(biāo)圖像特征,通過立體視覺技術(shù)中的立體匹配算法實(shí)現(xiàn)目標(biāo)軌跡識(shí)別[5]。但該方法實(shí)際應(yīng)用過程中直接在圖像內(nèi)提取軌跡特征,未對(duì)點(diǎn)云實(shí)施語(yǔ)義分割,因此特征提取精度存在一定不足。為此,本文提出了基于語(yǔ)義點(diǎn)云的自適應(yīng)巡航系統(tǒng)移動(dòng)目標(biāo)軌跡識(shí)別方法,希望通過該方法為移動(dòng)目標(biāo)軌跡識(shí)別的研究提供新的方向,并對(duì)自適應(yīng)巡航系統(tǒng)的應(yīng)用起到積極影響。

1 自適應(yīng)巡航系統(tǒng)移動(dòng)目標(biāo)軌跡識(shí)別方法

1.1 自適應(yīng)巡航系統(tǒng)移動(dòng)目標(biāo)點(diǎn)云濾波處理

采用分層自適應(yīng)移動(dòng)曲面擬合濾波方法對(duì)自適應(yīng)巡航系統(tǒng)所獲取的移動(dòng)目標(biāo)點(diǎn)云圖像進(jìn)行濾波處理,具體濾波過程分為以下幾個(gè)環(huán)節(jié)。

(1)對(duì)移動(dòng)目標(biāo)點(diǎn)云圖像實(shí)施預(yù)處理[6],清除粗差點(diǎn)。

(2)采用優(yōu)化后的均值限差法完成移動(dòng)目標(biāo)點(diǎn)云圖像粗濾波。

(3)通過Mean Shift算法劃分移動(dòng)目標(biāo)點(diǎn)云類別[7-8],同時(shí)標(biāo)記類別劃分結(jié)果。

(4)虛擬格網(wǎng)劃分,基于格網(wǎng)內(nèi)的種子點(diǎn)完成移動(dòng)目標(biāo)點(diǎn)云圖像次曲面擬合[9]。

(5)設(shè)置自適應(yīng)閾值,實(shí)現(xiàn)移動(dòng)目標(biāo)點(diǎn)云圖像精濾波至遍歷全部區(qū)域?yàn)橹埂?/p>

圖1為自適應(yīng)巡航系統(tǒng)移動(dòng)目標(biāo)點(diǎn)云濾波處理流程,該流程以漸進(jìn)式濾波為基礎(chǔ),通過粗濾波與精濾波兩個(gè)主要步驟實(shí)現(xiàn)自適應(yīng)巡航系統(tǒng)移動(dòng)目標(biāo)點(diǎn)云濾波目的。需要注意的是,環(huán)節(jié)四中,網(wǎng)格窗口尺寸對(duì)于最終濾波性能產(chǎn)生直接影響,因此在實(shí)際移動(dòng)目標(biāo)點(diǎn)云圖像濾波處理過程中,窗口大小的設(shè)定非常關(guān)鍵。

圖1 自適應(yīng)巡航系統(tǒng)移動(dòng)目標(biāo)點(diǎn)云濾波流程

環(huán)節(jié)(2)中,移動(dòng)目標(biāo)點(diǎn)云圖像粗濾波采用了均值限差法,具體操作過程中將任意點(diǎn)設(shè)定為中心,構(gòu)建窗口,在XY平面上投影窗口內(nèi)的點(diǎn),確定除中心點(diǎn)外剩余點(diǎn)云的高程均值,在此基礎(chǔ)上確定中心點(diǎn)同均值間的差值,并將結(jié)果同閾值相對(duì)比,完成移動(dòng)目標(biāo)點(diǎn)云圖像粗濾波。但數(shù)據(jù)過程在實(shí)際應(yīng)用過程中會(huì)因點(diǎn)云分布的密集度差異造成高程均值不同,降低最終濾波結(jié)果的準(zhǔn)確性;同時(shí)考慮地形具有起伏特性,所設(shè)定的不變閾值與窗口尺寸也將降低最終濾波結(jié)果的準(zhǔn)確性[10]。針對(duì)這些問題,可選取變窗口方差比值的方法進(jìn)行完善。利用式(1)設(shè)定窗口尺寸s。

s=(smin)×2n-1

(1)

式中,n表示濾波循環(huán)次數(shù)。

Dγ和Dλ分別表示窗口內(nèi)高程均值之上和之下點(diǎn)的方差,確定Dγ和Dλ后計(jì)算兩者比值,比值大于1、等于1和小于1分別代表與高程均值相比,地面點(diǎn)分布較為密集、較為均勻和較為稀疏。根據(jù)比值,利用式(2)所示的動(dòng)態(tài)閾值法優(yōu)化閾值。

(2)

式中,zc表示初始閾值。

1.2 移動(dòng)目標(biāo)點(diǎn)云圖像語(yǔ)義分割

對(duì)于自適應(yīng)巡航系統(tǒng)移動(dòng)目標(biāo)軌跡識(shí)別問題,需要從自適應(yīng)巡航系統(tǒng)所獲取的濾波處理后的點(diǎn)云圖像內(nèi)確定移動(dòng)目標(biāo)物體的點(diǎn)云,將這部分包含了移動(dòng)目標(biāo)位姿信息的點(diǎn)云與其余圖像內(nèi)的移動(dòng)目標(biāo)點(diǎn)云實(shí)施高精度配準(zhǔn),即可識(shí)別移動(dòng)目標(biāo)軌跡。在這一過程中的首要問題即為判斷點(diǎn)的類別[11],即確定屬于移動(dòng)目標(biāo)物體的點(diǎn),而這一問題可通過語(yǔ)義分割來解決。語(yǔ)義分割的主要目的是劃分移動(dòng)目標(biāo)點(diǎn)云圖像內(nèi)不同點(diǎn)的類別,由此檢測(cè)并分割移動(dòng)目標(biāo)點(diǎn)云圖像內(nèi)任意或多個(gè)目標(biāo)。語(yǔ)義分割過程可通過深度卷積神經(jīng)網(wǎng)絡(luò)來完成,但考慮語(yǔ)義分割具有稠密預(yù)測(cè)的特征[12],標(biāo)準(zhǔn)的深度卷積神經(jīng)網(wǎng)絡(luò)在實(shí)際應(yīng)用過程中存在特征分辨率下降與空間不敏感等現(xiàn)象,因此可從以下三方面優(yōu)化深度卷積神經(jīng)網(wǎng)絡(luò),更好地實(shí)現(xiàn)移動(dòng)目標(biāo)點(diǎn)云圖像的語(yǔ)義分割。

(1)利用空洞卷積提取稠密特征并擴(kuò)展視野。移動(dòng)目標(biāo)點(diǎn)云的語(yǔ)義分割需根據(jù)大量空間位置信息實(shí)現(xiàn)點(diǎn)的分類[13-14]。為了避免空間信息丟失問題,可在深度卷積神經(jīng)網(wǎng)絡(luò)內(nèi)引入包含一個(gè)擴(kuò)張因子卷積處理的空洞卷積。針對(duì)一維卷積來說,以x和y分別表示一維輸入信號(hào)和空洞卷積輸出,l和c分別表示濾波器和長(zhǎng)度,則

(3)

空洞卷積具有輔助控制計(jì)算移動(dòng)目標(biāo)點(diǎn)云特征響應(yīng)分辨率的功能[15],同時(shí)帶洞卷積結(jié)構(gòu)并不密集,在感受野一致的條件下具有更少的參數(shù),能夠顯著提升移動(dòng)目標(biāo)點(diǎn)云語(yǔ)義分割的效率。

(2)通過全連接條件隨機(jī)場(chǎng)精確提取邊界。一般情況下,條件隨機(jī)場(chǎng)的主要功能是實(shí)現(xiàn)圖像平滑和降噪。針對(duì)移動(dòng)目標(biāo)點(diǎn)云語(yǔ)義分割,各點(diǎn)位置i具有隱變量(即實(shí)際類別標(biāo)簽)和對(duì)應(yīng)的觀測(cè)值(即語(yǔ)義劃分結(jié)果)。以移動(dòng)目標(biāo)點(diǎn)云圖像內(nèi)的各點(diǎn)為節(jié)點(diǎn),節(jié)點(diǎn)間的相關(guān)性作為邊,構(gòu)建條件隨機(jī)場(chǎng)[16]。經(jīng)由確定yi判斷i對(duì)應(yīng)的xi。條件隨機(jī)場(chǎng)滿足吉布斯分布。

(4)

式中,I表示全局觀測(cè)。

H(x)表示全連接的條件隨機(jī)場(chǎng)模型內(nèi)的損失函數(shù),公式描述如下:

(5)

式中,θi(xi)和θij(xi,xj)分別表示一元損失函數(shù)和二元損失函數(shù)。

θi(xi)是觀測(cè)序列位置的狀態(tài)特征函數(shù),能夠反映觀測(cè)序列對(duì)標(biāo)記變量的影響,公式描述如下:

θi(xi)=logP(xi)-1

(6)

式中,P(xi)表示關(guān)于i的輸出標(biāo)簽分配概率。

θij(xi,xj)所描述的是不同觀測(cè)位置上的轉(zhuǎn)移特征函數(shù),能夠反映變量間的相關(guān)性以及觀測(cè)序列對(duì)其影響,公式描述如下:

(7)

式中,cn(fi,fj)表示點(diǎn)i、j處特征向量fi與fj間的高斯核。

綜合式(6)、式(7)能夠得到,通過θij(xi,xj)能夠確定移動(dòng)目標(biāo)點(diǎn)云圖像內(nèi)各點(diǎn)的一致度。若一致度高于設(shè)定的閾值,即可定義各點(diǎn)屬于同一類;反之則認(rèn)為是各點(diǎn)分別屬于兩個(gè)類別。

(3)可分離卷積結(jié)構(gòu)。利用深度卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)移動(dòng)目標(biāo)點(diǎn)云語(yǔ)義分割過程中,通過可分離卷積結(jié)構(gòu)Xception降低網(wǎng)絡(luò)參數(shù)數(shù)量,也就是通過深度卷積與駐點(diǎn)卷積兩個(gè)環(huán)節(jié)共同實(shí)現(xiàn)完整的卷積運(yùn)算[17]。利用上述過程對(duì)深度卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行優(yōu)化后,通過優(yōu)化后的網(wǎng)絡(luò)完成自適應(yīng)巡航系統(tǒng)移動(dòng)目標(biāo)點(diǎn)云圖像的語(yǔ)義分割,由此將移動(dòng)目標(biāo)點(diǎn)云圖像內(nèi)的點(diǎn)云劃分為兩部分,一部分是移動(dòng)目標(biāo)點(diǎn)云,另一部分是背景點(diǎn)云。針對(duì)不同場(chǎng)景內(nèi)的移動(dòng)目標(biāo)點(diǎn)云,采用點(diǎn)云配準(zhǔn)算法,識(shí)別移動(dòng)目標(biāo)軌跡。

1.3 移動(dòng)目標(biāo)點(diǎn)云配準(zhǔn)

1.3.1匹配特征點(diǎn)搜索

在兩幅重疊的移動(dòng)目標(biāo)點(diǎn)云內(nèi)提取獲取特征點(diǎn)集T1和T2。ti表示T2內(nèi)的任意點(diǎn),通過計(jì)算確定ti的高斯曲率與曲率均值,并生成屬性序列Stz(Ki,Hi),確定ti在T2內(nèi)的匹配點(diǎn)。詳細(xì)匹配點(diǎn)搜索過程如下:

(1)根據(jù)T1,T2與點(diǎn)云內(nèi)各點(diǎn)處的高斯曲率與曲率均值確定該點(diǎn)屬性序列st1i、st2i(i=1,2,…,n1;j=1,2,…,n2,n1與n2分別表示T1和T2內(nèi)點(diǎn)的數(shù)量)。

(2)針對(duì)T1內(nèi)各點(diǎn)對(duì)應(yīng)的屬性序列st1i,通過式(8)分別確定T2內(nèi)各點(diǎn)的屬性序列st2i與st1i的Tonimoto系數(shù)(相似度函數(shù))T1i。

(8)

式中,A和B分別表示量特征點(diǎn)屬性向量。

(3)確定T1i的下限值,如果其低于閾值ε,那么對(duì)應(yīng)的特征點(diǎn)對(duì)即為匹配點(diǎn)對(duì);如果不存在低于ε的點(diǎn)對(duì),那么搜索T1內(nèi)后續(xù)點(diǎn)匹配點(diǎn)至T1內(nèi)全部點(diǎn)在T2上的匹配搜索結(jié)束為止。

(4)將所確定的T1和T2內(nèi)匹配的點(diǎn)對(duì)作為最終的配準(zhǔn)點(diǎn)對(duì),由此確定移動(dòng)目標(biāo)點(diǎn)云旋轉(zhuǎn)矩陣R與平移矩陣G。

基于不同場(chǎng)景內(nèi)的點(diǎn)云配準(zhǔn)結(jié)果獲取移動(dòng)目標(biāo)軌跡。

2.3.2點(diǎn)云配準(zhǔn)

(9)

對(duì)語(yǔ)義分割所獲取的移動(dòng)目標(biāo)點(diǎn)云實(shí)施逆變換處理后,在完成高精度的點(diǎn)云配準(zhǔn),能夠快速獲取點(diǎn)云的旋轉(zhuǎn)與平移結(jié)果R′、T′。

2 實(shí)驗(yàn)結(jié)果與分析

為驗(yàn)證本文所研究的基于語(yǔ)義點(diǎn)云的自適應(yīng)巡航系統(tǒng)移動(dòng)目標(biāo)軌跡識(shí)別方法的實(shí)際應(yīng)用性能,以汽車上搭載的某自適應(yīng)巡航系統(tǒng)為研究對(duì)象,采集研究對(duì)象內(nèi)部點(diǎn)云圖像作為測(cè)試圖像集,采用本文方法對(duì)測(cè)試數(shù)據(jù)集內(nèi)的移動(dòng)目標(biāo)進(jìn)行軌跡識(shí)別測(cè)試。研究對(duì)象中采用一家德國(guó)汽車?yán)走_(dá)生產(chǎn)制造商IBEO激光雷達(dá)獲取移動(dòng)目標(biāo)點(diǎn)云圖像,表1所示為IBEO激光雷達(dá)的相關(guān)技術(shù)參數(shù)。

表1 點(diǎn)云獲取的相關(guān)技術(shù)參數(shù)

2.1 濾波性能評(píng)價(jià)

在測(cè)試數(shù)據(jù)集內(nèi)隨機(jī)選取三幅點(diǎn)云圖,采用本文對(duì)其進(jìn)行濾波處理。為分析本文方法的濾波性能,選取國(guó)際普遍認(rèn)可的濾波誤差定量評(píng)價(jià)標(biāo)準(zhǔn),如表2所示,基于該標(biāo)準(zhǔn),評(píng)價(jià)本文方法濾波性能,所得結(jié)果如圖2所示。分析圖2可知,采用本文方法對(duì)所選測(cè)試圖像進(jìn)行濾波處理時(shí),三類誤差均控制在4%以下,其中二類誤差與其他兩種誤差相比均較高。以上數(shù)據(jù)說明本文方法在濾波方面具有較高的濾波精度,同時(shí)穩(wěn)定性也較好。

表2 濾波誤差定量評(píng)價(jià)標(biāo)準(zhǔn)

圖2 濾波性能評(píng)價(jià)結(jié)果

2.2 語(yǔ)義分割性能測(cè)試

針對(duì)上一實(shí)驗(yàn)所選的三幅點(diǎn)云圖,圖內(nèi)移動(dòng)目標(biāo)在行駛過程中均未發(fā)生遮擋問題,采用本文方法對(duì)其進(jìn)行語(yǔ)義分割測(cè)試,圖3為本文方法點(diǎn)云語(yǔ)義分割測(cè)試結(jié)果。分析圖3可知,采用本文方法對(duì)移動(dòng)目標(biāo)進(jìn)行語(yǔ)義分割時(shí),在不同的距離條件與光源條件下均能夠有效實(shí)現(xiàn)點(diǎn)云類別的劃分,準(zhǔn)確獲取移動(dòng)目標(biāo)點(diǎn)云,有利于提升移動(dòng)目標(biāo)軌跡識(shí)別精度。

圖3 語(yǔ)義分割測(cè)試結(jié)果

2.3 點(diǎn)云配準(zhǔn)測(cè)試結(jié)果

以中心位置誤差(用于反映分割出的移動(dòng)目標(biāo)點(diǎn)云區(qū)域同實(shí)際移動(dòng)目標(biāo)點(diǎn)云區(qū)域的中心偏差),與覆蓋率(用于反映分割出的移動(dòng)目標(biāo)點(diǎn)云區(qū)域同實(shí)際移動(dòng)目標(biāo)點(diǎn)云區(qū)域合并部分內(nèi)的重疊比例)為測(cè)試指標(biāo),客觀分析本文方法的點(diǎn)云配準(zhǔn)性能,所得結(jié)果如圖4所示。分析圖4可知,本文方法在點(diǎn)云語(yǔ)義分割過程中,中心位置誤差控制在15像素以內(nèi),而覆蓋率則始終保持在85%以上。由此說明本文方法具有較好的語(yǔ)義分割效果。

圖4 點(diǎn)云配準(zhǔn)測(cè)試結(jié)果

2.4 軌跡識(shí)別測(cè)試

以點(diǎn)云濾波與語(yǔ)義分割結(jié)果為基礎(chǔ),采用本文方法識(shí)別不同移動(dòng)模式下的移動(dòng)目標(biāo)軌跡,所得結(jié)果如圖5所示。分析圖5可知,在目標(biāo)基本沿著直線移動(dòng)的條件下,本文方法識(shí)別出的移動(dòng)目標(biāo)軌跡同其實(shí)際移動(dòng)軌跡完全重合。在目標(biāo)基本沿著曲線移動(dòng)的條件下,本文方法識(shí)別出的移動(dòng)目標(biāo)軌跡同其實(shí)際移動(dòng)軌跡大致重合,僅在小角度轉(zhuǎn)彎區(qū)域所得的軌跡具有一定誤差,但誤差較小。由此說明本文方法能夠準(zhǔn)確識(shí)別移動(dòng)目標(biāo)軌跡。

(a)直線軌跡

為了進(jìn)一步驗(yàn)證本文方法的實(shí)用性,分別采用本文方法與文獻(xiàn)[3]、文獻(xiàn)[4]方法對(duì)巡航系統(tǒng)移動(dòng)目標(biāo)軌跡進(jìn)行識(shí)別。以軌跡識(shí)別精準(zhǔn)度作為指標(biāo),實(shí)驗(yàn)具體結(jié)果如圖5所示。

分析圖6可知,使用本文方法對(duì)巡航系統(tǒng)移動(dòng)目標(biāo)軌跡識(shí)別的準(zhǔn)確率均為95%以上,文獻(xiàn)[4]方法的準(zhǔn)確率為87%～92%,而文獻(xiàn)[5]方法的識(shí)別準(zhǔn)確率為85%～94%。本文方法的準(zhǔn)確率明顯高于其他兩種方法。

圖6 目標(biāo)軌跡識(shí)別精度

為了進(jìn)一步驗(yàn)證本文方法的可行性,選取識(shí)別時(shí)間作為指標(biāo),識(shí)別時(shí)間越長(zhǎng)效率越低,識(shí)別時(shí)間越短效率越高。分別采用本文方法與文獻(xiàn)[3-4]方法對(duì)巡航系統(tǒng)移動(dòng)目標(biāo)軌跡進(jìn)行識(shí)別。實(shí)驗(yàn)具體結(jié)果如表3所示。

表3 移動(dòng)目標(biāo)軌跡識(shí)別時(shí)間 單位:s

分析表3可知,相比其他兩種方法,本文方法在進(jìn)行巡航系統(tǒng)移動(dòng)目標(biāo)識(shí)別時(shí)的識(shí)別時(shí)間最短識(shí)別效率最高,識(shí)別時(shí)間僅需26 s。

綜上,可以得出本文方法具有較高的精確度及識(shí)別效率,更具實(shí)用性和可行性。

3 結(jié)束語(yǔ)

本文提出了基于語(yǔ)義點(diǎn)云的巡航系統(tǒng)移動(dòng)目標(biāo)軌跡識(shí)別方法,引用濾波技術(shù)、語(yǔ)義分割技術(shù)與點(diǎn)云配準(zhǔn)技術(shù)等實(shí)現(xiàn)自適應(yīng)巡航系統(tǒng)移動(dòng)目標(biāo)軌跡識(shí)別。實(shí)驗(yàn)結(jié)果顯示,本文方法具有較好的應(yīng)用性。但由于時(shí)間與技術(shù)所限,本文方法在實(shí)際研究過程中還存在一定不足,如測(cè)試過程中所識(shí)別的移動(dòng)目標(biāo)均為完整目標(biāo),對(duì)于處于遮擋狀態(tài)下的移動(dòng)目標(biāo)軌跡識(shí)別性能未進(jìn)行測(cè)試。因此在后續(xù)優(yōu)化過程中,將針對(duì)這部分內(nèi)容進(jìn)行詳細(xì)測(cè)試,并根據(jù)測(cè)試結(jié)果完善本文方法。