B樣條曲面三維擴展目標跟蹤算法

陳 振,李翠蕓,李 想

(西安電子科技大學 電子工程學院,陜西 西安 710071)

1 引 言

目標跟蹤是根據(jù)傳感器獲得的數(shù)據(jù),對一定觀測區(qū)域內(nèi)運動目標的狀態(tài)進行估計的過程。泊松多伯努利混合(Poisson Multi-Bernoulli Mixture,PMBM)[1]濾波器,在目標存在漏檢、新生或者消亡的情況下,可以準確地估計多目標的狀態(tài),受到大量學者的青睞。隨著傳感器精度的不斷提高,針對擴展目標估計的研究逐漸興起,即除了估計目標的位置和數(shù)量外,還要擬合目標的具體形狀。其中,KOCH[2]于2008年利用橢圓的長短軸和旋轉(zhuǎn)角等參數(shù)可以用隨機矩陣(Random Matrices,RM)表示的特性,用隨機矩陣作為橢圓形擴展目標的形狀參數(shù)。但隨機矩陣可以利用橢圓形狀建模出目標的輪廓和朝向,卻無法建模出復雜形狀的信息。2009年,BAUM等[3]通過偽量測進行形狀的修正,提出隨機超曲面模型,并于2011年提出了星凸隨機超曲面模型[4]。該模型利用徑向函數(shù)可以有效地估計形狀不規(guī)則的目標,但是需要考慮一個約束條件[5]。文獻[6]用乘性噪聲模型對目標進行建模,能夠在交叉、近鄰場景中實現(xiàn)對目標的有效跟蹤。為了細致地刻畫目標形狀,LAN等[7]提出了多橢圓來表示目標形狀,通過傳遞多個隨機矩陣以實現(xiàn)對目標形狀的刻畫。但這種方法需要先驗設(shè)置橢圓數(shù)量,并且形狀估計的效果受橢圓之間位置的影響。除此之外,高斯過程回歸也常應用于擴展目標估計。文獻[8]中將高斯過程用于擴展目標估計并采用了軸對稱的協(xié)方差函數(shù),在估計非軸對稱目標時效果較差。隨后,陳輝等[9]將隨機超曲面與高斯過程回歸模型結(jié)合,對星凸型擴展目標進行了研究,但存在徑向函數(shù)計算開銷大的問題。文獻[10]中利用B樣條曲線實現(xiàn)了對二維擴展目標的估計,即實現(xiàn)了對任意形狀目標的估計,但B樣條曲線受控制點選取的影響較大。文獻[11]中通過標簽來實現(xiàn)非橢球目標和子對象之間的關(guān)聯(lián),完成對子對象數(shù)量不等的非橢球目標的估計,能夠自適應地調(diào)整子對象的數(shù)量,并且在擴展狀態(tài)發(fā)生變化時具有更好的性能。文獻[12]中提出了一種基于控制點的擴展目標估計方法來簡化擴展形狀描述問題,之后又針對量測不均勻分布提出了條件高斯混合模型[13]。YANG等[14]把B樣條與PHD濾波器相結(jié)合,對星凸型目標進行估計,實現(xiàn)了較好的估計效果。

以上的研究是在二維平面對目標形狀進行估計,形狀估計和跟蹤技術(shù)都比較多。盡管能夠生成三維量測數(shù)據(jù)的激光雷達等傳感器的應用越來越多,但在三維空間中解決擴展目標跟蹤的問題的研究卻比較少。這些研究中的大多數(shù)都是對基本幾何模型的直接概括,并通過例如橢圓體或邊界框來表示范圍。文獻[15]中通過徑向函數(shù)描述投影的形狀,并結(jié)合高斯過程來估計三維空間下的目標形狀,但此方法需要大量的點云數(shù)據(jù),使計算負載較大。文獻[16]從稀疏點云測量中同時估計擴展三維對象表面和運動學狀態(tài),再結(jié)合高斯過程實現(xiàn)對三維汽車模型的擴展目標形狀和運動估計,但此方法耗費計算資源較大,且最后實現(xiàn)的估計精度也較低。

針對上述問題,筆者提出了一種低量測率下基于B樣條曲面的擴展目標(B-Spline-PMBM)濾波器。該算法通過小波聚類得到同一時刻的各個目標的量測集合,將量測集輸入PMBM濾波器,獲得目標質(zhì)心運動狀態(tài)并更新控制矩陣。隨后,通過控制矩陣生成當前時刻的B樣條節(jié)點,利用B樣條曲面獲得目標三維形狀,結(jié)合目標質(zhì)心狀態(tài)與形狀估計完成對三維擴展目標的跟蹤。通過對比實驗,驗證了該算法在三維目標形狀估計方面的有效性。

2 三維量測數(shù)據(jù)融合

三維擴展目標的估計不同于二維擴展目標,所需的量測數(shù)量多的同時要求量測的完整性高。一般憑借單個傳感器,很難在單位時間內(nèi)得到足夠的量測對三維目標形狀進行估計。因此,在多傳感器探測下可以利用數(shù)據(jù)融合解決三維目標形狀估計中的量測數(shù)量多和完整性要求高的問題,保證目標形狀估計的準確度。筆者融合的數(shù)據(jù)來自3個同質(zhì)的傳感器,設(shè)置在3個不同的角度,分別能獲得三維目標的不同角度的量測值。由于不同角度的傳感器獲得的量測的坐標系一般是相對于本傳感器,融合即是指將3個傳感器的量測首先經(jīng)過坐標變換到同一坐標系下,然后利用小波變換將屬于同一個目標的量測劃分出來,經(jīng)過上述步驟最終得到屬于同一個目標的量測值。

(1)

小波聚類的主要步驟如下。

輸入:同一時刻的多傳感器量測數(shù)據(jù)。

輸出:聚類量測簇。

(1)坐標系轉(zhuǎn)換;

(2)根據(jù)預先設(shè)定的特征空間大小,劃分特征空間并標記量測;

(3)對每一個特征空間使用小波聚類;

(4)尋找連通域,形成量測簇;

(5)再次標記量測簇;

(6)根據(jù)標記簇中各個特征空間的量測標記,將量測與量測所在簇進行標簽,形成查找表;

(7)根據(jù)查找表,形成由一個個量測點組成的量測簇。

3 三維擴展目標建模

在對三維擴展目標進行跟蹤時,需要對各個目標產(chǎn)生的量測數(shù)目、目標的運動狀態(tài)以及目標的擴展形狀三部分信息進行估計。其中三維目標擴展形狀的建模是難點,傳統(tǒng)算法通常是將擴展形狀建模為橢球,但有些模型形狀復雜且難以表征,例如立方體、十字架等。因此,筆者提出了用B樣條曲面對三維擴展目標形狀進行建模。

3.1 擴展目標狀態(tài)

狀態(tài)空間模型表示如下:

x=(xr,xc,xε)∈R+×Rn×Cd,

(2)

其中,xr∈R+,表示目標產(chǎn)生量測時的泊松率;R+表示正實數(shù)空間。xc∈Rn,表示目標的運動狀態(tài);Rn表示n維實數(shù)空間。xε∈Cd,表示目標擴展形狀;Cd表示描述目標擴展形狀的d維矩陣空間。

k時刻擴展目標的狀態(tài)空間分布是上面提到的三部分之積,表示如下:

(3)

(4)

(5)

3.2 B樣條曲面擬合

圖1 B樣條曲面示意圖

如圖1所示,給定參數(shù)軸u和v的節(jié)點矢量U=[u0,u1,…,um+p]和V=[v1,v2,…,vn+q],p×q階B樣條曲面可定義如下:

(6)

節(jié)點矢量t將區(qū)間[t1,tm]分成多個間隔,在每個間隔的基礎(chǔ)上定義B樣條曲線的基函數(shù),即deBoor-Cox遞歸公式,表示為

(7)

其中,ti表示節(jié)點矢量t中的第i個元素,p表示基函數(shù)的階數(shù)。

3.3 控制矩陣的獲取

控制矩陣中的每一個元素都是三維空間中的一組三維坐標,稱為控制點?？刂凭仃嘋是通過對三維空間數(shù)據(jù)融合后的所有量測進行劃分得到的。首先沿z軸劃分m個區(qū)間,對每個區(qū)間沿順時針方向劃分為n個子空間,每個子空間包含一個控制點。子空間中的控制點由劃分到該空間內(nèi)的量測進行更新。

由上可知,m和n越大,表示劃分子區(qū)間越多,B樣條曲面的建模粒度越細,同時所需的有效量測數(shù)量越多,計算量越大。所以在用B樣條曲面對擴展目標進行建模時,大小合適的控制矩陣是能否快速、準確地擬合目標擴展形狀的關(guān)鍵?？刂凭仃嚲S數(shù)m和n的選取與采用傳感器的精度有關(guān)。若m和n選取得過大,由于受到傳感器精度的限制,則目標的形狀估計并不能隨著劃分區(qū)間的增加而表現(xiàn)更多的細節(jié)信息。假設(shè)Δr為傳感器的距離分辨力,理論上在進行控制矩陣的維數(shù)選取時,每一個劃分區(qū)間應不小于Δr,可理解為

(8)

其中,r為初始化的目標半徑。

4 B樣條曲面的三維PMBM濾波算法

算法的流程如下:

步驟1 獲得多目標量測。

首先對k時刻的量測集合進行多傳感器數(shù)據(jù)融合,得到各個目標的量測簇集合。

步驟2 預測。

擴展目標的預測密度pk|k-1(x)表示如下:

(9)

其中,f(xk|xk-1)表示從當前時刻到下一時刻的轉(zhuǎn)移密度。對上式第2行進行近似處理,量測率的預測結(jié)果如下:

(10)

其中,η為指數(shù)遺忘因子,p(xr,k-1|Z1:k-1)表示泊松率密度函數(shù),fr(xr,k|k-1|xr,k-1)為泊松率轉(zhuǎn)移概率密度。

式(9)的第3行為運動狀態(tài)部分,在線性高斯運動模型下可得到閉合形式的解為

(11)

其中,p(xc,k-1|xε,k-1,Z1:k-1)表示運動狀態(tài)概率密度,fc(xc,k|k-1|xc,k-1,xε,k|k-1)為對應的轉(zhuǎn)移概率密度,F為狀態(tài)轉(zhuǎn)移矩陣,Q為過程噪聲協(xié)方差矩陣。

式(9)的第4行為目標的擴展形狀部分,該部分使用B樣條曲面模型進行建模,其分布可以近似為

(12)

其中,p(xε,k-1|Z1:k-1)為擴展狀態(tài)概率密度,fε(xε,k|k-1|xε,k-1)是擴展狀態(tài)轉(zhuǎn)移概率密度。

步驟3 更新。

輸入多傳感器融合后各目標的量測集。每一個擴展目標會根據(jù)該時刻劃分給該目標的量測集W對目標的運動狀態(tài)、目標量測率和目標擴展形狀進行更新。若目標匹配到對應量測,則目標擴展狀態(tài)的更新密度為

(13)

對目標運動狀態(tài)參數(shù)的更新:

(14)

Pk|k=Pk|k-1-KkHPk|k-1,

(15)

(16)

(17)

(18)

(19)

5 仿真實驗與分析

為了驗證上面所提的B-Spline-PMBM算法跟蹤三維擴展目標時對質(zhì)心運動狀態(tài)和形狀演化的有效性,設(shè)置了3個實驗。實驗1對比在單目標場景下,估計橢球形三維擴展目標的形狀時B-Spline-PMBM和GGIW-PMBM[17]的有效性;實驗2對比多目標場景下,估計多種擴展目標形狀時兩種算法的有效性。在每個仿真實驗中,蒙特卡羅次數(shù)均為100。實驗3使用真實點云數(shù)據(jù)集驗證所提出的算法對復雜形狀的跟蹤和估計效果。實驗中使用的評價指標有兩種:一種是對于目標質(zhì)心運動性能的評價,采用的方法是最優(yōu)子模式分配距離(Optimal Sub-Pattern Assignment,OSPA)[17];另一種是對于目標形狀的估計性能的評價,采用的方法是交并比(Intersection-over-Union,IoU)[18]。

5.1 實驗1

圖2 跟蹤橢球目標時傳感器接收到的量測

(20)

(21)

圖3 B-spline-PMBM跟蹤橢球目標放大圖

圖4 GGIW-PMBM跟蹤橢球目標放大圖

圖5為目標形狀估計的IoU,圖6為目標的質(zhì)心位置平均OSPA距離?？梢钥闯?兩種算法對于橢球目標的形狀均可實現(xiàn)良好的估計效果,并且估計的形狀貼合真實目標。

兩種算法的IoU最后都收斂到0.9左右,精度高。區(qū)別在于,GGIW-PMBM估計擴展形狀時,使用的是長短軸,利用了橢球的方程;而B-Spline-PMBM使用的是控制矩陣。從圖5中可以看出,前6 s內(nèi)B-Spline-PMBM的收斂速度略慢,但收斂后B-Spline-PMBM的IoU穩(wěn)定性明顯優(yōu)于GGIW-PMBM算法的。

圖5 跟蹤橢球目標時兩種算法的IoU

從圖6可以看出,B-Spline-PMBM算法的OSPA值小于GGIW-PMBM算法的且波動小。兩種算法對目標質(zhì)心的估計都是通過PMBM算法獲得的,但B-Spline-PMBM算法在PMBM估計質(zhì)心的基礎(chǔ)上通過控制矩陣的形狀信息對質(zhì)心進行修正,所以質(zhì)心估計得更準確。綜上,兩種算法對橢球目標的質(zhì)心和擴展形狀都能進行準確估計。表1為達到相同IoU時,單傳感器與多傳感器B-Spline-PMBM算法的運行時間對比。

圖6 跟蹤橢球目標時兩種算法的OSPA

表1 B-Spline-PMBM單-多傳感器算法的運行時間對比 s

從表1可以看出,由于多傳感器B-Spline-PMBM算法獲得的量測更多,經(jīng)過三維量測融合后,三維形狀的估計精度能在一定時間內(nèi)達到較高的水平。單傳感器B-Spline-PMBM算法只能獲得目標某一個面的量測,數(shù)量有限且不夠完整,所以估計精度不能隨著時間的推移而升高。從表1中還可以看出,單傳感器B-Spline-PMBM算法的IoU會在0.4左右停滯,難以完成對三維形狀的準確估計。

5.2 實驗2

為了研究B-Spline-PMBM和GGIW-PMBM算法同時估計多個三維目標形狀的能力,設(shè)計了如下的跟蹤場景:跟蹤區(qū)域為[-200 m,200 m]×[-200 m,200 m]×[-200 m,200 m]。3個傳感器的位置分別為[-200,200,200]、[-200,0,-200]和[0,0,-200]。圖7是多目標量測,圖中3個目標的運動軌跡并沒有在運動過程中相交,其他參數(shù)例如目標存活概率、目標運動模型、目標量測率、雜波泊松率、目標檢測概率、參數(shù)m、n的選取等,均與實驗1相同。0為目標初始化參數(shù)。

圖7 多目標量測

表2中,目標1是軸長分別為2 m、2 m和1 m的橢球;目標2是邊長為2 m的立方體;目標3為十字架,長為10 m,寬為8 m,高為2 m。目標的體積差異不影響本章節(jié)算法的形狀辨識性能,所有目標均初始化為一個球徑為3 m的球體。圖8與圖10為運動軌跡圖,圖9與圖11為目標放大圖。

表2 目標的初始化參數(shù)

圖8 B-Spline-PMBM跟蹤立方體目標運動軌跡

圖9 B-Spline-PMBM跟蹤立方體目標放大圖

圖10 B-Spline-PMBM跟蹤十字架目標運動軌跡

圖11 B-Spline-PMBM跟蹤十字架目標放大圖

從圖8至圖11可以看出,即使十字架形目標形狀復雜,B-Spline-PMBM依然可以相對準確地估計出跟蹤目標的三維擴展形狀。圖12和圖13分別為GGIW-PMBM跟蹤立方體目標和十字架目標的局部放大圖。

從圖12和圖13看出,GGIW-PMBM算法估計方形和十字架形的目標時,最終會收斂為一個球體,不能實現(xiàn)對形狀的準確估計。因為GGIW-PMBM算法是根據(jù)長短軸和橢球方程來估計擴展目標狀態(tài)的。結(jié)合兩種算法的估計結(jié)果,可以看出在擴展目標形狀估計方面,無論是從精度還是泛用性上來說,B-Spline-PMBM算法的估計能力明顯優(yōu)于GGIW-PMBM算法的。圖14為B-Spline-PMBM算法與真實目標數(shù)目的對比。圖15為兩種算法的OSPA比較。

圖12 GGIW-PMBM跟蹤立方體目標放大圖

圖13 GGIW-PMBM跟蹤十字架目標放大圖

圖14 目標數(shù)估計

圖15 OSPA距離

不難看出,所提算法在多目標場景下不管是對目標質(zhì)心位置的估計,還是對目標數(shù)目的估計都有良好的效果。但是,由于PMBM濾波器本身的特性,即引入了假設(shè)的思想,當目標數(shù)目發(fā)生變化時,會生成一個新的全局假設(shè)并根據(jù)權(quán)值判斷多目標的狀態(tài)。所以當目標2在31 s時刻死亡時,會存在目標2還未死亡的全局假設(shè),從而導致了估計的目標數(shù)在31 s時刻依然為3;之后在32 s時刻,該全局假設(shè)的權(quán)值低于閾值,目標數(shù)目的估計收斂為真實值,因此出現(xiàn)了圖14中估計結(jié)果相對真實結(jié)果的延遲。

5.3 實驗3

為了驗證B-Spline-PMBM算法在實際場景中的有效性,使用公開ShapeNetCore點云數(shù)據(jù)集中的汽車和飛機點云數(shù)據(jù)來驗證本算法的三維形狀估計效果。跟蹤區(qū)域的大小設(shè)置為[-100 m,100 m]×[-100 m,100 m]×[-100 m,100 m],跟蹤時長為30 s。使用隨機下采樣對原始點云進行處理,模擬不同時刻的目標點云數(shù)據(jù)。圖16和圖17是兩種視角下的汽車原始點云圖。

圖16 汽車原始點云圖(視角1)

圖17 汽車原始點云圖(視角2)

從圖16和圖17看,汽車點云數(shù)據(jù)形狀比較規(guī)則,類似于立方體。

圖18和圖19是使用文中算法獲取的汽車形狀估計的結(jié)果。從圖18和19可以看出,B-Spline-PMBM對于汽車這類輪廓形狀比較規(guī)則的目標可以較為準確地估計出跟蹤目標的三維擴展形狀。對于汽車中尺寸較小的部件(如車輪),圖18和圖19中的結(jié)果無法明顯地顯示其形狀。若需要更精細的形狀估計結(jié)果,需要增加控制點的個數(shù)和量測的數(shù)量,計算復雜度會增大。

圖18 汽車形狀估計結(jié)果(視角1)

圖19 汽車形狀估計結(jié)果(視角2)

圖20和圖21是兩種視角下的飛機原始點云圖。圖22和圖23是使用文中算法獲取的飛機形狀估計的結(jié)果。

圖20 飛機原始點云圖(視角1)

圖21 飛機原始點云圖(視角2)

圖22 飛機形狀估計結(jié)果(視角1)

圖23 飛機形狀估計結(jié)果(視角2)

圖20和圖21中的飛機形狀相比十字架目標更為復雜。從圖22和23可以看出,B-Spline-PMBM能夠擬合出飛機的機身和機翼形狀,對于飛機的尾部和發(fā)動機能夠粗略地擬合。由于圖21中飛機尾部的點云高度大于飛機其他部分點云的,導致控制點擬合成曲面時,尾部區(qū)域所對應的控制點會與其相鄰控制點進行連接,因此只能實現(xiàn)尾翼的大致擬合。

由仿真和真實點云數(shù)據(jù)驗證獲得的結(jié)果可以看出,對于簡單形狀目標和復雜形狀目標,文中所述的算法都能較好地估計出三維擴展目標的形狀。

6 總 結(jié)

針對低量測率下三維空間中的多擴展目標形狀估計問題,筆者提出了在多傳感器的情況下,基于B樣條曲面的多目標PMBM濾波器。首先將得到的量測簇輸入至PMBM濾波器,獲得目標的質(zhì)心并更新對應的控制矩陣;其次,通過控制矩陣進行B樣條曲面估計;最后,結(jié)合質(zhì)心狀態(tài),獲得三維目標的擴展狀態(tài)。仿真實驗結(jié)果和真實點云數(shù)據(jù)集的驗證結(jié)果表明,針對復雜形狀的三維擴展目標,現(xiàn)有GGIW-PMBM濾波器不能準確地估計擴展形狀,相比之下,B-Spline-PMBM濾波器的估計精度高且泛用性廣,能夠適用于產(chǎn)生點云數(shù)據(jù)的傳感器如激光雷達的應用之中。

下一步將針對B樣條曲面的基函數(shù)選取問題展開研究。