多物體遮擋下基于深度學習的目標跟蹤仿真

王莉君,唐 騫,李 鵬

(1. 成都信息工程大學軟件工程學院,四川 成都 610225;2. 電子科技大學成都學院,四川 成都 610051)

1 引言

目標跟蹤是計算機視覺領(lǐng)域研究的熱點內(nèi)容之一,在人類的生產(chǎn)生活中得到十分廣泛的應用。尤其是最近幾年,在簡單場景目標跟蹤過程中也取得了比較顯著的研究成果[1,2],但是由于經(jīng)常會存在多目標同時出現(xiàn)或者物體遮擋等情況,想要獲取魯棒性較好的目標跟蹤算法是十分困難的。而且大部分人工選取的特征需要通過不同的數(shù)據(jù)和任務進行設計,不僅需要專業(yè)領(lǐng)域的知識,獲取的效果也不是十分滿意。

為了有效解決上述問題,國內(nèi)相關(guān)專家給出了一些較好的研究成果,例如陳富健等人[3]對網(wǎng)絡輸出置信圖的峰值以及連通域的變化規(guī)律進行分析,同時設定不同的跟蹤模式,通過不同的跟蹤模式選擇不同的跟蹤策略。把萍等人[4]通過字典提取局部圖像塊的稀疏系數(shù),采用貝葉斯分類器對目標進行背景和目標分類,通過兩步搜索策略實現(xiàn)目標實時跟蹤。在以上兩種方法的基礎上,提出一種多物體遮擋下基于深度學習的目標跟蹤方法。經(jīng)實驗測試證明,所提方法可以有效提升目標跟蹤精度,同時還可以以更高的成功率進行目標跟蹤,獲取滿意的目標跟蹤結(jié)果。

2 目標跟蹤方法

2.1 目標圖像去噪處理

在進行主成分分析的過程中,需要優(yōu)先進行概率統(tǒng)計。設定m維隨機變量為am,則隨機變量對應的樣本平均值可以表示為

(1)

式中,β(i,j)代表隨機變量的樣本平均值;a(i,j)代表隨機變量的樣本總數(shù)。

主成分分析法主要求解出主成分[5,6],即對數(shù)據(jù)進行降維處理,目標圖像經(jīng)過降維處理后依舊可以有效保存大量細節(jié)信息,會產(chǎn)生比較小的一部分損失。將主成分分析法和局部像素分組相結(jié)合,對目標圖像進行去噪處理。首先采集目標圖像,將采集到含有噪聲的圖像表示為z(i,j),則可以獲取目標圖像的估計圖像,同時還需要確保估計圖像盡可能接近干凈圖像。

將目標圖像的像素塊作為中心,設定規(guī)格為m×n的局部圖像塊,在圖像塊中搜索當前像素塊近似的圖像塊,經(jīng)過整合形成樣本。將各個圖像塊按照像素點的灰度值進行排序,則含有噪聲圖像塊對應的灰度值向量可以表示為式(2)的形式:

(2)

采用局部搜索方法進行相似塊選擇,但是重點需要考慮以下兩個方面的問題:

1)對于已經(jīng)確定的像素塊而言,和其最相似的像素塊通常在設定像素塊的周圍。

2)全局搜索可以在目標圖像中獲取最相似的圖像圖像塊,同時計算量明顯低于局部搜索,且計算效率優(yōu)于局部搜索,整體效果更好。

通過以上分析,不僅需要獲取當前像素塊的相似塊訓練集樣本,同時還需要構(gòu)建樣本的位置矩陣W,采用主成分分析法對目標圖像中的噪聲進行濾波處理。設定目標圖像中當前像素塊的位置向量為z={b0,b1,…,bm-1}T,則目標圖像對應的線性統(tǒng)計量E(i,j)可以表示為式(3)的形式

(3)

由于噪聲和目標圖像是相互獨立分布的,在處理隨機像素的過程中,需要針對隨機一個像素點進行去噪處理。將乘性噪聲進行對數(shù)變換,同時對加性噪聲進行處理,則可以獲取比較理想的去噪結(jié)果,但是會形成一個偏差,所以需要在數(shù)域的估計信號中進行信號偏差求解,詳細的計算式如下

(4)

式中,am(i,j)代表目標圖像的坐標位置;bn(i,j)代表噪聲圖像的坐標位置;A(u)和B(u)分別代表不同的估計信號。

以下給出目標圖像去噪過程[7,8],如圖1所示。

圖1 目標圖像去噪流程圖

1)對目標圖像進行初始化處理。

2)將含噪圖像映射到對數(shù)域,同時將乘性噪聲轉(zhuǎn)換為加性噪聲噪聲進行處理。

3)獲取當前像素點的像素塊以及局部窗。

4)在局部窗中獲取多個相似塊,同時組建訓練樣本集。

5)根據(jù)搜索到的相似樣本塊獲取對應的樣本矩陣,同時對其進行中心化處理,獲取對應的協(xié)方差矩陣,經(jīng)過求解得到正交變換矩陣。

6)在步驟(5)操作的基礎上,將協(xié)方差矩陣轉(zhuǎn)換為對角陣,同時通過線性最小均方誤差進行估計,獲取對應的估計向量。

7)對估計量進行反變換,同時進行去中心化處理,同時加上平均值,進而獲取初始目標圖像的估計值。

8)對對數(shù)變換過程中形成的偏差進行估算。

9)根據(jù)偏差估計獲取初始目標圖像的估計值,進而實現(xiàn)目標圖像去噪[9,10]。

2.2 基于深度學習的目標圖像特征提取

為了準確識別目標,實現(xiàn)有效跟蹤,需要優(yōu)先提取目標圖像的幾何特征。在進行特征提取前期,需要針對目標圖像進行分塊處理,通過不同特征相似性進行目標的局部信息度量,同時對目標圖像進行處理和分析,構(gòu)建如式(5)所示的序列Dif(d1,d2)

Dif(d1,d2)=Mmine(ui,uj)

(5)

式中,e(ui,uj)代表目標圖像采樣點的坐標位置。

將未進行識別的特征劃分到子空間中,進而獲取目標圖像的幾何像素輸出S(i,j),具體計算式如下

S(i,j)=jm(i)v(i)+H(1-v(i))

(6)

式中,jm(i)代表目標圖像的分塊像素集;v(i)代表目標圖像的最大特征值;H代表目標圖像邊緣。

當目標圖像完成圖像分塊以及模板匹配之后,需要構(gòu)建主特征向量空間,同時對目標圖像進行邊緣檢測,將提取到的目標圖像特征進行幾何分割以及邊緣增強處理,最終得到目標圖像輪廓區(qū)域的分布估計值Nlm[g(i)],如式(7)所示

(7)

式中,α(i,j)代表像素重構(gòu)系數(shù);φ(i,j)代表目標圖像的輪廓特征量。

對目標圖像進行自適應像素分塊處理,進而獲取目標圖像的權(quán)重取值ω(i,j)

(8)

式中,e(i,j)代表目標圖像的輪廓分布特征點。

在進行目標圖像輪廓檢測的基礎上,通過目標圖像的顏色采用統(tǒng)計分析方法對目標圖像進行區(qū)域重構(gòu),根據(jù)目標圖像輪廓信息獲取直覺模糊集Ggif(i,j),如式(9)所示

Ggif(i,j)=-lg((d1,d2)h(x,y))

(9)

通過式(10)獲取目標圖像的角點信息l(i,j),如式(10)所示

(10)

式中,s(t)代表不變矩的特征向量。

通過目標在三維空間的旋轉(zhuǎn)尺度,可以獲取目標圖像的幾何離散度ψ(i,j)(u),如式(11)所示

ψ(i,j)(u)=[D(i,j)ψ(i,j)]

(11)

式中,D(i,j)代表神經(jīng)網(wǎng)絡的結(jié)構(gòu)參數(shù);ψ(i,j)代表目標圖像的空間投影結(jié)果。

通過模板匹配方法,可以獲取提取目標圖像的彈性模板T(u),如式(12)所示

(12)

式中,f(t)代表圖像分塊數(shù)量。

采用自適應特征分解以及差異性特征點標定方法對目標圖像進行特征提取[11,12],詳細的計算式為

(13)

式中,R代表目標圖像的特征提取結(jié)果;q(i,j)代表目標圖像的色差;x(i)和y(i)分別代表不同目標圖像的高低頻子帶;h(i,j)代表目標圖像的梯度像素差。

針對已經(jīng)提取到的目標圖像特征[13,14],需要引入深度學習中的卷積神經(jīng)網(wǎng)絡進行目標圖像分類,同時設定網(wǎng)絡學習步長,根據(jù)自適應加權(quán)算法即可獲取分類對應的加權(quán)系數(shù)。為了提升卷積神經(jīng)網(wǎng)絡在目標圖像分類過程中的準確性,需要在隱含層中加入自適應調(diào)節(jié)向量,同時按照順時針方向進行搜索,對目標圖像被遮擋的區(qū)域進行特征提取,通過卷積神經(jīng)網(wǎng)絡實現(xiàn)對目標特征提取結(jié)果的優(yōu)化,使得特征提取結(jié)果更加準確。

2.3 多物體遮擋下基于深度學習的目標跟蹤

使用粒子濾波對目標圖像的運動過程進行估計,隨著采樣粒子數(shù)量的逐漸增加,可以對粒子進行加權(quán)計算,有效確保粒子的重要性。則后驗濾波概率對應的密度q(x0it,y0it)可以表示為式(14)的形式

(14)

當采樣數(shù)據(jù)比較大時,則對應函數(shù)的期望估計可以表示為式(15)的形式

(15)

式中,f(m,n)代表函數(shù)的期望估計值。

將重要性概率分布代入到權(quán)值計算中,則可以得到

(16)

式中,p(xi,yi)代表權(quán)值對應的遞歸集合。

對目標所在坐標位置進行標記,通過目標位置采集經(jīng)過訓練的正負樣本,同時將正負樣本輸入到檢測器中,對卷積神經(jīng)網(wǎng)絡以及SVM分類器進行訓練,將訓練好的檢測器進行保存。通過粒子濾波算法對目標進行運動估計,即可獲取目標的候選區(qū)域,將候選區(qū)域送入到已經(jīng)訓練好的網(wǎng)絡中,當目標發(fā)生比較大的變化時,則通過閾值判定是否需要重新訓練檢測器,進而解決目標圖像變化問題。

在進行計算的初始階段,由于已知目標圖像第一幀像素點,在鄰近幀進行目標尺寸采樣處理,其中偏移采樣范圍主要包含目標跟蹤以及圖像重構(gòu)等[15],獲取目標圖像正樣本集合。對負樣本進行采樣時,需要進行大范圍采樣,其中不包含目標跟蹤,最終獲取負樣本集合。將以上兩種樣本進行歸一化處理,進而獲取大小相同的目標圖像。

將特征提取結(jié)果和分類器兩者共同組成檢測器,結(jié)合粒子濾波方法對目標進行跟蹤,詳細的操作流程如下:

1)對全部粒子集合進行初始化處理,同時隨機形成采樣粒子。

2)在下一個全新的時刻,通過上一時刻的采樣結(jié)果按照高斯分布進行采樣,同時更新權(quán)重取值,同時對其進行歸一化處理。

3)對粒子集進行重采樣,獲取全新的粒子集。

4)獲取在設定時間段的狀態(tài)估計值,實現(xiàn)多物體遮擋下基于深度學習的目標跟蹤。

3 仿真研究

為了驗證所提多物體遮擋下基于深度學習的目標跟蹤方法的有效性,需要進行仿真測試。將文獻[3]方法和文獻[4]方法作為對比方法,在相同視頻下分析不同方法的跟蹤性能,具體實驗結(jié)果如圖2所示。

圖2 不同方法的目標跟蹤性能測試結(jié)果對比

分析圖2中的實驗數(shù)據(jù)可知,所提方法在有帽子遮擋情況下,依舊可以準確對目標進行跟蹤,而另外兩種方法的跟蹤效果并不是十分好,驗證了所提方法的優(yōu)越性。

分析不同方法在物體遮擋率不斷增加情況下的目標跟蹤成功率變化情況,詳細的實驗測試結(jié)果如表1所示。

表1 不同方法的目標跟蹤成功率對比結(jié)果

由表1中的實驗數(shù)據(jù)可知,所提方法的目標跟蹤成功率明顯優(yōu)于兩種方法,可以更加準確跟蹤目標,定位目標位置,進一步驗證了所提方法的優(yōu)越性。

為了進一步驗證所提方法的優(yōu)越性,分別對不同目標進行跟蹤,分析物體遮擋率不斷增加情況下不同運動目標采用三種方法的跟蹤精度變化情況,詳細實驗測試結(jié)果如圖3所示。

圖3 不同方法的目標跟蹤精度測試結(jié)果對比

由圖3中的實驗數(shù)據(jù)可知,不同方法的目標跟蹤精度會隨著物體遮擋率的增加呈現(xiàn)下降趨勢。但是相比另外兩種方法,所提方法的跟蹤精度明顯更高。主要是因為所提方法對目標圖像進行濾波處理,有效濾除圖像中的噪聲,確保目標跟蹤精度得到有效提升。

4 仿真研究

為了獲取更加滿意的目標跟蹤效果,設計并提出一種多物體遮擋下基于深度學習的目標跟蹤方法。和已有方法進行實驗測試對比可知,所提方法的目標跟蹤精度以及目標跟蹤成功率均高于其它方法,可以準確對目標進行跟蹤。后續(xù)將針對所提方法存在的缺陷進一步展開研究,尤其是抗旋轉(zhuǎn)方面,將對其進行深入優(yōu)化,確保所提方法的整體性能得到有效提升。