基于模型融合和特征關(guān)聯(lián)的視頻目標跟蹤算法

季 露，陳 志，岳文靜

(1.南京郵電大學(xué) 計算機學(xué)院，江蘇 南京 210023；2.南京郵電大學(xué) 通信與信息工程學(xué)院，江蘇 南京 210003)

0 引 言

視頻目標跟蹤要求確定運動目標在視頻連續(xù)序列圖像中的位置[1]。這個過程通常用到模型匹配、均值漂移等方法[2-4]。上述方法在低噪聲條件下對運動目標跟蹤效果較好，但是在高噪聲條件下會嚴重地降低跟蹤性能，并且在運動目標數(shù)量增長和目標間相互遮擋的情況下，跟蹤失效的可能性將大大增加。Liu等在均值漂移算法的基礎(chǔ)上結(jié)合邊緣與中心加權(quán)法計算巴氏系數(shù)，以此判斷目標變化以增減核窗寬，該方法準確率較高，但在高噪聲條件下目標丟失嚴重[5]。Meshgi等利用顏色直方圖對目標建模，通過迭代得到與目標模型相似度最高的區(qū)域，該方法實時性高，但容易受到目標尺度變化和遮擋的影響[6]。Dong等針對跟蹤過程中出現(xiàn)的遮擋問題提出了基于NMI的運動搜索跟蹤算法，該方法提高了目標跟蹤的魯棒性和抗噪聲性，但是計算復(fù)雜度較高[7]。

可見，普遍存在的背景噪聲和大規(guī)模視頻目標跟蹤的應(yīng)用需求使得視頻多目標跟蹤算法設(shè)計需要解決以下問題：

(1)背景噪聲干擾。視頻中場景通常呈現(xiàn)動態(tài)特征，如隨風搖擺的樹枝、光照變化等，這些噪聲將影響目標提取的準確性。

(2)遮擋問題。目標運動過程中通常伴隨著目標間相互遮擋和場景中其他靜物遮擋等問題。在目標被遮擋的情況下，跟蹤算法將無法繼續(xù)準確跟蹤。

(3)穩(wěn)定跟蹤問題。目標跟蹤實際上是特征匹配的過程，在多目標的特征匹配中容易出現(xiàn)混亂，造成跟蹤不穩(wěn)定或失效。

良好的視頻多目標跟蹤算法需要有較強的抗噪性和魯棒性，能夠克服目標區(qū)域檢測不完整問題，同時解決目標間相互遮擋導(dǎo)致的跟蹤失效。為此，結(jié)合對稱幀間差分法[8]、滑動平均背景法[9]、金字塔光流法[10]和卡爾曼濾波法[11]，設(shè)計一種視頻多目標跟蹤算法，解決上述問題，提高在噪聲環(huán)境中目標區(qū)域檢測的完整性和多目標跟蹤的準確率。

1 基于改進對稱幀間差分和滑動平均背景差分的目標輪廓提取

視頻目標檢測是指從序列圖像中將運動目標從背景圖像中提取出來，獲得準確的檢測結(jié)果是目標跟蹤的關(guān)鍵[12]。為準確提取運動目標輪廓，現(xiàn)改進對稱幀間差分法，對相鄰的四幀圖像進行兩兩差分，得到的差分圖像再兩兩進行邏輯“或”運算，接著結(jié)合改進后的對稱幀間差分和滑動平均背景差分提取出運動目標輪廓。算法具體描述如下：

1.采用改進的對稱幀間差分法提取出運動目標輪廓，具體如下：

(1)判斷是否已讀取四幀圖像，如果不足四幀，則將當前幀進行灰度化處理[13]后繼續(xù)讀取。

(2)對連續(xù)四幀圖像兩兩進行差分并利用Otsu閾值分割算法[14]得到最優(yōu)閾值T，以對差分圖像進行二值化處理。為了避免運動目標邊緣空洞，消除圖像中的孤立噪聲，對二值圖像進行了形態(tài)學(xué)膨脹和腐蝕運算。

(3)對二值圖像兩兩進行“或”運算后對結(jié)果再次進行“或”運算，提取出運動目標輪廓D1。

2.采用滑動平均背景差分法提取出運動目標輪廓，具體如下：

(1)判斷當前幀是否是第一幀，如果是則將第一幀圖像當作初始背景。

(2)對當前幀圖像與背景圖像進行差分并設(shè)置閾值T'對差分圖像進行二值化處理，提取出運動目標輪廓D2。

(3)對背景圖像進行更新，在當前幀中，對于已經(jīng)判斷為運動目標的像素點，仍保持原來的灰度值；對于已經(jīng)判斷為背景圖像的像素點，則按照式1進行更新。

(1)

3.將兩次提取出的運動目標輪廓D1和D2進行“與”運算，對結(jié)果進行區(qū)域連通性分析后準確提取出運動目標完整輪廓D。為了簡化運算，規(guī)定將運動目標輪廓的中心點作為運動目標的質(zhì)心。

2 基于金字塔光流法的質(zhì)心跟蹤

為使跟蹤算法能快速運行，保證實時處理時不丟幀，下面將視頻圖像按高斯金字塔[15]分解向下采樣，對采樣后的圖像利用光流法進行質(zhì)心跟蹤。具體算法描述如下：

(1)判斷當前幀是否是第一幀，如果是則將第一幀中檢測到的運動目標輪廓作為角點的初始值并存入向量P[0]。

(2)構(gòu)建高斯金字塔進行光流計算，預(yù)測出角點在下一幀中的位置并存入向量P[1]。

(3)去除不好的特征點，對跟蹤成功角點的數(shù)目和坐標分別進行累加。

(4)交換向量P[0]和P[1]，同時利用跟蹤成功的角點坐標計算中心坐標，估計出運動目標的質(zhì)心位置，將角點跟蹤轉(zhuǎn)換成質(zhì)心跟蹤。

3 基于卡爾曼濾波的多目標跟蹤和特征關(guān)聯(lián)

為解決目標遮擋導(dǎo)致的跟蹤失效，提高多目標跟蹤的準確率，下面引入卡爾曼濾波模型和匈牙利算法?？柭鼮V波根據(jù)當前幀運動目標質(zhì)心坐標預(yù)測出運動目標在下一時刻的質(zhì)心坐標，接著利用匈牙利算法[16]計算最優(yōu)匹配進行特征關(guān)聯(lián)，最后修正卡爾曼濾波參數(shù)，實現(xiàn)對運動目標的精確定位和跟蹤。具體算法描述如下：

1.對卡爾曼濾波器參數(shù)進行初始化，獲取運動目標的質(zhì)心坐標等參數(shù)。

2.設(shè)k時刻運動目標的質(zhì)心檢測集合是Dk={d1,d2,…,dn}，利用卡爾曼濾波對Dk中的每個運動目標質(zhì)心di進行預(yù)測，得到質(zhì)心坐標預(yù)測值pi，即質(zhì)心坐標預(yù)測集合為Pk={p1,p2,…,pn}。設(shè)k+1時刻運動目標的質(zhì)心檢測集合是Dk+1={d1,d2,…,dm}，將質(zhì)心預(yù)測坐標和下一時刻檢測坐標的歐氏距離作為效益矩陣，利用匈牙利算法計算最優(yōu)匹配進行特征關(guān)聯(lián)，對質(zhì)心坐標預(yù)測值Pk和下一時刻檢測值Dk+1進行指派，其中歐氏距離計算見式2。

(2)

其中，(x1,y1)表示質(zhì)心預(yù)測坐標；(x2,y2)表示下一時刻質(zhì)心檢測坐標；d表示歐氏距離。

3.在實際跟蹤過程中，需要考慮跟蹤失效和跟蹤遺漏的情況，去除跟蹤器中不滿足要求的部分，同時為未指派的檢測建立跟蹤單元，具體原則如下：

(1)去除跟蹤器中不滿足要求的部分：匹配成功的質(zhì)心坐標預(yù)測值和檢測值之間的間隔幀數(shù)為f，歐氏距離為d，如果f和d滿足式3，則認為跟蹤丟失，要對此檢測值重新跟蹤。

f>fmax或d>dmax

(3)

其中，fmax為最大消失幀數(shù)；dmax為最大距離閾值。

(2)為未指派的檢測在跟蹤器中建立跟蹤單元：設(shè)k時刻預(yù)測值的數(shù)量為n，k+1時刻檢測值的數(shù)目為m，n

4.為了確保跟蹤過程的準確性，需要不斷修正卡爾曼濾波器參數(shù)，具體原則如下：

(1)如果金字塔光流法跟蹤成功并且當前的運動目標質(zhì)心坐標預(yù)測值和下一時刻檢測值匹配成功，則將檢測值和金字塔光流法預(yù)測值進行加權(quán)平均作為最終觀測值，更新卡爾曼濾波參數(shù)。

(2)如果金字塔光流法跟蹤成功并且當前的運動目標質(zhì)心坐標預(yù)測值和下一時刻檢測值匹配失敗，則將卡爾曼濾波的預(yù)測值作為最終觀測值更新卡爾曼濾波參數(shù)。

(3)如果金字塔光流法跟蹤失敗并且當前的運動目標質(zhì)心坐標預(yù)測值和下一時刻檢測值匹配成功，則將檢測值作為最終觀測值更新卡爾曼濾波參數(shù)。

5.根據(jù)跟蹤過程中運動目標的質(zhì)心坐標變化繪制出目標的跟蹤軌跡，完成多目標跟蹤過程。

4 實驗與結(jié)果分析

在下面的實驗中，實驗樣本數(shù)據(jù)為不同分辨率的交通視頻，場景為城市道路或者高速公路，視頻均為AVI格式，其中視頻1分辨率為1 280×720，幀率為23 F/s，視頻2分辨率為1 280×720，幀率為29 F/s，視頻3分辨率為320×240，幀率為25 F/s，視頻4分辨率為352×240，幀率為29 F/s。算法均采用VS2013和OpenCV2.4.11開發(fā)，運行于Intel 2.3 GHz，內(nèi)存4 G的Windows 7平臺。

4.1 視頻目標檢測仿真實驗

為驗證基于改進對稱幀間差分和滑動平均背景差分的視頻目標檢測算法(簡稱ISMA算法)的有效性，下面在視頻2上進行測試，并將實驗結(jié)果與對稱幀間差分法、滑動平均背景差分法、VIBE算法和幀間差分法進行比較，各算法檢測對比結(jié)果如圖1所示。

圖1 各算法檢測效果對比

由圖1可見，對稱幀間差分法獲得了完整的連通域和運動目標輪廓，但是卻造成了運動目標拉長、輪廓模糊問題；滑動平均背景差分法和VIBE算法對光線變化比較敏感，同時檢測過程中會出現(xiàn)“鬼影”，影響檢測結(jié)果的準確性；幀間差分法檢測的運動目標輪廓內(nèi)部和邊緣存在空洞；ISMA算法填補了運動目標輪廓的空洞，避免了目標的拉長，使得輪廓清晰并且受環(huán)境噪聲干擾較小，準確地提取出運動目標輪廓，具有較好的魯棒性。

4.2 視頻多目標跟蹤仿真實驗

為驗證基于模型融合和特征關(guān)聯(lián)的多目標跟蹤算法(簡稱MFFA算法)的有效性，下面在視頻1～4上進行測試，將實驗結(jié)果與匹配跟蹤算法進行比較。各算法在目標是否存在相互遮擋情況下的跟蹤效果對比如圖2和圖3所示。

從圖2可以看出，當運動目標不存在遮擋并且目標之間互不干擾的情況下，匹配跟蹤算法和MFFA算法均可以實現(xiàn)穩(wěn)定跟蹤。但是當目標出現(xiàn)遮擋或者目

圖3 各算法在目標存在相互遮擋

標之間相互干擾時，觀察圖3可知，匹配跟蹤算法會出現(xiàn)跟蹤混亂，導(dǎo)致多目標跟蹤失敗，而MFFA算法依然可以實現(xiàn)穩(wěn)定跟蹤，正確繪制出跟蹤軌跡。

為證明MFFA算法的準確性，規(guī)定從目標出現(xiàn)到目標消失過程中，若跟蹤算法在期間的每一幀都能準確地跟蹤到目標車輛，則認為跟蹤成功，否則認為跟蹤失敗。表1給出了匹配跟蹤算法和MFFA算法的準確性比較。

表1 匹配跟蹤算法和MFFA算法的準確性比較

根據(jù)表1，MFFA算法的準確率在視頻1～3上分別比匹配跟蹤算法高出8.3%，13.8%和6.2%，顯著地提高了多目標跟蹤的準確率。

下面比較匹配跟蹤算法和MFFA算法的跟蹤誤差，采用視頻4作為實驗數(shù)據(jù)，圖4給出了兩種算法的跟蹤誤差對比結(jié)果。

圖4 匹配跟蹤算法和MFFA算法的跟蹤誤差對比

從圖4可以看出，在跟蹤前期MFFA算法和匹配跟蹤算法的跟蹤誤差相差不大，隨著跟蹤過程的持續(xù)，匹配跟蹤算法的跟蹤誤差遠遠超過了MFFA算法的跟蹤誤差。可見，MFFA算法進行多目標跟蹤效果好于匹配跟蹤算法。

5 結(jié)束語

為解決存在背景噪聲的大規(guī)模視頻多目標跟蹤問題，提出了基于模型融合和特征關(guān)聯(lián)的多目標跟蹤算法。該算法結(jié)合改進后的對稱幀間差分法和滑動平均背景差分法準確提取出運動目標輪廓，然后融合金字塔光流法和卡爾曼濾波進行目標跟蹤，并利用匈牙利算法進行數(shù)據(jù)關(guān)聯(lián)，最后繪制出運動目標的跟蹤軌跡實現(xiàn)多目標跟蹤。實驗結(jié)果表明，該算法可以準確地提取出運動目標輪廓，在目標間相互遮擋的情況下保持穩(wěn)定跟蹤，提高了多目標跟蹤的準確率和抗噪性。

在后續(xù)研究中，可以考慮將單幀的圖像信息和幀與幀之間的變化信息進行融合，從時空關(guān)系上對視頻進行深度分析，尋找合適的深度學(xué)習(xí)架構(gòu)來實現(xiàn)視頻多目標跟蹤也是值得探索的方向。

參考文獻：

[1] 黃 奇,項 俊,侯建華,等.聯(lián)合特征融合和判別性外觀模型的多目標跟蹤[J].中國圖象圖形學(xué)報,2015,20(9):1188-1198.

[2] 劉大千,劉萬軍,費博雯.前景判別的局部模型匹配目標跟蹤[J].中國圖象圖形學(xué)報,2016,21(5):616-627.

[3] 邸 男,朱 明,韓廣良.似然相似度函數(shù)在目標跟蹤中的

魯棒機理研究[J].軟件學(xué)報,2015,26(1):52-61.

[4] 齊美彬,岳周龍,疏 坤,等.基于廣義關(guān)聯(lián)聚類圖的分層關(guān)聯(lián)多目標跟蹤[J].自動化學(xué)報,2017,43(1):152-160.

[5] LIU Zongang,DU Xiaoxue,PAN Diansheng.A new tracking algorithm based on mean shift and particle filter[C]//Proceedings of the 2016 IEEE/RSJ international conference on intelligent robots and systems.Washington,DC:USA:IEEE Computer Society,2016:38-42.

[6] MESHGI K,ISHII S.Expanding histogram of colors with gridding to improve tracking accuracy[C]//Proceedings of the fourteenth IAPR international conference on machine vision applications.[s.l.]:[s.n.],2015:475-479.

[7] DONG Jiwen,ZHAO Lei,ZHANG Liang.The face tracking research based on cam-shift and improved NMI[C]//Proceedings of the 2013 international conference on computational and information sciences.Washington,DC:USA:IEEE Computer Society,2013:148-151.

[8] 郭文俊,常桂然.基于三幀間的移動障礙物背景目標提取算法[J].軟件,2016,37(2):58-62.

[9] 熊 波,尹周平.滑動平均和改進權(quán)重函數(shù)的快速非局部平均圖像去噪算法[J].中國圖象圖形學(xué)報,2012,17(5):628-634.

[10] PLYER A,BESNERAIS G,CHAMPAGNAT F.Massively parallel Lucas Kanade optical flow for real-time video processing applications[J].Journal of Real-Time Image Processing,2016,11(4):713-730.

[11] LIGORIO G,SABATINI A M.A novel Kalman filter for human motion tracking with an inertial-based dynamic inclinometer[J].IEEE Transactions on Biomedical Engineering,2015,62(8):2033-2043.

[12] 石祥濱,張 健,代 欽,等.采用顯著性分割與目標檢測的形變目標跟蹤方法[J].計算機輔助設(shè)計與圖形學(xué)學(xué)報,2016,28(4):645-653.

[13] LI Chenglong,WANG Xiao,ZHANG Lei,et al.Weighted low-rank decomposition for robust grayscale-thermal foreground detection[J].IEEE Transactions on Circuits & Systems for Video Technology,2017,27(4):725-738.

[14] 高躍明,伊騰增,韋孟宇,等.二維Otsu和改進區(qū)域生長法的熒光免疫層析試條濃度的定量檢測[J].傳感技術(shù)學(xué)報,2016,29(9):1356-1360.

[15] 趙毅力,周 屹,徐 丹.微距攝影的多聚焦圖像拍攝和融合[J].中國圖象圖形學(xué)報,2015,20(4):544-550.

[16] YADAIAH V,HARAGOPAL V V.Multi-objective optimization of time-cost-quality using Hungarian algorithm[J].American Journal of Operations Research,2016,6(1):31-35.