基于特征約束與光流場模型的多通道視頻目標跟蹤算法

張 博, 龍 慧, 劉 剛,2

(1. 長沙師范學院 信息科學與工程學院, 湖南 長沙 410100；2. 中南大學 物理與電子學院, 湖南 長沙 410083)

1 引 言

在不同成像條件下，不同目標物體存在著多種呈現(xiàn)模式以及灰度變化，在圖像配準技術的控制下，逐漸演化出多種圖像特征，不同視頻幀存在著不同特征參數(shù)，以該參數(shù)作為特征屬性約束條件，制品通道內也就產(chǎn)生了多種特征約束過程。在微電子技術不斷創(chuàng)新突破的背景下，數(shù)字信號處理單元逐漸成為視頻處理系統(tǒng)的核心處理模塊，經(jīng)處理單元處理后的視頻也就形成了多通道視頻[1]。多頻道視頻內部有著多種通道結構，不同的通道結構存在著不同的可追蹤目標。為此，在特征約束和光流場模型的支持下，針對多通道視頻目標構建一種目標跟蹤算法，能夠應用到多個領域中，為人機交互以及視頻監(jiān)控技術提供技術支持。

從當下的目標跟蹤算法組成來看，其在大體上包括生成式跟蹤和判斷式跟蹤兩種類別。生成式跟蹤過程需將目標跟蹤轉化為臨近搜索，并構建一個追蹤過程，不斷設定跟蹤區(qū)域條件，實現(xiàn)跟蹤范圍的逼近，并形成一個追蹤過程。判斷式跟蹤算法能夠將視頻目標劃分為一個二元分類過程，采用不同參數(shù)的分類器，將視頻目標從視頻背景當中抽取出來，并形成一個動態(tài)的抽取過程，實現(xiàn)了視頻目標跟蹤過程。但從實際應用角度來看，生成式跟蹤過程的計算量較大，存在一定的時滯性。判斷式跟蹤算法實際使用的訓練器內含多種背景信息，能夠實時在線進行匹配，極大地方便了跟蹤視頻目標任務運行。

隨著網(wǎng)絡特征提取方法的發(fā)展，目標跟蹤算法獲取了質的飛躍，受到多通道視頻層次的影響，視頻目標存在大量的卷積特征，影響了跟蹤算法的運行時間。在視頻聯(lián)網(wǎng)狀態(tài)下，更新網(wǎng)絡系數(shù)后，現(xiàn)有跟蹤算法跟蹤速度較小，無法達到即時跟蹤的效果。由此可知，研究目標跟蹤算法是很有必要的。

文獻[2]中通過增強邊緣特征的學習程度來強化特征提取，通過自適應更新進行是否需要模型更新的判斷，從而完成對相關濾波目標的跟蹤處理。該算法能夠較好地適應復雜背景干擾，但其閾值設置判斷需要豐富經(jīng)驗，對結果的誤差影響較大。文獻[3]采用Multi-Egocentric技術的跟蹤算法，能夠對應多通道視頻目標構建跟蹤框架，能夠提升實際跟蹤時的速度，但其實際的跟蹤精度較差。文獻[4]設計了雙相關濾波器的跟蹤算法，能夠將不同通道內的視頻目標處理為不同模型，對應不同的運動模型，構建不同的跟蹤過程。其能夠一定程度上增強跟蹤結果的精度，但跟蹤耗時較長。文獻[5]提出與快速多域卷積神經(jīng)網(wǎng)絡融合的跟蹤算法，能夠綜合多通道視頻中的特征，增強了跟蹤結果的精度，但得到的特征信息較多，在實際運行時，會產(chǎn)生較大的荷載，增加了跟蹤算法的處理時間。文獻[6]提出將多層深度線性特征插值運算，通過特征融合訓練深度模型。但該算法的深度模型是在海量圖片訓練集上得到的，計算量繁重，耗時較長。文獻[7]使用多層卷積特征計算視頻圖像多目標的相關性，然后采用自適應決策融合響應特征，從而跟蹤目標信息。但該算法需要綜合多個跟蹤器的歷史信息，計算量較復雜。文獻[8]融入了改進RT-MDNet的跟蹤算法，能夠使用改進優(yōu)化處理后的網(wǎng)絡，將多通道內的視頻圖像劃分為不同的網(wǎng)格尺度，能夠增強原有跟蹤時的精度。但其形成的網(wǎng)格尺度信息較為冗雜，在管理信息時存在一定的難度。文獻[9]采用了自適應深度學習技術的跟蹤算法能夠及時修正視頻圖像中產(chǎn)生的外觀形變，排除一定的背景干擾。但該跟蹤算法無法保證跟蹤算法的魯棒性，容易產(chǎn)生跟蹤丟失的情況。文獻[10]根據(jù)目標位置估算結果設計跟蹤算法，能夠結合不同通道結構，估算視頻目標的位置參數(shù)，并使用該參數(shù)搭建一個跟蹤過程。該種跟蹤算法極大地減少了算法的計算量，但在參數(shù)固定階段容易受到外部噪聲的影響，產(chǎn)生一定的跟蹤偏差。文獻[11]通過遮擋檢測技術設計融合算法，再根據(jù)多塊位置信息融合結果檢測得到視頻中遮擋位置的各項參數(shù)，增強了跟蹤算法的性能。但其對檢測環(huán)境的要求較高，還不具有成熟的操作性。

圖像中構成2D瞬時速度場的像素的集合被稱為光流場。從計算機視覺處理過程來看，利用光流場處理的方法占據(jù)著重要的位置。從光流場處理過程來看，能夠一定程度地恢復視頻圖像中物體的三維結構和運動規(guī)律，是計算機圖像處理技術中的重要處理工具[12]。

為此，針對傳統(tǒng)的目標跟蹤算法存在的不足，本研究基于特征約束與光流場模型設計了一種新的多通道視頻目標跟蹤算法。該算法利用像素參數(shù)控制光流場模型偏差，然后通過歸一化處理獲得多通道視頻特征，將多維度的特征經(jīng)過全局池化處理映射為一個參數(shù)數(shù)值，實現(xiàn)特征約束，從而有效減少目標跟蹤計算量。

2 多通道視頻目標跟蹤算法

本文算法的設計思路如圖1所示。

圖1 多通道視頻目標跟蹤算法的設計思路Fig.1 Design idea of the multi-channel video target tracking algorithm

2.1 視頻特征分析

本研究在利用光流模型分析視頻特征時，將視頻圖像中的某幀圖像作為處理對象，根據(jù)檢測得到的圖像像素強度與時間參數(shù)間的數(shù)值關系，采用移動向量和的方法，在某時間尺度內，設定視頻圖像的強度，設定的強度數(shù)值可表示為：

T(x,y)=I(x,y,t)，

(1)

其中:I(x,y,t)表示t時刻內像素點的強度，x、y表示像素點的所處位置。假定在固定的視頻周期Δt內，視頻像素產(chǎn)生了一定增加，此時像素點就可表示為：

(2)

上述計算公式中，各項參數(shù)含義不變。綜合上述兩項像素點間的數(shù)值關系，此時就可計算得到像素點變化前后的數(shù)值關系，就可表示為：

(3)

IxVx+IyVy=-It，

(4)

其中:It表示光流場模型的尺度變化時間。在該數(shù)值模型的控制下，多通道的視頻圖像中，復雜的背景會引起光流場數(shù)值的變化，為此設定一個視頻隨機變量X，可表示為：

X={x1,x2,...,xn}，

(5)

其中:xn表示視頻圖像的像素點方差。對應單個圖像的像素采樣點，使用高斯分布概率，計算單獨像素采樣點的概率密度，可表示為：

(6)

其中:wi表示像素采樣點參數(shù)，η表示隨機變量參數(shù)，k表示分布模式參數(shù)。在設定高斯分布的隸屬時間參數(shù)后，設定新像素參數(shù)Xt，控制模型均值的偏差λσ，此時視頻特征的匹配參數(shù)關系就可表示為：

|Xt-ui,t-1|<λσ，

(7)

其中:ui,t-1表示匹配像素的分布參數(shù)。當視頻圖像符合上述計算公式(7)的數(shù)值關系時，此時定義該背景像素為前景，權重更新上述參數(shù)，對像素模型更新歸一化處理后，最終得到的視頻特征就可表示為：

(8)

其中，α表示歸一參數(shù)，Mk,t表示視頻像素匹配參數(shù)。使用上述得到的視頻特征，可以構建多通道特征約束關系。

2.2 多通道視頻特征約束關系分析

在上述得到的視頻特征下，采用全局池化處理方式，將多維度特征映射為一個特征數(shù)值，處理過程可表示為：

(9)

其中:sc表示第c個視頻通道的特征參數(shù)，x(i,j)表示池化處理后的特征數(shù)值，W、H表示圖像通道維度。映射處理后，連接圖像像素特征值，并進行降維處理，設定一個縮放參數(shù)，像素特征值就可表示為：

xd=H(xc,sc)，

(10)

其中:xd表示縮放參數(shù)處理后的像素特征數(shù)值，其余參數(shù)含義不變。縮放處理時，視頻圖像的特征參數(shù)容易產(chǎn)生一定的升維[13-14]，多通道的視頻參數(shù)產(chǎn)生了一定的貢獻度，采用一個激活函數(shù)，將多通道的數(shù)值大小映射成為一個參數(shù)數(shù)值，就可表示為：

(11)

其中:fmin、fmax表示視頻多通道最值響應函數(shù)，fw,h表示像素維度數(shù)值下的處理函數(shù)。在上述數(shù)量關系下，不同像素幀下的圖像呈現(xiàn)處理多峰起伏的狀態(tài)[15]，影響了多通道視頻的背景變換，為此，采用上述參數(shù)數(shù)值，設定一個參數(shù)更新關系，更新關系可表示為：

(12)

其中:β表示更新參數(shù)，其余參數(shù)含義不變。隨著視頻各個圖像間切換，更新處理后的多通道視頻背景容易產(chǎn)生一定的尺度偏差[16-17]，在對應的視頻通道內設定一個尺度因子a，將多通道看作為不同的尺度級別，此時多通道的視頻尺度就可表示為：

(13)

其中:S表示尺度級別，n表示尺度的縮放參數(shù)。由上述參數(shù)得到統(tǒng)一標準的尺度截取框，可表示為：

(14)

其中:CD表示得到的尺度截取框，p表示上曲參數(shù)，m表示尺度參數(shù)。為了控制尺度截取框的精度，將對應處理幀的圖像處理為多個圖像塊[18-19]，構建形成的多通道特征約束關系就可表示為：

(15)

其中:i表示視頻圖像的尺度通道，N表示視頻圖像中的通道總數(shù)，k表示超參數(shù)，其余參數(shù)含義不變。使用上述構建得到的約束關系作為視頻目標跟蹤框架，最終構建一個目標跟蹤算法。

2.3 視頻目標跟蹤

在上述多通道視頻背景約束關系下，將視頻圖像劃分為背景區(qū)域以及目標區(qū)域[20]，并使用相關濾波處理為兩個卷積函數(shù)，可表示為：

y=x?h，

(16)

其中:x表示輸入視頻圖像，h表示相關濾波器參數(shù)，?表示卷積處理。使用傅里葉變換轉換視頻目標的背景域，可表示為：

Y=X*H*，

(17)

其中:X*表示背景空域信號參數(shù)，H*表示濾波器頻域的復共軛。為了精確匹配候選樣本與背景區(qū)域[21]，采用最小輸出參數(shù)，計算得到一個最佳濾波器參數(shù)，可表示為：

(18)

其中:Xi、Yi分別表示圖像輸入和輸出參數(shù)，其余參數(shù)含義不變。在計算公式(18)的參數(shù)控制下，構建一個共軛閉合形式，輸出一個閉合共軛跟蹤參數(shù)，可表示為：

(19)

其中:FH表示計算得到的閉合共軛參數(shù)，其余參數(shù)含義不變。為了增加跟蹤算法的精度，構建一個運動模型，實現(xiàn)對上述處理過程的迅速實現(xiàn)，可表示為：

(20)

其中:f(Xi)表示構建的視頻圖像運動函數(shù)，其余參數(shù)含義不變。為了控制視頻圖像的過度擬合，導致視頻目標出現(xiàn)錯誤跟蹤的情況[22-24]，采用復數(shù)形式處理圖像維度為一個閉合形式的解，可表示為：

R=(XT+κI)，

(21)

其中:XT表示不同維度的圖像輸出參數(shù)，I表示對應的視頻目標，κ為正則化參數(shù)。在重復處理過程或是復雜背景下，為了簡化跟蹤算法的計算量[25]，將式(21)形成的跟蹤算法閉合解，處理為一個圖像目標對角化形式，計算公式可表示為：

X′=FH·d(X)，

(22)

其中:d(X)表示像素的對角陣，X′表示目標輸出信息。在上述處理過程中引入一個循環(huán)處理矩陣，不斷循環(huán)處理多通道中的視頻目標，最終完成對跟蹤算法的構建。

3 仿真實驗與結果分析

為驗證上述設計的基于特征約束與光流場模型的多通道視頻目標跟蹤算法的可行性，設計如下實驗。

3.1 實驗準備

實驗準備CPU參數(shù)為Intel(R) Core(TM) i5-5200U CPU@2.2 GHz 2.19 GHz的計算機，控制該計算機的內存為4 G，并使用 Visual Studio 2020作為開發(fā)工具。隨機選定OTB數(shù)據(jù)集中的視頻圖像模擬多通道視頻目標。選定10組視頻序列作為實驗對象，設定視頻圖像的幀數(shù)后，測量圖像的分辨率，模擬視頻圖像存在的復雜背景，模擬得到的復雜背景如表1所示。

表1 模擬得到的復雜背景Tab.1 Complex backgrounds obtained from simulations

續(xù) 表

使用表1模擬得到的復雜背景，算法代碼使用MATLAB2016a軟件編寫，并承載兩種傳統(tǒng)跟蹤算法與設計的跟蹤算法運行，在固定圖像中的各項參數(shù)后，設定圖像尺度數(shù)值。

為避免實驗結果的單一性，將文獻[2]中基于自適應更新的目標跟蹤算法、文獻[4]中應用雙相關濾波器的目標跟蹤算法、文獻[5]中應用快速多域卷積神經(jīng)網(wǎng)絡的目標跟蹤算法、文獻[8]中的基于改進RT-MDNet的目標跟蹤算法、文獻[10]中的基于地面估算與目標位置估計的多目標跟蹤算法、文獻[11]中的基于遮擋檢測和多塊位置信息的目標跟蹤算法作為對比，與本文算法共同完成性能驗證。

3.2 結果與分析

首先對本文算法的性能展開初步驗證，利用其對3段視頻圖像中的目標進行跟蹤，實驗結果如圖2所示。

在初步驗證階段，選用了低照度視頻片段、快速移動視頻片段和復雜背景的視頻片段，利用本文算法對上述3段視頻中的目標進行跟蹤。根據(jù)圖2所示結果可知，利用本文算法可以在不同場景、不同光照下完成對目標信息的有效跟蹤，從而初步驗證了本文算法的有效性。

圖2 算法實際應用效果Fig.2 Actual application effect of the algorithm

在此基礎上，完成對比驗證。首先定義跟蹤算法的距離精確度，精確度計算過程可表示為：

(23)

其中:μ表示懲罰因子，λ表示過擬合參數(shù)，K表示圖像分類參數(shù)大小，n表示圖像尺度池大小。在上述數(shù)值關系控制下，計算并統(tǒng)計7種跟蹤算法的跟蹤結果精確度，結果如表2所示。

表2 跟蹤算法精確度結果Tab.2 Tracking algorithm accuracy results

續(xù) 表

為更直觀地體現(xiàn)不同算法的跟蹤精確度，將表2中的數(shù)據(jù)以折線圖的形式體現(xiàn)，如圖3所示。

根據(jù)表2、圖3所示的實驗結果可知，文獻[2]中的跟蹤算法的精度數(shù)值在0.66～0.69之間；文獻[4]中的跟蹤算法的精度數(shù)值在0.71～0.79之間；文獻[5]中的跟蹤算法的精確度數(shù)值在0.82～0.90之間，與文獻[8]算法的精確度較為接近；文獻[10]中的跟蹤算法的精確度數(shù)值在0.61～0.79之間;文獻[11]中的跟蹤算法的精確度數(shù)值在0.72～0.89之間；而本文算法的精確度始終保持在0.90以上，最高可達到0.96。與幾種對比算法相比，本文算法在跟蹤精度方面的性能明顯更好。

圖3 不同算法跟蹤精確度對比Fig.3 Comparison of tracking accuracy of different algorithms

產(chǎn)生上述結果的原因在于本文算法通過設定視頻隨機變量控制光流場數(shù)值模型的變化，達到了控制偏差的目的，從根本上提高了目標跟蹤精確度。

保持上述實驗環(huán)境不變，若算法在跟蹤過程自動變換處理函數(shù)，則表明跟蹤算法成功跟蹤了圖像目標?；诖?，統(tǒng)計成功追蹤的視頻圖像，并計算5種追蹤算法的成功率，可表示為：

(24)

其中:su表示成功追蹤率，N0表示追蹤過程中變換處理算法的圖像，T0表示準備圖像的數(shù)量。在上述計算公式控制下，統(tǒng)計不同算法的成功率，如表3所示。

表3 追蹤算法的成功率結果Tab.3 Tracking algorithm accuracy results

續(xù) 表

為更直觀地體現(xiàn)不同算法的追蹤成功率，將表3中的數(shù)據(jù)以折線圖的形式體現(xiàn)，如圖4所示。

圖4 不同算法的追蹤成功率Fig.4 Tracking success rate of different algorithms

根據(jù)表3、圖4所示的實驗結果可知，文獻[2]中的跟蹤算法成功率在70%～75%之間；文獻[4]中的跟蹤算法成功率在80%～85%之間；文獻[5]中的跟蹤算法跟蹤成功率在85%～90%之間，與文獻[11]算法的跟蹤成功率較為接近；文獻[8]中的追蹤算法成功追蹤率在90%上下；文獻[10]中的追蹤算法成功追蹤率在90%～95%之間；而本文算法的成功追蹤率始終處于96%以上。與另外6種文獻算法相比，本文算法可成功追蹤的視頻目標更多。

本文算法利用激活函數(shù)將多通道參數(shù)數(shù)值映射處理為固定參數(shù)，構建多通道特征約束關系控制特征參數(shù)發(fā)生升維，減少數(shù)據(jù)計算維數(shù)，從而提高了成功追蹤率。

在上述實驗環(huán)境下，引入剪裁矩陣計算視頻目標的邊界參數(shù)，并使用該邊界參數(shù)構建一個復雜度數(shù)值關系，計算過程可表示為：

(25)

圖5 跟蹤算法時間復雜度結果Fig.5 Tracking algorithm time complexity results

其中：κ表示邊界參數(shù)，F(xiàn)表示標定圖像中的視頻幀總數(shù)，b表示追蹤時間響應參數(shù)。在不同算法的控制下，其跟蹤時間復雜度結果如圖5所示。

使用上述復雜度公式，計算7種跟蹤算法的時間復雜度。根據(jù)圖5所示的實驗結果可知，相比于其他6種跟蹤算法，本文算法的時間復雜度更低，其跟蹤過程耗時最多僅需5.5 s，始終少于其他6種跟蹤算法，證明其實際產(chǎn)生的計算量更少。

本文算法通過歸一化處理獲得多通道視頻特征，將多維度的特征經(jīng)過全局池化處理映射為一個參數(shù)數(shù)值，實現(xiàn)特征約束，從而有效減少目標跟蹤計算量，也就減少了跟蹤過程的時間復雜度。

4 結 論

視頻目標跟蹤算法不斷地發(fā)展，運用特征約束與光流場模型構建跟蹤算法逐漸成為研究重點。本研究基于特征約束與光流場模型設計了一種多通道視頻目標跟蹤算法。該算法通過設定視頻隨機變量控制光流場數(shù)值模型的變化，然后提取出多通道視頻的歸一化特征，通過全局池化處理方式解決傳統(tǒng)方法多維度特征計算繁雜的問題，有效減少了目標跟蹤計算量，從而優(yōu)化了算法的應用效果。實驗結果表明，本文算法能夠有效改善傳統(tǒng)算法的不足，為目標跟蹤工作的良好發(fā)展提供支持。