基于深度學(xué)習(xí)的動(dòng)態(tài)目標(biāo)跟蹤研究

諶 頏 鐘 貴 戴華珍 張袖斌 朱愷文

（廣州科技貿(mào)易職業(yè)學(xué)院，廣東 廣州 511442）

1 引言

現(xiàn)實(shí)空間環(huán)境中動(dòng)態(tài)目標(biāo)對(duì)象遮擋、變形情況下的視覺(jué)跟蹤，是計(jì)算機(jī)圖像視覺(jué)領(lǐng)域研究的重要課題之一，特別是隨著城市交通網(wǎng)絡(luò)日益復(fù)雜化、城市居民數(shù)量的不斷增加，對(duì)于公共空間內(nèi)不同人員個(gè)體的目標(biāo)對(duì)象識(shí)別和跟蹤，成為計(jì)算機(jī)圖像視覺(jué)識(shí)別與分析的主要方向，對(duì)于實(shí)現(xiàn)空間人物目標(biāo)的智能化識(shí)別與監(jiān)控具有現(xiàn)實(shí)意義。目前有關(guān)空間動(dòng)態(tài)目標(biāo)的識(shí)別與跟蹤研究，諸如文獻(xiàn)[1-4]，這些文獻(xiàn)從運(yùn)動(dòng)目標(biāo)圖像序列的像素點(diǎn)識(shí)別、像素樣本學(xué)習(xí)訓(xùn)練、目標(biāo)模板匹配等技術(shù)出發(fā)，對(duì)存在遮擋、干擾噪聲的動(dòng)態(tài)目標(biāo)識(shí)別跟蹤作出分析，但即便如此，以上算法在動(dòng)態(tài)目標(biāo)識(shí)別跟蹤的準(zhǔn)確性、魯棒性和可擴(kuò)展性等方面依然存在不足，在復(fù)雜光照、遮擋和變形情況下的圖像處理質(zhì)量仍有待提高?；诖耍疚膹纳疃葘W(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)的角度出發(fā)，提出卡爾曼濾波的SiamRPN 深度學(xué)習(xí)算法進(jìn)行動(dòng)態(tài)目標(biāo)跟蹤。首先運(yùn)用SiamRPN網(wǎng)絡(luò)算法提取運(yùn)動(dòng)目標(biāo)的檢測(cè)幀、模板幀的重要特征，運(yùn)用卡爾曼濾波預(yù)測(cè)模塊對(duì)現(xiàn)有的圖像幀進(jìn)行目標(biāo)預(yù)測(cè)，隨后通過(guò)置信度加權(quán)融合2個(gè)及以上的跟蹤模型，利用區(qū)域候選網(wǎng)絡(luò)RPN對(duì)存在遮擋、背景干擾等的動(dòng)態(tài)目標(biāo)對(duì)象，進(jìn)行跟蹤框的位置坐標(biāo)和尺度的計(jì)算，確定最優(yōu)跟蹤框準(zhǔn)確地定位跟蹤目標(biāo)位置，實(shí)現(xiàn)對(duì)全遮擋目標(biāo)、噪聲干擾目標(biāo)的多次跟蹤識(shí)別，提高外部環(huán)境中動(dòng)態(tài)目標(biāo)的跟蹤準(zhǔn)確率。

2 基于卡爾曼濾波的孿生(Siamese)網(wǎng)絡(luò)框架

2.1 Siamese跟蹤網(wǎng)絡(luò)框架架構(gòu)

Siamese跟蹤網(wǎng)絡(luò)是在Faster RCNN網(wǎng)絡(luò)框架的基礎(chǔ)上，建立起的用于區(qū)域候選網(wǎng)絡(luò)確定、目標(biāo)對(duì)象特征提取的卷積神經(jīng)網(wǎng)絡(luò)。[1]其中，RPN網(wǎng)絡(luò)判斷圖像幀的空間環(huán)境中，是否有動(dòng)態(tài)監(jiān)測(cè)目標(biāo)，以及修正anchor 使跟蹤框更準(zhǔn)確，且RPN網(wǎng)絡(luò)的區(qū)域候選框提取、目標(biāo)對(duì)象跟蹤耗時(shí)更少，具體Siamese跟蹤網(wǎng)絡(luò)框架如圖1所示。

圖1 Siamese動(dòng)態(tài)目標(biāo)跟蹤網(wǎng)絡(luò)框架

從圖1可以看出，Siamese網(wǎng)絡(luò)框架為具有孿生結(jié)構(gòu)的深度學(xué)習(xí)模型，分為搜索區(qū)域確定、動(dòng)態(tài)跟蹤目標(biāo)特征提取兩個(gè)分支，左邊上下兩個(gè)支路為動(dòng)態(tài)目標(biāo)特征提取的孿生網(wǎng)絡(luò)，支路的網(wǎng)絡(luò)結(jié)構(gòu)、提取特征參數(shù)完全相同，根據(jù)上方靠近候選區(qū)域的目標(biāo)模板幀，對(duì)下方的提取檢測(cè)幀作出對(duì)比分析，通過(guò)全卷積神經(jīng)網(wǎng)絡(luò)形成2個(gè)分支的連接。

右邊為搜索區(qū)域確定并輸出的孿生網(wǎng)絡(luò)，中間為搜索區(qū)域?qū)W習(xí)與提取網(wǎng)絡(luò)，包括分類分支、回歸分支，這里分類分支輸出含有2k個(gè)通道的特征圖像，紅色和藍(lán)色分別表示k個(gè)錨點(diǎn)的前景得分、背景得分；回歸分支輸出含有4k個(gè)通道的特征圖像，用不同顏色分別表示k個(gè)錨點(diǎn)的坐標(biāo)偏移預(yù)測(cè)值。

基于Siamese 網(wǎng)絡(luò)框架的動(dòng)態(tài)目標(biāo)跟蹤，是在圖像搜索區(qū)域x內(nèi)，找到與模板幀z最相似的目標(biāo)跟蹤對(duì)象。[2]因而在Siamese全卷積網(wǎng)絡(luò)中，采用完全卷積函數(shù)h()，引入LT來(lái)表示平移算子，則對(duì)任意圖像幀平移轉(zhuǎn)換T、整數(shù)步長(zhǎng)k之間的關(guān)系定義如式1：

計(jì)算圖像幀搜索區(qū)域x的所有目標(biāo)跟蹤對(duì)象，與模板幀z之間的相似性。使用卷積網(wǎng)絡(luò)嵌入函數(shù)ψ，計(jì)算搜索區(qū)域的目標(biāo)跟蹤對(duì)象x、模板幀z的相似性，計(jì)算公式如式2所示：

其中f表示相似性函數(shù)，*表示相關(guān)性操作符，φ(x)表示搜索圖像對(duì)象、φ(z)表示模板幀圖像。

2.2 SiamRPN深度學(xué)習(xí)算法

SiamRPN 算法包括目標(biāo)對(duì)象特征提取、分類回歸、分支回歸計(jì)算等執(zhí)行流程，其中分類回歸是對(duì)圖像搜索區(qū)域內(nèi)，存在的模板幀作出卷積運(yùn)算；分支回歸是對(duì)圖像搜索區(qū)域內(nèi)，存在的檢測(cè)幀作出卷積運(yùn)算[3]，計(jì)算公式如式3：

其中(Adx,Ady)為錨點(diǎn)框的中心點(diǎn)坐標(biāo)，Adw、Adh為錨點(diǎn)框的長(zhǎng)和寬；(Tdx,Tdy)為真實(shí)檢測(cè)框的中心點(diǎn)坐標(biāo)，Tdw、Tdh為真實(shí)檢測(cè)框的長(zhǎng)和寬，由于不同提取圖像的長(zhǎng)和寬存在差異，因而需先對(duì)圖像尺寸作正則化處理。

采取RPN孿生網(wǎng)絡(luò)的端到端訓(xùn)練方式，在圖像搜索區(qū)域內(nèi)隨機(jī)提取模板幀、檢測(cè)幀，進(jìn)行錨框、真實(shí)檢測(cè)框的相似性識(shí)別訓(xùn)練。由于相鄰兩幀的目標(biāo)跟蹤對(duì)象變化較小，因而選取[0.33,0.5,1,2,3]等5種不同比例的錨，結(jié)合公式3、4，對(duì)0、1、2、3 等不同檢測(cè)框作出樣本訓(xùn)練識(shí)別，真實(shí)框樣本的正則化處理、損失函數(shù)如式5、6所示：

其中Lcls表示檢測(cè)圖像的目標(biāo)對(duì)象交叉的熵?fù)p失；λ表示分類或分支回歸的損失參數(shù)。在RPN 孿生網(wǎng)絡(luò)的錨框識(shí)別訓(xùn)練時(shí)，使用錨點(diǎn)框、真實(shí)目標(biāo)對(duì)象框的交并比(IOU)，判斷識(shí)別的目標(biāo)對(duì)象框?qū)儆谡龢颖净蜇?fù)樣本，定義IOU＞0.6 為正樣本、IOU＜0.3 為負(fù)樣本。

3 卡爾曼濾波模型的跟蹤目標(biāo)位置預(yù)測(cè)與估算

3.1 卡爾曼濾波模型

卡爾曼濾波是利用觀測(cè)方程、狀態(tài)方程，對(duì)動(dòng)態(tài)目標(biāo)的狀態(tài)進(jìn)行實(shí)時(shí)跟蹤、迭代預(yù)測(cè)的方法。當(dāng)跟蹤動(dòng)態(tài)目標(biāo)受到遮擋、噪聲干擾等影響時(shí)，將很大可能導(dǎo)致動(dòng)態(tài)目標(biāo)跟丟的問(wèn)題。[4]這一情況下，使用卡爾曼濾波器、濾波回歸算法，可對(duì)受到遮擋、噪聲干擾的目標(biāo)對(duì)象，進(jìn)行目標(biāo)位置預(yù)測(cè)及標(biāo)記，以保證前后相鄰幀目標(biāo)對(duì)象跟蹤的連續(xù)性。當(dāng)前卡爾曼濾波模型的狀態(tài)轉(zhuǎn)移方程、觀測(cè)方程如式7、8所示：

3.2 基于卡爾曼濾波的跟蹤目標(biāo)對(duì)象位置估算

在使用卡爾曼濾波模型，對(duì)動(dòng)態(tài)跟蹤目標(biāo)的狀態(tài)進(jìn)行預(yù)測(cè)時(shí)，首要任務(wù)是確定圖像幀中目標(biāo)的初始狀態(tài)。假定某一動(dòng)態(tài)跟蹤目標(biāo)的狀態(tài)為x=(p,v)，其中p表示目標(biāo)對(duì)象的位置、v表示目標(biāo)對(duì)象的速度[5]，則跟蹤目標(biāo)的狀態(tài)向量、觀測(cè)方程可用如式11、12表示。

其中x(0)表示觀測(cè)目標(biāo)的初始狀態(tài)、θ 表示目標(biāo)對(duì)象的轉(zhuǎn)動(dòng)角度。在初始化階段定義目標(biāo)的模板幀為zpos，采用卡爾曼濾波模型，對(duì)目標(biāo)對(duì)象將會(huì)出現(xiàn)的區(qū)域作出預(yù)測(cè)，計(jì)算公式為式13、14，根據(jù)公式13 計(jì)算得到預(yù)測(cè)目標(biāo)對(duì)象的下一位置，多次迭代后得出目標(biāo)跟蹤的最優(yōu)化估計(jì)結(jié)果。

4 卡爾曼濾波模型、SiamRPN 深度學(xué)習(xí)算法融合的目標(biāo)跟蹤實(shí)現(xiàn)

面對(duì)跟蹤動(dòng)態(tài)目標(biāo)存在遮擋、噪聲干擾的情況，提出卡爾曼濾波模型、SiamRPN 深度學(xué)習(xí)算法相融合跟蹤的方式，完成目標(biāo)對(duì)象跟蹤的總體流程設(shè)置，[6]具體如圖2所示。

圖2 卡爾曼濾波模型、SiamRPN融合算法的目標(biāo)跟蹤實(shí)現(xiàn)

首先使用跟蹤器采集圖像幀，使用RPN網(wǎng)絡(luò)確定跟蹤目標(biāo)的候選區(qū)域。隨后在初始化模塊中，將目標(biāo)對(duì)象的初始框中心點(diǎn)、坐標(biāo)位置，賦值給卡爾曼濾波器、SiamRPN 神經(jīng)網(wǎng)絡(luò)，并對(duì)卡爾曼濾波器中的跟蹤目標(biāo)初始狀態(tài)、初始預(yù)測(cè)值作出修改。

然后由SiamRPN神經(jīng)網(wǎng)絡(luò)算法，進(jìn)行跟蹤目標(biāo)對(duì)象的分類回歸、分支回歸卷積運(yùn)算，提取圖像搜索區(qū)域內(nèi)的檢測(cè)幀特征，包括動(dòng)態(tài)目標(biāo)對(duì)象跟蹤框的位置坐標(biāo)、尺度信息。最后將使用SiamRPN深度學(xué)習(xí)算法、卡爾曼濾波器，得到的目標(biāo)對(duì)象跟蹤框置信度值k1、k2，作出自適應(yīng)的加權(quán)融合計(jì)算，得到加權(quán)融合后的最優(yōu)跟蹤框值x為如式15、16：

其中w1、w2表示SiamRPN 網(wǎng)絡(luò)算法、卡爾曼濾波器的加權(quán)因子。假設(shè)使用SiamRPN 深度學(xué)習(xí)算法、卡爾曼濾波器，得到的動(dòng)態(tài)目標(biāo)對(duì)象跟蹤框值分別為x1、x2，則利用公式15可得到加權(quán)融合后的目標(biāo)最優(yōu)跟蹤框值x。

5 實(shí)驗(yàn)及結(jié)果分析

5.1 實(shí)驗(yàn)環(huán)境及參數(shù)設(shè)置

基于Linux 系統(tǒng)平臺(tái)、MATLAB R2021a 仿真軟件，建立包含100 個(gè)視頻的OTB 跟蹤數(shù)據(jù)集(100 幀)，該數(shù)據(jù)集中涉及到跟蹤目標(biāo)對(duì)象，存在快速運(yùn)動(dòng)、背景相似、噪聲干擾、光照變化等一系列問(wèn)題，基本上能夠全面反映卡爾曼濾波器、SiamRPN網(wǎng)絡(luò)算法的目標(biāo)跟蹤性能。

利用RPN 區(qū)域候選網(wǎng)絡(luò)，對(duì)OTB 跟蹤數(shù)據(jù)集的兩個(gè)卷積層參數(shù)作出調(diào)整，通過(guò)以上的損失函數(shù)進(jìn)行參數(shù)優(yōu)化。假設(shè)跟蹤目標(biāo)對(duì)象的邊界框的大小表示為(w,h)，則將裁剪后的模板幀大小設(shè)置為A*A，計(jì)算公式如式17：

其中p=(w+h)/2，按照?qǐng)D1 的跟蹤目標(biāo)對(duì)象幀要求，將裁剪后的模板幀大小調(diào)整為127×127，將檢測(cè)幀設(shè)置為模板幀大小的2倍為255×255。

5.2 定性分析

選取OTB跟蹤數(shù)據(jù)集內(nèi)的3組典型跟蹤數(shù)據(jù)序列，設(shè)置為Soccer、Human6 和Bolt2 序列，其中Soccer 序列內(nèi)的跟蹤目標(biāo)對(duì)象，存在著遮擋、快速運(yùn)動(dòng)等影響因素；Human6 和Bolt2 序列的跟蹤目標(biāo)對(duì)象，存在著遮擋、平面旋轉(zhuǎn)、運(yùn)動(dòng)模糊等影響因素。采用卡爾曼濾波器、SiamRPN 深度學(xué)習(xí)算法，對(duì)以上3組序列的動(dòng)態(tài)目標(biāo)對(duì)象作出跟蹤，具體的跟蹤結(jié)果如圖3所示。

圖3 Soccer、Human6和Bolt2序列的目標(biāo)對(duì)象跟蹤結(jié)果

從圖3 可以看出，最上層一組跟蹤圖像為Soccer 序列圖像，其存在著遮擋、快速運(yùn)動(dòng)等的干擾因素。在目標(biāo)對(duì)象未經(jīng)過(guò)紅綠燈桿時(shí)，采用卡爾曼濾波器（紅框）、SiamRPN 網(wǎng)絡(luò)算法（綠框）及SianFC 單目標(biāo)跟蹤算法（藍(lán)框），都能夠順利完成對(duì)動(dòng)態(tài)行人目標(biāo)的有效跟蹤，且跟蹤精度差異不大。而當(dāng)目標(biāo)遇到紅綠燈桿的遮擋后（#56,#67 幀），基于SianFC算法的單目標(biāo)跟蹤很快丟失目標(biāo)，卡爾曼濾波器、SiamRPN網(wǎng)絡(luò)算法的跟蹤仍舊保持著較高精度，其中SiamRPN 深度學(xué)習(xí)算法的跟蹤精度最高，跟蹤效果基本上不受外部干擾因素的影響。

圖3 的中間層為Human6 序列，跟蹤目標(biāo)對(duì)象存在著平面旋轉(zhuǎn)、運(yùn)動(dòng)模糊等影響因素，如發(fā)現(xiàn)38幀以后跟蹤目標(biāo)快速運(yùn)動(dòng)、伴隨運(yùn)動(dòng)模糊，此時(shí)采用卡爾曼濾波器、SiamRPN深度學(xué)習(xí)算法相融合的跟蹤方式，均可以保證在連續(xù)多幀時(shí)間內(nèi)的跟蹤效果。圖3的最下層為Bolt2序列，跟蹤目標(biāo)對(duì)象存在著遮擋、平面旋轉(zhuǎn)等影響因素，在20～78 幀是的跟蹤時(shí)間范圍內(nèi)，發(fā)現(xiàn)使用卡爾曼濾波器、SiamRPN深度學(xué)習(xí)算法，均能保證跟蹤框、標(biāo)記目標(biāo)對(duì)象的跟蹤精準(zhǔn)性，而SianFC算法在面對(duì)人物遮擋的情況，很容易發(fā)生再次識(shí)別的跟蹤丟失問(wèn)題。綜上分析可知，在上中下三組圖像的目標(biāo)對(duì)象跟蹤中，基于卡爾曼濾波的SiamRPN算法，可被用于含有遮擋、平面旋轉(zhuǎn)、快速運(yùn)動(dòng)的跟蹤情況，且具有明顯的算法跟蹤優(yōu)勢(shì)。

5.3 定量分析

根據(jù)跟蹤目標(biāo)的中心位置誤差(CLE)、重疊率(OR)等量化的度量指標(biāo)，對(duì)使用卡爾曼濾波器、SiamRPN 網(wǎng)絡(luò)算法、SianFC 算法、融合算法的目標(biāo)跟蹤精度，進(jìn)行量化性能分析。通常情況下，跟蹤目標(biāo)的中心位置誤差、重疊率成反比，也即CLE越小時(shí)OR越大，跟蹤精度越高。利用以上多種算法，進(jìn)行目標(biāo)對(duì)象幀測(cè)試序列的跟蹤分析，得到的CLE、OR相關(guān)量化指標(biāo)結(jié)果如表1、表2所示。

表1 動(dòng)態(tài)目標(biāo)跟蹤的中心位置誤差(CLE)結(jié)果

表2 動(dòng)態(tài)目標(biāo)跟蹤的重疊率(OR)結(jié)果

從表1、表2可以看出，針對(duì)以上三組跟蹤目標(biāo)序列的測(cè)試視頻幀，使用“卡爾曼濾波+SiamRPN算法”的跟蹤方式，平均跟蹤速率為37幀/秒，高于SianFC算法的18幀/秒、低于SiamRPN算法的49幀/秒，滿足目標(biāo)跟蹤的圖像幀實(shí)時(shí)性處理需求。同時(shí)相比于卡爾曼濾波器、SiamRPN 網(wǎng)絡(luò)算法、Sian-FC 算法而言，融合算法得到的動(dòng)態(tài)目標(biāo)跟蹤的中心位置誤差(CLE)更小，目標(biāo)跟蹤的重疊率(OR)更高，在運(yùn)行實(shí)時(shí)性、跟蹤精度方面體現(xiàn)出良好的性能。

6 結(jié)語(yǔ)

外部空間環(huán)境中動(dòng)態(tài)目標(biāo)對(duì)象的視覺(jué)跟蹤，是近年來(lái)計(jì)算機(jī)視覺(jué)及姿態(tài)評(píng)估等領(lǐng)域關(guān)注的重要問(wèn)題。特別在面對(duì)具有噪聲干擾、遮擋、變形的復(fù)雜場(chǎng)景中，需要采取濾波器目標(biāo)跟蹤、相鄰兩幀關(guān)聯(lián)分析的級(jí)聯(lián)匹配方法，對(duì)包含多個(gè)目標(biāo)的變量問(wèn)題作出跟蹤分析。因此，在Faster RCNN 網(wǎng)絡(luò)框架的基礎(chǔ)上，建立用于區(qū)域候選網(wǎng)絡(luò)確定、目標(biāo)對(duì)象特征提取的卷積神經(jīng)網(wǎng)絡(luò)，使用卡爾曼濾波模型、SiamRPN 深度學(xué)習(xí)的融合算法，進(jìn)行圖像幀關(guān)聯(lián)分析，解決相似目標(biāo)的運(yùn)動(dòng)檢測(cè)、交互或遮擋監(jiān)測(cè)問(wèn)題，對(duì)跟丟或再次出現(xiàn)的目標(biāo)作出準(zhǔn)確識(shí)別，相比于傳統(tǒng)的動(dòng)態(tài)目標(biāo)跟蹤算法的識(shí)別跟蹤性能更優(yōu)。