復(fù)雜環(huán)境下一種基于SiamMask的時空預(yù)測移動目標(biāo)跟蹤算法

周 珂，張浩博，付冬梅，趙志毅，曾 惠

1) 北京科技大學(xué)高等工程師學(xué)院，北京 100083 2) 北京科技大學(xué)自動化學(xué)院，北京 100083

視頻圖像的跟蹤及特征分割，是視頻應(yīng)用中的一項基本任務(wù)，如自動監(jiān)視[1]，車輛導(dǎo)航，視頻標(biāo)簽，人機交互[2]和行為識別等. 如何在使用場景中，對視頻流在線執(zhí)行目標(biāo)跟蹤，滿足圖像跟蹤及后續(xù)處理的實時性、可靠性需求，是目前圖像識別領(lǐng)域的重要研究方向.

2016年，Bertinetto等[3]提出 SiamFC算法，利用CNN的全卷積（Fully-convolutional）神經(jīng)網(wǎng)絡(luò)進行實時圖像的跟蹤處理，克服了傳統(tǒng)深度學(xué)習(xí)在實時視頻圖像處理中計算量大、效率過低的缺陷.2018年，Li等[4]結(jié)合了 SiameseFC和 Faster RCNN中的 RPN（Region proposal network），使得實時圖像的提取速度大大加快，同時也達到較高精度效果，其目標(biāo)跟蹤算法的代碼實現(xiàn)精度在VOT2018排名第一，魯棒性大大增強. 2019年，中科院Wang等[5]提出新算法SiamMask，實時進行目標(biāo)跟蹤和半監(jiān)督視頻對象分割，采用基于數(shù)百萬視頻幀上離線訓(xùn)練的全卷積網(wǎng)絡(luò)Siamese，縮小任意目標(biāo)跟蹤與VOS之間的差距，在視頻跟蹤任務(wù)上達到最優(yōu)性能，并且在視頻目標(biāo)分割上取得了當(dāng)前最快速度.

上述算法在已有開源數(shù)據(jù)庫的實時識別中均有出色表現(xiàn)，但在應(yīng)用場景里，由于識別背景的復(fù)雜性及遮擋性、目標(biāo)特征的差異性、環(huán)境影響的隨機性等因素，會存在一定的目標(biāo)誤識別現(xiàn)象[6?7].針對如何在識別準(zhǔn)確度要求較高的應(yīng)用場景中（如生產(chǎn)安全智能預(yù)警系統(tǒng)中的移動目標(biāo)實時圖像識別），實現(xiàn)高效、快速的實時圖像識別，開展了本文研究內(nèi)容. 提出一種基于SiamMask的時空預(yù)測移動目標(biāo)跟蹤算法，克服環(huán)境干擾、目標(biāo)遮擋對跟蹤效果的影響，實現(xiàn)視頻序列中的目標(biāo)快速識別，對移動目標(biāo)識別算法模型的復(fù)雜環(huán)境應(yīng)用具有借鑒意義.

1 基于 SiamMask 的時空預(yù)測移動目標(biāo)跟蹤算法設(shè)計

1.1 應(yīng)用場景提出

機床加工在工業(yè)生產(chǎn)中應(yīng)用極為廣泛，實際生產(chǎn)操作環(huán)節(jié)里，由于人的安全防護不符合規(guī)范，操作人員的頭發(fā)往往是導(dǎo)致嚴(yán)重安全事故的隱患之一. 如女性操作車床時，若未扎好頭發(fā)或未戴帽子，散落的發(fā)梢極易被卷進高速旋轉(zhuǎn)的車床部件中，帶來嚴(yán)重的人身安全事故. 隨著數(shù)字化管理手段的普及，操作環(huán)節(jié)的全時監(jiān)控已在生產(chǎn)過程中得到普遍應(yīng)用，預(yù)警系統(tǒng)可通過監(jiān)控視頻的目標(biāo)識別，達到對危險因素監(jiān)測、預(yù)警的目的. 然而頭發(fā)由于移動中的非規(guī)則性、運動無規(guī)律性，使得頭發(fā)區(qū)域在運動圖像中的分割較為困難. 常見的動態(tài)圖像識別Camshift算法以顏色直方圖為特征對目標(biāo)進行跟蹤[8?9]，對剛性目標(biāo)的跟蹤具有較強的魯棒性. 但當(dāng)目標(biāo)過于復(fù)雜、目標(biāo)被遮擋或做加速運動時，很容易發(fā)生目標(biāo)跟丟的情況. 目前國內(nèi)外頭發(fā)區(qū)域分割多集中在二維圖像中[10?12]，對移動目標(biāo)的頭發(fā)區(qū)域分割尚無工業(yè)實現(xiàn)的先例.

本文的動態(tài)識別檢測以北京科技大學(xué)工程訓(xùn)練中心金工實習(xí)車床加工環(huán)節(jié)為樣本，其結(jié)果需滿足生產(chǎn)環(huán)節(jié)的安全操作預(yù)警，要求較高的識別準(zhǔn)確性及算法效率. 因此提出了一種基于PyTorch深度學(xué)習(xí)框架，將SiamMask單目標(biāo)跟蹤算法與ROI（Region of interest）檢測及 STC（Spatio-temporal context learning）時空上下文目標(biāo)跟蹤算法融合的方法[13]，滿足實際場景中對人員頭發(fā)區(qū)域動態(tài)分割識別的任務(wù)需求.

1.2 基于 SiamMask 模型的面部動態(tài)檢測實現(xiàn)

動態(tài)視頻檢測的重要技術(shù)難題就是如何更快、更有效，本文基于2019年5月PySOT目標(biāo)跟蹤庫[14]的最新成果SiamMask模型進行面部動態(tài)檢測[15]. SiamMask是當(dāng)前視頻圖像目標(biāo)跟蹤模型中，最為出色的快速跟蹤和分割方法. 該算法基于PyTorch深度學(xué)習(xí)框架，實時進行目標(biāo)跟蹤和半監(jiān)督視頻對象分割，通過增加目標(biāo)分割的損失，改進了全卷積網(wǎng)絡(luò)Siamese跟蹤方法的離線訓(xùn)練過程. 經(jīng)過訓(xùn)練，SiamMask完全依賴于初始化單個邊界框并在線操作，產(chǎn)生類別未知的目標(biāo)分割Mask和實時每秒35幀的旋轉(zhuǎn)邊界框. 在VOT-2018、DAVIS-2016和DAVIS-2017上均有極為出色表現(xiàn).

1.2.1 算法移植測試優(yōu)勢

如圖1所示，Mask生成的網(wǎng)絡(luò)采用的兩層1*1卷積，分別是256通道和63*63通道數(shù)，并采用了Refinement module（微調(diào)模塊），這是一種不同分辨率的特征融合策略. 在SiamFC和SiamRPN基礎(chǔ)上分別加上目標(biāo)分割分支網(wǎng)絡(luò)，形成兩分支和三分支的SiamMask網(wǎng)絡(luò). 圖1左邊是共享權(quán)值的孿生網(wǎng)絡(luò)，在對模板（上分支網(wǎng)絡(luò)）和搜索區(qū)域（下分支網(wǎng)絡(luò)輸入）特征提取后，進行卷積生成與模板最相似的相應(yīng)區(qū)域. 圖中，★d表示深度相關(guān)權(quán)重疊加，Row表示響應(yīng)窗口，Mask表示視頻目標(biāo)物體，Box 為預(yù)測盒，Score為預(yù)測得分.fθ、h?、bσ、sφ、pω分別為 CNN、目標(biāo)物體、預(yù)測盒、預(yù)測得分、響應(yīng)窗口預(yù)測得分的處理函數(shù)[5].

SiamMask模型通過大量的深度學(xué)習(xí)網(wǎng)絡(luò)離線訓(xùn)練，將在線學(xué)習(xí)工作量節(jié)約至最小狀態(tài)，整個模型通過初始幀跟蹤目標(biāo)設(shè)定即可完成整段視頻的目標(biāo)跟蹤處理，具有非常強的實時性、便捷性、計算低成本性. 考慮應(yīng)用場景對識別快速性的要求，采用SiamMask對圖像進行初步處理. 為更好的測試算法可用性，算法處理環(huán)境為工業(yè)環(huán)境中易于實現(xiàn)的單GPU處理板.

圖2為SiamMask模型在工業(yè)系統(tǒng)視頻中的測試效果，對不同發(fā)型及尺寸視頻目標(biāo)的頭部追蹤，該模塊表現(xiàn)出較高的識別效率，平均識別速度可達每秒26.8幀.

1.2.2 算法移植測試誤識別現(xiàn)象

盡管算法識別效率高，但在環(huán)境嘈雜時，會出現(xiàn)跟蹤誤識別情況. 如圖 3（a）、（b）所示，當(dāng)追蹤對象周圍出現(xiàn)深色服裝、肉色物體等干擾源時，算法產(chǎn)生誤識別現(xiàn)象；圖3（c）為人臉被頭發(fā)遮擋后，該模型失去跟蹤目標(biāo). 此外，在目標(biāo)出畫面之外再進來的情況下，繼續(xù)跟蹤效果不佳.

將SiamMask模型對7段測試視頻的追蹤效果進行統(tǒng)計，得到表1所列情況.

結(jié)合圖3和表1數(shù)據(jù)可以看出，SiamMask網(wǎng)絡(luò)模型會在以下情況產(chǎn)生誤識別現(xiàn)象：

圖1 SiamMask模型算法流程圖[5]. （a）三分支變型架構(gòu)；（b）二分支變型架構(gòu)核心Fig.1 SiamMask model algorithmic flow chart[5]: (a) three-branch variant architecture; (b) two-branch variant head

圖2 SiamMask模型面部檢測效果. （a）束發(fā)頭部跟蹤；（b）長發(fā)頭部跟蹤Ⅰ；（c）長發(fā)頭部跟蹤ⅡFig.2 SiamMask model face detection effect: (a) bundle head tracking; (b) long hair head tracking I; (c) long hair head tracking II

圖3 SiamMask模型測試誤識別現(xiàn)象. （a）深色干擾源誤識別；（b）肉色干擾誤識別；（c）頭發(fā)遮擋誤識別Fig.3 SiamMask model test misrecognition phenomenon: (a) misidentification of dark interference sources; (b) misidentification of flesh color interference; (c) misidentification of hair occlusion

表1 SiamMask模型目標(biāo)跟蹤效果統(tǒng)計Table 1 Statistics of target tracking effect of the SiamMask model

1）初始化區(qū)域選定的面部比例較大時，效果存在較多誤識別現(xiàn)象.

2）干擾項出現(xiàn)時若產(chǎn)生誤識別現(xiàn)象，在干擾因素消失時，無法及時恢復(fù)目標(biāo)跟蹤. 在本文的對象視頻中表現(xiàn)為，目標(biāo)移出視頻后再返回則不再跟蹤. 由圖3所示，目標(biāo)誤識別后，即便目標(biāo)仍在同一區(qū)域，也難以校正.

1.3 SiamMask 模型的修正處理

針對SiamMask模型的應(yīng)用不足，提出算法修正. 對原始工業(yè)視頻做ROI提取，并以STC時空上下文跟蹤法[16?17]對視頻序列進行匹配校正，從而減少工業(yè)環(huán)境中的目標(biāo)漏檢、誤檢率，實現(xiàn)復(fù)雜環(huán)境中頭發(fā)區(qū)域的精準(zhǔn)檢測. 算法框架圖如圖4所示. 圖中，Pk為第k幀圖像，Pk’為STC預(yù)測的第k幀圖像，Φ為判斷函數(shù).

修正1：ROI區(qū)域提取. 如上文所述，SiamMask模型初始Mask對視頻后序識別的誤差具有積累性，因此在算法修正時首先對視頻進行了識別目標(biāo)與非相關(guān)性背景的分離預(yù)處理[18].

修正2：STC匹配校正. STC模型是一種考量了目標(biāo)與背景相關(guān)性的算法理念，具有較高的目標(biāo)跟蹤精度與速度. 本文基于STC算法，結(jié)合時間與空間信息，根據(jù)對頭發(fā)目標(biāo)時空關(guān)系的在線學(xué)習(xí)預(yù)測新的目標(biāo)位置，并與SiamMask模型的跟蹤結(jié)果進行匹配校正.

1.3.1 工業(yè)視頻ROI提取

本文所使用的視頻來自于實際車工場地監(jiān)控鏡頭錄制的彩色視頻，分辨率為1920×1080，幀率為每秒24幀，總幀數(shù)截取3427幀. 從圖5（a）可以看出，視頻畫面中包含多個機床工位，往來人員較多，這給單個目標(biāo)的跟蹤、檢測帶來一定干擾. 面對實際情況，針對單個車床目標(biāo)，需要對獲得的視頻進行ROI提取操作. 其中包括：視頻ROI區(qū)域設(shè)定、全圖運動檢測兩部分.

（1）ROI區(qū)域設(shè)定.

具體ROI提取步驟中有兩個關(guān)鍵點：ROI區(qū)域起點位置、ROI區(qū)域的分辨率. 應(yīng)用先驗知識，可以確定ROI區(qū)域左上角起點像素位置A(x,y)，ROI區(qū)域?qū)挾葹閘w，高度為lh，如式(1)所示：

圖4 基于SiamMask模型的時空預(yù)測移動目標(biāo)跟蹤算法框架圖Fig.4 Framework of spatiotemporal prediction moving target tracking algorithms based on the SiamMask Model

圖5 車工監(jiān)控視頻 ROI提取結(jié)果. （a）原始畫面；（b）ROI提取畫面Fig.5 ROI extraction result of a locomotive monitoring video: (a) original picture; (b) ROI extraction picture

通過自動獲取原始視頻的信息，按照式（1）進行相對比例的計算，處理結(jié)果如圖5（b）所示，裁切得到的視頻寬度為816個像素、高度為536個像素、ROI左上角起點坐標(biāo)像素為（516，541）.

（2）ROI全圖運動檢測及自動提取.

步驟1：設(shè)Ik(z)為像素點z(xz,yz)灰度值，對輸入視頻相鄰的三幀圖像，進行像素點灰度值變化計算.

步驟2：判斷相鄰幀之間灰度變化，對差值標(biāo)志賦值. 在訓(xùn)練中選取灰度差閾值ΔIT=30.

步驟3：判斷兩個差值標(biāo)志位邏輯結(jié)果同時為1時，代表三幀中有運動目標(biāo)存在.

步驟4：對于輸入的序列圖像，按照時序統(tǒng)計每三幀之間的灰度變化像素點的個數(shù)，當(dāng)運動目標(biāo)出現(xiàn)時，灰度變化像素點個數(shù)成跳變趨勢，從該時刻進行ROI區(qū)域的提取，即按照ROI區(qū)域先驗設(shè)定尺寸進行裁切. 如圖6所示.

圖6 運動圖像檢測灰度圖. （a）無運動目標(biāo)時的原圖/灰度圖；（b）運動目標(biāo)出現(xiàn)時的原圖/灰度圖Fig.6 Gray level image of moving image detection: (a) original image / gray level image without moving object; (b) original image / gray level image when moving object appears

1.3.2 STC匹配校正

為了解決復(fù)雜環(huán)境、頭發(fā)遮擋等對頭部跟蹤的影響，在深度學(xué)習(xí)框架后的濾波跟蹤框架中融合了圖像空間上下文信息，以實現(xiàn)對目標(biāo)變化的自適應(yīng)調(diào)整. STC圖像空間上下文算法通過貝葉斯框架統(tǒng)計目標(biāo)及其背景的相關(guān)性并進行置信圖計算，根據(jù)置信圖的似然概率最大位置預(yù)測新的目標(biāo)位置.

根據(jù)當(dāng)前幀確定上下文特征集合：Tc={c(z)=(I(z)，z)|z∈Ωc(t*)}，其中，t*(xt,yt)是目標(biāo)區(qū)域中心，I(z)是目標(biāo)區(qū)域像素z的灰度值，Ωc(t*)是由目標(biāo)矩形確定的局部上下文區(qū)域的圖像灰度與位置的統(tǒng)計建模，c(z)為置信圖函數(shù)[19]. 如圖7所示，對灰度級圖像進行閾值化處理，得到的二值化圖像可進一步排除背景冗余信息.

設(shè)SiamMask模型第k幀追蹤目標(biāo)圖像為Pk，空間上下文預(yù)測第k幀目標(biāo)圖像為. 設(shè)計判斷函數(shù)Φ進行Pk與中目標(biāo)位置的相似度比對，根據(jù)比對結(jié)果進行更新校正，形成新的目標(biāo)跟蹤結(jié)果.

步驟1：計算k-1幀ROI區(qū)域置信圖：

圖7 圖像灰度及閾值化處理. (a)原始視頻圖像；(b) 灰度化處理結(jié)果；(c) 閾值化處理結(jié)果Fig.7 Gray level and threshold processing of image: (a) original video image; (b) grayscale processing results; (c) threshold processing results

式中，o表示所跟蹤目標(biāo)，P為上下文先驗?zāi)Ｐ?

步驟2：計算k-1幀Ωc(t*)上下文區(qū)域的空間上下文模型：

式中，b是歸一化參數(shù)，α是尺度參數(shù)，β是目標(biāo)形狀參數(shù).

步驟3：更新空間上下文模型：

式中，ρ為模型更新的學(xué)習(xí)率.

步驟4：在第k幀計算上下文先驗?zāi)Ｐ图爸眯艌D：

步驟5：將第k幀得到的置信圖極值點作為目標(biāo)在k幀的位置輸出：

2 算法研究結(jié)果及分析

2.1 算法訓(xùn)練

與SiamMask[15]一樣，使用Warmup預(yù)熱學(xué)習(xí)率的方式，在Davis2017[20]數(shù)據(jù)集中進行訓(xùn)練，并在機加工操作數(shù)據(jù)視頻集中進行頭部識別測試.其中，訓(xùn)練輸入為圖像尺寸127像素×127像素，255像素×255像素，數(shù)據(jù)增強采用隨機抖動與搜索策略，網(wǎng)絡(luò)初始化權(quán)重采用SiamMask模型在ImageNet-1k Datasets上預(yù)訓(xùn)練的權(quán)重，梯度下降策略采用SGD. 訓(xùn)練時在開始進行的5輪訓(xùn)練中，先將學(xué)習(xí)率從10-3線性增長到5×10-3，之后通過15輪訓(xùn)練將學(xué)習(xí)率以對數(shù)規(guī)律降為5×10-4.

圖8為本文算法在訓(xùn)練及測試集中的準(zhǔn)確率、損失率曲線圖. 可以看到，在訓(xùn)練集上，15輪次左右訓(xùn)練后，準(zhǔn)確率及損失率均有效收斂. 在測試集上，由于數(shù)據(jù)特征更為集中，呈現(xiàn)了更快速的收斂性.

圖8 算法訓(xùn)練/測試準(zhǔn)確率及損失率曲線. （a）訓(xùn)練集準(zhǔn)確率曲線圖；（b）訓(xùn)練集損失率曲線圖；（c）測試集準(zhǔn)確率曲線圖；（d）測試集損失率曲線圖Fig.8 Algorithm training/test accuracy and loss rate curve: (a) training set accuracy curve; (b) training set loss curve; (c) test set accuracy curve; (d) test set loss curve

2.2 算法應(yīng)用效果測試

2.2.1 測試指標(biāo)設(shè)計

本文采用圖像檢測中常用的標(biāo)準(zhǔn)性能度量參數(shù) IoU（Intersection over union）進行檢測判斷. 當(dāng)檢測到的目標(biāo)位置與真實目標(biāo)位置相交的重疊部分為0時為失敗，即IoU=0認(rèn)定為跟蹤失敗. 通過式（10）統(tǒng)計第i段視頻誤檢幀所占的比例.

式中，M為視頻個數(shù).Q為所有視頻片段的錯誤率的均值.

2.2.2 測試數(shù)據(jù)對比

為保證對比測試的初始區(qū)域一致性，SiamMask模型與本文所提算法均采用被測視頻的初始幀人臉區(qū)域分割結(jié)果. 通過對7段測試視頻進行統(tǒng)計，得到前文表1及下文表2的數(shù)值.

從表1中視頻的測試數(shù)據(jù)可計算得知Q=34.29%，即算法誤識別的平均可能性為34.29%.從表2數(shù)據(jù)可計算得知Q=0.156%，本文提出的算法誤識別率有較大降低.

2.3 算法時間成本

由于本文算法必須滿足智能安全識別系統(tǒng)實時、高效、可靠的要求，因此在實際使用環(huán)境中測試其綜合時間成本.

為了檢驗效果，用外接矩形框?qū)δ繕?biāo)跟蹤輪廓邊界進行了包圍，如圖9（a）所示. 可以看到，經(jīng)過算法校正，背景中的噪聲輪廓得到了大幅度去除，保留得到的頭部輪廓是大面積連通域的外輪廓. 對于頭發(fā)輪廓的邊界點坐標(biāo)以向量的形式進行存儲，即獲取到視頻序列中人員頭發(fā)的位置坐標(biāo)，為后續(xù)頭發(fā)目標(biāo)是否進入危險區(qū)的判定提供基礎(chǔ).

如圖9（a）中所示，較大藍色矩形框代表二級危險區(qū)，較小綠色矩形框代表一級危險區(qū). 對于危險區(qū)的位置信息記錄如下，二級危險區(qū)的具體設(shè)計為：左上角頂點像素位置坐標(biāo)為（418, 274），寬度為164個像素，高度為147個像素. 一級危險區(qū)的具體設(shè)計為：左上角頂點像素位置坐標(biāo)為（471, 311），寬度為107個像素，高度為93個像素. 在圖9（b）中設(shè)計了四種報警級別的區(qū)域范圍，分別是預(yù)警II級、預(yù)警I級、危險、非常危險.

對于兩組坐標(biāo)進行比對判別，判斷頭發(fā)目標(biāo)進入危險區(qū)的程度以觸發(fā)不同類別的報警. 得到結(jié)果如圖10所示，圖10（b）左上角為具體文字報警內(nèi)容.

表2 基于SiamMask模型的時空預(yù)測算法目標(biāo)跟蹤效果統(tǒng)計Table 2 Statistics of the target tracking effect of the spatiotemporal prediction algorithms based on the SiamMask model

圖9 固定危險區(qū)劃分示意圖. （a）視頻危險區(qū)劃分圖；（b）危險級別劃分示意圖Fig.9 Fixed danger zone division diagram: (a) video dangerous zone division map; (b) diagram of hazard classification

圖10 頭發(fā)目標(biāo)跟蹤報警結(jié)果. （a）第 30 幀；（b）第 35 幀；(c)第 60 幀；（d）第 70 幀；（e）第 75 幀；（f）第 80 幀F(xiàn)ig.10 Hair target tracking alarm results: (a) frame 30; (b) frame 35; (c) frame 60; (d) frame 70; (e) frame 75; (f) frame 80

對于算法的處理時間進行統(tǒng)計. 利用cvGetTickCount函數(shù)得到從操作系統(tǒng)啟動到當(dāng)前所經(jīng)歷的時鐘周期數(shù)，利用cvGetTickFrequency函數(shù)返回每秒的計時周期數(shù)N. 則程序運行時間T可以通過式(12)計算得到.

式中，nr為當(dāng)前時鐘周期數(shù)，ns為開始時鐘周期數(shù).

測試視頻的基本信息為：寬度816像素，高度536像素，總幀數(shù)3426幀，幀率為每秒30幀，圖像處理速度為每秒30幀. 按照式（12）計算，處理時間為0.137 ms.

算法的計算效率比改進前的SiamMask模型圖像處理速度每秒提高3.2幀，算法效率提高約11.94%，可以滿足智能安全預(yù)警系統(tǒng)的實時快速性要求.

3 結(jié)論

（1）基于PyTorch深度學(xué)習(xí)框架的SiamMask模型單目標(biāo)跟蹤算法，引入ROI檢測及STC時空上下文目標(biāo)跟蹤算法，結(jié)合時間與空間信息，根據(jù)對頭發(fā)目標(biāo)時空關(guān)系的在線學(xué)習(xí)預(yù)測新的目標(biāo)位置，對SiamMask模型進行了算法校正.

（2）提出的算法應(yīng)用于復(fù)雜環(huán)境中頭發(fā)目標(biāo)視頻圖像識別. 研究結(jié)果表明：所提算法能夠克服環(huán)境干擾、目標(biāo)遮擋對跟蹤效果的影響，將目標(biāo)跟蹤誤識別率降低至0.156%.

（3）其計算時間成本為每秒30幀，比改進前的SiamMask模型幀率每秒提高3.2幀，算法效率提高約11.94%，可以滿足智能安全預(yù)警系統(tǒng)的實時快速性要求.