基于多域網(wǎng)絡(luò)的紅外目標(biāo)跟蹤算法

孫明杰, 周 林, 顧金玲, 李培庚

(1. 空軍工程大學(xué)防空反導(dǎo)學(xué)院, 陜西 西安 710051;2. 中國(guó)人民解放軍32272部隊(duì), 甘肅 蘭州 730010;3. 中國(guó)人民解放軍95169部隊(duì), 廣西 南寧 530031)

0 引 言

目標(biāo)跟蹤問題是機(jī)器視覺領(lǐng)域的重要研究?jī)?nèi)容之一,高性能的目標(biāo)跟蹤算法不斷出現(xiàn)[1]。然而紅外圖像信噪比和分辨率均較低,使得紅外目標(biāo)跟蹤問題比可見光目標(biāo)跟蹤更具挑戰(zhàn)性[2]。紅外成像技術(shù)是一種通過探測(cè)目標(biāo)紅外輻射來成像的非接觸、被動(dòng)檢測(cè)技術(shù),其主要優(yōu)勢(shì)是能夠在完全黑暗的情況下對(duì)目標(biāo)成像[3]。隨著紅外成像技術(shù)的不斷進(jìn)步,其不僅廣泛用于軍事領(lǐng)域,同時(shí)在民用領(lǐng)域具有廣闊的應(yīng)用前景,如智能安防等[4]。

近十年來,國(guó)內(nèi)外相關(guān)學(xué)者在紅外目標(biāo)跟蹤領(lǐng)域做了大量工作[5-8]。盧楊等利用改進(jìn)的低維度紋理特征來獲取各個(gè)像素的梯度方向和幅值信息,有效提高了目標(biāo)跟蹤的穩(wěn)定性[9]。西安電子科技大學(xué)的錢琨等將引導(dǎo)濾波和卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network,CNN)應(yīng)用于紅外目標(biāo)跟蹤問題,并對(duì)應(yīng)用效果進(jìn)行了驗(yàn)證[10]。Lamberti等仍以模板匹配算法為基礎(chǔ),通過改進(jìn)以提高算法的性能,仍然難以克服模版漂移的問題[11]。Mould等則將AM-FM一致性檢查用于紅外目標(biāo)跟蹤,可以在一定程度上提高對(duì)紅外數(shù)據(jù)序列的跟蹤性能,在AMCOM紅外序列上也有不錯(cuò)的表現(xiàn)[12]。盡管紅外目標(biāo)跟蹤取得了一些進(jìn)展,但跟蹤算法性能仍難以滿足應(yīng)用要求。

得益于CNN杰出的特征表達(dá)能力,其在目標(biāo)識(shí)別和檢測(cè)領(lǐng)域得到了成功的應(yīng)用[13]。但是在目標(biāo)跟蹤領(lǐng)域,這個(gè)序列中的目標(biāo)可能是另一個(gè)序列的背景,因此CNN在目標(biāo)跟蹤領(lǐng)域應(yīng)用受到一定的限制。在2016年,韓國(guó)的POSTECH團(tuán)隊(duì)提出了多域網(wǎng)絡(luò)(multi-domain networks, MDNet),由于其輕量級(jí)的網(wǎng)絡(luò)結(jié)構(gòu)和多域訓(xùn)練的模型設(shè)計(jì),在目標(biāo)跟蹤領(lǐng)域取得了杰出的效果[14]。由于紅外圖像本身質(zhì)量不高,數(shù)十層復(fù)雜結(jié)構(gòu)在CNN網(wǎng)絡(luò)將會(huì)使深度特征成為一個(gè)像素點(diǎn),難以實(shí)現(xiàn)對(duì)目標(biāo)特征的描述。同時(shí),對(duì)于目標(biāo)跟蹤問題而言,目標(biāo)在相鄰幀的尺寸變化較小且變化具有一定的規(guī)律性。因此,在多域網(wǎng)格的基礎(chǔ)上引入了目標(biāo)尺度預(yù)測(cè),并稱之為基于尺度預(yù)測(cè)的多域網(wǎng)絡(luò)(scale prediction based MDNet, SPMDNet)。該算法能夠在充分利用深度特征表達(dá)能力的同時(shí),提高跟蹤算法的魯棒性。

1 多域網(wǎng)絡(luò)

如圖1所示,多域網(wǎng)絡(luò)由共享層和分支層組成,其中每個(gè)域?qū)?yīng)單個(gè)訓(xùn)練序列,每個(gè)分支負(fù)責(zé)二值分類以識(shí)別每個(gè)域中的目標(biāo)。網(wǎng)絡(luò)只有6層,其中卷積層是一個(gè)通用的特征提取器,而全連接層則針對(duì)任務(wù)和數(shù)據(jù)集的不同進(jìn)行自適應(yīng)調(diào)整。選擇多域網(wǎng)絡(luò)作為算法的基礎(chǔ)框架的原因主要有兩個(gè):① 其結(jié)構(gòu)只有6層,對(duì)低分辨率的紅外圖像具有較好的適應(yīng)性;② 相對(duì)于可見光圖像而言,現(xiàn)有的紅外圖像數(shù)據(jù)庫(kù)較少,較淺的網(wǎng)絡(luò)結(jié)構(gòu)可以有效避免過擬合。

圖1 多域網(wǎng)絡(luò)結(jié)構(gòu)

對(duì)于多域網(wǎng)絡(luò)而言,在線跟蹤是通過評(píng)估在前一個(gè)目標(biāo)位置周圍隨機(jī)采樣以生成候選框來進(jìn)行的。在進(jìn)行目標(biāo)跟蹤時(shí),候選框的產(chǎn)生是隨機(jī)的,隨機(jī)抽樣策略不能充分利用先驗(yàn)信息。目標(biāo)的尺度與當(dāng)前幀之前的尺度高度相關(guān),不會(huì)突然改變,因此可以作為重要的先驗(yàn)信息進(jìn)行利用。由于在線學(xué)習(xí)的精度與跟蹤精度有密切關(guān)系,質(zhì)量差的在線學(xué)習(xí)甚至?xí)?dǎo)致跟蹤失敗。通過尺度預(yù)測(cè)的反饋,提高目標(biāo)跟蹤算法的性能。在線學(xué)習(xí)中的尺度預(yù)測(cè)可以通過生成合理的學(xué)習(xí)樣本充分利用先驗(yàn)信息,提高跟蹤器的準(zhǔn)確性和魯棒性。

2 基于多域網(wǎng)絡(luò)的紅外目標(biāo)跟蹤

本節(jié)將主要介紹應(yīng)用目標(biāo)尺度預(yù)測(cè)的紅外目標(biāo)跟蹤算法以及算法評(píng)估的標(biāo)準(zhǔn)。

2.1 目標(biāo)尺度預(yù)測(cè)

人工神經(jīng)網(wǎng)絡(luò)不需要預(yù)先確定輸入與輸出之間映射關(guān)系的數(shù)學(xué)方程,只通過自身訓(xùn)練學(xué)習(xí)一些規(guī)則,在給定輸入值時(shí),得到最接近期望輸出值的結(jié)果[15]。反向傳播(back propagation,BP)神經(jīng)網(wǎng)絡(luò)是一種多層前饋神經(jīng)網(wǎng)絡(luò),其主要特點(diǎn)是信號(hào)的前向傳輸和誤差的后向傳播[16]。由于不同序列的尺度變化是不同的,只能根據(jù)當(dāng)前幀之前的跟蹤結(jié)果來預(yù)測(cè)下一幀的尺度。神經(jīng)網(wǎng)絡(luò)作為一種非線性建模和預(yù)測(cè)方法,以其良好的非線性質(zhì)量、較高的擬合精度、靈活有效的學(xué)習(xí)方法、全分布式存儲(chǔ)結(jié)構(gòu)和層次化的模型結(jié)構(gòu)在許多領(lǐng)域得到了廣泛的應(yīng)用[17]。因此,設(shè)計(jì)了一個(gè)改進(jìn)的BP網(wǎng)絡(luò)來在線預(yù)測(cè)下一幀中目標(biāo)的尺度。

如圖2所示,用于預(yù)測(cè)目標(biāo)尺度的BP網(wǎng)絡(luò)由隱含層和輸出層兩層組成。其中輸入數(shù)據(jù)為當(dāng)前幀以前的尺度信息,輸出數(shù)據(jù)為當(dāng)前幀的預(yù)測(cè)尺度。輸入數(shù)據(jù)維度為m,輸出數(shù)據(jù)維度為1,即目標(biāo)的預(yù)測(cè)結(jié)果。

圖2 BP網(wǎng)絡(luò)結(jié)構(gòu)

多域網(wǎng)絡(luò)作為一種經(jīng)典的BP網(wǎng)絡(luò),具有傳統(tǒng)BP網(wǎng)絡(luò)的劣勢(shì)[18]。BP神經(jīng)網(wǎng)絡(luò)的執(zhí)行函數(shù)主要采用均方誤差(mean square error, MSE)函數(shù),該函數(shù)較好地處理高斯分布誤差。然而,尺度預(yù)測(cè)的誤差并不滿足高斯分布[19]。與MSE相比,最大交叉熵(maximum correntropy criteria, MCC)更適合用于尺度預(yù)測(cè)[20]。MCC是一種用于評(píng)估兩個(gè)隨機(jī)變量之間的相似性的理論,例如X和Y。MCC的定義為

Vσ(X,Y)=E[kσ(X-Y)]

(1)

式中,kσ為核函數(shù);σ為核寬度。

根據(jù)相關(guān)性理論,當(dāng)相關(guān)性為最大時(shí),預(yù)測(cè)誤差最小,可得到優(yōu)化的BP網(wǎng)絡(luò)模型[21],即

(2)

如圖3所示,輸入的訓(xùn)練數(shù)據(jù)是目標(biāo)從當(dāng)前t-1幀到t-m-n幀的比例,則訓(xùn)練數(shù)據(jù)有2(m+n)個(gè)。這里的“2”表示目標(biāo)的寬度和長(zhǎng)度,分別是預(yù)測(cè)的。BP網(wǎng)絡(luò)的輸出每次只有一個(gè)結(jié)果。

圖3 BP網(wǎng)絡(luò)訓(xùn)練數(shù)據(jù)結(jié)構(gòu)

2.2 跟蹤框回歸

(3)

2.3 基于目標(biāo)尺度預(yù)測(cè)的多域網(wǎng)絡(luò)目標(biāo)跟蹤

BP網(wǎng)絡(luò)的訓(xùn)練是在線進(jìn)行的,因?yàn)橛?xùn)練數(shù)據(jù)是在跟蹤過程中產(chǎn)生的。目標(biāo)的預(yù)測(cè)尺度可以為跟蹤器提供更加科學(xué)合理的樣本,提高跟蹤性能。

1. 初始化目標(biāo)位置為x12. If t<1013. 候選框=random (xt-1);4. else5. 訓(xùn)練數(shù)據(jù)為xit-100:xit-1;6. 利用BP網(wǎng)絡(luò)預(yù)測(cè)目標(biāo)尺度xt;7. 輸出目標(biāo)預(yù)測(cè)尺度,并選擇最優(yōu)的候選框?yàn)槟繕?biāo)位置x*.8. End

下面描述了進(jìn)一步的實(shí)現(xiàn)細(xì)節(jié)。

(1) 訓(xùn)練數(shù)據(jù)。BP網(wǎng)絡(luò)的訓(xùn)練是在線進(jìn)行的，因?yàn)橛?xùn)練數(shù)據(jù)是在跟蹤過程中產(chǎn)生的。目標(biāo)的預(yù)測(cè)尺度可以為跟蹤器提供更加科學(xué)合理的樣本，提高跟蹤性能。

(2) 網(wǎng)絡(luò)學(xué)習(xí)。為了提取滿足紅外圖像共同屬性的特征，使用VOT-TIR 2016訓(xùn)練共享層。對(duì)于每個(gè)跟蹤序列，以0.05的學(xué)習(xí)率對(duì)網(wǎng)絡(luò)進(jìn)行300次迭代訓(xùn)練。

2.4 算法評(píng)價(jià)評(píng)估方法

當(dāng)前機(jī)器視覺領(lǐng)域的目標(biāo)跟蹤問題主要圍繞可見光目標(biāo)跟蹤問題，專門針對(duì)紅外圖像序列的數(shù)據(jù)庫(kù)和評(píng)價(jià)標(biāo)準(zhǔn)都比較缺乏[23]。VOT-TIR是紅外目標(biāo)跟蹤領(lǐng)域最出色的數(shù)據(jù)庫(kù)，不僅包含大量的紅外序列，還有眾多優(yōu)異算法的測(cè)試結(jié)果[24]。為了驗(yàn)證所提出算法的性能，將算法與VOT-TIR 2016中的18種優(yōu)秀算法進(jìn)行了比較，并利用VOT2016評(píng)估工具包對(duì)所有跟蹤算法進(jìn)行評(píng)估。

2.4.1 精度

精度測(cè)量是根據(jù)預(yù)測(cè)的邊界盒與地面真值的重疊來計(jì)算的。根據(jù)IOU(交集比并)的定義，對(duì)VOT中的精度定義為

(4)

(5)

式中,Φt(i)表示跟蹤器i第k次重復(fù)中的準(zhǔn)確率;Nrep表示重復(fù)次數(shù)。因此，跟蹤器i的精度a(i)可以定義為

(6)

為了使精度的表達(dá)更加直觀，將式(6)修改為

A(i)=e-Sa(i)

(7)

S為一個(gè)常數(shù)項(xiàng)，一般在精度描述時(shí)指出其具體的數(shù)值。

2.4.2 魯棒性

魯棒性用于評(píng)價(jià)跟蹤算法的健壯性，能夠有效表征算法的適應(yīng)性[25]。VOT的魯棒性R(i)定義如下：

(8)

2.4.3 預(yù)期平均重疊部分

由于評(píng)價(jià)方法的準(zhǔn)確性-魯棒性不能充分利用行數(shù)據(jù)，因此提出了一種新的指標(biāo)預(yù)期平均重疊部分(expected average overlap, EAO)方法。該算法只關(guān)注基于重疊定義的精度。EAO的計(jì)算為

(9)

式中，Ns為序列的長(zhǎng)度，精度通過一次評(píng)估來(one-pass evaluation，OPE)評(píng)價(jià)。

2.4.4 實(shí)時(shí)性指標(biāo)

算法的實(shí)時(shí)性是應(yīng)用的重要前提，因此需要綜合考慮算法的運(yùn)行速度。由于每個(gè)圖像序列的長(zhǎng)度不同，為了使計(jì)算更加準(zhǔn)確，對(duì)圖像序列進(jìn)行平均運(yùn)算。采用每秒能夠處理的圖像數(shù)量(figures per second，F(xiàn)PS)作為實(shí)時(shí)性評(píng)價(jià)指標(biāo)，其定義為

(10)

式中，Ni表示第i個(gè)序列的長(zhǎng)度;ti表示第i個(gè)序列耗費(fèi)的時(shí)長(zhǎng)。

3 跟蹤算法評(píng)估

為了驗(yàn)證所提出算法的跟蹤性能，本節(jié)在著名的公開紅外數(shù)據(jù)集VOT-TIR 2016上進(jìn)行了評(píng)估，其包含25個(gè)具有挑戰(zhàn)性的紅外圖像序列。數(shù)據(jù)集中包含的紅外序列包括9個(gè)不同的來源，其使用10種不同類型的紅外傳感器，場(chǎng)景遍布工業(yè)和研究機(jī)構(gòu)。此外，通過空中移動(dòng)平臺(tái)獲得的AMCOM序列在運(yùn)動(dòng)中會(huì)遭遇突然的不協(xié)調(diào)。與實(shí)際應(yīng)用項(xiàng)目更接近。因此，在難度非常大的FLIR數(shù)據(jù)集AMCOM中評(píng)估了所提算法。

3.1 VOT-TIR 2016上的實(shí)驗(yàn)

首先，對(duì)所提出的算法和VOT-TIR 2016中18個(gè)表現(xiàn)優(yōu)異的跟蹤算法進(jìn)行了定性評(píng)價(jià)。為了更簡(jiǎn)潔地評(píng)估跟蹤器的性能，當(dāng)算法丟失目標(biāo)后，不再重新初始。

如圖4所示,將訓(xùn)練數(shù)據(jù)重新組合為項(xiàng)目,每個(gè)項(xiàng)目包含m個(gè)數(shù)。所提的算法中,m=49和n=51,網(wǎng)絡(luò)預(yù)測(cè)200次生成在線學(xué)習(xí)候選窗口。圖4展示了相關(guān)算法在多個(gè)序列上的跟蹤結(jié)果，不同顏色的跟蹤框代表不同的算法，對(duì)跟蹤失敗的幀用“X”標(biāo)記。可以看出，所提出的算法能夠穩(wěn)定地跟蹤目標(biāo)，甚至在相機(jī)運(yùn)動(dòng)、嚴(yán)重遮擋和快速運(yùn)動(dòng)等情況下保持了較好的跟蹤精度。

圖4 所提算法和其他11個(gè)跟蹤算法在9個(gè)高難度序列上的跟蹤結(jié)果

3.1.1 魯棒性和精度分析

序列合并魯棒性和精度等級(jí)圖是通過將所有序列的結(jié)果串聯(lián)起來并創(chuàng)建一個(gè)等級(jí)列表來獲得的，而屬性歸一化精度等級(jí)圖是通過對(duì)每個(gè)屬性的跟蹤器進(jìn)行排序并對(duì)等級(jí)列表進(jìn)行平均來創(chuàng)建的。圖5顯示了所有跟蹤器在不同屬性中的排序。

圖5 5種屬性下的魯棒性-精度排序

從圖5中可以看到，所提出的算法在幾乎所有屬性中具有出色的表現(xiàn)。尤其是在屬性攝像機(jī)運(yùn)動(dòng)、運(yùn)動(dòng)變化和大小變化上的整體精度排名第一，這充分顯示了目標(biāo)尺度預(yù)測(cè)對(duì)算法精度的提升效果顯著。

3.1.2 EAO

期望重疊(expected overlap, EO)是一個(gè)能夠表現(xiàn)算法整體精度的評(píng)價(jià)指標(biāo)，在評(píng)價(jià)中起著重要的作用。根據(jù)式(6)中的定義，一組一定長(zhǎng)度序列的平均重合率來給出期望的平均重疊曲線。如圖6(a)所示，所提方法始終優(yōu)于其他跟蹤器。將典型序列的EO從223幀到509幀，對(duì)EO曲線進(jìn)行積分得到期望重疊分?jǐn)?shù)。圖6(b)展示了所有算法的EAO排序，最右邊的跟蹤器是表現(xiàn)最好的。因此，可以看出所提出的算法排名第二，僅次于SHCT算法。

圖6 EO圖和EAO圖

3.2 AMCOM上的實(shí)驗(yàn)

為了更加科學(xué)地評(píng)價(jià)所提出算法的性能，從著名的FLIR數(shù)據(jù)集AMCOM中選取了兩個(gè)序列對(duì)所提出的算法進(jìn)行了評(píng)估。該數(shù)據(jù)集圖像尺寸為128像素×128像素，為無人機(jī)掛載紅外攝像頭采集的，難度比較大。為了對(duì)比不同自算法的性能，選取5個(gè)優(yōu)秀的跟蹤器的結(jié)果，包括MDNet[26]、LSST[27]、TLD[28]、KCF[29]、LCT[30]進(jìn)行對(duì)比實(shí)驗(yàn)。

表1對(duì)算法在紅外序列上的性能進(jìn)行了定量分析，采用DPR和OSR衡量算法的精度，F(xiàn)PS衡量算法的實(shí)時(shí)性。

為了對(duì)算法的性能進(jìn)行定量描述，采用在20個(gè)像素誤差閾值下的正確率(distance precision rate, DPR)和重疊度70%閾值下的重疊成功率(overlap success rate, OSR)，對(duì)算法的精度進(jìn)行定量評(píng)估，評(píng)估結(jié)果見圖7。實(shí)驗(yàn)表明，對(duì)于序列l(wèi)wir_1608，所提算法在精度上有很好的性能，成功率排名第二。對(duì)于序列l(wèi)wir_1913，與其他5個(gè)跟蹤算法相比，定位精度排名第二，成功率排名第一。這也表明所提方法在AMCOM數(shù)據(jù)集上是有效的。

表1 算法和5種算法精度和速度對(duì)比

圖7 DPR和OSR的比較

分析表1可知，在兩個(gè)序列中，所提算法的平均跟蹤精度和成功率都優(yōu)于其他5種算法，實(shí)時(shí)性達(dá)到5.2 fps。相比于MDNet，所提出的算法成功率提高了21.9%，平均重疊率提高了30.4%，算法的運(yùn)行速度下降了2.3%。目標(biāo)尺度預(yù)測(cè)增加了一定的計(jì)算量，因此實(shí)時(shí)性略有下降。同時(shí)，目標(biāo)跟蹤的精度得到了顯著的提高，因此所采用目標(biāo)尺度預(yù)測(cè)是有效的。

圖8將所提算法與5種算法的結(jié)果進(jìn)行可視化,不同顏色的跟蹤框代表不同的算法。在目標(biāo)跟蹤初期,多數(shù)算法可以實(shí)現(xiàn)對(duì)目標(biāo)的跟蹤。在目標(biāo)輻射強(qiáng)度出現(xiàn)變化或目標(biāo)突然轉(zhuǎn)彎后,所提出的算法仍然可以實(shí)現(xiàn)對(duì)目標(biāo)的穩(wěn)定跟蹤,表現(xiàn)出優(yōu)異的魯棒性。

圖8 跟蹤結(jié)果可視化對(duì)比

4 結(jié) 論

本文提出一種具有目標(biāo)尺度預(yù)測(cè)機(jī)制的紅外目標(biāo)跟蹤算法,通過改進(jìn)的BP網(wǎng)絡(luò)對(duì)跟蹤過程中的目標(biāo)尺度進(jìn)行預(yù)測(cè),可以充分利用先驗(yàn)信息。與MDNet相比,尺度預(yù)測(cè)的應(yīng)用可以顯著提高跟蹤精度和魯棒性。大量實(shí)驗(yàn)結(jié)果表明,該算法在準(zhǔn)確性和魯棒性方面優(yōu)于現(xiàn)有的算法,對(duì)于紅外目標(biāo)跟蹤問題的研究具有一定的參考價(jià)值。