基于孿生多注意力網(wǎng)絡(luò)的接觸網(wǎng)侵限輕飄物跟蹤

屈志堅，張博語，朱 琳，梁家敏

(1.華東交通大學(xué) 軌道交通基礎(chǔ)設(shè)施性能監(jiān)測與保障國家重點實驗室，江西 南昌 330013；2.華東交通大學(xué) 電氣與自動化工程學(xué)院，江西 南昌 330013)

高速鐵路(以下簡稱“高鐵”)限界是指為保證運(yùn)輸安全而制定的建筑物、設(shè)備與機(jī)車車輛相互間在線路上不能逾越的輪廓尺寸線。為了保障高鐵運(yùn)輸安全及高效,中國高鐵通常采用1.8 m高護(hù)攔網(wǎng)阻攔的方式對鐵路限界進(jìn)行保護(hù),護(hù)欄網(wǎng)的物理阻攔,主要是對鐵路沿線兩側(cè)1.8 m高度限界進(jìn)行異物攔截,鐵路上空接觸網(wǎng)區(qū)域已成為防護(hù)盲區(qū),在大風(fēng)天氣情況下,鐵路沿線的廢棄氦氣球、塑料袋、風(fēng)箏、孔明燈、地膜等輕飄物,容易侵入限界并纏繞在接觸網(wǎng)上,給鐵路運(yùn)輸安全造成嚴(yán)重的安全隱患[1]。如中國南方某鐵路局,鐵路工作人員未能及時發(fā)現(xiàn)輕飄物侵限,造成輕飄物纏繞在接觸網(wǎng)上,致使列車晚點,旅客滯留車站。此類輕飄物體的侵限事件因受周邊環(huán)境和天氣等影響而帶有隨機(jī)性,難以被及時發(fā)現(xiàn),很難預(yù)知其運(yùn)動軌跡和準(zhǔn)確的隱患位置。接觸網(wǎng)侵限輕飄物的跟蹤研究,對列車司機(jī)及時獲取事件預(yù)警和排除安全隱患具有重要意義,因此急需研究一種適用于高速電氣化鐵路復(fù)雜背景下的快速跟蹤方法。

目前針對限界內(nèi)異物侵限檢測及跟蹤的方法主要為兩類:第一類方法屬于傳感器法,通過紅外光幕、微波及激光掃描等方式對侵限異物進(jìn)行檢測[2-5]。這類方法主要用于隧道口落石等異物檢測,但由于在接觸網(wǎng)強(qiáng)電環(huán)境中易受電磁干擾,故對接觸網(wǎng)異物檢測的適應(yīng)性較差。另一類是機(jī)器視覺方法,自動化程度較高,適用于鐵路異物侵限檢測及跟蹤[6-8],該方法根據(jù)觀測模型分為生成式和判別式兩類。生成式方法圖像信息利用率較低,在復(fù)雜場景下跟蹤準(zhǔn)確性及魯棒性較差[9]。判別式方法因?qū)Ｗ^(qū)分前景與背景,跟蹤精度較好,近年來在目標(biāo)跟蹤領(lǐng)域占據(jù)主流。其中基于相關(guān)濾波和深度學(xué)習(xí)的方法成為研究熱點。相較于傳統(tǒng)算法,基于相關(guān)濾波的算法,無論是精度還是速度都有較大提升,但其使用灰度、顏色、HOG等手工設(shè)計的特征進(jìn)行目標(biāo)描述[10-11],對鐵路這種復(fù)雜場景而言,手工設(shè)計的特征應(yīng)對干擾能力明顯不足。同時,相關(guān)濾波算法的多尺度搜索策略需要每個尺度上的響應(yīng)值,再找出最合適的目標(biāo)尺度,過程煩瑣耗時,不適宜跟蹤帶有較大尺度變化、移動速度快、帶有旋轉(zhuǎn)形變的輕飄物[12]。

目前主流的深度學(xué)習(xí)跟蹤方法以孿生網(wǎng)絡(luò)為代表?；趯\生網(wǎng)絡(luò)的跟蹤算法,其神經(jīng)網(wǎng)絡(luò)提取的深度特征中具有豐富的語義特征,能更加魯棒地表征目標(biāo),以應(yīng)對相似目標(biāo)干擾、環(huán)境變化、背景雜亂等挑戰(zhàn)[13-15]。文獻(xiàn)[16]基于孿生網(wǎng)絡(luò),利用目標(biāo)特征與模板匹配的方法進(jìn)行檢測,但對于發(fā)生遮擋、快速運(yùn)動的異物目標(biāo)檢測時,存在漏檢和誤檢等問題。文獻(xiàn)[17]利用MobileNet網(wǎng)絡(luò)實現(xiàn)輕量化特征提取,結(jié)合孿生與區(qū)域建議網(wǎng)絡(luò)進(jìn)行目標(biāo)跟蹤檢測,但網(wǎng)絡(luò)結(jié)構(gòu)單一,存在模型特征提取能力弱的問題,導(dǎo)致整體跟蹤檢測效果較差?；趯\生網(wǎng)絡(luò)的跟蹤算法其目標(biāo)模板不能在線更新,且目標(biāo)模板與搜索圖像的特征是在孿生網(wǎng)絡(luò)結(jié)構(gòu)的兩個分支中獨立計算,容易造成目標(biāo)信息的缺失,導(dǎo)致跟蹤失敗。文獻(xiàn)[18]在卷積神經(jīng)網(wǎng)絡(luò)中添加注意力機(jī)制進(jìn)行目標(biāo)跟蹤檢測,增強(qiáng)了模型的特征提取能力,但對于目標(biāo)運(yùn)動軌跡變化時,檢測精度不高。文獻(xiàn)[19]提出一種基于雙通道的Transformer網(wǎng)絡(luò),設(shè)計出一種通道注意力交叉融合機(jī)制,提高了目標(biāo)的識別精度,但針對目標(biāo)尺度變化的應(yīng)對能力較弱,且計算成本較高。

針對鐵路接觸網(wǎng)復(fù)雜背景下輕飄物尺度變化大、遮擋干擾和背景雜亂的跟蹤難題,本文提出一種基于孿生注意力網(wǎng)絡(luò)和空間正則化的尺度自適應(yīng)輕飄物侵限(attention spatial-regularization siamese light-object,ASSL)跟蹤方法。利用維納濾波去除接觸網(wǎng)圖像上空復(fù)雜環(huán)境背景的部分運(yùn)動和噪聲模糊,設(shè)計一種接觸網(wǎng)侵限輕飄物跟蹤的ASSL算法模型,通過全局注意力子模塊、空間正則化濾波器和交叉注意力子模塊等處理,將孿生網(wǎng)絡(luò)兩個分支間的圖像信息串聯(lián),提取輕飄物體目標(biāo)特征,生成輕飄物體的區(qū)域建議框,采用多個細(xì)化融合特征模塊對建議框進(jìn)一步精確后輸出目標(biāo)預(yù)測,進(jìn)行跟蹤精度對比實驗、侵限算例的對比實驗和消融實驗,并對本文方法進(jìn)行了驗證。

1 接觸網(wǎng)侵限輕飄物跟蹤圖像預(yù)處理

在高速鐵路線路區(qū)間,每間隔1～2 km安裝一臺高清攝像機(jī),可以對線路兩端進(jìn)行監(jiān)控,若干視頻采集節(jié)點通過網(wǎng)絡(luò)連接,將非結(jié)構(gòu)化視頻圖像數(shù)據(jù)傳輸至匯聚節(jié)點,將圖像信息進(jìn)一步傳輸至綜合視頻監(jiān)控系統(tǒng),進(jìn)行接觸網(wǎng)異物的侵限跟蹤處理。鐵路綜合監(jiān)控管理系統(tǒng)對鐵路沿線進(jìn)行全天候視頻采集并實時上送視頻序列,可以對侵入接觸網(wǎng)限界輕飄異物的跟蹤過程,劃分為圖像采集、圖像復(fù)原及背景簡化處理、圖像特征提取與侵限目標(biāo)生成三部分。對接觸網(wǎng)上空附近的復(fù)雜環(huán)境背景進(jìn)行圖像降噪與復(fù)原的預(yù)處理。

(1)

式中:G(μ,υ)表示帶有噪聲的退化圖像;H(μ,υ)為退化函數(shù);H*為H的復(fù)共軛;K為常數(shù)。

圖1為維納濾波處理掉的運(yùn)動和噪聲模糊,以及輕飄異物的復(fù)原效果。

圖1 維納濾波去噪及復(fù)原效果

2 高鐵輕飄異物侵限跟蹤的ASSL算法模型

2.1 ASSL算法框架設(shè)計

由于高鐵限界內(nèi)輕飄物的運(yùn)動軌跡不確定,且運(yùn)動速度較快,傳統(tǒng)算法適用性較差。

利用多重注意力機(jī)制和空間正則化濾波器與孿生網(wǎng)絡(luò)融合,使孿生網(wǎng)絡(luò)更好地提取尺度變化和快速運(yùn)動特征,通過維納濾波處理部分雜亂背景和遮擋干擾,提出一種基于孿生網(wǎng)絡(luò)的尺度自適應(yīng)鐵路輕飄異物侵限的ASSL跟蹤方法。經(jīng)處理后的圖像,通過空間正則化優(yōu)化的孿生注意力網(wǎng)絡(luò)提取目標(biāo)特征,將侵限異物的視覺圖像信息轉(zhuǎn)化為能被計算機(jī)識別的數(shù)值形式,并用于下一步的卷積計算,對經(jīng)過SiamRPN[20]模塊后區(qū)域生成的建議框采用多組細(xì)化融合特征模塊進(jìn)一步精確目標(biāo)位置,輸出預(yù)測目標(biāo)。

接觸網(wǎng)輕飄物體侵限視頻序列的ASSL跟蹤方法的具體步驟,如圖2所示。第一部分,鐵路綜合視頻監(jiān)控信息流對鐵路沿線進(jìn)行采集得到原序列Y1;第二部分,通過維納濾波預(yù)處理后得到序列Z1;第三部分,從Z1的第一幀Z1(1)中,截取尺寸(127,127,3)作為跟蹤模板幀,下一幀Z1(2)截取尺寸(225,225,3)作為跟蹤檢測幀,分別輸入由五層Resnet-50為主干的孿生網(wǎng)絡(luò),隨著層數(shù)的加深,將得到更高的層次特征。將孿生注意力模塊應(yīng)用于最后三層中,以此調(diào)節(jié)和增強(qiáng)兩個孿生分支在最后三階段的特征,并輸出兩支注意力特征。將3個SiamRPN(siameseregionproposal)塊與輸出的注意力特征融合,輸出大量的特征圖,再經(jīng)分類和回歸兩個分支進(jìn)一步處理,得到單個跟蹤區(qū)域的同時,與兩支注意力特征進(jìn)行深度互相關(guān)計算。最后通過特征融合模塊,將特征進(jìn)一步融合加強(qiáng),分別經(jīng)過邊界框回歸與掩膜預(yù)測,輸出跟蹤結(jié)果。

圖2 接觸網(wǎng)侵限輕飄物跟蹤模型的設(shè)計

2.2 孿生注意力模塊

輕飄物序列Z1進(jìn)入孿生網(wǎng)絡(luò)后,序列的第一幀Z1(1)作為模板分支的輸入,表示為m;Z1(1)的下一幀作為搜索分支的輸入,表示為n。兩個分支共享卷積神經(jīng)網(wǎng)絡(luò)的參數(shù)。經(jīng)五級卷積層后,逐層間產(chǎn)生不同深度的輕飄異物圖像特征信息,而淺層特征主要關(guān)注于物體的外觀、顏色、紋理等,由于輕飄物體存在較大形狀變化、動態(tài)模糊,在鐵路背景環(huán)境下易受物體遮擋,考慮到當(dāng)網(wǎng)絡(luò)深度加深后,表達(dá)特征的能力更強(qiáng),對物體的形變、遮擋信息更為敏感,因此,將網(wǎng)絡(luò)最后三層的特征信息輸入孿生注意力模塊中,通過引入注意力機(jī)制與空間正則化濾波器,將輕飄物體的圖像信息進(jìn)行加強(qiáng)融合。具體步驟如圖3所示。

圖3 孿生注意力模塊的設(shè)計

如圖3所示,孿生注意力模塊以輕飄物序列Z1在孿生網(wǎng)絡(luò)中計算出的一對卷積特征為輸入,經(jīng)過孿生注意力機(jī)制調(diào)整輸出的特征。孿生注意力模塊整體可分為兩個子模塊,左右兩側(cè)的全局注意力子模塊關(guān)注輕飄物的整體圖像信息,中間兩個交叉注意力子模塊串聯(lián)模板區(qū)域與搜索區(qū)域的圖像信息,更關(guān)注有效的背景信息。將輸入的模板特征表述為C×h×w,搜索特征表述為C×H×W。

2.2.1 全局注意力子模塊

全局注意力子模塊由通道注意力、空間注意力和空間正則化濾波器三部分構(gòu)成。受SiamRPN++[21]啟發(fā),深層次卷積特征中的相同通道,對特定類別的跟蹤對象產(chǎn)生高度響應(yīng),其余通道則抑制響應(yīng)。應(yīng)用通道注意力機(jī)制增強(qiáng)對輕飄物特征的捕捉能力。類似地,受傳統(tǒng)算法感受野的影響,特征圖的計算限制在局部圖像塊中,獲得的圖像信息有限。空間注意力機(jī)制和空間正則化濾波器的加入,使算法能夠在整體圖像中獲取信息。以模板特征m計算空間注意力為例,設(shè)m∈C×h×w,為特征空間;模板特征m經(jīng)兩個1×1的卷積層,生成查詢特征Q和關(guān)鍵特征K,其中對Q和K進(jìn)行特征重塑得到C′×p,p=h×w。通過逐點相加和矩陣相乘,得到空間注意力特征圖為

(2)

(3)

2.2.2 空間正則化濾波器

考慮輕飄物在氣流作用下形態(tài)變換較大的運(yùn)動特性,為保證模型能夠精確捕獲目標(biāo)的形變信息,引入空間正則化濾波器對模板幀和搜索幀計算特征響應(yīng),并將特征響應(yīng)與空間注意力特征融合計算?？臻g正則化濾波器對接近邊界的區(qū)域懲罰更大,能有效解決因快速運(yùn)動而產(chǎn)生的邊界效應(yīng),針對快速運(yùn)動的侵限目標(biāo)能夠更為精確的計算其目標(biāo)位置的特征響應(yīng)。

響應(yīng)S可以表示為

(4)

(5)

輕飄物位置區(qū)域下的響應(yīng)見圖4。

圖4 輕飄物在不同位置時響應(yīng)的可視化結(jié)果

利用正則化權(quán)重懲罰對應(yīng)背景特征的濾波器值,有效抑制雜亂的背景信息,可以更加突出輕飄物目標(biāo)的外觀信息,增強(qiáng)模型整體在應(yīng)對快速運(yùn)動和尺度變化時的辨別能力。

2.2.3 交叉注意力子模塊

在輕飄物侵限跟蹤中,鐵路接觸網(wǎng)復(fù)雜的背景環(huán)境也給目標(biāo)定位帶來了挑戰(zhàn),接觸網(wǎng)的復(fù)雜結(jié)構(gòu)使跟蹤過程不可避免的產(chǎn)生遮擋。為解決該問題,引入交叉注意力機(jī)制,使原本獨立進(jìn)行計算的模板分支和搜索分支相互學(xué)習(xí)。將原本忽略的背景中的有效信息得到利用,幫助模型更精確地定位目標(biāo)。以搜索特征n計算交叉注意力為例,設(shè)n∈C×H×W,首先,將輕飄物體目標(biāo)特征n重塑為C×P,P=H×W,交叉注意力AC的計算和通道注意力類似,由此可得

(6)

對所計算的矩陣進(jìn)行逐行softmax操作,得到輕飄物目標(biāo)特征的交叉注意力為

(7)

最后,將所得全局注意力和交叉注意力通過元素求和的方式相加,得到最終的模板特征。同理可得最終的搜索特征。

為更直觀的觀察模型的效果,將特征圖的響應(yīng)大小映射到原圖上,并以此了解模型對目標(biāo)信息的獲取。

由圖5可知,在未添加注意力模塊前,模型受到背景中樹木、接觸網(wǎng)、信號燈和支柱不同程度的干擾;添加注意力模塊后模型主要關(guān)注侵限目標(biāo)的信息。

圖5 添加注意力模塊前后的特征響應(yīng)對比

2.3 輕飄物體的區(qū)域生成

經(jīng)孿生注意力網(wǎng)絡(luò)計算特征后,輸出兩個注意力特征分支,應(yīng)用3個SiamRPN模塊生成目標(biāo)建議。如接觸網(wǎng)輕飄物跟蹤模型所示,3個模塊之間由多個全卷積層組合且深度互相關(guān)。由該模塊生成3個預(yù)測圖,并采用加權(quán)融合方式生成最終組合圖。最后,根據(jù)組合圖給出的區(qū)域建議,選取得分最高的輸出預(yù)測區(qū)域。在此基礎(chǔ)上,采取多個融合細(xì)化操作,提升模型整體的精確度。

1)應(yīng)用深度交叉互相關(guān)操作,將孿生注意力網(wǎng)絡(luò)輸出的注意力特征與輸出預(yù)測區(qū)域進(jìn)行計算,生成一組相關(guān)性圖。

2)將相關(guān)性圖輸入到特征融合模塊,采用1×1的卷積和上下采樣操作進(jìn)行特征對齊。同時,將原始目標(biāo)圖像輸入空間正則化濾波器計算特征,并與孿生網(wǎng)絡(luò)前兩層特征跟相關(guān)性圖逐元素求和的方式進(jìn)行融合,使模型得到更豐富的局部圖像信息。

3)添加可變形的ROI(regionofinterest)池化層,使目標(biāo)特征的計算更加精確。

2.4 端到端訓(xùn)練ASSL

在訓(xùn)練階段,根據(jù)輕飄物體運(yùn)動特征,歸納得出快速運(yùn)動、鏡頭搖晃、動態(tài)模糊、尺度變化、背景雜亂等標(biāo)簽,以某鐵路試驗線采集的圖像為主,從GOT-10K[22]數(shù)據(jù)集上選取符合標(biāo)簽的內(nèi)容作為補(bǔ)充,整合出45類視頻序列,共43 589張圖像。隨機(jī)間隔地從中調(diào)取樣本對,模板和檢測圖像選自同一視頻序列的兩幀。對整個網(wǎng)絡(luò)采用隨機(jī)梯度下降(stochasticgradientdescent,SGD)進(jìn)行端到端的訓(xùn)練。對正負(fù)樣本的選定采用廣泛使用的目標(biāo)檢測測量標(biāo)準(zhǔn)IoU,即

(8)

IoU的值越高,表示A框與B框重合度越高,代表模型的預(yù)測越準(zhǔn)確;IoU的值越低模型性能越差。規(guī)定當(dāng)IoU>0.6時,該錨框及其對應(yīng)的標(biāo)注框為正樣本,當(dāng)IoU<0.3時,為負(fù)樣本。

訓(xùn)練損失為SiamRPN網(wǎng)絡(luò)與多個融合操作模塊中損失函數(shù)的加權(quán)組合

L=Lcls+σ1Lreg+σ2Lbox+σ3Lmask

(9)

式中:Lcls、Lreg為SiamRPN網(wǎng)絡(luò)中分類和回歸損失,分別為負(fù)對數(shù)似然函數(shù)(negativelog-likelihood,NLL)和smoothL1損失函數(shù);Lbox、Lmask分別為邊界框回歸的smoothL1損失函數(shù)和掩膜分割的二進(jìn)制交叉熵?fù)p失函數(shù);σ1、σ2、σ3為權(quán)重參數(shù),設(shè)置為0.2、0.2、0.1。

3 算例對比試驗

3.1 跟蹤精度對比實驗

采用OTB[23]評估基準(zhǔn)對算法的性能進(jìn)行驗證,OTB數(shù)據(jù)集中包含從常用跟蹤序列中收集的100個序列。選擇OTB中的OPE(onepassevaluation)測試對跟蹤算法的綜合性能進(jìn)行測試評估,評估基于精度圖和成功率圖兩個指標(biāo)。精度圖展示跟蹤結(jié)果距目標(biāo)20像素以內(nèi)的幀數(shù)百分比。首先計算中心誤差,即預(yù)測目標(biāo)中心點與標(biāo)注框中心點之間的歐氏距離ρ為

式中:(x2,y2)為算法預(yù)測目標(biāo)中心點位置結(jié)果;(x1,y1)為人工預(yù)先標(biāo)注的標(biāo)注框中心點。

給定誤差閾值為20像素,精度Precision計算結(jié)果為

式中:framesρ<20為滿足給定誤差閾值的幀數(shù);framestotal為所有視頻序列總幀數(shù)。

這一聲“姐”，道出了學(xué)生對我的教育滿滿的信任，只因為作為一名政治教師，我把“使學(xué)生正直和聰慧”作為我努力追求的目標(biāo)。所謂聰慧，即有知識、有智慧、有能力；所謂正直，是指有德行、有正氣、有正義。相較于聰慧，我認(rèn)為正直對一個人的人生更為重要。所以，走上講壇后，我一直不遺余力地挖掘教學(xué)中的育人因素，努力為學(xué)生成為一個正直之人點燃指引的明燈。我教過的很多學(xué)生，他們或許已經(jīng)忘記了課堂上所學(xué)的政治知識，但依然記得上課時的激情與快樂，依然記得在我的課堂里學(xué)會的“梨本無主，我心有主”的價值堅守，記得“態(tài)度決定高度”的人生格言。

成功率圖顯示閾值從0到1變化時跟蹤成功幀的比率,其中成功幀表示其重疊大于給定閾值。成功率圖曲線下面積用于對跟蹤算法進(jìn)行排序。

式中:Success為成功率;ρ∈[0,1];framesoverlap>ρ為重疊大于給定閾值的幀數(shù)。

考慮輕飄物侵限的跟蹤特性,篩選出運(yùn)動模糊、快速運(yùn)動、尺度變化三種挑戰(zhàn)屬性,以此驗證算法的各項能力,其中各算法數(shù)據(jù)均采用相同硬件配置環(huán)境下的測試結(jié)果,代碼、模型及超參數(shù)均源于參考文獻(xiàn)[24-26]。

由圖6可知,經(jīng)過空間正則化濾波器融合多注意力機(jī)制的ASSL,在各個屬性中均有不俗的表現(xiàn),其中在圖6(a)快速運(yùn)動屬性中的精度幀數(shù)百分比以92.1%取得領(lǐng)先,分別高出SiamCAR 0.6%,高出SiamAttn 0.7%。在圖6(b)成功率圖中,ASSL的跟蹤成功率百分比為70.6%,相比于位列第二的SiamCAR70.2%,高出0.4%。在圖6(c)應(yīng)對動態(tài)模糊的挑戰(zhàn)中,ASSL以90.3%的精度仍表現(xiàn)出最佳效果,在圖6(d)中高出第二位SiamCAR 0.9個百分點。

圖6 OPE多項挑戰(zhàn)算法對比結(jié)果

尤其在尺度變化屬性中,ASSL的精度可達(dá)94.7%,超越第二位的SiamAttn 1.8個百分點。對于成功率指標(biāo),ASSL的成功率達(dá)到72%,高出SiamAttn 2個百分點。

3.2 試驗線侵限算例的對比分析

使用?？低旸S-2DC7520IW-A500萬150 m紅外監(jiān)控攝像頭球機(jī),從軌道交通基礎(chǔ)設(shè)施性能監(jiān)測與保障國家重點實驗室電氣化鐵路試驗線分別采集三組視頻序列,共7 500幀序列進(jìn)行接觸網(wǎng)異物侵限算例實驗。Ⅰ組是侵限異物尺度基本無變化的視頻序列L1、L2;Ⅱ組是存在相似物體干擾的異物侵限接觸網(wǎng)視頻序列N1、N2;Ⅲ組是侵限異物帶有旋轉(zhuǎn)特性以及尺度變化的序列M1,以及雜亂環(huán)境下帶有相似物體干擾的序列M2。其中L1、L2各包含15 s視頻序列,共計2 000幀圖像;N1、N2各包含25 s視頻序列,共計3 000幀圖像。M1、M2各包含20 s視頻序列,共計2 500幀圖像。

實驗搭載Win10系統(tǒng),配置為Intel XeonW-2123CPU,NVIDIA Quadro P4000的計算機(jī)。分別使用SiamFC算法、相關(guān)濾波SRDCF[24]算法、加入干擾感知模塊的DaSiamRPN[25]算法和使用深層網(wǎng)絡(luò)的SiamRPN++算法,對實驗算例進(jìn)行輕飄物體侵限跟蹤,并與本文的ASSL算法跟蹤精度進(jìn)行對比,跟蹤實驗可視化效果如圖7所示。

圖7 不同算法的跟蹤可視化結(jié)果

第Ⅱ組實驗結(jié)果分析:視頻序列N1、N2存在相似物體干擾,紅色輕飄物體干擾項在空氣流動中帶有輕微晃動,且在N1序列中含有兩次重疊遮擋。

1)在N1序列第255幀,兩個輕飄物體靠近,除ASSL外其他4個算法都產(chǎn)生不同程度的目標(biāo)丟失。

2)第642幀第一次重疊遮擋后,DaSiamRPN、SiamFC和SRDCF算法錯誤將紅色干擾項認(rèn)為是目標(biāo)。

3)從第894幀開始,由于目標(biāo)被干擾項完全遮擋導(dǎo)致SiamRPN++算法丟失目標(biāo),錯誤認(rèn)為紅色物體為目標(biāo)。

N2序列中,目標(biāo)與紅色干擾項從相互靠近往左側(cè)飄動,從第342幀起,由于干擾項的輕微擺動,SRDCF算法錯誤認(rèn)為其為跟蹤目標(biāo)導(dǎo)致跟蹤失敗,DaSiamRPN與SiamRPN++算法學(xué)習(xí)到過量的接觸網(wǎng)背景信息導(dǎo)致跟蹤框過大,而SiamFC算法則受到目標(biāo)旋轉(zhuǎn)形變的影響產(chǎn)生漂移導(dǎo)致跟蹤失敗。

第Ⅲ組實驗結(jié)果分析:在M1序列中,跟蹤目標(biāo)在大風(fēng)的影響下產(chǎn)生劇烈旋轉(zhuǎn)以及搖晃形變。相關(guān)濾波算法SRDCF由于計算復(fù)雜,目標(biāo)運(yùn)動快速在第3幀之后逐漸丟失目標(biāo)。而SiamFC和DaSiamRPN算法在目標(biāo)自身帶有旋轉(zhuǎn)形變并飄過接觸網(wǎng)的過程中學(xué)習(xí)到錯誤的背景信息產(chǎn)生不同程度的漂移。

在M2序列中,接觸網(wǎng)結(jié)構(gòu)及背景更為復(fù)雜,序列中間位置設(shè)置為相似物體干擾項,其形狀顏色與跟蹤目標(biāo)幾乎一致。在M2序列第315幀,SRDCF算法已跟丟侵限異物。由于在右側(cè)支柱的腕臂結(jié)構(gòu)處背景復(fù)雜且侵限異物運(yùn)動快速、形變大,DaSiamRPN、SiamFC算法在第724幀相繼跟丟目標(biāo)。SiamRPN++算法雖未跟丟目標(biāo),但相比侵限輕飄物SiamRPN++算法的跟蹤框偏大。這四種算法對此視頻序列輕飄物侵限跟蹤效果較差,而本文ASSL算法未出現(xiàn)跟丟目標(biāo)輕飄物的情況,從可視化跟蹤的結(jié)果可以看到,ASSL算法能更準(zhǔn)確的跟蹤侵限輕飄物。

為更直觀評估各類算法精度,對以上五種算法進(jìn)行定量評估,計算L、M、N 3個序列的成功率圖的曲線下面積(AUC)和平均像素誤差(APE)得分,并繪制成功率圖與精確度圖。如圖8、表1、表2所示。

表1 各序列跟蹤算法的AUC得分 %

表2 各序列跟蹤算法的APE得分 %

圖8 各算法的跟蹤成功率與精確度

由表1、表2可知,本文ASSL算法的跟蹤精度明顯優(yōu)于相關(guān)濾波算法SRDCF與孿生網(wǎng)絡(luò)算法SiamFC,特別在含有相似物體干擾且背景雜亂的視頻序列M2中,ASSL算法的跟蹤精度比SiamFC和SRDCF算法分別高出39.6%、55.8%,同時ASSL的跟蹤成功率達(dá)到74.7%,高出采用深層網(wǎng)絡(luò)的SiamRPN++算法7.5%。

ASSL算法加入了空間正則化濾波器融合注意力機(jī)制對跟蹤目標(biāo)計算響應(yīng),能更敏銳捕捉到目標(biāo)輕飄物的位置,平均精度可達(dá)92.68%。

3.3 消融實驗

為了驗證ASSL算法對接觸網(wǎng)輕飄物跟蹤的有效性,將SiamRPN++作為基線算法(以下簡稱SR)進(jìn)行消融實驗。

從上述接觸網(wǎng)輕飄物侵限的7 500幀序列算例隨機(jī)抽取序列,計算EAO值與算法跟蹤速度。用Φi表示平均計算的每一幀IOU值,平均重疊期望值(expected average overlap,EAO)可以表示為

式中:NS為期望的極大值。

經(jīng)計算整理后得到平均重疊期望與跟蹤速度之間的關(guān)系,如圖9所示。圖9中,WF為維納濾波,GA為全局注意力機(jī)制,GA-S為添加空間正則化濾波器的全局注意力機(jī)制,RO為區(qū)域生成細(xì)化操作,CA為交叉注意力機(jī)制。

圖9 消融實驗結(jié)果對比

7種算法消融實驗的跟蹤速度、平均重疊期望、平均重疊期望增長率的數(shù)據(jù)指標(biāo)見表3。

表3 消融實驗結(jié)果

由圖9和表3可知,ASSL算法設(shè)計的各子模塊對算法均產(chǎn)生了不同程度的提升,各子模塊的貢獻(xiàn)度由平均重疊期望增長率體現(xiàn)。由表3數(shù)據(jù),對比SR+RO+GA與SR+RO的EAO增長率值可得交叉注意力對平均重疊期望增長率的貢獻(xiàn)最高,達(dá)到3.2%,全局注意力對平均重疊期望增長率的貢獻(xiàn)次之,達(dá)到3.0%。在接觸網(wǎng)輕飄物侵限跟蹤中,相比較原生算法SiamRPN++,ASSL算法在跟蹤速度以及魯棒性上都有更佳的效果。

4 結(jié)論

1)本文針對鐵路接觸網(wǎng)侵限輕飄異物尺度變化大、存在運(yùn)動模糊和遮擋干擾造成跟蹤困難的問題,綜合運(yùn)用多注意力機(jī)制、空間正則化濾波器融合的孿生網(wǎng)絡(luò)以及特征融合模塊,推導(dǎo)融合空間正則化濾波器的全局注意力整形特征公式,在此基礎(chǔ)上提出一種接觸網(wǎng)侵限輕飄物跟蹤的ASSL方法。ASSL方法通過空間注意力從圖像全局中獲得更多的背景信息,利用通道注意力抑制其余通道響應(yīng),添加空間正則化濾波器抑制雜亂背景信息。使用交叉注意力解決相似物體遮擋和干擾的問題。

2)以軌道交通基礎(chǔ)設(shè)施性能監(jiān)測與保障國家重點實驗室電氣化鐵路試驗線的輕飄物侵入接觸網(wǎng)視頻序列為算例,進(jìn)行多組不同侵限情況下的實驗。對比SRDCF、SiamRPN++、DaSiamRPN和SiamFC算法與本文ASSL方法的跟蹤效果。結(jié)果表明,在鐵路限界及接觸網(wǎng)復(fù)雜背景環(huán)境中,當(dāng)跟蹤過程發(fā)生背景干擾、異物形變及遮擋時,ASSL方法抗干擾能力強(qiáng),能適應(yīng)輕飄物的形變及旋轉(zhuǎn),對輕飄物侵限的跟蹤具有較高的準(zhǔn)確性和魯棒性。

3)進(jìn)一步的消融實驗結(jié)果表明,交叉注意力對平均重疊期望增長率的貢獻(xiàn)最高,達(dá)到3.2%,全局注意力對平均重疊期望增長率的貢獻(xiàn)次之,達(dá)到3.0%,相比SiamRPN++算法,ASSL方法獲得了更佳的跟蹤速度和魯棒性。