基于非對稱卷積的孿生網(wǎng)絡視覺跟蹤算法

蒲 磊 魏振華 侯志強 馮新喜 何玉杰

①(火箭軍工程大學作戰(zhàn)保障學院 西安 710025)

②(西安郵電大學計算機學院 西安 710121)

③(陽光學院人工智能學院 福州 350015)

1 引言

計算機視覺是當前人工智能領域的熱門研究方向，從感知上可分為圖像分類[1]、目標檢測[2]、圖像分割[3]、視覺跟蹤[4]等多個子任務。作為計算機視覺的基礎和難點問題，視覺跟蹤持續(xù)受到廣泛的關注與研究，是實現(xiàn)視覺認知和推理等上層任務的前提，在諸如視頻監(jiān)控、無人駕駛、視覺導航、人機交互等領域都有著廣泛的應用。盡管經(jīng)過了多年的發(fā)展，但受限于場景中目標與背景的復雜變化，要實現(xiàn)魯棒且高效地跟蹤依然是一項富有挑戰(zhàn)性的課題。

近年來，視覺跟蹤算法的整體研究框架可以分為兩個方向，一是以嶺回歸和循環(huán)移位為核心的相關濾波跟蹤框架，二是以全卷積網(wǎng)絡和模板匹配為基礎的孿生網(wǎng)絡框架。Bolme等人[5]最早提出基于最小二乘的相關濾波算法，該算法設計簡單，采用灰度特征作為外觀表示，跟蹤速度接近700fps，迅速引起了廣泛關注。但是該算法依然采用粒子濾波方法進行樣本采樣，限制了可利用樣本的數(shù)量。接著，Henriques等人[6]引入循環(huán)矩陣的思想，通過單一樣本實現(xiàn)密集采樣，極大地提高了模型的判別力。但是單通道灰度特征限制了算法對復雜場景的應對能力，對此，Henriques等人[7]引入更加富有表達能力的多通道HOG(Histogram Of Gradient)特征，使得算法對結(jié)構(gòu)信息的表達更加豐富，并推導了相應的塊圖像循環(huán)方式和多通道相關濾波模型。在此基礎上，Danelljan等人[8]通過對RGB圖像進行分析，構(gòu)建顏色屬性特征，并將其和相關濾波算法進行結(jié)合，可以很好地應對目標形變、旋轉(zhuǎn)變化等復雜跟蹤場景。在此基礎上，大量的研究人員從改進特征表征[9，10]、多任務學習[11]、可靠性約束[12]、邊界效應處理[13–15]、尺度估計[16]等方面開展了一系列的研究工作。

隨著深度學習技術(shù)的發(fā)展，基于孿生網(wǎng)絡的視覺跟蹤框架逐漸成為研究的主流[17]。和相關濾波算法不同的是，該框架將視覺跟蹤的特征提取、搜索策略、觀測模型3個模塊集成在一起，建立了端到端的跟蹤算法系統(tǒng)。通過離線訓練，使網(wǎng)絡獲得了適應于目標跟蹤任務的特征表達能力，在跟蹤階段通過滑窗的方式將目標模板特征和搜索區(qū)域特征進行相似性匹配，選擇相似度最高的點作為目標在當前幀中的位置。由于網(wǎng)絡的在線更新需要大量的迭代運算，將在很大程度上影響跟蹤算法的速度，對此，孿生網(wǎng)絡采用單次學習的方法，提取首幀目標信息作為跟蹤模板，在后續(xù)幀中不進行模型更新。這種模板不更新方式有兩點好處，一是可以保證算法在GPU上具有較高的跟蹤速度，二是可以避免模型污染。但由于缺乏模型更新，使得算法的性能提升受到一定的限制。對此，研究人員從和相關濾波結(jié)合、引入在線更新[18，19]、邊框回歸[20]等方面較好地提升了算法的跟蹤精度。

但是在孿生網(wǎng)絡跟蹤框架下，針對骨干網(wǎng)絡的選擇與設計研究較少，主要集中在3個方面，一是研究各層之間如何相互連接，二是如何組合不同層的輸出以提高特征表達的質(zhì)量，三是選取更深的網(wǎng)絡。這三種方法在提高特征表達能力的同時，都引入了額外的參數(shù)，增加了計算量。和基于特征層融合的方法不同，本文從最基本的卷積核出發(fā)，提出了一種不增加算法參數(shù)量的孿生網(wǎng)絡特征增強方法，通過對離線訓練和在線更新進行分別設計，相比于基準算法，在跟蹤精度和成功率上都有較大幅度的提升。

2 本文算法

本文提出了一種基于非對稱卷積的孿生網(wǎng)絡跟蹤算法。首先對基準算法SiamFC進行簡要介紹，接著利用卷積運算的可加性設計非對稱卷積核組，并與SiamFC進行結(jié)合，最后給出了算法流程示意圖。

2.1 孿生網(wǎng)絡結(jié)構(gòu)

2.2 卷積運算可加性

如下所示，K1和K2代表兩個卷積核，I代表特征圖輸入：

在該卷積計算的公式中，?表示卷積運算，⊕表示相加運算。該公式表明卷積運算滿足可加性。

目前卷積神經(jīng)網(wǎng)絡的卷積核普遍采用d×d的方形結(jié)構(gòu)，本文通過采用大小分別為d×1， 1×d和d×d的卷積核進行并聯(lián)輸出再相加的方式來達到豐富特征空間的目的，如圖1所示。

圖1 卷積核可加性示意圖

由于添加的 1×d和d×1均為非對稱卷積核，統(tǒng)一將3個核組合在一起稱為非對稱卷積核組。

2.3 非對稱卷積核組

一些早期的工作證明了標準的d×d卷積可以分解為連續(xù)的兩層d×1 和 1 ×d卷積，從而達到減少參數(shù)和降低計算量的目的，常用于神經(jīng)網(wǎng)絡壓縮和加速領域。另外在圖像分割領域，EDANet使用了類似的策略對3 ×3卷積核進行分解，在性能有輕微下降的條件下，節(jié)省了1/3的參數(shù)量。本文的策略和以上方法不同，主要在訓練階段將原始的方形卷積核都替換為多個非對稱卷積核組，以此來挖掘更加豐富的特征信息。在測試階段，將3個卷積核進行疊加還原為原始大小的方形卷積核。所以，本質(zhì)上并未增加參數(shù)量，圖2和圖3便是以3×3的卷積核為例子，說明訓練階段和測試階段卷積核的不同形式。

圖2 訓練階段的卷積核輸出形式

圖3 測試階段的卷積核輸出形式

在訓練階段，通過利用不同形式的卷積核可以起到擴充特征空間的目的，實現(xiàn)對不同長寬比目標的適應性學習。而在跟蹤階段，利用卷積運算的可加性將不對稱卷積核組融合為原始的卷積核大小，降低了跟蹤階段的運算開銷。

2.4 ACSiam網(wǎng)絡結(jié)構(gòu)設計

表1和表2顯示了特征提取網(wǎng)絡在訓練階段和跟蹤階段的不同卷積核構(gòu)成情況，將通過不對稱卷積組替換后的卷積神經(jīng)網(wǎng)絡命名為ACSiam。

表1 訓練階段的ACSiam網(wǎng)絡結(jié)構(gòu)

表2 跟蹤階段的ACSiam網(wǎng)絡結(jié)構(gòu)

在訓練階段，對Conv1到Conv5的卷積核都進行了替換，但是在跟蹤階段，主要是將Conv1到Conv4的非對稱卷積核組進行融合，恢復為原始的網(wǎng)絡結(jié)構(gòu)，而Conv5的卷積核組分別進行輸出，可以獲得不同卷積核形式下關于目標的豐富特征，最后對多分支的輸出進行融合。

2.5 算法整體流程

將提出的非對稱卷積模塊和SiamFC算法進行結(jié)合，對AlexNet網(wǎng)絡進行修改，對所有卷積層都進行了變換，使網(wǎng)絡可以挖掘關于目標更多的不變性。另外，為了進一步提高算法對不同尺度目標的適應能力，本文采用了一種模型集成方法。首先，對網(wǎng)絡的前4層按照上述的訓練和測試方法進行設計，對網(wǎng)絡的最后一層添加3個不對稱卷積核后，分別對模板特征和搜索區(qū)域特征進行相關運算得到多個響應圖，最后進行加權(quán)融合后選取最大值即為目標的位置，如圖4所示。這種方案可以有效地應對各類目標的不同變換形式，有效提升算法的跟蹤性能。

圖4 算法流程示意圖

3 仿真實驗

與SiamFC類似，我們使用AlexNet作為基礎網(wǎng)絡，并對網(wǎng)絡的部分參數(shù)進行了調(diào)整，如表1和表2所示。為了適應尺度的變化和降低算法運算負擔，僅在3個尺度上進行尺度估計。在訓練數(shù)據(jù)方面，主要選取了ILSVRC-VID視頻分類數(shù)據(jù)集和近年來提出的GOT-10k目標跟蹤數(shù)據(jù)集，采用方差為0.01的高斯分布進行初始化，總共訓練50個周期，前5個周期的學習率設為10-7到10-3的線性增長學習率，后45個周期采用余弦退火學習率，并采用動量為0.9的隨機梯度下降方法作為優(yōu)化器。

3.1 測試數(shù)據(jù)集和對比算法

OTB2015數(shù)據(jù)集[21]提出于2015年，由100視頻序列組成，幾乎涵蓋了大部分跟蹤場景。在OTB2015數(shù)據(jù)集中，將本文算法(ACSiam)與其他9個算法進行了比較，包括：HCF[22]，Staple[23]，LCT[24]，KCF[7]，CFNet[25]，DCFNet[26]，Siam-FC[17]，SiamRPN[20]，MEEM[27]。

3.2 定性分析

如圖5所示，為了更加直觀地呈現(xiàn)算法的跟蹤效果，在包括Bolt， Dragonbaby， Skiing， David3，ACSiam， Motor Rolling等5個比較困難的視頻上，將本文算法ACSiam和SiamFC， CFNet， SiamRPN進行對比分析。

(1)背景干擾：孿生網(wǎng)絡算法通過離線訓練學習較為泛化的目標特征表達，使得當場景中存在與跟蹤目標相似度較高的背景信息或者場景比較昏暗時，跟蹤效果普遍較差。比如在“Bolt”視頻中，目標不停在運動，且環(huán)境中還要許多和目標外形非常接近的干擾對象。SiamFC和CFNet由于特征表達能力不足，都未能跟住目標。本文算法通過引入非對稱卷積模塊對網(wǎng)絡進行特征增強，可以挖掘關于目標更加深層的特征表達，在應對相似物體干擾時具有明顯的優(yōu)勢。

(2)旋轉(zhuǎn)變化：目標旋轉(zhuǎn)主要包括平面內(nèi)旋轉(zhuǎn)和平面外旋轉(zhuǎn)，在圖5中的“Skiing”和“Motor-Rolling”兩個視頻中的目標運動均屬于平面內(nèi)旋轉(zhuǎn)。要想成功跟住旋轉(zhuǎn)變化的目標，需要提取的模板特征滿足旋轉(zhuǎn)不變性。本文提出的非對稱卷積核模塊通過引入相互垂直的1維卷積可以增強特征對旋轉(zhuǎn)變化目標的適應能力，相比于采用常規(guī)方形卷積的SiamFC和CFNet算法，具有更加魯棒的跟蹤性能。

圖5 算法定性分析對比圖

(3)對稱變化：在“Dragonbaby”和“David3”視頻序列中，都存在跟蹤目標的對稱變化，比如“Dragonbaby”的轉(zhuǎn)頭和“David3”的轉(zhuǎn)身動作。目標的對稱變化會造成左右像素信息的交換，基于方形的卷積核運算便不具備特征的對稱性，而1維卷積分別在左右和上下交換中都可以體現(xiàn)出一定程度的不變性。通過將非對稱卷積核組應用于孿生網(wǎng)絡算法，可以在增強網(wǎng)絡對對稱變化場景的處理能力，實現(xiàn)穩(wěn)定且魯棒的跟蹤結(jié)果。

3.3 算法整體性能

圖6顯示了本文算法和對比算法的跟蹤精度和成功率的對比曲線圖。得益于非對稱卷積核的應用以及在大規(guī)模數(shù)據(jù)集上進行訓練，本文算法相對于SiamFC，在精度和成功率上都有明顯的性能提升，在基準算法SiamFC上精度提高了8.7%，成功率提高了4.5%。相比于DCFNet和CFNet，本文算法依然取得了更好的性能表現(xiàn)。SiamRPN算法采用了更好的尺度估計方案和更大規(guī)模的訓練數(shù)據(jù)，使算法的性能相較于基于SiamFC的本文算法有一定的優(yōu)勢，但是本文算法仍然采用SiamFC的AlexNet骨干網(wǎng)絡，使得模型參數(shù)量明顯小于基于ResNet網(wǎng)絡的SiamRPN算法。

圖6 算法的距離精度曲線圖和成功率曲線

3.4 算法各屬性性能分析

我們在圖7和圖8中以不同屬性表示跟蹤結(jié)果。紅線代表最佳結(jié)果，綠色代表次優(yōu)結(jié)果。從圖7和圖8可以看出，本文算法在大部分屬性上取得了最優(yōu)的跟蹤精度和成功率。和SiamFC相比，本文算法在幾乎所有屬性上都獲得了較大幅度的性能提升。在跟蹤精度方面，ACSiam在遮擋、低分辨率、出視野等場景下取得了最好的跟蹤性能，在背景雜波、運動模糊、目標形變、光照變化、平面外旋轉(zhuǎn)以及尺度變化場景下取得次優(yōu)的跟蹤結(jié)果，主要得益于網(wǎng)絡模型在訓練階段采用了更加多樣的卷積核形式，使得對不同長寬比目標的細節(jié)特征有了更強的表達能力，使得在面對部分遮擋、低分辨率、目標形變、旋轉(zhuǎn)等場景都有更好的處理能力。在跟蹤成功率方面，ACSiam算法在背景雜波、運動模糊、遮擋等場景下取得了最優(yōu)的跟蹤結(jié)果，而在形變、光照變化、低分辨率、尺度變化上取得了次優(yōu)的性能表現(xiàn)，主要得益于采用了多個模型組合輸出的結(jié)構(gòu)，相比于單一輸出方式，算法在應對各類復雜場景時，跟蹤成功率明顯增加。在部分場景普遍稍次于SiamRPN算法，以尺度估計為例，SiamRPN算法由于采用了檢測領域的RPN回歸網(wǎng)絡進行尺度估計，使得最后獲得的估計結(jié)果相比于傳統(tǒng)的多尺度搜索方法更加精準，從而可以獲得比本文算法更好的尺度估計性能。

圖7 不同屬性下算法的跟蹤精度對比曲線

圖8 不同屬性下算法的跟蹤成功率對比曲線

本文算法通過對卷積核的組合訓練，本質(zhì)上加強了對目標中心區(qū)域的特征提取能力，在應對背景雜波、低分辨率等場景都有著明顯的優(yōu)勢。另一方面，通過對一維卷積核的引入，由于具有更好的旋轉(zhuǎn)不變性，從而加強了網(wǎng)絡對旋轉(zhuǎn)目標的處理能力。多模型集成的方法也進一步增強了網(wǎng)絡的魯棒性，提高了對多種復雜場景的應對能力。

3.5 討論

從網(wǎng)絡結(jié)構(gòu)的構(gòu)建機理上出發(fā)，本文算法主要基于3點：(1)卷積運算的可加性，使得采用卷積核組對原始卷積核進行替換有了可能性；(2)訓練階段和測試階段的可分離性，從結(jié)構(gòu)上講，兩個階段的網(wǎng)絡結(jié)構(gòu)是不一樣的，但是最終的模型輸出結(jié)果是一致的，這就讓我們可以將更多的運算負擔放到訓練階段，而在測試階段就恢復如初，這種可分離性可以應用到很對對運算量要求較高的領域；(3)模型融合方法，通過在最后一層采用不同大小的卷積核，可以進一步挖掘不同類型目標的特征信息，再采用模型融合的方法實現(xiàn)互補，可以有效提升跟蹤算法的成功率。

近年來，針對神經(jīng)網(wǎng)絡結(jié)構(gòu)設計的研究越來越多，從加深加寬逐漸到變淺變窄。為了能夠?qū)⑸疃染W(wǎng)絡用于實際生活中，需要采用多種方法對模型進行壓縮。如果單純使用兩個1維的卷積核實現(xiàn)對正方形卷積核的近似，可以在很大程度上降低模型的參數(shù)量。同時，在已經(jīng)設計好的模型結(jié)構(gòu)中，可以通過構(gòu)建適應于特定任務的卷積核組來對網(wǎng)絡進行重新訓練，從而提高對特定任務的特征表達能力。而在實際部署的時候，可以利用卷積運算的可加性實現(xiàn)對模型的恢復，這是一種近乎零參數(shù)量增加的方法來換取網(wǎng)絡性能的提升。

4 結(jié)束語

本文從卷積核的形狀出發(fā)，提出了基于非對稱卷積的孿生網(wǎng)絡跟蹤算法。通過將原始的卷積核進行分解，構(gòu)建不對稱卷積核組，在訓練階段可以實現(xiàn)對不同長寬比目標的適應性學習，提高模型對旋轉(zhuǎn)變化目標的處理能力，強化對中心信息的挖掘。實驗結(jié)果表明，本章算法在OTB2015數(shù)據(jù)集上，相比于基準算法，獲得了較大幅度的性能提升。