結合目標檢測與特征匹配的多目標跟蹤算法

葉靚玲， 李偉達， 鄭力新， 曾遠躍， 黃凱

(1. 華僑大學 工學院， 福建 泉州 362021； 2. 福建省特種設備檢驗研究院 泉州分院， 福建 泉州 36021)

多目標跟蹤是計算機視覺和公共安全領域的熱點研究問題[1-2]，已被廣泛應用于各行各業(yè)，如自動駕駛、行為分析和智能監(jiān)控等.但在復雜場景下，多目標的實際應用仍面臨許多挑戰(zhàn)，如相似目標的區(qū)分、目標遮擋[3]、目標在鏡頭前的突然產(chǎn)生和消失等.為了解決這些問題，李星辰等[4]針對目標遮擋，提出目標軌跡修正的相應策略，在一定程度上能夠緩解遮擋帶來的目標身份切換問題.但這種依靠運動軌跡預測模型進行數(shù)據(jù)關聯(lián)，在面對目標過多的復雜場景時，跟蹤的準確性仍有待提高；Wang等[5]利用方向梯度直方圖(histogram of oriented gradient，HOG)進行在線外觀特征判斷，只能保證局部的高效特征，對全局的軌跡關聯(lián)仍有一定影響.針對上述的問題，本文基于深度學習，提出一種結合檢測和特征匹配的多目標跟蹤算法框架.

1 目標檢測和特征匹配的多目標跟蹤方法

多目標跟蹤算法框架，如圖 1所示.該框架主要由3個部分組成，即目標檢測模型、特征匹配模型和跟蹤模型.首先，將圖像It+1輸入到目標檢測模型中，通過YOLOv5檢測器獲得每一幀中目標邊界框的坐標信息Dt+1；其次，將It+1輸入到預訓練好的特征匹配模型中得到128維的特征向量Ft+1；最后，將Ft+1與特征空間Si中已保存的特征向量進行特征匹配(其中i代表特征空間中存儲的圖像幀數(shù)).若匹配值越大，代表二者為相同目標的可能性更大；反之，則為相同目標的可能性更小.預測It幀中所有目標在T+1幀中的位置，記為Pt+1，并將Pt+1和目標檢測信息Dt+1與特征匹配的結果進行軌跡關聯(lián)，從而得到完整的目標跟蹤軌跡.

圖1 多目標跟蹤算法框架圖 Fig.1 Structural framework of multiple object tracking

1.1 目標檢測模型

Bewley等[6]提到檢測算法的精度能直接影響多目標跟蹤的準確性，因此將現(xiàn)階段檢測精度較高的YOLOv5引入多目標跟蹤算法中.利用YOLOv5來準確定位并獲取目標邊界框的坐標信息D，以便作為后續(xù)跟蹤模型的輸入.首先將輸入圖像按照一定的尺度標準劃分成單元格，該單元格負責預測目標邊界框的坐標信息.

為了得到更多大小不一的尺度，使檢測網(wǎng)絡具有更好的魯棒性，在輸入端中使用Mosaic數(shù)據(jù)增強技術隨機將4張圖片進行縮放、裁剪和分布.同時，為了減少輸入圖像的冗余信息，在輸入端加入自適應圖片縮放技術來自動地添加最少的黑邊，達到減少信息的目的.定義原始圖像的尺寸為M×N，預計縮放的尺寸為P×P，具體的自適應圖片縮放的計算式為

(1)

式(1)中：α是縮放系數(shù)；M′×N′是縮放后的圖像尺寸；H是原始圖像需要填充的高度；G是像素個數(shù)，通過H對32取余得到；X是圖像兩端需要填充的數(shù)值大小.

為了達到下采樣的同時不丟失信息，在圖像輸入主干網(wǎng)絡前，對其進行切片操作.因此在主干部分，采用Focus結構來形成圖像特征.具體Focus結構的關鍵操作，如圖 2所示.

為了進一步加強檢測網(wǎng)絡特征融合的能力，在Neck部分[7]加入CSPNet網(wǎng)絡設計的CSP2結構[8].CSP2將基礎層的特征映射分成兩部分，然后利用跨階層次將二者合并.具體的CSP2結構，如圖3所示.其中每個CBL模塊分別由卷積、BN(batch normalization)和Leaky ReLu激活函數(shù)組成，最后輸出端得到每幀中目標邊界框的坐標信息D.在后續(xù)多目標跟蹤中，對利用YOLOv5得到的目標信息進行跟蹤.

圖2 Foucs切片操作圖 圖3 CSP2結構 Fig.2 Foucs slice operation Fig.3 Structure of CPS2

1.2 特征匹配模型

多目標跟蹤中目標特征的提取，可以看作是行人重識別網(wǎng)絡(person re-identification，ReID)的具體實現(xiàn)[9].Wojke等[10]指出ReID能夠有效緩解目標遮擋，提高關聯(lián)的準確性，對關聯(lián)軌跡可起到有效的輔助作用.因此，文中利用深度學習強大的表征輸出能力，設計一個ReID網(wǎng)絡作為多目標跟蹤的特征匹配模型.該特征匹配模型以ResNet50[11]作為主干網(wǎng)絡.

特別針對多目標跟蹤場景，文中做如下3點改進.1) 為確保網(wǎng)絡能捕捉更細致更全面的底層特征，在淺層網(wǎng)絡中采用更寬的網(wǎng)絡寬度和更大的卷積核(5×5).雖然采用更大的卷積核會增加少量計算開銷，但相應將步長設置為2，步長較大，后續(xù)參與計算的圖像會變小，這樣可以有效減少模型的計算復雜度.2) 為有效減少特征的損失，再次采用步長為2的卷積操作代替網(wǎng)絡中的最大池化操作.3) 為防止特征在傳遞過程中的損失，在特征匹配模型中不再使用ReLU激活函數(shù)，轉而使用線性激活函數(shù).

提取目標的特征過程，如圖4所示.即先輸入一張圖像It，經(jīng)過改進后的特征提取網(wǎng)絡，得到輸入圖像的感興趣區(qū)域，最后經(jīng)過一個全局平均池化層將提取到的特征映射成一個128維的一維向量.

圖4 目標特征的提取過程 Fig.4 Extracting process of object feature

由于多目標跟蹤中目標特征差異性小，為了更好識別目標特征，判斷前后兩幀中的跟蹤目標是否屬于同一身份，使用Triplet損失[12]進行度量學習，選擇Market 1501數(shù)據(jù)集[9]進行訓練.Triplet 損失可以使具有相同標簽的樣本在嵌入空間里盡量接近，不同標簽的樣本在嵌入空間中盡量遠離.具體地，將Triplet損失定義為：輸入一個三元組〈a，p，n〉 ，其中a是anchor錨點[13]，是從訓練集中隨機選取的一個樣本，p是與a同類別的樣本，n是與a不同類別的樣本.即將anchor作為一個錨點，通過學習后，使得同類樣本p更加接近a，而不同類樣本n遠離a.在嵌入空間中，這個三元組應該滿足

L=max(d(a，p)-d(a，n)+margin，0).

(2)

式(2)中：閾值margin是衡量樣本相似度的重要指標.較大的閾值可以增強模型對不同類樣本的區(qū)分度，較小的閾值則不能有效區(qū)分同類樣本.因此，在訓練初期先選擇一個較小的閾值，接著再針對測試的結果對閾值進行增大或縮小的調(diào)整.

1.3 跟蹤模型

跟蹤模塊中進行前后兩幀之間多個目標的軌跡關聯(lián)，主要包括判斷新目標的出現(xiàn)、處理舊目標的消失和匹配前后兩幀間目標的ID.因此可以將前后兩幀之間的軌跡關聯(lián)看作是求最優(yōu)解的過程.即將通過目標檢測模型得到的目標檢測信息D看作是一個圖解空間，第T+1幀中的所有檢測框記為Dt+1，第T幀中的所有預測框記為Pt+1.由于同幀不會存在相同目標，因此同幀中的目標不能進行軌跡關聯(lián)，故匹配關聯(lián)時只需要關注前后兩幀間的目標.然而，由于每個目標的匹配地位不相同，需要對每個目標賦予相應的權重，為此引入KM算法[14]來求解前后兩幀中目標的最優(yōu)匹配軌跡.

文中利用KM算法進行軌跡的關聯(lián)，采用通過目標檢測模型得到的檢測信息Dt+1與預測框Pt+1的交并比 (intersection over union，IoU) 作為不同目標的占比權重.IoU的計算式為

(3)

式(3)中：SDt+1是第T幀檢測框的面積；SPt+1是第T+1幀預測框的面積.IoU的值越接近1，表明檢測框與預測框的關聯(lián)性越大，意味著二者是相同目標的可能性越大.當IoU大于一定閾值時，認為是相同目標.文中的閾值選為0.4.首先，對每個目標賦值，將Dt+1中的目標賦值為與其相鄰目標的最大權重值；Pt+1中賦值為0.接著利用KM匹配原則對Dt+1中目標值與其相鄰權重值相同的目標進行匹配.

2 實驗結果與分析

為了驗證文中算法具有良好的跟蹤性能，在多目標跟蹤數(shù)據(jù)集MOT16[15]上進行測試評估.實驗平臺為Linux服務器，python3.8和pytorch編程實現(xiàn)上述算法.在 NVIDIA GeForce GTX Titan GPU上進行特征匹配模型的訓練和多目標跟蹤算法的測試.

文中所提多目標跟蹤算法屬于SDE框架[16]，即目標檢測和特征匹配是兩個獨立的階段.因此，在實驗中，選擇階段式訓練.首先，在多目標跟蹤的檢測模型中引入精度更高的YOLOv5.在特征匹配模型中，用Market1501數(shù)據(jù)集的行人身份標注訓練文中所提的特征匹配模型.模型采用Adam優(yōu)化器訓練60個周期epoch，學習率為設置為0.001，batch_size設置為64.

2.1 實驗數(shù)據(jù)集

MOT16(multiple object tracking 16)是在2016年被Milan[15]提出，主要用于衡量多目標跟蹤算法性能的，也是多目標跟蹤領域中最具有挑戰(zhàn)的數(shù)據(jù)集之一，包括靜態(tài)攝像機和動態(tài)攝像機拍攝的7個不同場景，共11 235張圖像.標注的主要目標為行人和車輛.圖 5為MOT16部分場景.從圖5可知：每個場景都擁有豐富的畫面信息，包含多個行人目標，目標間存在嚴重遮擋、光照變化和復雜天氣等挑戰(zhàn).因此，利用MOT16數(shù)據(jù)集對文中提出的算法進行驗證，可以進一步說明在復雜場景下該算法有較好的泛化能力和魯棒性.

圖5 MOT16部分場景 Fig.5 Some scenes in MOT16

2.2 檢測模型對跟蹤器性能的影響

采用多目標跟蹤領域流行的評估標準對算法進行評估.對跟蹤影響最大的四個指標分別為：多目標跟蹤準確度(multiple object tracking accuracy，MOTA)、多目標跟蹤精度(multiple object tracking precision，MOTP)、識別F1分數(shù) (identification F-score，IDF1)和目標身份切換次數(shù)(identity switches，IDs).為了驗證YOLOv5檢測算法對跟蹤器的有效性，文中挑選了3種當下檢測效果較好的檢測器(FasterR-CNN[17]，YOLOv3[7]，YOLOv5)，并組合兩種不同的特征匹配模型(WRN[18]，ResNet50[11])在MOT16-05序列中對其進行評估，結果分別如表 1， 2所示.每一組評估中只設置一個變量，以保證算法的可信度.

表1 不同檢測算法組合相同的WRN特征匹配模型Tab.1 Different detection algorithms are combined with same WRN feature matching model

表2 不同檢測算法組合相同的ResNet50特征匹配模型Tab.2 Different detection algorithms are combined with same ResNet50 feature matching model

MOTA是評估跟蹤準確性的重要指標，而MOTP是衡量檢測器的定位精度.從表 1可知：引入YOLOv5檢測算法(YOLOv5s+WRN和YOLOv5x+WRN)時，MOTA，MOTP和IDF1的得分更高.這說明，檢測器性能的好壞在一定程度上能夠影響跟蹤的魯棒性；采用YOLOv5檢測器進行跟蹤時產(chǎn)生的目標身份切換次數(shù)(IDs)會略高于YOLOv3，但并不能單獨利用IDs的得分來評估跟蹤性能的優(yōu)異.有時可能出現(xiàn)目標身份切換次數(shù)較少，但產(chǎn)生較多的軌跡片段，跟蹤的穩(wěn)定性也會受到影響.因此，需要結合IDF1，IDs和MOTA的得分來評估跟蹤的魯棒性才更具有說服力.

從表2可知：用與表1相同的3個檢測器搭配ResNet50[11]為主干的特征匹配模型進行跟蹤，結果表明使用YOLOv5的MOTA得分更高.這說明，將YOLOv5作為多目標跟蹤的檢測器引入到MOT中，能夠有效地提高MOT的跟蹤精度.

綜合表1，2可知：通過比較WRN和ResNet50兩個特征匹配模型在不同檢測器上(FasterR-CNN，YOLOv3，YOLOv5s 和YOLOv5x)的影響，使用ResNet50的特征匹配模型在MOTA，MOTP，IDs等3個指標上的得分相對更高.特別是當檢測器選擇YOLOv5時，使用ResNet50(表2中YOLOv5s+ResNet50和YOLOv5x+ResNet50)相比較于使用WRN(表1中YOLOv5s+WRN和YOLOv5x+WRN)的特征匹配模型，IDs減少約20%和17%.這說明，當目標面對遮擋時，基于ResNet50的特征匹配模型能夠正確關聯(lián)到相應目標的可能性更高，跟蹤穩(wěn)定性相對更好.造成兩個特征匹配模型有如此差異的原因，是因為ResNet50的網(wǎng)絡層數(shù)更深，能夠提取更細致更全面的目標外觀特征，故當目標存在遮擋時，也能夠有效減少目標間的身份切換問題.因此，將ResNet50作為特征匹配模型的主干網(wǎng)絡能夠在目標的數(shù)據(jù)關聯(lián)上起到一定的輔助作用.

2.3 特征匹配模型的性能評估

特征匹配模型是基于ReID，通過分類網(wǎng)絡來具體實現(xiàn)的.因此可以利用ReID中的性能指標mAP(mean average precision)和rank=1作為評估特征匹配模型的性能.利用WRN和ResNet50探究特征匹配模型對跟蹤性能的影響，可以看出，在檢測器相同的情況下，ResNet50在跟蹤性能上取得的效果更好.為了進一步充分利用ResNet50強大的特征提取能力，文中提出改進的特征匹配模型.即在淺層網(wǎng)絡中采用更寬的網(wǎng)絡寬度和更大的卷積核(5×5)，并將步長設置為2來減少卷積操作帶來的計算開銷.最后，在特征匹配模型中再次使用步長為2的卷積代替最大池化操作，利用線性激活函數(shù)來防止特征在傳遞過程中的損失.

改進的特征匹配模型在Market1501上訓練60個周期epoch后得到的函數(shù)損失，如圖 6所示.圖6中：L代表的是Triplet損失函數(shù)在Market1501數(shù)據(jù)集上訓練時的收斂過程；etop1代表的是top1的錯誤率.從圖6可知：Triplet損失函數(shù)在訓練開始后逐漸收斂.

進一步選用當下流行且性能優(yōu)越的ReID算法(SPReID[19]，BFE[20]，Mancs[21])與文中改進的特征匹配模型進行評估，結果如圖7所示.圖7中：A為精度.從圖7可知：文中通過ResNet50改進的特征匹配模型在mAP和rank1上的得分明顯優(yōu)于其他算法.這說明文中所提的特征匹配模型能夠有效提取到目標的細致特征.

圖6 特征匹配模型訓練的損失函數(shù)圖 圖7 特征匹配模型與性能優(yōu)異的ReID算法的比較 Fig.6 Loss function of feature ReID algorithm in excellent performance Fig.7 Comparison of feature matching model with matching model training

為了進一步驗證引入的YOLOv5檢測模型與改進的特征匹配模型對提高跟蹤器的準確性具有一定的效果.文中所提算法在檢測模型部分選擇YOLOv5s模型，在特征匹配模型部分，以ResNet50為主干網(wǎng)絡進行網(wǎng)絡結構的調(diào)整并訓練后得到特征匹配模型.將文中所提算法在MOT16-05序列上與上節(jié)中表現(xiàn)優(yōu)異的組合相對比，得到的評估結果，如表 3所示.

從表3可知：文中所提算法在檢測器上選擇了精度更高的YOLOv5，相比較于FasterR-CNN+WRN，多目標跟蹤的準確性MOTA提高了約20%，IDs減少了近24%.即引入YOLOv5能夠提升一定的跟蹤精度.更重要的是，面對頻繁遮擋的場景，利用文中改進的特征匹配模型可以提取更為魯棒的特征，有效減少目標間的身份切換次數(shù)和提高IDF1的得分.

雖然文中所提算法在MOT中引入特征匹配模型來關聯(lián)目標軌跡，但并沒有引入額外的計算開銷.針對ResNet50改進的特征匹配模型，文中算法在模型參數(shù)量Params和浮點運算次數(shù)(floating point of operations，F(xiàn)LOPs)上都優(yōu)于其余算法.其中，F(xiàn)LOPs可以衡量多目標跟蹤算法復雜度.計算目標檢測模型和特征匹配模型復雜度時，輸入圖像的大小分別為680 px×680 px和224 px×224 px.可見，文中所提算法在沒有引入額外開銷的同時還能有效緩解遮擋時的身份切換問題并實現(xiàn)穩(wěn)定跟蹤.這主要得益于文中檢測算法引入?yún)?shù)量較小，但檢測精度相對較高的YOLOv5s.在特征匹配模型中雖然加大了卷積核來提取更細致的特征，但同時可對網(wǎng)絡結構采用步長為2的設置，來減少參與計算圖像的大小.與YOLOv5x+ResNet50相比，文中所提算法雖然會犧牲小部分MOTA和MOTP的精度，但其參數(shù)量和復雜度遠比YOLOv5x+ResNet50小得多，并且在跟蹤穩(wěn)定性IDs和IDF1兩個指標上也優(yōu)于YOLOv5x+ResNet50.綜合來看，文中所提算法在減少推理時間的同時，還能實現(xiàn)穩(wěn)定的跟蹤.

表3 總體跟蹤性能評估(MOT16-05)Tab.3 Overall tracking performance evaluation(MOT16-05)

2.4 與當下同類跟蹤算法進行評估

為了進一步體現(xiàn)文中所提算法具有良好的跟蹤性能，利用MOT16數(shù)據(jù)集中的7個測試序列進行全面評估，并將其與當下MHT-bLSTM[22]，CDA_DDALv2[23]，MTDF[24]，AM_ADM[25]和OVBT[26]等同類型算法進行對比，結果如表 4所示.

從表4可知：文中所提算法的MOTP在所有方法中得分最高，說明文中引入的YOLOv5檢測器對定位目標的位置起到一定效果；其次，文中所提算法在IDs和IDF1兩個指標上的表現(xiàn)性能也最好，這表明所提出的特征匹配模型能夠有效減少目標間身份切換的次數(shù)，有利于穩(wěn)定跟蹤.MHT-bLSTM[22]，CDA_DDALv2[23]算法的思想與文中所提算法的思想相似，都對目標的特征進行了建模.由此可知，在所有算法中，這三者算法的IDs和 IDF1性能表現(xiàn)最好，特別是文中所提算法，在三者中指標得分最高.這說明，在MOT上引入目標特征的建模中，文中所提出特征匹配算法的性能最優(yōu)，對關聯(lián)軌跡和維持跟蹤的穩(wěn)定性有一定效果.

表4 不同方法在MOT16測試集上的結果對比Tab.4 Comparison of different methods on MOT16 test set

文中所提算法在MOTA上得分不如MTDF[24]，這是因為MOT是一項復雜的任務，特別是針對SDE框架下設計的跟蹤算法[16]，往往會受到檢測模型、時空信息等因素的影響.MTDF加入了時空信息，可以在目標相互接近時消除模糊的軌跡關聯(lián)，因此跟蹤的準確性會略高.但該算法在IDs和IDF1這兩個指標上表現(xiàn)不佳，導致跟蹤的穩(wěn)定性不如文中所提算法.它在面對遮擋時依然能夠正確關聯(lián)大部分軌跡，維持穩(wěn)定魯棒的跟蹤.文中重點關注的是檢測器和特征匹配模型對跟蹤性能的影響，忽略了時空信息對軌跡關聯(lián)的影響，后續(xù)將進一步加入時空信息來提高多目標跟蹤的準確性.

2.5 行人多目標跟蹤

為了進一步驗證文中所提算法在復雜場景下的行人跟蹤效果，利用文中所提算法對MOT16測試集中的序列進行跟蹤，對得到的跟蹤結果隨機截取圖像幀，如圖 8所示.從圖8可知：文中所提算法對MOT16測試集場景中出現(xiàn)的目標都成功關聯(lián)到身份ID，做到了有效的跟蹤.

圖8 行人多目標跟蹤結果圖 Fig.8 Pedestrian multiple object tracking results

為了進一步說明文中所提算法在遮擋頻繁場景下能夠有效識別目標的產(chǎn)生和消失，選擇MOT16中移動相機拍攝的視頻序列進行重點說明，如圖9所示.在圖9(a)中，利用文中方法有效跟蹤到當前場景下出現(xiàn)的目標，并賦予目標相應的ID編號，重點分析編號為8的目標；在圖9(b)中，8號的目標框發(fā)生丟失，經(jīng)過一段時間后，8號目標的ID在圖9(c)中被重新正確關聯(lián)上；在圖9(d)中，8號目標被完全遮擋，消失在鏡頭中，經(jīng)過若干幀后，當8號目標重新出現(xiàn)在鏡頭下時，利用特征匹配模型輔助關聯(lián)，成功將其外觀特征與特征空間中的特征進行匹配計算；在圖9(f)中，利用相同目標的匹配關聯(lián)值最大的特點，將8號目標重新關聯(lián)，得到8號目標完整的行人軌跡.這說明文中結合YOLOv5檢測與特征匹配模型的多目標跟蹤算法，經(jīng)過數(shù)次遮擋，依然能夠穩(wěn)定維持目標編號，實現(xiàn)穩(wěn)定的跟蹤.

(a) 關注目標 (b) 目標丟失 (c) 重新關聯(lián) (d) 完全遮擋 (f) 關聯(lián)成功圖9 移動場景下的行人多目標跟蹤 Fig.9 Pedestrian multiple object tracking in moving scenarios

3 結論

為了解決多目標跟蹤在目標檢測精度低和多目標遮擋時存在軌跡匹配難的問題，通過一系列實驗探究表明YOLOv5檢測器對提高跟蹤的準確性有一定效果，因此將YOLOv5引入到多目標跟蹤中作為跟蹤的檢測器.為了提取更全面更魯棒的特征，提出改進的特征匹配模型，來解決目標間由于遮擋導致的身份切換問題.在MOT16數(shù)據(jù)集上的評估也表明，文中所提算法在處理遮擋能力和關聯(lián)軌跡方面都有優(yōu)異表現(xiàn)，并且能夠在維持穩(wěn)定跟蹤的前提下減少相應的推理時間，這為多目標跟蹤在實際設備中的應用提供了更大的可能性.

然而，該算法也存在一些問題，如文中所提算法屬于SDE算法框架[16]，即檢測和跟蹤分成兩個階段訓練，這會對實時性產(chǎn)生一定的影響.下一階段的研究目標是聯(lián)合檢測和跟蹤，并進行多任務訓練得到端到端的多目標跟蹤網(wǎng)絡，從而進一步提高多目標跟蹤的實時推理速度.