一種Anchor-Free的聯(lián)合模型車輛多目標(biāo)跟蹤算法

馬 利 陳詩(shī)煊 牛 斌

(遼寧大學(xué) 信息學(xué)院，遼寧 沈陽(yáng) 110036)

0 引言

多目標(biāo)跟蹤旨在預(yù)測(cè)視頻序列中多個(gè)跟蹤目標(biāo)的軌跡，被廣泛應(yīng)用在輔助駕駛、智能交通等領(lǐng)域.對(duì)車輛目標(biāo)進(jìn)行跟蹤，不僅能有效輔助駕駛員規(guī)避前方危險(xiǎn)情況，而且對(duì)于智能交通的車流量調(diào)控及異常事件處理有著深遠(yuǎn)的意義.目前主流的多目標(biāo)跟蹤算法，被分為兩大類：第一類，采用先檢測(cè)后關(guān)聯(lián)的兩階范式.這類算法在跟蹤準(zhǔn)確率上有不俗的表現(xiàn)，但在跟蹤效率上不能滿足需求.第二類，把多目標(biāo)跟蹤視作目標(biāo)的檢測(cè)和重識(shí)別任務(wù)，在單個(gè)聯(lián)合模型中聯(lián)合目標(biāo)檢測(cè)和學(xué)習(xí)Re-ID特征，一次性解決目標(biāo)跟蹤.由于使用單個(gè)網(wǎng)絡(luò)，這類算法效率較高，但準(zhǔn)確率低于兩階段范式算法.

按照傳統(tǒng)的按檢測(cè)跟蹤(tracking-by-detection)[1]的思想，現(xiàn)有的聯(lián)合模型算法都是對(duì)檢測(cè)器網(wǎng)絡(luò)添加重識(shí)別(Re-ID)特征嵌入分支方式實(shí)現(xiàn)的，其骨干網(wǎng)絡(luò)采用了對(duì)檢測(cè)更適合的基于Anchor的檢測(cè)方法，并使用了大步長(zhǎng)的下采樣率提高效率，較少考慮檢測(cè)器網(wǎng)絡(luò)學(xué)習(xí)Re-ID特征的效果.Zhou等[2]提出了一種Anchor-Free的檢測(cè)器模型，實(shí)現(xiàn)了不基于Anchor的關(guān)鍵點(diǎn)目標(biāo)檢測(cè)方法.受其啟示，本文提出一種Anchor-Free的聯(lián)合模型車輛多目標(biāo)跟蹤算法，把Anchor-Free的深度特征融合網(wǎng)絡(luò)[3]引入聯(lián)合模型，在小步長(zhǎng)下采樣率的網(wǎng)絡(luò)結(jié)構(gòu)中提取目標(biāo)的特征圖，減小量化誤差.在網(wǎng)絡(luò)上采樣過程中引入最新的可變卷積[4]，提高對(duì)不同尺寸目標(biāo)的適應(yīng)能力.以多個(gè)頭部的方式并行實(shí)現(xiàn)目標(biāo)檢測(cè)和學(xué)習(xí)Re-ID特征.在內(nèi)部軌跡關(guān)聯(lián)上，以交并比(IOU)匹配的方式，將車輛的Re-ID特征指定給對(duì)應(yīng)車輛軌跡，預(yù)測(cè)串聯(lián)軌跡在當(dāng)前視頻幀中的位置以完成跟蹤.算法有效改善了模型使用基于Anchor的骨干網(wǎng)絡(luò)學(xué)習(xí)Re-ID特征不佳而導(dǎo)致的ID切換、檢測(cè)失效問題，提高了車輛多目標(biāo)跟蹤算法的魯棒性.

1 相關(guān)工作

1.1 聯(lián)合模型多目標(biāo)跟蹤算法

視頻的多目標(biāo)跟蹤對(duì)于利用軌跡度量目標(biāo)的行為有著至關(guān)重要的意義.早期采用深度學(xué)習(xí)網(wǎng)絡(luò)的多目標(biāo)跟蹤算法都采用了先檢測(cè)后關(guān)聯(lián)的兩階段范式.例如Yu等[5]提出了一種兩階段算法，使用Faster R-CNN[6]實(shí)現(xiàn)目標(biāo)檢測(cè)，再使用匈牙利算法對(duì)用GoogleNet[7]提取到的特征關(guān)聯(lián)完成跟蹤.Xie等[8]通過基于YOLOV3[9]的檢測(cè)器捕捉目標(biāo)，再用Deepsort[10]濾波算法實(shí)現(xiàn)軌跡關(guān)聯(lián).由于兩階段范式算法需要兩個(gè)密集計(jì)算網(wǎng)絡(luò)，這類算法都難以解決跟蹤效率低下的問題.

為了提高多目標(biāo)跟蹤效率，使用聯(lián)合模型多目標(biāo)跟蹤算法成為近期主流的研究趨勢(shì).例如，Wang等[11]率先提出了一種聯(lián)合模型(JDE)，通過在YOLOV3檢測(cè)模型上進(jìn)行改進(jìn)，一次性解決目標(biāo)檢測(cè)和提取Re-ID特征，在行人數(shù)據(jù)集上實(shí)現(xiàn)了較高水平的跟蹤效率.Lu等[12]在RetinaTrack中使用RetinaNet[13]檢測(cè)器網(wǎng)絡(luò)作為骨干網(wǎng)絡(luò)，在聯(lián)合模型框架下，實(shí)現(xiàn)了對(duì)車輛的多目標(biāo)跟蹤.使用聯(lián)合模型的主流改進(jìn)思路是把兩階段范式算法在關(guān)聯(lián)模型中學(xué)習(xí)Re-ID特征的任務(wù)融入到檢測(cè)器網(wǎng)絡(luò)中，以單個(gè)網(wǎng)絡(luò)完成多目標(biāo)跟蹤中的檢測(cè)和嵌入Re-ID特征的任務(wù)，以內(nèi)部信息交互的方式，匹配軌跡實(shí)現(xiàn)多目標(biāo)跟蹤.該類算法與早期兩階段范式算法相比，模型更輕量，算法效率更高.

然而這類算法在改進(jìn)的方式上引入了新的問題：聯(lián)合模型所使用的骨干網(wǎng)絡(luò)都是檢測(cè)器網(wǎng)絡(luò)改進(jìn)而來(lái)的，這類骨干網(wǎng)絡(luò)并不適合學(xué)習(xí)Re-ID特征.經(jīng)過Zheng等在文獻(xiàn)[14]中的分析發(fā)現(xiàn)，這類骨干網(wǎng)絡(luò)都使用了基于Anchor的檢測(cè)方法.在檢測(cè)上，由于使用Anchor將目標(biāo)檢測(cè)任務(wù)轉(zhuǎn)化為目標(biāo)與 Anchor 的匹配任務(wù)，確實(shí)提高了目標(biāo)檢測(cè)效率.但在跟蹤中，基于Anchor的骨干網(wǎng)絡(luò)學(xué)習(xí)Re-ID特征的能力不是最優(yōu)的，如圖1，不同圖像塊中的多個(gè)Anchor負(fù)責(zé)估計(jì)同一車輛的Re-ID特征，這將導(dǎo)致網(wǎng)絡(luò)的嚴(yán)重歧義.另外，為了提升效率，聯(lián)合模型中大都使用較大步長(zhǎng)的下采樣率獲取特征圖，這對(duì)檢測(cè)來(lái)說可以接受，但對(duì)于學(xué)習(xí)Re-ID特征太過粗糙，這引入了量化誤差，導(dǎo)致誤檢的出現(xiàn).因此必須采取更有效的骨干網(wǎng)絡(luò)應(yīng)對(duì)Anchor導(dǎo)致的準(zhǔn)確率下降的問題.

圖1 多Anchor對(duì)應(yīng)目標(biāo)歧義示例

1.2 Anchor-Free目標(biāo)檢測(cè)模型

Huang等[15]為了減少因Anchor數(shù)量過多帶來(lái)的計(jì)算壓力，在DenseBox中對(duì)Anchor-Free的方法做了探索，初步實(shí)現(xiàn)了Anchor-Free的目標(biāo)檢測(cè).Zhou等在LAW等[16]提出CornerNet的檢測(cè)模型基礎(chǔ)上提出了CenterNet檢測(cè)模型，利用中心點(diǎn)獲取特征圖，給出了高效關(guān)鍵點(diǎn)匹配的檢測(cè)方法.CenterNet的基本模型結(jié)構(gòu)如圖2所示，圖像輸入后首先通過一個(gè)設(shè)定步長(zhǎng)的卷積單元和的殘差單元進(jìn)行預(yù)處理，使圖片寬高按r標(biāo)定的比例進(jìn)行壓縮，輸入選定好的特定骨干網(wǎng)絡(luò)，而后以并行的方式輸出三種檢測(cè)信息預(yù)測(cè)頭部，以邊界框回歸的方式獲得目標(biāo)的檢測(cè)結(jié)果，其輸出的三個(gè)預(yù)測(cè)頭部分別如下：

圖2 CenterNet目標(biāo)檢測(cè)模型

1)熱力圖，大小為(W/r，H/r，x)，輸出需要檢測(cè)類別的物體的中心點(diǎn)位置.

2)中心偏移量，大小為(W/r，H/r，2)，對(duì)熱力圖的輸出進(jìn)行精煉，提高定位準(zhǔn)確度.

3)目標(biāo)框大小/寬高信息，大小為(W/r，H/r，2)，預(yù)測(cè)以關(guān)鍵點(diǎn)為中心的目標(biāo)框的寬高.

熱力圖和中心偏移量的頭部負(fù)責(zé)完成在高分辨率特征圖上對(duì)目標(biāo)進(jìn)行準(zhǔn)確定位，避免了基于Anchor網(wǎng)絡(luò)出現(xiàn)多個(gè)Anchor對(duì)應(yīng)同一個(gè)目標(biāo)的情況，目標(biāo)框大小(寬高信息)頭部輸出目標(biāo)邊界框的寬高信息，定位目標(biāo)位置，提高目標(biāo)檢測(cè)的準(zhǔn)確率.

在骨干網(wǎng)絡(luò)的選擇上，模型采用了包括殘差網(wǎng)絡(luò)[17]、沙漏網(wǎng)絡(luò)[18]、深層特征融合網(wǎng)絡(luò)等進(jìn)行了實(shí)驗(yàn)，其中深層特征融合網(wǎng)絡(luò)在速度和準(zhǔn)確率上取得了良好的平衡，在對(duì)人體姿態(tài)估計(jì)和捕捉目標(biāo)特征方面優(yōu)勢(shì)明顯.

2 Anchor-Free車輛聯(lián)合模型多目標(biāo)跟蹤算法

受到Wang等在文獻(xiàn)[11]JDE聯(lián)合模型及Zhou等在文獻(xiàn)[2]檢測(cè)模型中骨干網(wǎng)絡(luò)的啟發(fā)，在利用聯(lián)合模型提高效率的基礎(chǔ)上，本文提出把Anchor-Free檢測(cè)器網(wǎng)絡(luò)引入聯(lián)合模型作為骨干網(wǎng)絡(luò)以減少Anchor帶來(lái)的影響.使用添加學(xué)習(xí)Re-ID特征分支的方式在Anchor-free的深度特征融合網(wǎng)絡(luò)上進(jìn)行改進(jìn)，在此基礎(chǔ)上通過IOU匹配完成信息關(guān)聯(lián)，實(shí)現(xiàn)對(duì)車輛這一特定種類目標(biāo)的跟蹤.

2.1 Anchor-Free聯(lián)合模型

Anchor-Free聯(lián)合模型以單網(wǎng)絡(luò)多任務(wù)方式實(shí)現(xiàn)車輛多目標(biāo)跟蹤，結(jié)構(gòu)如圖3，首先以有序的視頻幀作為輸入，在數(shù)據(jù)預(yù)處理后，使用可變卷積深度特征融合網(wǎng)絡(luò)(DDLA)，獲得以小步長(zhǎng)下采樣率輸出的下采樣特征圖，減少大步長(zhǎng)下采樣率帶來(lái)的特征模糊問題.在上采樣過程引入DCNv2可變卷積，提高模型對(duì)車輛尺寸及位置變化的適應(yīng)能力.采用Zhang等[19]對(duì)不同目標(biāo)進(jìn)行標(biāo)簽分類的思想，在原本的檢測(cè)器網(wǎng)絡(luò)上添加更適合車輛目標(biāo)特征維度(卷積核個(gè)數(shù))的卷積層獲取車輛目標(biāo)特征的Re-ID分支，滿足聯(lián)合模型并行輸出檢測(cè)和Re-ID特征的要求，按時(shí)間序列進(jìn)行軌跡鏈接，完成車輛多目標(biāo)跟蹤.

圖3 Anchor-Free聯(lián)合模型結(jié)構(gòu)

2.1.1 可變卷積深度特征融合網(wǎng)絡(luò)

為了滿足聯(lián)合模型車輛多目標(biāo)跟蹤對(duì)于特征圖的需求，本文提出一種可變卷積深度特征融合網(wǎng)絡(luò)(DDLA)，并把此網(wǎng)絡(luò)應(yīng)用于聯(lián)合模型骨干網(wǎng)絡(luò)部分，DDLA網(wǎng)絡(luò)以小步長(zhǎng)的下采樣率采樣提取不同層次的車輛目標(biāo)特征信息，用可變卷積代替上采樣普通2D卷積方式實(shí)現(xiàn)特征圖的提取.參考文獻(xiàn)[3]中原始DLA-34網(wǎng)絡(luò)的下采樣方式，在下采樣過程中，首先以視頻幀作Hf×Wf為輸入，由base及l(fā)evel0-level5共7個(gè)層(layer)實(shí)現(xiàn)整個(gè)下采樣部分.Base-layer、level0-layer利用2D卷積歸一化和激勵(lì)函數(shù)對(duì)視頻幀特征進(jìn)行初步提取，得到與原始視頻幀相同大小的全局特征圖FMg：

FMg=Hf×Wf

(1)

其中Hf代表圖像特征圖高度，Wf代表特征圖寬度.

Level1-layer負(fù)責(zé)對(duì)全局特征圖進(jìn)行初次下采樣，得到與輸出特征圖相同大小的1層特征圖：

(2)

其中Sd代表下采樣率，為了能保證網(wǎng)絡(luò)對(duì)車輛目標(biāo)特征的提取能力，同時(shí)平衡網(wǎng)絡(luò)的計(jì)算量，采用了不同的下采樣率進(jìn)行實(shí)驗(yàn)，最終選擇Sd=4.

Level2-layer到level5-layer三個(gè)下采樣過程(如圖4所示)充分利用分層特征融合(HDA)結(jié)構(gòu)提取車輛目標(biāo)的特征信息，下采樣得到第i層特征圖FMi：

圖4 DDLA-34特征融合過程

(3)

在三個(gè)下采樣過程中，參考了Huang等[20]在DenseNet中的思想，交錯(cuò)連接每個(gè)Tree模塊與root模塊，以提高不同特征圖之間的信息交互，通過類似于空間特征金字塔的相互連接方式組合形成整體樹形結(jié)構(gòu)，以實(shí)現(xiàn)不同尺度的語(yǔ)義空間融合，提高網(wǎng)絡(luò)在不同層次之間的車輛特征交互能力.

在網(wǎng)絡(luò)的上采樣過程中，本網(wǎng)絡(luò)應(yīng)用多個(gè)迭代特征融合(IDA)結(jié)構(gòu)實(shí)現(xiàn)網(wǎng)絡(luò)的上采樣過程，迭代特征融合結(jié)構(gòu)由project、node，up三個(gè)模塊組成，為了提高網(wǎng)絡(luò)在感受野上動(dòng)態(tài)適應(yīng)因車輛運(yùn)動(dòng)而出現(xiàn)的尺寸及形狀變化的能力，應(yīng)用文獻(xiàn)[4]提出的最新(Deformable Convolutional Networks v2)DCNv2可變卷積代替了每個(gè)迭代特征融合(IDA)模塊中的普通2D卷積，在DCNv2可變卷積中，對(duì)于給定k個(gè)采樣點(diǎn)的卷積核，令wk和pk分別表示第k個(gè)采樣點(diǎn)的權(quán)值和預(yù)先指定的偏移量.設(shè)x(p)和y(p)分別表示輸入的特征圖x和輸出的特征圖y中位置p處的車輛特征.調(diào)制后的可變卷積可表示為：

(4)

其中Δpk和Δmk分別為第k個(gè)位置的可學(xué)習(xí)偏移量和調(diào)制標(biāo)量.這種對(duì)于對(duì)偏移量和調(diào)制標(biāo)量的引入能夠有效減少普通2D卷積在位置變化上給整體網(wǎng)絡(luò)計(jì)算量帶來(lái)的壓力.

2.1.2 車輛目標(biāo)檢測(cè)分支

在骨干網(wǎng)絡(luò)輸出高分辨率特征圖后，采用文獻(xiàn)[2]中的檢測(cè)方式利用添加頭部的方式實(shí)現(xiàn)目標(biāo)檢測(cè)，添加的頭部分別用來(lái)預(yù)測(cè)每個(gè)車輛目標(biāo)的熱力圖，車輛中心的偏移量，以及每個(gè)不同尺寸車輛的邊界框大小.

中心偏移頭部負(fù)責(zé)在熱力圖的基礎(chǔ)上更精確地定位目標(biāo)的位置.由于直接使用原圖像提取特征的計(jì)算量過大，在模型的骨干網(wǎng)絡(luò)部分不可避免的要使用下采樣的方式來(lái)獲取信息集中的特征圖，這種下采樣會(huì)造成一定的中心偏移，從而引起中心模糊化的問題，為了解決此問題，通過一個(gè)單獨(dú)的頭部對(duì)特征圖偏移量進(jìn)行校準(zhǔn)，提高模型對(duì)于中心點(diǎn)位置的定位準(zhǔn)確度，進(jìn)一步來(lái)說，在車輛跟蹤算法上，該頭部能有效減少學(xué)習(xí)Re-ID特征時(shí)由于檢測(cè)目標(biāo)中心模糊化所帶來(lái)的ID切換問題.

框體大小頭部負(fù)責(zé)估計(jì)每個(gè)車輛目標(biāo)邊界框的高度和寬度.在此部分由于車輛尺寸比例變化并不固定，本文為了更好地適應(yīng)車輛目標(biāo)，在邊界框獲取時(shí)限定了長(zhǎng)寬比例不超過1∶10來(lái)滿足所有車輛的特點(diǎn).

在實(shí)現(xiàn)的三個(gè)頭部時(shí)，本文采用對(duì)特征圖進(jìn)行卷積的方式獲取特征圖的特征映射，首先經(jīng)過一個(gè)3×3卷積分別提取不同頭部需要的特征映射，并使用線性激勵(lì)函數(shù)提高其特征的表現(xiàn)，再經(jīng)過1×1卷積得到最終的對(duì)車輛目標(biāo)檢測(cè)結(jié)果.

2.1.3 車輛Re-ID特征嵌入分支

2.1.4 損失函數(shù)計(jì)算

(5)

(6)

(7)

(8)

(9)

本文利用文獻(xiàn)[2]中L1損失函數(shù)計(jì)算每個(gè)車輛目標(biāo)的尺寸及偏移量損失，得到目標(biāo)框的尺寸偏移量損失為：

(10)

(11)

2.2 跟蹤實(shí)現(xiàn)

在跟蹤實(shí)現(xiàn)上，依照視頻幀順序的輸入方式，采用Online的跟蹤方法.由于只需要內(nèi)部關(guān)聯(lián)信息，本文采用了標(biāo)準(zhǔn)的關(guān)聯(lián)方法，對(duì)于給定的視頻，本文的Anchor-Free的聯(lián)合模型處理每個(gè)視頻幀，并輸出目標(biāo)邊界框和與之對(duì)應(yīng)的重識(shí)別(Re-ID)特征.首先根據(jù)第一幀中的初始目標(biāo)邊界框初始化多個(gè)車輛的軌跡，在接續(xù)的視頻幀中，根據(jù)與之對(duì)應(yīng)的重識(shí)別(Re-ID)特征和IOU匹配所測(cè)得的距離將目標(biāo)邊界框和現(xiàn)有的軌跡鏈接起來(lái)，對(duì)于IOU的匹配，本文采用如下定義：

(12)

3 實(shí)驗(yàn)及結(jié)果分析

3.1 實(shí)驗(yàn)環(huán)境

使用到的Anchor-Free聯(lián)合模型使用Python3.7進(jìn)行編譯和測(cè)試，CUDA版本為10.1，PyTorch版本為1.1，torchversion0.4.0.操作系統(tǒng)為Ubuntu，CPU為intel至強(qiáng)E3，顯卡為NVIDIA GTX1080，內(nèi)存16G，硬盤容量1T SSD.

3.2 實(shí)驗(yàn)方法

3.2.1 數(shù)據(jù)處理

使用以KITTI-tracking[22]和UA-DETRAC[23]進(jìn)行融合、標(biāo)準(zhǔn)化處理后的聯(lián)合數(shù)據(jù)集作為實(shí)驗(yàn)數(shù)據(jù)集，由于聯(lián)合數(shù)據(jù)集較大(共22.5 G)，選取其中90%作為訓(xùn)練集用于訓(xùn)練模型，10%作為測(cè)試集.在標(biāo)準(zhǔn)化過程中，對(duì)原視頻幀進(jìn)行剪裁和縮放，統(tǒng)一圖像大小至960*540.根據(jù)骨干網(wǎng)絡(luò)的要求，需要輸入class(目標(biāo)類別)、id(目標(biāo)id)、x_center/img_width(歸一化中心列坐標(biāo))、y_center/img_height(歸一化中心行坐標(biāo))、w/img_width(歸一化寬)、h/img_height(歸一化高).據(jù)此要求使用txt格式對(duì)文檔標(biāo)準(zhǔn)化.每個(gè)標(biāo)定的文檔都與圖片相對(duì)應(yīng)，保證圖像與標(biāo)定統(tǒng)一.

3.2.2 訓(xùn)練過程

使用可變卷積深度特征融合網(wǎng)絡(luò)作為骨干網(wǎng)絡(luò)，采用COCO檢測(cè)預(yù)訓(xùn)練模型中的參數(shù)初始化聯(lián)合模型.在此基礎(chǔ)上對(duì)算法進(jìn)行30個(gè)訓(xùn)練紀(jì)元(epoch)的訓(xùn)練，初始學(xué)習(xí)率定1e-5，在第29epoach學(xué)習(xí)率衰減到1e-6，設(shè)置批處理大小為12，輸入的聯(lián)合數(shù)據(jù)集中的視頻幀大小為歸一化為960×540 特征圖大小為240×145，訓(xùn)練時(shí)長(zhǎng)約為100 h.

3.2.3 評(píng)價(jià)指標(biāo)

車輛多目標(biāo)跟蹤的指標(biāo)需要評(píng)估跟蹤模型預(yù)測(cè)目標(biāo)位置信息的精確程度，跟蹤算法隨時(shí)間產(chǎn)生的軌跡的一致性，以及模型本身的效率.本文參考多目標(biāo)主流評(píng)價(jià)體系MOT[24]，并根據(jù)車輛目標(biāo)的特點(diǎn)采用如下評(píng)價(jià)標(biāo)準(zhǔn)：多目標(biāo)追蹤準(zhǔn)確率(MOTA)、正確檢測(cè)比(IDF1)、統(tǒng)計(jì)ID切換總數(shù)(IDS)、模型檢測(cè)準(zhǔn)確度(TPR)、模型檢測(cè)幀率(FPS).其中MOTA衡量了跟蹤目標(biāo)的總體準(zhǔn)確率，將誤檢率和錯(cuò)配率結(jié)合成一個(gè)單獨(dú)的指標(biāo)，對(duì)整體的跟蹤性能給出評(píng)估.IDF衡量了ID準(zhǔn)確率和ID召回率，體現(xiàn)了模型跟蹤的修正能力.IDS衡量了跟蹤軌跡更改其匹配的真實(shí)身份的次數(shù)，體現(xiàn)了其模型跟蹤的穩(wěn)定性.TPR反映了模型對(duì)于目標(biāo)出現(xiàn)的觸發(fā)靈敏度，衡量了跟蹤模型的檢測(cè)水平，F(xiàn)PS衡量了模型處理視頻幀的幀時(shí)比例，體現(xiàn)了模型的推理效率.

3.3 實(shí)驗(yàn)結(jié)果和分析

3.3.1 消融實(shí)驗(yàn)分析

在利用UA-DETRAC車輛數(shù)據(jù)集、KITTI-tracking組成的聯(lián)合數(shù)據(jù)集，用不同場(chǎng)景的車輛對(duì)本文骨干網(wǎng)絡(luò)進(jìn)行訓(xùn)練，遞減車輛Re-ID特征嵌入分支使用的卷積層中的卷積核數(shù)量，在相同實(shí)驗(yàn)環(huán)境下訓(xùn)練10個(gè)epoch，如表1，本文分別利用256，128，64，32四個(gè)不同數(shù)量的卷積核數(shù)以不同維度提取Re-ID特征，其中使用128個(gè)卷積核時(shí)，跟蹤準(zhǔn)確率達(dá)到了最高水平，在使用64個(gè)卷積核時(shí)，仍保持類似的高水平跟蹤準(zhǔn)確率，而且實(shí)現(xiàn)了最好的正確檢測(cè)比54.6和最少的ID切換數(shù)97.當(dāng)進(jìn)一步降低卷積核數(shù)量時(shí)，由于特征維度過少導(dǎo)致提取Re-ID不充分.進(jìn)一步導(dǎo)致了靈敏度下降，因此本文采用64個(gè)卷積核數(shù)量，以學(xué)習(xí)低維度特征的方式來(lái)提取車輛特征信息，實(shí)驗(yàn)也證明了，以低維度特征提取車輛Re-ID信息的有效性.

表1 不同特征維度實(shí)驗(yàn)結(jié)果對(duì)比

小步長(zhǎng)下采樣倍率也在實(shí)驗(yàn)中被證明更有優(yōu)勢(shì)，本文分別在下采樣倍率2，4，8，16四個(gè)不同步長(zhǎng)的下采樣率下實(shí)現(xiàn)骨干網(wǎng)絡(luò)，在相同的實(shí)驗(yàn)環(huán)境下訓(xùn)練10個(gè)epoch，如表2，當(dāng)下采樣率的步長(zhǎng)為4時(shí)，正確檢測(cè)比達(dá)到最好的54.6，同時(shí)有著最高的檢測(cè)靈敏度66.7以及最少的ID切換次數(shù).在跟蹤幀率上，借助于聯(lián)合模型單網(wǎng)絡(luò)的優(yōu)勢(shì)，本文的骨干網(wǎng)絡(luò)能在較小的4步長(zhǎng)的下采樣率的條件下，達(dá)到以8為步長(zhǎng)的下采樣率相近的推理速度.當(dāng)以16為步長(zhǎng)實(shí)驗(yàn)時(shí)，由于層級(jí)跳躍過大而導(dǎo)致了下采樣特征圖信息不完整，影響了整體的跟蹤效果.由于步長(zhǎng)為2下采樣率的推理速度不能滿足聯(lián)合模型的幀率計(jì)算，在這里本文沒有列出該實(shí)驗(yàn)結(jié)果.據(jù)此實(shí)驗(yàn)，本文選擇了以4為步長(zhǎng)的下采樣率實(shí)現(xiàn)模型，該實(shí)驗(yàn)也有效證明了小步長(zhǎng)下采樣率對(duì)于車輛特征提取的優(yōu)勢(shì)，體現(xiàn)了Anchor-Free的網(wǎng)絡(luò)的輕量化的特點(diǎn).

表2 不同下采樣率實(shí)驗(yàn)結(jié)果對(duì)比

3.3.2 算法對(duì)比分析

本文在相同的實(shí)驗(yàn)環(huán)境下，以聯(lián)合數(shù)據(jù)集，分別訓(xùn)練基于Anchor的聯(lián)合檢測(cè)嵌入模型(JDE)，以及本文所使用的Anchor-Free的聯(lián)合模型，在保持相同的30個(gè)epoach訓(xùn)練循環(huán)下，對(duì)模型進(jìn)行測(cè)試，其效果分別如圖5(a)、5(b)所示，在相同視頻幀中，本文所提出的Anchor-Free的聯(lián)合模型，在跟蹤中產(chǎn)生更少的漏檢情況.

圖5 JDE及本文跟蹤效果對(duì)比示例

本文進(jìn)一步在UA-DETRAC數(shù)據(jù)集上對(duì)兩階段模型，JDE以及本文提出的Anchor-Free的聯(lián)合模型上訓(xùn)練30個(gè)epoach，并與在聯(lián)合數(shù)據(jù)集上的訓(xùn)練結(jié)果匯總，如表3，通過數(shù)據(jù)分析可知：在UA-DETRAC數(shù)據(jù)集下訓(xùn)練，本文模型的準(zhǔn)確率達(dá)到了67.5.同時(shí)相比于JDE模型，正確檢測(cè)比達(dá)到了74.3，遠(yuǎn)高于JDE的66.7，同時(shí)ID切換個(gè)數(shù)也由73個(gè)下降到41個(gè)，跟蹤效率也從兩階段模型和JDE模型的7.6FPS、11.6FPS提高到16FPS.在車輛方向和環(huán)境更為復(fù)雜的聯(lián)合數(shù)據(jù)集下訓(xùn)練，本文的準(zhǔn)確率達(dá)到了67.2，遠(yuǎn)高于基于Anchor的JDE的63.8，同時(shí)仍保持了高水平的正確檢測(cè)比73.1，以及較低的ID切換個(gè)數(shù)114.并且在跟蹤效率上仍保持著最高的13.9FPS的水平.實(shí)驗(yàn)結(jié)果表明，本文的Anchor-Free聯(lián)合檢測(cè)模型通過較高的跟蹤效率保證了正確檢測(cè)數(shù)，從而得到了較高的跟蹤準(zhǔn)確率，并且有效減少誤檢率和ID切換個(gè)數(shù).

表3 不同數(shù)據(jù)集訓(xùn)練結(jié)果對(duì)比

4 結(jié)束語(yǔ)

對(duì)于車輛多目標(biāo)跟蹤問題，在追求速度和準(zhǔn)確率的同時(shí)，目前的單步法算法并沒有很好地解決在Re-ID部分由于下采樣倍率所造成的目標(biāo)Anchor和目標(biāo)不一致所導(dǎo)致的歧義情況，導(dǎo)致在車流量較大，車輛通行較為復(fù)雜的情況下，車輛相互遮擋，相似同型號(hào)車輛相互交錯(cuò)時(shí)，產(chǎn)生ID切換的問題，本文利用Anchor-Free的聯(lián)合模型對(duì)車輛重識(shí)別特征的學(xué)習(xí)實(shí)現(xiàn)了跟蹤，既明確了車輛本身的位置和軌跡，提高了跟蹤準(zhǔn)確率，同時(shí)也保證了更好的檢測(cè)效率.實(shí)驗(yàn)表明，本文算法有效地改善了Anchor所帶來(lái)的ID切換、誤檢，在車輛多目標(biāo)跟蹤中表現(xiàn)出了良好的效果和性能.由于本文在內(nèi)部關(guān)聯(lián)只使用了簡(jiǎn)單的匹配的關(guān)聯(lián)算法，因此在接下來(lái)的工作中將對(duì)不同的匹配算法進(jìn)行嘗試，以進(jìn)一步完善模型，同時(shí)在有噪聲的視頻下進(jìn)行實(shí)驗(yàn)，以期在不同的環(huán)境下提高算法的魯棒性.