基于運(yùn)動(dòng)信息和再匹配的多目標(biāo)追蹤①

韓 暑,林 野,鄭龍澍,翁哲鳴,張立華

1(復(fù)旦大學(xué) 工程與應(yīng)用技術(shù)研究院,上海 200433)

2(智能機(jī)器人教育部工程研究中心,上海 200433)

3(上海智能機(jī)器人工程技術(shù)研究中心,上海 200433)

4(中國(guó)航天科工飛航技術(shù)研究院,北京 100074)

5(季華實(shí)驗(yàn)室,佛山 528200)

6(吉林省人工智能與無(wú)人系統(tǒng)工程研究中心,長(zhǎng)春 130021)

1 引言

多目標(biāo)追蹤是一項(xiàng)識(shí)別和追蹤視頻中若干物體或人物位置的計(jì)算機(jī)視覺(jué)任務(wù)[1].換句話說(shuō),多目標(biāo)追蹤的主要任務(wù)是在輸入的視頻或者一定的圖像序列中,確定若干目標(biāo)在各幀中的位置,并在這些幀中維持他們的ID,記錄他們的軌跡[2].

由于使用的分類參數(shù)不同,多目標(biāo)追蹤的分類方式主要有以下兩種.

(1)根據(jù)處理當(dāng)前視頻幀時(shí)能否獲知接下來(lái)幾幀的信息,多目標(biāo)追蹤算法可以分為在線多目標(biāo)追蹤和離線多目標(biāo)追蹤兩類[1].前者不能獲得后續(xù)幀的信息,追蹤只能根據(jù)當(dāng)前幀和之前幀的信息進(jìn)行判斷,而且不能修改之前幀的追蹤結(jié)果;后者則一般要求輸入整個(gè)視頻片段,在處理時(shí)可以得到整個(gè)視頻中的信息,從而得到全局最優(yōu)解.在線追蹤的方法更適合實(shí)際應(yīng)用,所以目前的研究較多.離線追蹤的方法雖然不太適合監(jiān)控等實(shí)際領(lǐng)域,但是由于可以結(jié)合更多的信息,所以相對(duì)追蹤精度要更高,而且通過(guò)放松對(duì)整體序列的要求,將部分連續(xù)幀作為整體,把整個(gè)視頻序列的全局最優(yōu)解換為若干連續(xù)幀的局部最優(yōu)解,也能在造成一些延遲的情況下進(jìn)行實(shí)際應(yīng)用,并利用其高追蹤精度的優(yōu)勢(shì)彌補(bǔ)這部分延遲帶來(lái)的損失.本文提出的算法由于從最初設(shè)計(jì)時(shí)就希望能貼合實(shí)際應(yīng)用,所以采用的是在線多目標(biāo)追蹤的方法.

(2)根據(jù)是否需要依靠目標(biāo)檢測(cè)模型的輸出,也就是目標(biāo)初始化的方式,可以把多目標(biāo)追蹤模型分為需要檢測(cè)器的追蹤模型和無(wú)需檢測(cè)器的追蹤模型[2].前者的目標(biāo)是使用檢測(cè)模型的輸出確定的,因此檢測(cè)器的能力直接影響追蹤結(jié)果的質(zhì)量.這種方式能夠自動(dòng)完成對(duì)特定類別目標(biāo)的追蹤,不需要人為標(biāo)注的參與,但是當(dāng)檢測(cè)器出現(xiàn)失誤或者要求對(duì)非特定類別目標(biāo)進(jìn)行追蹤時(shí),很難有效追蹤.后者則需要在視頻的第一幀加入人為標(biāo)注,而后追蹤模型根據(jù)這個(gè)標(biāo)注進(jìn)行目標(biāo)追蹤.這種方式更類似于對(duì)單目標(biāo)追蹤的拓展,具有目標(biāo)類別不固定且不需要檢測(cè)器等特點(diǎn),可以降低出現(xiàn)失誤的概率.但是這種方法需要人為對(duì)目標(biāo)進(jìn)行標(biāo)注,所以無(wú)法全自動(dòng)運(yùn)行,而且目標(biāo)在第一幀就確定了,無(wú)法應(yīng)對(duì)視頻中出現(xiàn)新目標(biāo)的情況.由于研究者們更希望整個(gè)系統(tǒng)能夠在訓(xùn)練和安裝完成后擺脫人力的約束,所以這兩種追蹤方式中有關(guān)前者的研究相對(duì)較多,本文提出的算法也屬于需要檢測(cè)器的追蹤方法.

隨著目標(biāo)檢測(cè)模型的日趨成熟,借助幾乎完美的目標(biāo)檢測(cè)結(jié)果,在數(shù)據(jù)關(guān)聯(lián)時(shí)理論上可以只使用IoU信息.但是在實(shí)際使用中,少量丟失的檢測(cè)會(huì)造成大量的身份互換和軌跡斷裂,進(jìn)而嚴(yán)重影響追蹤效果.這說(shuō)明現(xiàn)階段多目標(biāo)追蹤仍需要圖像信息的輔助,結(jié)合使用IoU 信息和圖像信息才能獲得更好的追蹤效果.

針對(duì)上述問(wèn)題,本文在IoU 模型中引入圖像信息,提出如下追蹤算法:采用CenterNet 模型[3]檢測(cè)出當(dāng)前的行人目標(biāo),再使用IoU 模型進(jìn)行追蹤.本文的算法會(huì)對(duì)IoU 模型得到的追蹤結(jié)果進(jìn)行校驗(yàn),同時(shí)使用圖像信息來(lái)緩解軌跡斷裂和身份交換的問(wèn)題.針對(duì)遮擋問(wèn)題,本算法預(yù)測(cè)可能發(fā)生的遮擋,在圖像信息相對(duì)完整的情況下保留圖像信息,同時(shí)預(yù)測(cè)被遮擋目標(biāo)的位置,把這些信息用于在遮擋結(jié)束后匹配目標(biāo),從而提升追蹤精度.另外,本算法對(duì)每個(gè)目標(biāo)在下一幀的位置進(jìn)行預(yù)測(cè),使用預(yù)測(cè)位置進(jìn)行交并比的計(jì)算,被遮擋目標(biāo)再次出現(xiàn)的身份匹配也采用的是該目標(biāo)運(yùn)動(dòng)后的預(yù)測(cè)位置.

本文的主要工作有:使用目標(biāo)檢測(cè)模型輸出的目標(biāo)特征,對(duì)IoUtracker 模型的追蹤結(jié)果進(jìn)行校驗(yàn)和再匹配;根據(jù)歷史幀中的目標(biāo)運(yùn)動(dòng)信息,預(yù)測(cè)目標(biāo)的位置,并保存可能發(fā)生遮擋目標(biāo)的特征,用于在遮擋結(jié)束后恢復(fù)目標(biāo)身份.

本文接下來(lái)會(huì)介紹部分多目標(biāo)追蹤的相關(guān)研究工作,并對(duì)本算法使用的目標(biāo)檢測(cè)模型和本算法主要對(duì)比的模型進(jìn)行簡(jiǎn)單介紹.然后會(huì)詳細(xì)介紹本算法,并展示本算法的相關(guān)實(shí)驗(yàn)結(jié)果與分析.最后會(huì)總結(jié)本算法并提出未來(lái)改進(jìn)的方向.

2 相關(guān)工作

2.1 多目標(biāo)追蹤研究現(xiàn)狀

基于檢測(cè)的追蹤模型的通用框架是:在獲取到視頻序列后,首先使用目標(biāo)檢測(cè)器對(duì)幀中的目標(biāo)進(jìn)行檢測(cè),然后提取目標(biāo)特征,之后使用從其它幀中獲取到的信息,利用相似度計(jì)算的相關(guān)方法,計(jì)算出兩個(gè)目標(biāo)是同一物體的概率,最后根據(jù)之前計(jì)算的概率為各個(gè)目標(biāo)分配ID,完成追蹤.

現(xiàn)有的多目標(biāo)追蹤研究中,有的是在整個(gè)流程的各階段上進(jìn)行改進(jìn)提高效果,有的通過(guò)借鑒其它相關(guān)領(lǐng)域的方法改進(jìn)模型,還有的通過(guò)跨領(lǐng)域研究的方式提供更多信息.

在目標(biāo)檢測(cè)階段,可以使用二維視頻幀以外的信息,或根據(jù)視頻幀推測(cè)出更多信息來(lái)增強(qiáng)檢測(cè)的力度.例如Gan 等[4]同時(shí)使用立體聲和視覺(jué)信息對(duì)車(chē)輛進(jìn)行定位和追蹤,并且在光線不足的情況下也能取得較好的效果.Babaee 等[5]使用LSTM 進(jìn)行追蹤,這個(gè)模型利用目標(biāo)的歷史位置和速度等信息對(duì)未來(lái)位置進(jìn)行預(yù)測(cè),之后對(duì)預(yù)測(cè)結(jié)果和檢測(cè)結(jié)果計(jì)算IoU,進(jìn)行相似性的度量.

在特征提取階段,研究主要集中在對(duì)網(wǎng)絡(luò)骨架的改動(dòng)上.例如Lee 等[6]將金字塔網(wǎng)絡(luò)和孿生網(wǎng)絡(luò)相結(jié)合,根據(jù)已有軌跡對(duì)目標(biāo)未來(lái)的位置進(jìn)行預(yù)測(cè),之后使用實(shí)際檢測(cè)結(jié)果和NMS 進(jìn)行處理,并從網(wǎng)絡(luò)的不同隱藏層提取特征,將這些特征進(jìn)行融合后得到了較好的特征.Gao 等[7]將兩種負(fù)責(zé)建模歷史目標(biāo)樣本的結(jié)構(gòu)化表示的圖卷積網(wǎng)絡(luò),與用于目標(biāo)外觀建模的暹羅框架合并,得到能夠利用當(dāng)前幀的上下文來(lái)學(xué)習(xí)用于目標(biāo)定位的自適應(yīng)特征的模型.

在相似度計(jì)算階段的改進(jìn)主要是對(duì)從網(wǎng)絡(luò)中得到的特征進(jìn)行處理.例如Ji 等[8]引入了雙向LSTM,這個(gè)模型使用時(shí)序注意力網(wǎng)絡(luò)得到注意力參數(shù),使用這一參數(shù)對(duì)空間注意力網(wǎng)絡(luò)得到的特征進(jìn)行加權(quán),得到了能夠緩解遮擋影響的結(jié)果.Yoon 等[9]也使用了雙向LSTM,并用于計(jì)算相似性,這個(gè)模型在全連接層頂端編碼了約束框坐標(biāo)和檢測(cè)結(jié)果置信度等非外觀特征,在無(wú)外觀特征方法中取得了領(lǐng)先的地位.

給目標(biāo)分配ID 實(shí)際上就是一個(gè)將當(dāng)前幀中的目標(biāo)與之前幀中目標(biāo)進(jìn)行匹配的過(guò)程.在這一階段,Ma等[10]使用了GRU 來(lái)判斷進(jìn)行軌跡分流的時(shí)間點(diǎn).Wang等[11]提出在兩個(gè)單獨(dú)的匹配階段解決魯棒性和判別力的要求,這個(gè)模型在粗匹配階段進(jìn)行通用訓(xùn)練來(lái)增強(qiáng)魯棒性,而在精細(xì)匹配階段通過(guò)遠(yuǎn)程學(xué)習(xí)網(wǎng)絡(luò)增強(qiáng)辨別力.這兩個(gè)階段的聯(lián)系是后者可以使用前者的輸出作為輸入,因此這兩個(gè)階段可以串聯(lián)連接.如果不使用這一方法,也可以將它們并行連接,通過(guò)對(duì)兩者的結(jié)果進(jìn)行優(yōu)化和融合得到最終結(jié)果.

在借鑒相關(guān)領(lǐng)域研究方面,通常是對(duì)單目標(biāo)追蹤領(lǐng)域較為成功的方法進(jìn)行修改后應(yīng)用在多目標(biāo)追蹤中.如Chu 等[12]提出的模型中,為了緩解行人交互時(shí)產(chǎn)生的遮擋導(dǎo)致追蹤算法產(chǎn)生漂移的問(wèn)題,他們使用時(shí)空域注意力模型,并判別可能出現(xiàn)的干擾目標(biāo).其中每個(gè)目標(biāo)都獨(dú)立管理并更新時(shí)空域注意力模型,并選擇候選檢測(cè)結(jié)果進(jìn)行跟蹤,所以在本質(zhì)上是將單目標(biāo)追蹤擴(kuò)展到了多目標(biāo)追蹤的研究.

在與跨領(lǐng)域的研究結(jié)合的方法中,Ren 等[13]提出的基于預(yù)測(cè)-決策網(wǎng)絡(luò)的聯(lián)合深度強(qiáng)化學(xué)習(xí)方法可以作為比較典型的例子.這個(gè)模型將深度強(qiáng)化學(xué)習(xí)與多目標(biāo)追蹤相結(jié)合,針對(duì)目標(biāo)與目標(biāo)之間產(chǎn)生遮擋時(shí)檢測(cè)器效果變差影響到追蹤效果的問(wèn)題進(jìn)行研究,通過(guò)使用決策網(wǎng)絡(luò)對(duì)目標(biāo)與目標(biāo)之間、目標(biāo)與環(huán)境之間的聯(lián)合交互來(lái)尋找最優(yōu)追蹤解.上述這些方法都在許多方面給本算法提供了改進(jìn)思路和想法.

2.2 目標(biāo)檢測(cè)模型

本算法采用的目標(biāo)檢測(cè)模型是在CenterNet 算法的基礎(chǔ)上改進(jìn)的目標(biāo)檢測(cè)器,主要是增加了每個(gè)目標(biāo)的128 維特征向量的信息輸出[14].

目標(biāo)檢測(cè)算法主要可以分為二階段和一階段兩類.二階段的目標(biāo)檢測(cè)算法如Faster-RCNN 模型[15],這類算法會(huì)先提取出一定量的候選區(qū)域,再對(duì)每個(gè)候選區(qū)域進(jìn)行特征提取后完成分類.一階段的目標(biāo)檢測(cè)算法的代表為YOLOv3 模型[16],這類模型一步完成坐標(biāo)的回歸與分類工作,與二階段檢測(cè)模型相比,在檢測(cè)精度和檢測(cè)效率的平衡上有一定的優(yōu)勢(shì).CenterNet 模型則跳出了這兩類方法的限制,提出了零階段或者無(wú)需候選框的新類型目標(biāo)檢測(cè)算法.這個(gè)模型將圖像直接送入全卷積網(wǎng)絡(luò)中,得到一幅熱力圖,熱力圖中的峰值就是目標(biāo)的中心,對(duì)每個(gè)峰值處的圖像特征進(jìn)行回歸來(lái)預(yù)測(cè)目標(biāo)檢測(cè)框的寬和高,整個(gè)模型是端到端的,所以檢測(cè)速度上相較于之前的兩類模型有一定的優(yōu)勢(shì),同時(shí)檢測(cè)精度上也處于較為領(lǐng)先的地位.

2.3 IoUtracker和V-IoU 算法簡(jiǎn)介

IoUtracker 模型是Bochinski 等[17]在2017年提出的一個(gè)多目標(biāo)追蹤模型.這個(gè)模型也是基于檢測(cè)的模型,是建立在輸入視頻或攝像頭的幀率達(dá)到實(shí)時(shí)及以上水平,以及目標(biāo)檢測(cè)器不會(huì)出現(xiàn)漏檢和誤檢的假設(shè)上的多目標(biāo)追蹤模型.這個(gè)模型通過(guò)相鄰幀間檢測(cè)框的IoU 來(lái)進(jìn)行目標(biāo)的匹配.

IoUtracker 模型的具體流程為:首先設(shè)定閾值σl,檢測(cè)得分小于該閾值的檢測(cè)框?qū)⒈簧釛?其次,對(duì)于當(dāng)前追蹤隊(duì)列中的每一個(gè)追蹤框,在當(dāng)前幀的檢測(cè)框中找到和該追蹤框IoU 最大的檢測(cè)框,并判斷該IoU 是否大于閾值σIoU,如果是,則將該檢測(cè)框與該追蹤框匹配.若沒(méi)有滿足上一步中的閾值要求,則判斷該追蹤框在之前幀中的最大檢測(cè)得分是否大于閾值σh,以及在該幀之前目標(biāo)出現(xiàn)的幀數(shù)是否大于閾值tmin.如果滿足這一要求,就認(rèn)為這個(gè)追蹤框內(nèi)是一個(gè)正常的追蹤物體,且在當(dāng)前幀已經(jīng)消失,因此將該追蹤物體移出追蹤隊(duì)列.最后,對(duì)于沒(méi)有匹配上的檢測(cè)框,認(rèn)為是一個(gè)新出現(xiàn)的物體,作為待追蹤的物體將對(duì)應(yīng)檢測(cè)框加入到追蹤隊(duì)列中.這個(gè)方法處理速度非?？?但是太依賴于檢測(cè)的結(jié)果,沒(méi)有考慮目標(biāo)被遮擋等情況下在部分幀中消失的問(wèn)題,所以這個(gè)模型的軌跡斷裂和身份互換問(wèn)題較為嚴(yán)重.

針對(duì)IoUtracker 模型的問(wèn)題,Bochinski 等在2018年提出了V-IoU 模型[18].這個(gè)模型是在IoUtracker 模型的基礎(chǔ)上增加一個(gè)單目標(biāo)追蹤器,基礎(chǔ)想法是在目標(biāo)消失時(shí),使用之前幀的圖像信息初始化單目標(biāo)追蹤器,利用這個(gè)單目標(biāo)追蹤器繼續(xù)尋找并對(duì)該目標(biāo)進(jìn)行追蹤.

但是這個(gè)模型也存在著一些問(wèn)題.例如在目標(biāo)間發(fā)生遮擋的情況下,在被遮擋的目標(biāo)最后一次被檢測(cè)到時(shí),這兩個(gè)目標(biāo)的檢測(cè)框很可能已經(jīng)有了較大程度的重疊,那么使用這樣的檢測(cè)框進(jìn)行初始化的視覺(jué)追蹤獲得的特征中就會(huì)有較多遮擋者的信息,這會(huì)導(dǎo)致視覺(jué)追蹤就可能受到這些錯(cuò)誤特征的影響而追蹤遮擋者,導(dǎo)致后續(xù)的身份匹配失敗.另外這個(gè)算法是在軌跡斷裂后才發(fā)揮作用,可能對(duì)斷裂前的身份變化的應(yīng)對(duì)能力不足.

3 多目標(biāo)追蹤算法

3.1 本文算法介紹

通過(guò)對(duì)IoU 追蹤算法的分析可知,該類型的追蹤算法有較大的進(jìn)步空間和研究?jī)r(jià)值,存在的問(wèn)題主要是目標(biāo)檢測(cè)模型的失誤和目標(biāo)間遮擋引發(fā)的.目標(biāo)檢測(cè)模型的失誤帶來(lái)的影響很難用追蹤模型進(jìn)行彌補(bǔ),所以本文將側(cè)重點(diǎn)放在緩解目標(biāo)間遮擋帶來(lái)的影響上.

本算法借鑒V-IoU 算法中的利用視覺(jué)信息對(duì)IoUtracker 模型進(jìn)行改進(jìn)的基本思路,整個(gè)算法的介紹如下:本算法先使用IoU 算法進(jìn)行追蹤,然后使用圖像信息對(duì)IoU 算法的結(jié)果進(jìn)行校驗(yàn),校驗(yàn)不通過(guò)的ID 需要進(jìn)行再匹配,最后得到較優(yōu)的結(jié)果.針對(duì)目標(biāo)間遮擋造成的問(wèn)題,采取利用目標(biāo)間的IoU 信息預(yù)測(cè)可能發(fā)生的遮擋,提前獲得較為可靠的目標(biāo)圖像信息來(lái)幫助在遮擋結(jié)束后的目標(biāo)身份分配的方法,從而緩解身份互換的問(wèn)題.另外,本算法對(duì)每個(gè)目標(biāo)在下一幀的位置進(jìn)行預(yù)測(cè),使用預(yù)測(cè)位置進(jìn)行交并比的計(jì)算,被遮擋目標(biāo)再次出現(xiàn)的身份匹配也采用該目標(biāo)運(yùn)動(dòng)后的預(yù)測(cè)位置進(jìn)行對(duì)檢測(cè)結(jié)果的搜索.因?yàn)楸舅惴ㄗ粉櫟哪繕?biāo)為行人,根據(jù)社會(huì)力模型[19]和人群運(yùn)動(dòng)模式模型[20]等研究,行人的運(yùn)動(dòng)具有一定規(guī)律,例如更傾向于直線運(yùn)動(dòng)等.而且本算法假定視頻序列的幀率較高,所以借用微分的思想,認(rèn)為相鄰幀中目標(biāo)的運(yùn)動(dòng)是勻速直線運(yùn)動(dòng),進(jìn)而對(duì)下一幀中目標(biāo)的大致位置進(jìn)行預(yù)測(cè).

3.2 算法基本流程

本算法的大致步驟如圖1所示.基本流程為第一幀按檢測(cè)賦ID,并保存所有目標(biāo)的特征向量.從第二幀開(kāi)始,先用IoUtracker 模型進(jìn)行追蹤,然后對(duì)新增軌跡進(jìn)行復(fù)查,減少軌跡數(shù)量.接著對(duì)每條軌跡進(jìn)行校驗(yàn),校驗(yàn)部分的流程會(huì)在后面詳細(xì)說(shuō)明.在把當(dāng)前幀中所有軌跡校驗(yàn)完成后,根據(jù)上一幀和當(dāng)前幀同一目標(biāo)的中心點(diǎn)距離和方向計(jì)算運(yùn)動(dòng)矢量,從而得到該目標(biāo)在下一幀中的預(yù)測(cè)位置,如圖2所示.在圖2中,第t–1 幀中該目標(biāo)檢測(cè)框用細(xì)線框標(biāo)出,第t幀中的檢測(cè)框則用粗線框表示,結(jié)合這兩幀中該目標(biāo)的檢測(cè)框信息,預(yù)測(cè)第t+1 幀中該目標(biāo)位置為虛線框所示.利用估算的位置和第二幀中的檢測(cè)框大小計(jì)算各目標(biāo)間的IoU,超過(guò)閾值σoc的認(rèn)為可能會(huì)發(fā)生遮擋,記錄ID、預(yù)測(cè)前進(jìn)方向和距離,以及第二幀中的特征向量,把這些和預(yù)測(cè)遮擋相關(guān)的信息放入遮擋列表.

圖1 本算法的基本流程

圖2 預(yù)測(cè)目標(biāo)大致位置的示例

對(duì)新增軌跡進(jìn)行復(fù)查是針對(duì)被檢測(cè)到了,但是由于交并比不足導(dǎo)致被認(rèn)為是新目標(biāo)的檢測(cè)結(jié)果,利用圖像信息把新增的目標(biāo)與在當(dāng)前幀中沒(méi)有更新的軌跡進(jìn)行匹配.

由于本算法是建立在攝像頭或視頻的幀率較高且無(wú)較大變化的假設(shè)上的,所以相鄰幀的目標(biāo)位置變化較小,參考微分的思想可以認(rèn)為相鄰幀間目標(biāo)是勻速直線運(yùn)動(dòng)的,這樣可以預(yù)測(cè)下一幀中目標(biāo)的大致位置.本算法使用中心點(diǎn)、檢測(cè)框大小和運(yùn)動(dòng)矢量進(jìn)行目標(biāo)位置的預(yù)測(cè).

當(dāng)預(yù)測(cè)的軌跡超出圖像范圍或當(dāng)前幀的位置在圖像邊緣且目標(biāo)大小出現(xiàn)明顯變化時(shí),認(rèn)為該目標(biāo)即將離開(kāi)圖像,將其標(biāo)記出來(lái).當(dāng)軌跡消失達(dá)到一定幀數(shù)時(shí),認(rèn)為這個(gè)軌跡終止,也會(huì)將其標(biāo)記.這些被標(biāo)記的軌跡在較少幀數(shù)后模型會(huì)停止對(duì)這些軌跡的校驗(yàn)和匹配.

3.3 校驗(yàn)算法流程

對(duì)于未終止的軌跡,流程如圖3所示.在校驗(yàn)階段將當(dāng)前幀的特征向量與該ID 之前幀中的特征向量進(jìn)行比較.若該ID 在遮擋列表中,則增加使用遮擋列表中的特征向量的判別.校驗(yàn)通過(guò)則該檢測(cè)結(jié)果繼承ID,否則先根據(jù)預(yù)估位置和運(yùn)動(dòng)矢量判斷這些目標(biāo)是否超出圖像區(qū)域,如果是的,則將這些目標(biāo)的上一幀記錄和遮擋列表里的記錄刪除,并移出追蹤隊(duì)列.仍未解決的軌跡以上一幀追蹤框的中心點(diǎn)為中心,上一幀追蹤框的頂點(diǎn)向追蹤框外移動(dòng)預(yù)測(cè)運(yùn)動(dòng)矢量后作矩形R,若有檢測(cè)結(jié)果與矩形R的IoU 大于閾值σda,則將這個(gè)檢測(cè)結(jié)果列為候選對(duì)象,利用圖像信息判斷該檢測(cè)結(jié)果的ID 歸屬.

圖3 未終止軌跡校驗(yàn)流程

把原軌跡中上一幀的檢測(cè)框和預(yù)測(cè)運(yùn)動(dòng)矢量相結(jié)合,可以得到目標(biāo)的大致范圍,進(jìn)而提升找到匹配的檢測(cè)結(jié)果的效率.這一步主要是為了緩解序列幀率較低或目標(biāo)大幅度改變運(yùn)動(dòng)方向等情況造成的預(yù)測(cè)運(yùn)動(dòng)矢量出現(xiàn)偏差的問(wèn)題.

3.4 模塊介紹

本算法主要可以分為4 個(gè)模塊,分別為目標(biāo)位置預(yù)測(cè)模塊、軌跡整合模塊、遮擋預(yù)測(cè)處理模塊和目標(biāo)校驗(yàn)與再匹配模塊.

(1)目標(biāo)位置預(yù)測(cè)模塊

本模塊主要負(fù)責(zé)對(duì)目標(biāo)下一幀位置的預(yù)測(cè).如圖2所示,在視頻序列幀數(shù)較高,目標(biāo)在相鄰若干幀之間位置變化較小的假設(shè)基礎(chǔ)上,本算法根據(jù)前兩幀中目標(biāo)的位置變化,結(jié)合微分的思想,以勻速直線運(yùn)動(dòng)方式預(yù)測(cè)目標(biāo)位置,形成目標(biāo)運(yùn)動(dòng)向量和目標(biāo)預(yù)測(cè)位置處的檢測(cè)框,為接下來(lái)的模塊提供信息.

(2)軌跡整合模塊

本模塊負(fù)責(zé)對(duì)IoUtracker 模型的結(jié)果進(jìn)行預(yù)處理.

由于IoUtracker 模型要求軌跡必須連續(xù),沒(méi)有任何對(duì)目標(biāo)間遮擋等造成檢測(cè)結(jié)果中斷后目標(biāo)再次出現(xiàn)的處理方法,所以該模型輸出的新增軌跡中包含大量原有斷裂軌跡的目標(biāo).因此本模塊在目標(biāo)再匹配之前,對(duì)IoUtracker 結(jié)果中新增的軌跡進(jìn)行篩查,合并能和已有軌跡匹配的新增軌跡,達(dá)到初步對(duì)抗遮擋,減少軌跡總數(shù)的效果.

本模塊通過(guò)遍歷新增軌跡,通過(guò)它們與已有軌跡的預(yù)測(cè)目標(biāo)位置的交并比和圖像特征相似度,與當(dāng)前幀中未更新且未被視為結(jié)束的已有軌跡嘗試匹配的方法,進(jìn)行軌跡整合.

(3)遮擋預(yù)測(cè)處理模塊

本模塊主要負(fù)責(zé)尋找可能發(fā)生遮擋的目標(biāo),并在遮擋發(fā)生前保存該目標(biāo)較為完整的圖像信息.

本模塊使用目標(biāo)位置預(yù)測(cè)模塊輸出的目標(biāo)預(yù)測(cè)位置,計(jì)算下一幀中各目標(biāo)檢測(cè)框的交并比,如果有一組目標(biāo)的交并比超過(guò)閾值σocc,則將它們的身份ID和當(dāng)前幀中的圖像特征存入遮擋列表,直到目標(biāo)的預(yù)測(cè)檢測(cè)框與其它目標(biāo)的交并比小于σocc,此時(shí)本算法認(rèn)為該目標(biāo)遮擋過(guò)程結(jié)束或遮擋可能性消失,將該目標(biāo)從遮擋列表中移除.

另外,如果目標(biāo)已經(jīng)在遮擋列表中,就不更新該目標(biāo)的信息.因?yàn)榇藭r(shí)該目標(biāo)可能已經(jīng)進(jìn)入遮擋過(guò)程,該目標(biāo)對(duì)應(yīng)的圖像信息不一定比之前保存的特征更加有效,所以本算法選擇不更新遮擋列表中該目標(biāo)的特征.

(4)目標(biāo)校驗(yàn)與再匹配模塊

本模塊負(fù)責(zé)使用圖像特征對(duì)IoUtracker 模型的輸出進(jìn)行校驗(yàn),并在目標(biāo)沒(méi)有通過(guò)校驗(yàn)的情況下為目標(biāo)找到更適合的檢測(cè)結(jié)果.

本模塊的主要流程如圖3所示.本模塊使用當(dāng)前幀中軌跡匹配的檢測(cè)與該軌跡之前幀中最后一個(gè)檢測(cè)和遮擋列表中該軌跡保留的特征相似度進(jìn)行校驗(yàn).如果通過(guò)校驗(yàn),該檢測(cè)結(jié)果就繼承該軌跡身份.否則該軌跡預(yù)測(cè)位置框放大其運(yùn)動(dòng)矢量大小的矩形框作為搜索依據(jù),與這個(gè)矩形框交并比大于σreIoU(進(jìn)行再匹配時(shí)目標(biāo)檢測(cè)結(jié)果與軌跡框的交并比閾值)的檢測(cè)結(jié)果再與該軌跡進(jìn)行圖像特征校驗(yàn),超過(guò)一定閾值時(shí)允許該檢測(cè)結(jié)果繼承身份.如果該檢測(cè)結(jié)果已經(jīng)與另一軌跡匹配,則該檢測(cè)結(jié)果這兩個(gè)軌跡之前幀中最后一個(gè)檢測(cè)和遮擋列表中該軌跡保留的特征與該檢測(cè)結(jié)果特征相似度更高者的身份.

監(jiān)控管理平臺(tái)軟件除了要具備最基本的音視頻操作功能，面臨的主要問(wèn)題就是如何構(gòu)建面向應(yīng)用服務(wù)的綜合管理平臺(tái)軟件，包括：對(duì)大型網(wǎng)絡(luò)環(huán)境下分散場(chǎng)所的視頻監(jiān)控設(shè)備統(tǒng)一管理，對(duì)統(tǒng)一系統(tǒng)不同類型的視頻采集設(shè)備、報(bào)警設(shè)備和門(mén)禁設(shè)備統(tǒng)一管理，對(duì)不同部門(mén)不同權(quán)限用戶不同業(yè)務(wù)需求統(tǒng)一管理。雖然近年來(lái)平臺(tái)軟件也有較大發(fā)展，但跟整個(gè)行業(yè)市場(chǎng)相比，還存在一定差距——要么功能貌似很多但不實(shí)用，要么架構(gòu)復(fù)雜，成本居高不下，要么運(yùn)行所需環(huán)境簡(jiǎn)單，無(wú)法提供健壯的擴(kuò)展性，要么操作復(fù)雜難以上手。雖然平臺(tái)軟件的重要性不言而喻，但在國(guó)內(nèi)安防行業(yè)中卻存在著認(rèn)知度不足、市場(chǎng)規(guī)模不大、價(jià)值難以體現(xiàn)等窠臼。

4 實(shí)驗(yàn)

4.1 實(shí)驗(yàn)說(shuō)明

本文采用2DMOT15[21]和MOT16[22]數(shù)據(jù)集進(jìn)行實(shí)驗(yàn).2DMOT15 數(shù)據(jù)集包含了22 個(gè)視頻,這些視頻被等分為訓(xùn)練集和測(cè)試集兩部分.這些視頻來(lái)源于其它數(shù)據(jù)集,并且使用的錄制條件也不同,例如攝像機(jī)的運(yùn)動(dòng),環(huán)境和光照的變化等.這個(gè)數(shù)據(jù)集一共有11 283 張分辨率不統(tǒng)一的圖像,共計(jì)包含1 221 個(gè)不同的人,總共有101 345 個(gè)檢測(cè)框.MOT16 數(shù)據(jù)集共含有11 235幀圖像、1 342 個(gè)人和292 733 個(gè)檢測(cè)框.包含了多個(gè)行人目標(biāo),并存在目標(biāo)交互與遮擋,其中訓(xùn)練集和測(cè)試集各有7 段視頻.

實(shí)驗(yàn)中采用的評(píng)判標(biāo)準(zhǔn)以正確識(shí)別的檢測(cè)與平均實(shí)際結(jié)果數(shù)和計(jì)算的檢測(cè)數(shù)之比(IDF1)以及多目標(biāo)追蹤精度(MOTA)[23]兩種為主,IDF1 綜合了ID 準(zhǔn)確率(IDP)和ID 召回率(IDR),公式如式(1)所示.MOTA公式如式(2)所示,其中FN為false negative,指追蹤算法沒(méi)有追蹤到的真實(shí)目標(biāo)的數(shù)量;FP為false positive,指在追蹤算法生成了軌跡但真實(shí)情況并沒(méi)有該軌跡的數(shù)量;IDS 是指ID 交換的情況,也就是雖然檢測(cè)到了目標(biāo)并成功追蹤到了,但是對(duì)目標(biāo)的身份識(shí)別錯(cuò)誤的次數(shù).GT 指標(biāo)注數(shù)據(jù)值.IDF1 側(cè)重于軌跡中ID 信息的準(zhǔn)確性,而MOTA則更全面,并且能體現(xiàn)出軌跡中ID的穩(wěn)定性.

此外,本文還采用命中目標(biāo)軌跡數(shù)量(MT)和丟失目標(biāo)軌跡數(shù)量(ML)等參數(shù)對(duì)結(jié)果進(jìn)行分析.其中,命中目標(biāo)軌跡數(shù)量指結(jié)果中與標(biāo)注軌跡重合超過(guò)80%的軌跡的數(shù)量.丟失目標(biāo)軌跡數(shù)量則指的是結(jié)果中與標(biāo)注軌跡重合小于20%的數(shù)量.

4.2 實(shí)驗(yàn)結(jié)果與分析

為了驗(yàn)證本算法的效果,將本算法與其它算法的實(shí)驗(yàn)結(jié)果進(jìn)行對(duì)比.本算法與其它算法的實(shí)驗(yàn)結(jié)果對(duì)比是在MOT16 數(shù)據(jù)集上進(jìn)行的,由于本算法主要在于對(duì)IoUtracker 模型的改進(jìn),所以增加了在2DMOT15 數(shù)據(jù)集上與V-IoU 算法的對(duì)比,以說(shuō)明本算法對(duì)IoUtracker改進(jìn)的效果.而且由于本算法和V-IoU 算法都進(jìn)行了對(duì)IoUtracker 模型的改進(jìn),所以兩者在使用IoUtracker模型的部分的參數(shù)保持一致,并且均使用CenterNet 模型得到的檢測(cè)結(jié)果,這樣有利于獲得更可靠的比較結(jié)果.

4.2.1 與V-IoU 算法結(jié)果的對(duì)比

V-IoU 算法和本文算法在2DMOT15和MOT16數(shù)據(jù)集上的各項(xiàng)指標(biāo)結(jié)果如表1所示.參數(shù)旁邊的“↑”表示該參數(shù)越高,該模型的追蹤效果越好;“↓”表示該參數(shù)越低,該模型的追蹤效果越好.從表1可以看出,本文算法在MOTA、IDF1 等指標(biāo)上相對(duì)于V-IoU 算法都有一定的提升,主要原因有兩點(diǎn).一是因?yàn)楸疚乃惴梢詫?duì)IoUtracker 模型的結(jié)果進(jìn)行修正,將檢測(cè)到的結(jié)果盡可能連接到真正的軌跡上,而不是在軌跡斷裂后才進(jìn)行應(yīng)對(duì).二是本文算法采用預(yù)測(cè)目標(biāo)大致位置和可能的遮擋的方法,能夠更精確地尋找目標(biāo),并在認(rèn)為遮擋可能發(fā)生時(shí)就保存相關(guān)信息,而不是使用目標(biāo)被遮擋的前一幀處的很可能被污染或大量缺失的信息.

雖然本文算法在MOTA和IDF1 等指標(biāo)上取得了一定的提升,但是本文算法在FP和IDS 指標(biāo)上表現(xiàn)出了不足.這是因?yàn)镮oUtracker 模型會(huì)舍棄較短和整條軌跡中的檢測(cè)得分不高于σh的軌跡,以此來(lái)對(duì)抗檢測(cè)結(jié)果的錯(cuò)誤.但是一些相對(duì)較小的目標(biāo)的軌跡也會(huì)被忽略,造成FN的上升.V-IoU 模型引入單目標(biāo)追蹤器緩解軌跡斷裂問(wèn)題,但是依然保留對(duì)一些目標(biāo)軌跡的忽略.而本算法認(rèn)為,目前相對(duì)成熟的目標(biāo)檢測(cè)模型輸出的檢測(cè)結(jié)果,在使用一定閾值的檢測(cè)得分篩選后,留下的更多是需要的目標(biāo),所以本算法盡可能利用所有滿足閾值的檢測(cè)結(jié)果.從表1中的FP和FN 指標(biāo)的對(duì)比可以發(fā)現(xiàn),本算法用相對(duì)較低的FP 增加的代價(jià),得到了FN 指標(biāo)上的較多提升,這也說(shuō)明了本算法在檢測(cè)結(jié)果利用上的優(yōu)勢(shì).表2是各模型和標(biāo)注真實(shí)值在MOT16 訓(xùn)練集上使用的檢測(cè)結(jié)果數(shù)量,可以看出本算法的數(shù)量更接近真實(shí)值,也說(shuō)明了本算法的優(yōu)越性.大幅降低的FN 指標(biāo)緩解了FP和IDS 指標(biāo)上升帶來(lái)的負(fù)面影響,所以在MOTA指標(biāo)上本算法能相對(duì)于IoUtracker 模型和V-IoU 模型有一定的提升.

表1 本文算法與V-IoU 算法的實(shí)驗(yàn)結(jié)果對(duì)比

表2 MOT16 訓(xùn)練集上各模型使用的檢測(cè)結(jié)果數(shù)量

本文算法在MOT16的各個(gè)視頻序列上的測(cè)試結(jié)果如表3所示,這里主要考慮的是IDF1和MOTA這兩個(gè)指標(biāo),對(duì)本算法進(jìn)行分析.

分析表3的數(shù)據(jù)可知,本算法在MOT16-04和MOT16-11 上的效果較好,而MOT16-08和MOT16-14 序列的結(jié)果則不是很理想.前者說(shuō)明本文算法對(duì)于攝像頭的小幅度移動(dòng)具有一定的魯棒性.后者結(jié)果較差的可能的原因是在攝像頭大幅度運(yùn)動(dòng)和在大景深導(dǎo)致的行人大小和交錯(cuò)遮擋形成的復(fù)雜場(chǎng)景中,本文算法不能很好地預(yù)測(cè)目標(biāo)的軌跡,以及不能很好地處理目標(biāo)大小差距帶來(lái)相關(guān)問(wèn)題.結(jié)合表1中本算法FP、FN和IDS 等指標(biāo)較高的問(wèn)題,說(shuō)明本算法仍有許多不足,需要采用一定的方法調(diào)整模型.這些為繼續(xù)改進(jìn)本算法提供了方向.

表3 本文算法在MOT16 各序列上的結(jié)果

4.2.2 與其它算法結(jié)果的對(duì)比

本算法在MOT16 測(cè)試集上與其它算法的實(shí)驗(yàn)結(jié)果對(duì)比如表4所示.參數(shù)旁邊的“↑”表示該參數(shù)越高,該模型的追蹤效果越好;“↓”表示該參數(shù)越低,該模型的追蹤效果越好.由表4可以看出,本算法在MOTA和IDF1 指標(biāo)上有一定的優(yōu)勢(shì),在MT和ML 指標(biāo)上,本算法也達(dá)到了較高的水平,這說(shuō)明本算法在追蹤的整體效果上取得了較好的表現(xiàn).

表4 不同算法在MOT16 數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果對(duì)比

CNNMTT 模型[24]基于社會(huì)力模型中行人會(huì)成群運(yùn)動(dòng)的思想,通過(guò)先粗分人群再細(xì)分的方法,結(jié)合匈牙利算法對(duì)卷積網(wǎng)絡(luò)提取的特征進(jìn)行匹配,取得了較好的效果.這個(gè)算法和本算法都運(yùn)用了社會(huì)力模型的思想,但是該算法沒(méi)有充分考慮人群中目標(biāo)間互相遮擋帶來(lái)的影響,所以整體追蹤效果受到了一定的影響.smartSORT 模型[25]將前兩幀的目標(biāo)特征融合后進(jìn)行特征匹配,但是對(duì)行人空間信息的運(yùn)用較少,一定程度上影響了該算法的命中軌跡數(shù)量指標(biāo).RAR16wVGG 模型[26]結(jié)合遞歸神經(jīng)網(wǎng)絡(luò)和循環(huán)神經(jīng)網(wǎng)絡(luò),根據(jù)長(zhǎng)期軌跡進(jìn)行數(shù)據(jù)關(guān)聯(lián)和目標(biāo)的時(shí)空狀態(tài)預(yù)測(cè),很好地提高了命中軌跡數(shù)量并降低身份互換數(shù)量,但是對(duì)于較短軌跡的匹配效果稍差,進(jìn)而影響了漏報(bào)率指標(biāo).VMaxx模型[27]使用卷積網(wǎng)絡(luò)提取的圖像特征和空間運(yùn)動(dòng)信息,結(jié)合雙流長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)提供的長(zhǎng)期目標(biāo)圖像特征和運(yùn)動(dòng)信息進(jìn)行身份匹配.這種方法可以有效學(xué)習(xí)到軌跡的特征,從而降低丟失軌跡數(shù)量,但是由于缺少身份矯正機(jī)制,一旦身份分配出現(xiàn)錯(cuò)誤就會(huì)延續(xù)下去,導(dǎo)致IDF1 指標(biāo)的結(jié)果較為不理想.

本文算法通過(guò)使用圖像信息對(duì)充分利用目標(biāo)空間信息的IoUtracker 模型的結(jié)果進(jìn)行校驗(yàn),并考慮了遮擋應(yīng)對(duì)機(jī)制,結(jié)合目標(biāo)空間狀態(tài)預(yù)測(cè),在整體追蹤效果上取得了較好的效果.但是從實(shí)驗(yàn)結(jié)果對(duì)比中可以看出,本算法的實(shí)驗(yàn)結(jié)果評(píng)估中,IDS 指標(biāo)不理想,說(shuō)明本算法的身份矯正機(jī)制較為敏感,進(jìn)而造成了這一指標(biāo)出現(xiàn)的問(wèn)題.

4.2.3 消融實(shí)驗(yàn)

為了更好地分析本算法的性能,研究各模塊對(duì)結(jié)果的影響,本文對(duì)模型進(jìn)行了消融實(shí)驗(yàn).本實(shí)驗(yàn)是在MOT16的訓(xùn)練集上進(jìn)行,分別移除目標(biāo)位置預(yù)測(cè)模塊、軌跡整合模塊、目標(biāo)再匹配模塊和遮擋預(yù)測(cè)處理模塊,結(jié)果如表5所示.

表5中的結(jié)果說(shuō)明,對(duì)結(jié)果影響最大的模塊是目標(biāo)位置預(yù)測(cè)模塊,而其它模塊的作用相對(duì)較小.通過(guò)觀察視頻序列,發(fā)現(xiàn)本數(shù)據(jù)集中的遮擋情況并不十分嚴(yán)重,因此后3 個(gè)針對(duì)遮擋的模塊的效果受到了影響,而目標(biāo)位置預(yù)測(cè)模塊作用于所有的軌跡,所以場(chǎng)景對(duì)該模塊的影響較小.另外,目標(biāo)再匹配模塊移除后對(duì)IDF1指標(biāo)的影響較大,說(shuō)明了在IoUtracker 中存在大量身份匹配的錯(cuò)誤,本算法借助圖像信息糾正了一些這樣的錯(cuò)誤,實(shí)現(xiàn)了追蹤性能的提升.

表5 移除模塊消融實(shí)驗(yàn)結(jié)果(%)

另外,表5中最后一行是在為了研究遮擋預(yù)測(cè)處理模塊中,保留目標(biāo)第一次進(jìn)入遮擋列表時(shí)的特征是否更加有效的實(shí)驗(yàn)結(jié)果.該數(shù)據(jù)是在其它模塊正常工作,只是當(dāng)遮擋列表中的目標(biāo)再一次滿足σocc時(shí),使用該幀目標(biāo)的特征更新遮擋列表中的特征的情況下得到的.可以看出雖然MOTA沒(méi)有變化,但是IDF1 出現(xiàn)了下降的情況.這說(shuō)明本算法保留目標(biāo)第一次進(jìn)入遮擋列表時(shí)的特征的方法更有利于緩解目標(biāo)間遮擋的影響.

表6是逐步添加模塊的消融實(shí)驗(yàn)結(jié)果.由于本算法處理遮擋的方法允許目標(biāo)短暫消失,所以沒(méi)有采用IoUtracker 模型中終止軌跡的相關(guān)方法,這使得本算法不會(huì)拋棄部分檢測(cè)結(jié)果,但在沒(méi)有后續(xù)模塊時(shí),不能將一些發(fā)生過(guò)斷裂的軌跡連接起來(lái),所以在沒(méi)有添加后續(xù)模塊時(shí),相較于IoUtracker的結(jié)果,本算法的MOTA會(huì)偏高而IDF1 則偏低.

表6的結(jié)果再次證明了目標(biāo)位置預(yù)測(cè)的重要性,而其它模塊的作用更多地體現(xiàn)在IDF1 指標(biāo)上,這說(shuō)明這些模塊在軌跡斷裂后恢復(fù)目標(biāo)身份,維持身份的穩(wěn)定等方面有一定的效果.

表6 添加模塊消融實(shí)驗(yàn)結(jié)果(%)

4.2.4 實(shí)驗(yàn)結(jié)果可視化示例

為了更直觀地對(duì)這兩種多目標(biāo)追蹤算法的效果進(jìn)行比較,本文將MOT16-01 視頻序列的部分實(shí)驗(yàn)結(jié)果可視化,如圖4和圖5所示.圖4(a)和圖5(a)均為V-IoU算法的效果,圖4(b)和圖5(b)均是本算法的效果,而同一列為同一幀圖像.圖4是一個(gè)目標(biāo)在較大跨度的幀中的追蹤情況,圖5是一次目標(biāo)間遮擋前后,幀跨度較小的追蹤情況.

通過(guò)圖4中的對(duì)比可以看出,V-IoU 算法在該目標(biāo)的整個(gè)軌跡的處理中出現(xiàn)了間斷,造成該目標(biāo)ID的變化;而本算法則全程保持了該目標(biāo)的ID,得到了更好的追蹤結(jié)果.而圖5中,被遮擋的目標(biāo)再次出現(xiàn)后,V-IOU 算法并沒(méi)有很好地識(shí)別該目標(biāo),甚至出現(xiàn)了兩個(gè)目標(biāo)均更換了ID的情況;而本算法通過(guò)提前保存信息和預(yù)測(cè)運(yùn)動(dòng)軌跡的方法,成功在目標(biāo)再次出現(xiàn)時(shí)保持了目標(biāo)的ID,擁有更穩(wěn)定的追蹤表現(xiàn).

圖4 同一目標(biāo)在較大跨度幀中的追蹤效果

圖5 目標(biāo)間遮擋前后的追蹤效果

5 結(jié)語(yǔ)

本文采用CenterNet 模型檢測(cè)當(dāng)前幀中的行人,使用IoUtracker 模型進(jìn)行初步追蹤,結(jié)合檢測(cè)模型提供的行人特征向量對(duì)初步追蹤的結(jié)果進(jìn)行校驗(yàn),對(duì)沒(méi)有通過(guò)校驗(yàn)的軌跡進(jìn)行再處理,尋找更適合的檢測(cè)結(jié)果,最后得到相對(duì)較優(yōu)的匹配結(jié)果.對(duì)于目標(biāo)間遮擋的問(wèn)題,本文提出的算法通過(guò)預(yù)測(cè)目標(biāo)的運(yùn)動(dòng)軌跡,提前判斷是否會(huì)出現(xiàn)遮擋,并在遮擋前保存相對(duì)完整的目標(biāo)特征和運(yùn)動(dòng)矢量,為遮擋結(jié)束后的身份分配提供更可靠的依據(jù).本算法采用MOT16 數(shù)據(jù)集進(jìn)行實(shí)驗(yàn),在測(cè)試集上的平均追蹤精度達(dá)到了66.1%,平均IDF1 獲得了64.5%的結(jié)果,但是在場(chǎng)景特別復(fù)雜和攝像頭大幅度運(yùn)動(dòng)的情況下的追蹤效果不是特別理想.綜上,本算法取得了一定的效果,但是仍有可以繼續(xù)改進(jìn)的部分,我們會(huì)把提高追蹤效果和優(yōu)化算法流程提高處理速度作為重點(diǎn)展開(kāi)后續(xù)的研究.