基于FairMOT在公共場合犯罪分子跟蹤系統(tǒng)

楊興宇，李丹

（四川大學(xué)錦城學(xué)院，四川成都，611731）

0 引言

隨著多任務(wù)學(xué)習(xí)的快速發(fā)展，多目標(biāo)跟蹤成為了計(jì)算機(jī)領(lǐng)域長期發(fā)展的一項(xiàng)任務(wù)，多目標(biāo)跟蹤能夠極大的估計(jì)視頻中人們感興趣的目標(biāo)對象的軌跡，多目標(biāo)跟蹤這一任務(wù)的成功實(shí)現(xiàn)使得現(xiàn)金社會上的很多問題都能被解決。在本文中的解決公共安全問題就運(yùn)用到了現(xiàn)最先進(jìn)的多目標(biāo)跟蹤和再識別方法-FairMOT。在之前的多目標(biāo)跟蹤方法往往使用兩個(gè)獨(dú)立的模型（檢測模型和關(guān)聯(lián)模型）來使得問題得到解決：首先我們利用檢測模型來對每個(gè)幀的BBOX去確定興趣較大的對象，然后對該模型進(jìn)行一定的整合，對每個(gè)相應(yīng)的邊界框獲取一定的識別特征，最后根據(jù)計(jì)算得到的特征的測量值將其固定到一個(gè)穩(wěn)定的平臺上，近年來在檢測方面取得了顯著的進(jìn)展。目標(biāo)跟蹤和識別，當(dāng)然不能提高跟蹤的性能，但以往的方法無法進(jìn)行實(shí)時(shí)推理，特別是當(dāng)目標(biāo)較多時(shí)。因?yàn)檫@兩個(gè)網(wǎng)絡(luò)不共享功能，必須為視頻中的每個(gè)BBOX提供一個(gè)識別模型。

1 跟蹤犯罪分子系統(tǒng)

1.1 跟蹤算法選擇

多任務(wù)學(xué)習(xí)的成熟度也逐漸增加，結(jié)合目標(biāo)跟蹤和再識別的相應(yīng)特征進(jìn)行深度融合學(xué)習(xí)逐漸引起人們的廣泛關(guān)注。在R-CNN的頂部添加一個(gè)重新識別分支，以獲得通過ROI對齊獲得的提案的重新識別特征，從而減少了在RE-ID網(wǎng)絡(luò)中重用主干特征的推理時(shí)間。與這兩個(gè)階段相比，跟蹤精度大大降低。結(jié)果表明，這兩個(gè)任務(wù)不易結(jié)合，需要謹(jǐn)慎處理，而不是采用大量的技術(shù)來提高跟蹤精度。采用FairMOT方法可以在公共環(huán)境中很容易捕捉犯罪分子的身份。之前的目標(biāo)追蹤和目標(biāo)檢測方法不再適用，因?yàn)樵诖_定其他方法之前進(jìn)行檢測也會降低總體效率。

在之前的多目標(biāo)檢測和再識別任務(wù)中的得到的準(zhǔn)確度都較低，多目標(biāo)檢測和再識別任務(wù)沒有得到公平學(xué)習(xí)，以前的工作任務(wù)先進(jìn)行目標(biāo)檢測然后再識別，從而再識別任務(wù)是基于目標(biāo)檢測得到的結(jié)果進(jìn)行的，因此目標(biāo)檢測標(biāo)注的準(zhǔn)確性很大程度上依賴于之前的目標(biāo)檢測。針對以前算法帶來的種種問題，現(xiàn)有一種公平算法——Fairmot算法。Fairmot算法由兩個(gè)同構(gòu)分支來預(yù)測像素方向的目標(biāo)檢測得分和再識別特征。FairMOT會對每一個(gè)像素進(jìn)行預(yù)測，預(yù)測是否為物體的中心、物體的大小和以其為中心的圖像區(qū)域。Re-id特征檢測和跟蹤兩個(gè)任務(wù)都是以“當(dāng)前像素”為中心，所以不存在對齊的問題，也不存在不公平問題，這也是稱這個(gè)方法為 FairMOT 的原因。因此，我認(rèn)為這種算法可以用于解決公共場合跟蹤犯罪分子。

本文以Center-Net為基礎(chǔ)，加入Re-ID分支，采用最新的FairMOT算法，使其能夠同時(shí)進(jìn)行物體檢測和跟蹤。Fairmot算法的實(shí)現(xiàn)過程和網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

圖1 Fairmot算法結(jié)構(gòu)圖

1.2 目標(biāo)檢測和跟蹤

在FairMOT中使用的主干網(wǎng)絡(luò)是ResNet-34，使用這種網(wǎng)絡(luò)的優(yōu)點(diǎn)是能夠使精度和速度可以在一定程度上達(dá)到平衡。在這種網(wǎng)絡(luò)中，為了能夠適應(yīng)不同種類大小的對象，應(yīng)用了一種深度融合的模型在主干網(wǎng)絡(luò)中。與最初的DLA不同，現(xiàn)在的網(wǎng)絡(luò)采用了一種新型的網(wǎng)絡(luò)結(jié)構(gòu)被稱作“金字塔網(wǎng)絡(luò)（FPN）”，這種網(wǎng)絡(luò)的優(yōu)點(diǎn)是實(shí)現(xiàn)在低層和低層之間的聚合和各種連接。除上述之外，現(xiàn)在所運(yùn)用的可變形卷積層逐漸去取代了目前的上采樣模塊中的所有卷積層，因此我們能夠根據(jù)物體的大小和動作形態(tài)去調(diào)整相應(yīng)的視野，視野的逐漸變化也能夠去緩解其他方法所不能解決的對齊問題。

FairMOT方法將目標(biāo)檢測和目標(biāo)跟蹤看作高分辨率特征圖上基于中心的包圍型回歸任務(wù)。特別地是將FairMOT現(xiàn)有的三個(gè)平行的回歸頭（regression heads）連接到主干網(wǎng)絡(luò)上，方便去分別用熱圖去預(yù)測物體中心的位置、獲取目標(biāo)的中心偏移量和估計(jì)目標(biāo)邊界框的高度和寬度。每個(gè)head能夠通過對主干網(wǎng)絡(luò)的每一個(gè)輸出特征圖進(jìn)行33次卷積（256個(gè)通道），最終目標(biāo)由11個(gè)卷積層來生成。本文采用了基于heatmap的表示方法。熱圖的大小是1hw。當(dāng)熱圖中的位置與物體中心之間的距離逐漸改變時(shí)，相應(yīng)的響應(yīng)逐漸呈指數(shù)衰減。Center，offset的head，負(fù)責(zé)更精確地定位物體。

1.3 重識別

再識別分支的目的是產(chǎn)生能夠區(qū)分物體的特征。理想情況下，不同對象之間的近似程度應(yīng)小于同一對象之間的近似程度。為了實(shí)現(xiàn)這一目標(biāo)，我們在主特征的基礎(chǔ)上采用128核的卷積層提取每個(gè)位置的再識別（re-ID）特征，然后生成特征圖，從特征圖中提取中心位于（x，y）的目標(biāo)的再識別（re-ID）特征。

1.4 Fairmot算法訓(xùn)練

通過增加損失函數(shù)來聯(lián)合訓(xùn)練檢測和重新識別分支。特別地，使用不確定性損失來自動平衡檢測和重新識別任務(wù)：具體地說，給定一個(gè)具有一些對象及其相應(yīng)標(biāo)識的圖像，自然就生成heat map、box size和center offset的圖像進(jìn)行表示。將上述平行回歸方法和用于估計(jì)整個(gè)網(wǎng)絡(luò)損失的方法做了一定的比較。除了之前的標(biāo)準(zhǔn)訓(xùn)練策略外，我們還提出了一種相對較弱的監(jiān)督學(xué)習(xí)方法來訓(xùn)練FairMOT，并使用FairMOT來檢測圖像級數(shù)據(jù)集，如CrowdHuman，在數(shù)據(jù)集中，每一個(gè)對象實(shí)例都被看作成一個(gè)單獨(dú)的類，將同一了實(shí)體類中的實(shí)例看作相同對象的在不同環(huán)境中的不同變換。在變換過程中，使用的變換方法包括增強(qiáng)、旋轉(zhuǎn)、縮放、平移和剪裁。模型需要在公共數(shù)據(jù)集上預(yù)先訓(xùn)練，然后在數(shù)據(jù)集上進(jìn)行一定程度的調(diào)整。利用這種自監(jiān)督學(xué)習(xí)方法，進(jìn)一步提高了系統(tǒng)的最終性能。

2 實(shí)驗(yàn)結(jié)果

2.1 數(shù)據(jù)集的選取

在公共環(huán)境中，由于人群密集，當(dāng)發(fā)生安全事件時(shí)，對犯罪分子的跟蹤是一件非常困難的事。本文采用CrowdHuman的數(shù)據(jù)集，我們了解到這個(gè)數(shù)據(jù)集的數(shù)據(jù)量比較大，有15000個(gè)訓(xùn)練集，5000個(gè)測試集和4370個(gè)驗(yàn)證集。訓(xùn)練集和測試集總共有470K個(gè)實(shí)例，每幅圖像約包含23人，每個(gè)人都存在各種程度的遮擋。每個(gè)人體實(shí)例都使用人體頭部的邊界框、人體可見區(qū)域程度的邊界框和人體邊界框進(jìn)行詮釋。因此這個(gè)數(shù)據(jù)集非常實(shí)用在公共環(huán)境中，符合在公共環(huán)境下的情況。

2.2 FairMOT訓(xùn)練及優(yōu)化過程

FairMOT算法訓(xùn)練過程中主要優(yōu)化的方式是不斷降低學(xué)習(xí)率，算法在不斷的優(yōu)化和改進(jìn)下得到了較高的準(zhǔn)確率，在訓(xùn)練過程中得到的準(zhǔn)確率如圖2所示。調(diào)整學(xué)習(xí)率，然后對訓(xùn)練層的每一層參數(shù)凍結(jié)了，再進(jìn)行不斷調(diào)整，就會得到新的準(zhǔn)確率和loss值，隨著學(xué)習(xí)率的不斷降低，準(zhǔn)確率在不斷增加調(diào)整前后的對比圖如圖3所示。

圖2 準(zhǔn)確率訓(xùn)練結(jié)果圖

2.3 FAIRMOT算法實(shí)現(xiàn)公共安全中跟蹤犯罪分子系統(tǒng)

與現(xiàn)有的大多數(shù)方法相比，目前的方法是采用多種模型結(jié)合來跟蹤目標(biāo)：首先，定位犯罪分子的檢測模型；其次，定位犯罪分子的檢測模型；然后提取關(guān)聯(lián)模型識別臨時(shí)隱藏犯罪分子的特征，根據(jù)FairMOT算法解決跟蹤犯罪分子，需要根據(jù)提供的原始視頻定位目標(biāo)嫌疑對象，根據(jù)FairMOT算法的相應(yīng)運(yùn)算進(jìn)行編碼和解碼；再繼續(xù)預(yù)測，對每個(gè)檢測到的物體提取目標(biāo)對象的檢測框和生成能夠區(qū)分不同人物的特征，為每個(gè)人物進(jìn)行ID編號，捕捉到目標(biāo)嫌疑人的編號，最后進(jìn)行跟蹤和再識別。

通過大量的數(shù)據(jù)集運(yùn)行和采用適當(dāng)?shù)姆椒ǎ浑y發(fā)現(xiàn)FairMOT非常適用于對犯罪分子的跟蹤，視頻圖像中很清楚的詮釋了對人物進(jìn)行編號和追蹤，當(dāng)運(yùn)用到現(xiàn)實(shí)生活中，當(dāng)公共安全事件發(fā)生的同時(shí)，可以立即對犯罪人物進(jìn)行定位和及時(shí)跟蹤，也可以快速提取犯罪分子的人物特征和行為特征，當(dāng)犯罪人物出現(xiàn)在下一個(gè)視頻中時(shí)，可以及時(shí)對他進(jìn)行再識別。這一技術(shù)極大的提高了解決公共安全事件的效率，也在一定程度了解決了社會關(guān)注的熱點(diǎn)問題。

圖3 對比圖

3 結(jié)語

作為人臉識別的一大進(jìn)步，再識別技術(shù)的主要核心是在各種視頻中，沒有辦法直接獲得清晰的面部特征信息，計(jì)算機(jī)技術(shù)和各種機(jī)器可以通過穿著、發(fā)型、姿勢等識別信息來識別同一個(gè)人，從而提高空間字符的識別率。目標(biāo)識別技術(shù)涉及計(jì)算機(jī)視覺、機(jī)器學(xué)習(xí)、模式識別等學(xué)科，可廣泛應(yīng)用于智能視頻監(jiān)控安全、刑事偵查等領(lǐng)域。在公共場所，安全事件常有發(fā)生，F(xiàn)airMOT這一算法如果運(yùn)用于我們的生活中，在一定程度上將于便利人們的生活，保障人們在公共場所的出行安全和財(cái)產(chǎn)安全，此算法的成功實(shí)現(xiàn)可以直接對目標(biāo)任務(wù)進(jìn)行追蹤和再識別，在本文中去我們只采用了一個(gè)數(shù)據(jù)集，在現(xiàn)實(shí)生活中，可能會有更加復(fù)雜的情況，當(dāng)遇到不同的情況，算法還需要完善和及時(shí)進(jìn)行優(yōu)化和修改，同時(shí)再識別技術(shù)在公共安全中也有著舉足輕重的作用。