面向公共安全監(jiān)控的多攝像機車輛重識別

王艷芬，朱緒冉，云 霄，孫彥景，石韞開，王賽楠

(中國礦業(yè)大學(xué) 信息與控制工程學(xué)院，江蘇 徐州 221116)

車輛重識別(Re-IDentification, Re-ID)旨在跨越不同的監(jiān)控攝像機場景識別出目標車輛,對社會公共安全的維護起到至關(guān)重要的作用,如尋找可疑車輛、跨攝像頭車輛跟蹤以及駕駛軌跡分析等。 由于交通場景復(fù)雜、攝像機視點有限、光照變化等約束的影響,車輛重識別仍是個極具挑戰(zhàn)的問題。

現(xiàn)有的車輛重識別方法[1-5]僅在已裁剪好的車輛圖像之間實現(xiàn)識別,而在真實監(jiān)控場景中,車輛重識別任務(wù)要先從視頻中檢測并獲取車輛邊界框。 傳統(tǒng)的車輛識別方法主要采用顏色[6]、紋理[7]和灰度梯度直方圖[8]等人工特征,但此類特征在環(huán)境變化時魯棒性較差。 隨著卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network, CNN)在計算機視覺領(lǐng)域的快速發(fā)展,眾多基于卷積神經(jīng)網(wǎng)絡(luò)的車輛識別方法被提出。 文獻[3]中提出一種基于深度學(xué)習(xí)的漸進式車輛重識別方法,但此方法從圖像中獲取車牌區(qū)域時計算復(fù)雜度較高,因此實時性較差。 文獻[4-5]在車輛細粒度識別中采用先進的三元損失模型,但該模型收斂緩慢,較softmax分類損失模型更易過擬合。

為解決以上問題,筆者針對公共安全視頻監(jiān)控領(lǐng)域提出一種結(jié)合車輛檢測與識別的多攝像機無標注車輛重識別方法。 首先,在檢測階段設(shè)計出基于二值-單點多盒檢測(Binary-Single Shot multibox Detector, B-SSD)的車輛檢測網(wǎng)絡(luò),先從視頻中檢測出所有車輛區(qū)域并在線生成候選車輛數(shù)據(jù)庫,以解決原始視頻中無標注問題;在車輛識別階段提出一種多任務(wù)孿生(Multi-Task Siamese, MT-S)車輛識別網(wǎng)絡(luò),該網(wǎng)絡(luò)結(jié)合分類和驗證兩種模型,充分利用監(jiān)督信息學(xué)習(xí)更具判別性的車輛特征,從而提高重識別精度；最后組建“VeRi-1501”數(shù)據(jù)集,該數(shù)據(jù)集在現(xiàn)有數(shù)據(jù)集[1,4]上擴充車輛標識數(shù)量,并均衡每個標識在不同攝像機下的圖像數(shù)量。 在VeRi-1501數(shù)據(jù)集和實際交通場景中對所提方法進行了驗證。

1 面向公共安全監(jiān)控的多攝像機車輛重識別

1.1 方法概述

筆者提出面向公共安全監(jiān)控的多攝像機車輛重識別方法，流程圖如圖1所示。 對于給定的無標注原始視頻流,先用二值-單點多盒檢測車輛檢測網(wǎng)絡(luò)從視頻中獲取車輛區(qū)域，并在線生成候選車輛數(shù)據(jù)庫；然后利用多任務(wù)孿生車輛識別網(wǎng)絡(luò)提取目標車輛與候選數(shù)據(jù)庫中車輛的特征，并計算相似度；最終匹配到目標車輛。

圖1 面向公共安全監(jiān)控的多攝像機車輛重識別流程圖

1.2 二值-單點多盒檢測車輛檢測網(wǎng)絡(luò)

單點多盒檢測(SSD)[9]較其他檢測框架[10-11]具有更快的運行速度和更高的精度。 在車輛重識別問題中,區(qū)分車輛和背景是檢測階段的核心任務(wù)。 因此,筆者設(shè)計了一種二值-單點多盒檢測車輛檢測網(wǎng)絡(luò),將單點多盒檢測算法用于二值車輛檢測問題。 如圖2所示，二值-單點多盒檢測的架構(gòu)主要由兩部分組成：一部分是位于前端的深度卷積神經(jīng)網(wǎng)絡(luò),采用的是VGG-16[12]圖像分類網(wǎng)絡(luò),用于初步提取目標特征;另一部分是位于后端的多尺度特征檢測網(wǎng)絡(luò),其作用是對前端產(chǎn)生的特征層進行不同尺度條件下的特征提取。

圖2 二值-單點多盒檢測車輛檢測網(wǎng)絡(luò)結(jié)構(gòu)圖

在網(wǎng)絡(luò)訓(xùn)練期間,其目標損失函數(shù)為置信損失和位置損失的加權(quán)和：

(1)

(2)

(3)

1.3 多任務(wù)孿生車輛識別網(wǎng)絡(luò)

多任務(wù)孿生(MT-S)車輛識別網(wǎng)絡(luò)由兩個分類模型和一個驗證模型組成,如圖3所示,分類模型和驗證模型相互關(guān)聯(lián)。分類模型得到的車輛判別表達特征作為驗證模型的輸入,驗證模型預(yù)測的結(jié)果在下一批中對分類模型的參數(shù)進行修正。 上下兩個分類模型通過兩個相同的ResNet-50網(wǎng)絡(luò)共享權(quán)值。 網(wǎng)絡(luò)參數(shù)在優(yōu)化中受到這兩類模型損失函數(shù)的共同約束,充分利用監(jiān)督信息,從而使網(wǎng)絡(luò)學(xué)習(xí)到的特征具有更強的判別性。

該網(wǎng)絡(luò)受分類標簽t和驗證標簽s的共同監(jiān)督。 輸入尺寸為224×224的圖像對(正樣本對或負樣本對),用兩個完全相同的ResNet-50[14]網(wǎng)絡(luò)提取車輛特征，并輸出1×1×2 048維的特征向量f1和f2。f1和f2分別用于預(yù)測兩輸入圖像的車輛身份t。 同時計算f1和f2的歐氏距離，進行相似度判斷,f1和f2共同預(yù)測驗證類別s。

圖3 多任務(wù)孿生車輛識別網(wǎng)絡(luò)結(jié)構(gòu)圖

分類模型包含2個ImageNet[15]預(yù)訓(xùn)練的ResNet-50網(wǎng)絡(luò)、兩個卷積層和兩個分類損失函數(shù)。其中，ResNet-50去掉最后一層全連接層,平均池化層輸出1×1×2 048維的特征向量f1、f2作為車輛判別表達。 由于數(shù)據(jù)集中有751個訓(xùn)練標識,因此用751個1×1×2 048的卷積核對其進行卷積,得到1×1×751維的車輛身份表達f。 最后使用softmax函數(shù)和交叉熵損失進行身份預(yù)測,即

(4)

(5)

驗證模型包含一個無參的歐幾里得層、一個卷積層和一個驗證損失函數(shù)。 其中歐幾里得層定義為El=(f1-f2)2,El是歐幾里得層的輸出張量。 驗證模型通過歐幾里得層將相同標識的車輛特征映射到歐幾里得空間中相近的點,將不同標識的車輛特征映射到歐幾里得空間中相隔較遠的點。筆者沒有采用對比損失函數(shù)[16],而是將車輛驗證視為二元分類問題,這是因為直接使用對比損失函數(shù)容易造成網(wǎng)絡(luò)參數(shù)過擬合。 因此，用2個1×1×2 048的卷積核對El進行卷積,得到1×1×2維的相似度表達E。 最終驗證損失函數(shù)的表達式為

(6)

(7)

這里s是驗證類別(不同/相同),

是預(yù)測概率,Ej是目標概率。 如果輸入的一對圖像屬于同一標識,則Ej= 0;否則,Ej=1。

在網(wǎng)絡(luò)訓(xùn)練期間,整體損失函數(shù)為分類損失和驗證損失的加權(quán)和:

(8)

權(quán)重系數(shù)α通過交叉驗證設(shè)置為0.5。在識別標簽t和驗證標簽s的共同監(jiān)督下，網(wǎng)絡(luò)學(xué)習(xí)到的特征具有更強的判別性。

1.4 VeRi-1501數(shù)據(jù)集

在車輛重識別任務(wù)中,經(jīng)常使用的兩個數(shù)據(jù)集是VehicleID[4]和VeRI-776[1]。 其中,VehicleID數(shù)據(jù)集僅考慮了車輛的前后兩種視角,無法滿足復(fù)雜環(huán)境下的需求。每種車輛僅包含8.4張圖像,無法滿足查詢要求。VeRI-776數(shù)據(jù)集只包含776個標識,樣本標識數(shù)量不充分,嚴重影響模型的準確率。

圖4 VeRi-1501數(shù)據(jù)集中的樣本

針對以上不足,在VehicleID和VeRi-776數(shù)據(jù)集的基礎(chǔ)上構(gòu)建一個新的數(shù)據(jù)集——VeRi-1501。其具有以下3個特性:①圖像均在真實復(fù)雜的交通場景中捕獲,具有車牌信息和時空關(guān)系信息;②包含由6個分辨率為1 280×1 080高清圖像的監(jiān)控攝像頭捕獲的1 501輛車的37 491張圖像,其中訓(xùn)練集包含751輛車的17 190張圖像,測試集包含750輛車以及干擾物，共計17 178張圖像,查詢集包含750輛車的2 915張圖像;③每個標識最多可被6個攝像機以不同角度、不同光照以及在遮擋情況下捕獲,確保每個標識車輛至少在兩個攝像機中出現(xiàn)過,以便可以執(zhí)行跨攝像機搜索。

圖4給出了VeRi-1501數(shù)據(jù)集中的樣本,以“0001_c1s1_102004103.jpg”為例,圖像命名遵循以下規(guī)則:①“0001”表示車輛的標識編碼;②“c1”表示1號攝像機;③“s1”表示攝像機中的第一時間序列,“c1s1”和“c2s1”處于同一時期;④“102004103”表示用視頻軟件截取視頻幀生成的默認名。

2 實驗結(jié)果與分析

2.1 實驗設(shè)置

(1)圖像預(yù)處理。將所有訓(xùn)練圖像的大小調(diào)整為256×256,并采用去均值操作進行數(shù)據(jù)歸一化處理。 在訓(xùn)練期間,所有圖像被隨機裁剪為224×224大小,亂序排列并按隨機順序抽取圖像組成正負樣本對。 由于正樣本對的數(shù)量有限,為防止過擬合,將正樣本對和負樣本對之間的初始比率設(shè)置為1∶1。每個歷元之后正樣本對以1.01倍的比率增加,直到正負樣本對的比率達到1∶4。

(2)訓(xùn)練。在Caffe深度學(xué)習(xí)框架中實現(xiàn)多任務(wù)孿生車輛識別網(wǎng)絡(luò)。 實驗環(huán)境為配有NVIDIA Quadro M2000和2.2 GHz Intel Xeon E5-2650 CPU的設(shè)備。 歷元設(shè)置為155，批次設(shè)置為4。 學(xué)習(xí)率初始化為0.001,然后在最后5個歷元后設(shè)置為0.000 1。采用小批量隨機梯度下降(SGD)來更新網(wǎng)絡(luò)參數(shù)。

2.2 與現(xiàn)有方法的比較

在實驗中采用兩個評估指標:平均精度和Rank系列精度[17]。 平均精度用來度量重識別方法的整體性能， rank-1精度表示識別結(jié)果中排名第1的圖像是正確的概率。 rank-5精度表示識別結(jié)果排名前5的圖像中包含正確圖像的概率。 表1給出了筆者所提的多任務(wù)孿生車輛識別網(wǎng)絡(luò)與其他先進網(wǎng)絡(luò)在VeRi-1501上的性能對比。 從表1數(shù)據(jù)可以看出，多任務(wù)孿生車輛識別網(wǎng)絡(luò)在平均精度、rank-1、rank-5中均性能最優(yōu),說明該網(wǎng)絡(luò)可以準確地進行車輛重識別。

表1 多任務(wù)孿生與其他先進算法的對比

2.3 多攝像機識別結(jié)果分析

為了進一步評估多任務(wù)孿生車輛識別網(wǎng)絡(luò)的性能,提供了圖5中所有相機對之間的重識別結(jié)果。共放置了6個攝像機,相機分辨率為1 920×1 080。 圖5的水平軸和垂直軸分別代表目標車輛所在的初始相機位置和待檢索的相機位置。 從表1中可以看出,交叉相機的平均精度和平均rank-1精度分別為81.16%和83.56%。 筆者提出的方法在很大程度上改善了重識別性能,并且觀察到相機之間的標準偏差較小。 這表明多任務(wù)孿生車輛識別網(wǎng)絡(luò)能夠在不同視角下進行高效的車輛重識別。

圖5 多任務(wù)孿生車輛識別網(wǎng)絡(luò)在攝像機對之間的識別性能

2.4 公共安全監(jiān)控場景下的應(yīng)用

為進一步驗證筆者提出的面向公共安全監(jiān)控的車輛重識別方法在實際場景中的有效性,在校園內(nèi)拍攝若干組監(jiān)控視頻用于驗證,如圖6所示。 目標車輛從校園北門(攝像機1)進入,沿北京路—天津路順時針繞行,途經(jīng)圖中所示的6個攝像頭,攝像頭的分辨率為1 920×1 080。 算法實時性可達25幀/秒。 具體步驟如下:

(1)獲取無標注視頻流v0,v1,…,vi;

(2)在給定無標注視頻序列v0的當前幀中標定目標車輛;

(3)利用B-SSD車輛檢測網(wǎng)絡(luò)讀取此后的每一幀圖像,提取圖像中所有的車輛邊界框ID0,ID1,…,IDi,并在線生成候選車輛數(shù)據(jù)庫;

(4)利用多任務(wù)孿生車輛識別網(wǎng)絡(luò)提取ID0與ID0,ID1,…,IDi的車輛判別特征,并依次計算ID0與ID0,ID1,…,IDi之間的相似度得分;

(5)相似度得分最高的即為目標車輛;

(6)在視頻序列v1,…,vi中重復(fù)步驟(3)到步驟(5)。

實驗結(jié)果如圖6所示,實線框代表目標車輛, 灰色框代表檢測出的候選車輛,黑色框代表在不同攝像機下用筆者所提出的方法定位到的目標車輛。

圖6 面向公共安全監(jiān)控的多攝像機車輛重識別在公共安全監(jiān)控場景下的應(yīng)用

3 總 結(jié)

針對公共安全視頻監(jiān)控領(lǐng)域中無標注的原始監(jiān)控視頻,提出一種結(jié)合車輛檢測與識別的多攝像機無標注車輛重識別方法。 首先提出二值-單點多盒檢測車輛檢測網(wǎng)絡(luò),獲取車輛邊界框并在線生成候選數(shù)據(jù)庫;其次設(shè)計一個多任務(wù)孿生車輛識別網(wǎng)絡(luò)以提高重識別精度;最后組建“VeRi-1501”車輛數(shù)據(jù)集,其在現(xiàn)有數(shù)據(jù)集上擴充車輛標識數(shù)量,并均衡每個標識在不同攝像機下的圖像數(shù)量。 筆者在VeRi-1501數(shù)據(jù)集和實際交通場景中對該方法進行驗證,結(jié)果表明該方法識別準確且精度高。

致謝

感謝中國礦業(yè)大學(xué)保衛(wèi)處對此課題研究的無償支持;感謝滕躍同學(xué)對此次課題研究的幫助。