基于改進(jìn)DRDL 模型的車(chē)輛再識(shí)別算法

楊飚，王雨周

（北方工業(yè)大學(xué)城市道路交通智能控制技術(shù)北京市重點(diǎn)實(shí)驗(yàn)室，北京100144）

0 引言

近幾年，我國(guó)的汽車(chē)保有量爆炸式增長(zhǎng)，隨之而來(lái)的是交通的巨大壓力，并且由于車(chē)輛的極度相似性也給公共安全系統(tǒng)中車(chē)輛的再識(shí)別帶來(lái)了問(wèn)題[1-3]。每輛車(chē)都擁有獨(dú)一無(wú)二的車(chē)牌照，并且車(chē)牌照的識(shí)別已經(jīng)廣泛用于交通及其他車(chē)輛身份的識(shí)別系統(tǒng)中。但是很多情況下，我們并不能通過(guò)車(chē)牌照來(lái)匹配到某一輛車(chē)。第一，在絕大多數(shù)的安防攝像頭中是沒(méi)有車(chē)牌照的識(shí)別系統(tǒng)的，所以很難直接在安防系統(tǒng)中匹配到目標(biāo)車(chē)輛，因此在這種情況下車(chē)牌識(shí)別的效率會(huì)大大降低。第二，很多車(chē)主為了逃避法律的制裁，會(huì)對(duì)車(chē)牌采取不正當(dāng)?shù)氖侄?，例如，故意遮擋?chē)牌、替換成假車(chē)牌，甚至摘掉車(chē)牌。還有一些車(chē)輛發(fā)生過(guò)碰撞，造成車(chē)牌的擠壓，不平整，這些情況都能對(duì)車(chē)牌識(shí)別造成困難。因此車(chē)輛再識(shí)別在交通領(lǐng)域有巨大的價(jià)值。但是不同于行人再識(shí)別，車(chē)輛的相似度極高，對(duì)于車(chē)輛的精確匹配難度極大。

盡管，車(chē)輛再識(shí)別的問(wèn)題提出來(lái)多年，但是大部分還是依靠傳感器完成再識(shí)別的任務(wù)[4-6]。近幾年，由于深度學(xué)習(xí)，卷積網(wǎng)絡(luò)的發(fā)展進(jìn)入研究人員的視野，有人提出通過(guò)深度卷積網(wǎng)絡(luò)提取車(chē)輛外部特征進(jìn)行車(chē)輛再識(shí)別的任務(wù)。

與研究相對(duì)成熟的行人再識(shí)別相比，車(chē)輛再識(shí)別的任務(wù)極具挑戰(zhàn)性，因?yàn)樯锨лv的同一車(chē)型相似度非常高[7-8]。對(duì)于人來(lái)說(shuō)，兩輛相同款式的新車(chē)，假如沒(méi)有車(chē)牌，很難分辨他們的不同特征。因此，如果要識(shí)別一輛車(chē)，需要一些特殊的標(biāo)記或者符號(hào)，例如車(chē)身的彩繪，車(chē)內(nèi)前部擺放的飾品，車(chē)窗的標(biāo)志或者是車(chē)身由碰撞、刮蹭造成的車(chē)痕等。因此，車(chē)輛再識(shí)別的算法必須盡可能多地提取這些特征。提取越多的車(chē)輛細(xì)節(jié)特征，越能提高識(shí)別的準(zhǔn)確率。在基于前人提出的DRDL（Deep Relative Distance Learning）的模型的基礎(chǔ)上，我們提出基于改進(jìn)DRDL 的車(chē)輛再識(shí)別算法，來(lái)進(jìn)一步解決車(chē)輛再識(shí)別的任務(wù)。

1 DRDL模型的改進(jìn)車(chē)輛再識(shí)別算法

目前主流再識(shí)別領(lǐng)域是針對(duì)行人再識(shí)別和人臉再識(shí)別[8-10]，這兩個(gè)主題都可以歸為一類(lèi)問(wèn)題：給定一張需要檢索的圖片，和候選的圖片數(shù)據(jù)庫(kù)，我們要利用檢索的圖片在數(shù)據(jù)庫(kù)中匹配到與其一樣的圖片。車(chē)輛再識(shí)別的大致過(guò)程與行人再識(shí)別相似，為了更能快速精準(zhǔn)地匹配到想要的車(chē)，車(chē)輛再識(shí)別的過(guò)程中，需要先對(duì)車(chē)型進(jìn)行分類(lèi)，然后識(shí)別，再對(duì)車(chē)輛進(jìn)行矩陣距離的計(jì)算。鑒于行人再識(shí)別與車(chē)輛再識(shí)別的相似性。研究工作要建立在此基礎(chǔ)之上。

北京大學(xué)基于行人再識(shí)別提出了DRDL 模型用于車(chē)輛再識(shí)別。DRDL 是專門(mén)為車(chē)輛再識(shí)別設(shè)計(jì)的一種端到端的框架結(jié)構(gòu)。其本質(zhì)是三元函數(shù)深度卷積網(wǎng)絡(luò)（Triplet Loss Deep Convolutional Network），因?yàn)樯疃染矸e網(wǎng)絡(luò)在行人再識(shí)別問(wèn)題上能夠取得非常不錯(cuò)的效果。通過(guò)減小車(chē)輛類(lèi)內(nèi)距離，增大類(lèi)間距離，做到車(chē)輛的身份識(shí)別。通過(guò)優(yōu)化三元損失函數(shù)，網(wǎng)絡(luò)可以將原始車(chē)輛圖像投影到歐幾里德空間，減小類(lèi)內(nèi)距離，增大類(lèi)間距離，為此專門(mén)設(shè)計(jì)了Coupled Cluster Loss 損失函數(shù)和能夠混合不同網(wǎng)絡(luò)的結(jié)構(gòu)，結(jié)構(gòu)如圖1 所示。

圖1 DRDL網(wǎng)絡(luò)整體框架

本文在DRDL 架構(gòu)的基礎(chǔ)上修改了提取車(chē)輛特征的深度卷積網(wǎng)絡(luò)，使用了效果更好、速度更快的ResNet。將ResNet 提取到的特征，即全連接層的輸出，分成了兩個(gè)分支[1，11]，一個(gè)分支是車(chē)的屬性分類(lèi)，另一個(gè)分支是車(chē)輛相似度的學(xué)習(xí)。為了能夠?qū)W習(xí)到更好的特征，在全連接層之后會(huì)將屬性分類(lèi)的特征融合到相似度學(xué)習(xí)分支。融合操作能夠指導(dǎo)相似度學(xué)習(xí)分支聚焦于車(chē)輛的特殊特征。并且將相似度學(xué)習(xí)分支的損失函數(shù)設(shè)置成人臉識(shí)別的ARC Loss（additive angular margin），它能夠直接在角度空間中最大化分類(lèi)界限，如圖2 所示。

1.1 ResNet

從經(jīng)驗(yàn)來(lái)看，網(wǎng)絡(luò)的深度對(duì)模型的性能至關(guān)重要，當(dāng)增加網(wǎng)絡(luò)層數(shù)后，網(wǎng)絡(luò)可以進(jìn)行更加復(fù)雜的特征模式的提取，所以當(dāng)模型更深時(shí)理論上可以取得更好的結(jié)果[12-15]。但是隨著網(wǎng)絡(luò)層數(shù)的加深，網(wǎng)絡(luò)的準(zhǔn)確度將出現(xiàn)飽和，甚至下降，即網(wǎng)絡(luò)退化。為了解決上述網(wǎng)絡(luò)退化的問(wèn)題，本文采用ResNet 的殘差學(xué)習(xí)結(jié)構(gòu)。殘差學(xué)習(xí)相比原始特征直接學(xué)習(xí)更容易。殘差結(jié)構(gòu)如圖3所示。

圖2 改進(jìn)網(wǎng)絡(luò)整體框架

圖3 殘差結(jié)構(gòu)

殘差表示：

當(dāng)殘差為0 時(shí)，此時(shí)堆積層僅僅做了恒等映射，至少網(wǎng)絡(luò)性能不會(huì)下降，并且實(shí)際上殘差不會(huì)為0，這也會(huì)使得堆積層在輸入特征基礎(chǔ)上學(xué)習(xí)到新的特征，從而擁有更好的性能。DRDL 框架使用VGG 網(wǎng)絡(luò)，遠(yuǎn)不及本文使用的ResNet-101 網(wǎng)絡(luò)的深度，所以使用ResNet 在提取特征的階段比DRDL 原始的VGG 結(jié)果更好。ResNet-101 與VGG-19 的網(wǎng)絡(luò)結(jié)構(gòu)如表1。

1.2 ARC Loss

DRDL 原始損失函數(shù)是根據(jù)三元損失函數(shù)改進(jìn)而來(lái)，不過(guò)原先三元損失函數(shù)是以“三元組樣本點(diǎn)”作為輸入數(shù)據(jù)的，Coupled Cluster Loss（CCL）由兩組圖像集取代：一組是正樣本集，另一組是負(fù)樣本集。距離測(cè)度由原先的隨機(jī)選擇錨點(diǎn)，再計(jì)算正樣本與錨點(diǎn)之間距離，負(fù)樣本與錨點(diǎn)之間距離，改為：先計(jì)算所有正樣本的中心點(diǎn)，再計(jì)算正樣本到中心點(diǎn)的距離。這個(gè)改變的前提是基于一個(gè)假設(shè)：即正樣本應(yīng)該特征相近，形成一個(gè)“聚集簇”，負(fù)樣本相對(duì)較遠(yuǎn)。改進(jìn)之后的Coupled Clusters Loss 由多個(gè)樣本來(lái)定義，而不止原先的3 個(gè)。

表1 ResNet-101 與VGG-19 的網(wǎng)絡(luò)結(jié)構(gòu)比較

正負(fù)樣本相對(duì)距離如公式（3）：

Coupled Clusters Loss 函數(shù)如公式（4）：

CCL 是歐氏距離的演變而來(lái)，歐氏距離更能體現(xiàn)數(shù)值上的相對(duì)差異，而再識(shí)別需要能在方向上的相對(duì)差異表現(xiàn)更好的函數(shù)。針對(duì)上述CCL 的缺陷，本文采用人臉識(shí)別的ARC Loss 損失函數(shù)：additive angular margin loss。ARC loss 是在AmSoftmax 演變而來(lái)的，ARC loss 與其他損失函數(shù)最大不同之處：前者是角度距離，后者是余弦距離，角度距離比余弦距離在對(duì)角度的影響更加直接，所以ARC Loss 可以直接在角度空間中最大化分類(lèi)界限，可以加速函數(shù)的收斂。公式如下ARC loss：

相比于Coupled Clusters Loss，Arc Loss 在角度空間中，所以能夠更快的收斂，效果優(yōu)于前者。

2 實(shí)驗(yàn)

2.1 數(shù)據(jù)集

數(shù)據(jù)集采用VehicleID，以便于與DRDL 框架原始網(wǎng)絡(luò)進(jìn)行分析對(duì)比。該數(shù)據(jù)集圖片來(lái)自現(xiàn)實(shí)生活中，是由不同安防攝像頭拍攝，為了去除車(chē)牌干擾，車(chē)牌照均被人工處理。

數(shù)據(jù)集一共有221763 張圖片，總共包含26267 輛車(chē)（平均每輛車(chē)含有8.44 張圖片）。其中10319 輛車(chē)被打上了車(chē)型的標(biāo)簽，共90196 張圖片。數(shù)據(jù)集分為訓(xùn)練部分和測(cè)設(shè)部分。訓(xùn)練部分共有110178 張圖片含有標(biāo)簽47558 張圖片，共包含13134 輛車(chē)，測(cè)試部分共有111585 張圖片含有標(biāo)簽42638 張圖片，共包含13133 輛車(chē)。如表2 所示。

表2 訓(xùn)練集和測(cè)試集

為了能夠更好地體現(xiàn)測(cè)試效果，原測(cè)試集太大，所以將其分成大、中、小三個(gè)部分分別測(cè)試。小測(cè)試集含有800 輛車(chē)，共7332 張圖片，中測(cè)試集含有1600 輛車(chē)，含有12995 張圖片，大測(cè)試集含有2400 輛車(chē)，含有20038 張圖。如表3 所示。

表3 測(cè)試數(shù)據(jù)分類(lèi)

2.2 結(jié)果分析

本實(shí)驗(yàn)與文獻(xiàn)[1]使用相同的驗(yàn)證方法，訓(xùn)練集和測(cè)試集如表3 部分中介紹。

在進(jìn)行車(chē)輛再識(shí)別之前，需要對(duì)車(chē)輛的型號(hào)進(jìn)行驗(yàn)證。該任務(wù)主要是驗(yàn)證兩張圖片中的車(chē)輛是否為同一個(gè)車(chē)型，結(jié)果顯示本文的方法均有提升，其中小、中、大數(shù)據(jù)集分別針對(duì)原始算法提高了0.144、0.166、0.229，準(zhǔn)確率提高的主要原因是本文采用的算法的網(wǎng)絡(luò)層數(shù)更深，能夠提取到更多的車(chē)輛細(xì)節(jié)特征。驗(yàn)證結(jié)果如表4 所示。

表4 模型的分類(lèi)預(yù)測(cè)準(zhǔn)確度

為了表明車(chē)輛再識(shí)別結(jié)果的普適性，實(shí)驗(yàn)結(jié)果如圖4，表示為在小數(shù)據(jù)集的累積匹配曲線（CMC）。因?yàn)槔鄯e匹配曲線廣泛用于再識(shí)別領(lǐng)域。表5 顯示了與原方法比較的Top 1 至Top 5 的匹配率。由結(jié)果可以看出我們的方法優(yōu)于DRDL 原方法在所有測(cè)試集的結(jié)果。其中本文算法的Top 1 和Top 5 在小數(shù)據(jù)集上的結(jié)果分別高于DRDL 原始算法0.143 和0.052，主要原因是本文采用的ResNet-101 的網(wǎng)絡(luò)層數(shù)更深，能夠提取到比VGG 更多的車(chē)輛特征，以及ARC Loss 在車(chē)輛相似度估計(jì)計(jì)算時(shí)能夠最大化分類(lèi)界限。

3 結(jié)語(yǔ)

本文提出基于DRDL 模型的改進(jìn)車(chē)輛再識(shí)別算法，用于提高車(chē)輛再識(shí)別的準(zhǔn)確度。在DRDL 框架結(jié)構(gòu)下用ResNet 作為主干網(wǎng)絡(luò)，用來(lái)提取更多的車(chē)輛特征，然后修改原來(lái)框架中的Loss 函數(shù)，利用ARC Loss進(jìn)行車(chē)輛相似度的估計(jì)計(jì)算。相比于原始DRDL 算法，本文的算法能夠有一個(gè)較高的精度，實(shí)驗(yàn)結(jié)果顯示該算法能夠有理想的提升。下一步將主要研究如何在保證準(zhǔn)確率不降低的同時(shí)提高檢測(cè)速度。

圖4 小數(shù)據(jù)集CMC曲線

表5 車(chē)輛再識(shí)別匹配率