基于聯(lián)合條紋關(guān)系的車輛重識別

張廷萍，帥聰*，楊建喜，鄒俊志，郁超順，杜利芳

基于聯(lián)合條紋關(guān)系的車輛重識別

張廷萍1，帥聰1*，楊建喜1，鄒俊志2，郁超順3，杜利芳3

（1.重慶交通大學(xué) 信息科學(xué)與工程學(xué)院，重慶 400074； 2.重慶交通大學(xué) 土木工程學(xué)院，重慶 400074； 3.重慶交通大學(xué) 交通運(yùn)輸學(xué)院，重慶 400074）（*通信作者電子郵箱308156154@qq.com）

為了解決車輛重識別過程中因車輛特征圖分塊所導(dǎo)致的空間信息丟失問題，提出一種聯(lián)合條紋特征之間關(guān)系的模塊以彌補(bǔ)丟失的空間信息。首先，針對車輛特殊的物理結(jié)構(gòu)，構(gòu)建了一種雙分支神經(jīng)網(wǎng)絡(luò)模型，對輸出的特征圖進(jìn)行水平和垂直均等分割并在不同的神經(jīng)網(wǎng)絡(luò)分支上進(jìn)行訓(xùn)練；然后，設(shè)計(jì)多激活值模塊以減少噪聲并豐富特征圖信息；接著，使用三元組和交叉熵?fù)p失函數(shù)對不同的特征進(jìn)行監(jiān)督訓(xùn)練以約束類內(nèi)距離并擴(kuò)大類間距離；最后，設(shè)計(jì)批量歸一化（BN）模塊消除不同損失函數(shù)在優(yōu)化方向上存在的差異，從而加速模型的收斂。使用所提方法在VeRi-776和VehicleID兩個(gè)公共數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，結(jié)果表明該方法的Rank1值優(yōu)于現(xiàn)有最好的方法VehicleNet，驗(yàn)證了其有效性。

車輛重識別；條紋關(guān)系；特征圖分塊；多激活值；批量歸一化

0 引言

車輛重識別任務(wù)是計(jì)算機(jī)視覺中的重要任務(wù)，它的目的是在不重疊的攝像頭中尋找感興趣的車輛，可以應(yīng)用于智能交通運(yùn)輸系統(tǒng)中的實(shí)際情況，例如車輛跨攝像頭跟蹤和監(jiān)控。車輛重識別受益于行人重識別［1-2］，其網(wǎng)絡(luò)體系結(jié)構(gòu)、損失函數(shù)設(shè)計(jì)、數(shù)據(jù)增強(qiáng)、特征提取的方法都可由此借鑒；然而，與已經(jīng)發(fā)展較為成熟的行人重識別技術(shù)相比，車輛的類間差異性更小、受視角引起的偏差更大等特點(diǎn)使車輛重識別任務(wù)更具有挑戰(zhàn)性［3-4］。如圖1所示，不同身份的車輛具有高度相似性，肉眼難以區(qū)分不同車輛。

在車輛重識別研究早期，基于外觀建模的方法是一種有效的方法，車輛具有車標(biāo)、車牌、顏色等信息，研究學(xué)者從車輛的不同角度對車輛特征進(jìn)行人工提?。?-6］，或根據(jù)車輛自身屬性進(jìn)行手工特征提取以獲得圖像的屬性達(dá)到對車輛身份識別的目的［7］；但是由于車輛在不同視角下的圖像會存在完全不一樣的情況以及光線的巨大差異，基于手工方法提取的特征通常不具有魯棒性。在最近的研究工作中，車牌信息被抹除，基于手工特征的方法逐漸被遺棄，大量基于深度學(xué)習(xí)的車輛重識別方法［8-11］迅速發(fā)展，且已被證明比傳統(tǒng)的手工方法具有更好的性能。

圖1 帶有身份的相似車輛示例

在基于深度學(xué)習(xí)的方法中，對特征圖分割［12］后融合全局信息與局部信息的方法在行人數(shù)據(jù)集上表現(xiàn)出了出色的效果，但是對特征圖進(jìn)行分割也帶來了相鄰塊之間信息丟失的問題；在車輛重識別領(lǐng)域，許多方法借助此思想，在特征圖上進(jìn)行水平和垂直均等劃分。Wang等［12］利用多重粒度網(wǎng)絡(luò)（Multiple Granularity Network， MGN）將特征圖均等劃分為3部分，利用局部的特征圖信息大幅提高了重識別的準(zhǔn)確率，成了當(dāng)時(shí)流行的方法。Qian等［13］在此基礎(chǔ)之上，將特征圖分割得更為細(xì)致，沿豎直方向上將特征圖分割為8部分，強(qiáng)迫網(wǎng)絡(luò)去關(guān)注更細(xì)微的局部信息以達(dá)到提高準(zhǔn)確率的目的。這種基于塊的操作能簡單有效地利用局部特征進(jìn)行分類，但如圖2所示，也面臨著以下問題：由于車輛姿態(tài)變化和尺寸差異，會出現(xiàn)車輛結(jié)構(gòu)無法對齊的現(xiàn)象；單一地對幾個(gè)區(qū)域進(jìn)行預(yù)測，未使用相鄰塊之間存在的關(guān)聯(lián)特征，可能導(dǎo)致具有判別性的信息丟失；由于車輛的特殊物理結(jié)構(gòu)，不同塊之間存在固定的聯(lián)系（如車的頂部和車標(biāo)具有一定聯(lián)系），但基于塊的操作卻忽略了塊與塊之間特征的關(guān)系。

圖2 圖像分塊引起的無法對齊問題

針對上述問題，本文提出一種聯(lián)合條紋特征關(guān)系的車輛重識別算法。該算法以使用最廣泛的ResNet-50［14］作為骨干網(wǎng)絡(luò)，并將骨干網(wǎng)絡(luò)輸出的特征圖進(jìn)行水平和豎直均等分割，使用關(guān)系描述模塊對特征塊之間的關(guān)系建模以彌補(bǔ)特征分塊后的空間信息丟失；其次，設(shè)計(jì)多激活值模塊以最大限度地去除噪聲保留有效信息；接著，組合三元組損失（Triplet loss）函數(shù)與交叉熵?fù)p失（Cross-entropy loss）函數(shù)對網(wǎng)絡(luò)進(jìn)行監(jiān)督訓(xùn)練；最后，設(shè)計(jì)組歸一化模塊以消除損失函數(shù)在優(yōu)化方向上的差異。

1 聯(lián)合條紋關(guān)系的車輛重識別

1.1 網(wǎng)絡(luò)結(jié)構(gòu)

考慮到MGN在行人重識別領(lǐng)域中結(jié)合全局與局部特征信息表現(xiàn)出了非常好的效果，在車輛重識別中同樣考慮結(jié)合全局與局部特征信息去描述每一輛車。將ResNet-50作為骨干網(wǎng)絡(luò)，最后一個(gè)卷積層的步幅設(shè)置為1，以獲得更大分辨率的特征圖，并且將最后的分類層和平均池化層刪除。根據(jù)車輛獨(dú)有的物理結(jié)構(gòu)，將特征圖沿垂直和水平方向上均等分割都具有一定意義，所以在骨干網(wǎng)絡(luò)之后設(shè)置一個(gè)并行的雙分支神經(jīng)網(wǎng)絡(luò)，使得沿不同方向上切割的局部特征能在不同的分支網(wǎng)絡(luò)結(jié)構(gòu)中學(xué)習(xí)。由于Fu等［11］在一系列的實(shí)驗(yàn)中發(fā)現(xiàn)，在車輛重識別領(lǐng)域中使用全局最大池化（Global Max Pooling， GMP）技術(shù)對特征圖進(jìn)行操作要優(yōu)于全局平均池化（Global Average Pooling， GAP），因此，在對特征圖分塊后使用GMP對每一分割塊進(jìn)行操作。

本文提出了一種聯(lián)合條紋特征關(guān)系的雙分支深度卷積神經(jīng)網(wǎng)絡(luò)來學(xué)習(xí)車輛的有效特征嵌入，其總體框架如圖3所示。圖3中除骨干網(wǎng)絡(luò)外還包含三個(gè)模塊：關(guān)系描述模塊、多激活值模塊和批量歸一化（Batch Normalization， BN）模塊。將車輛圖像作為模型的輸入，來自骨干網(wǎng)絡(luò)的堆疊卷積層將自動(dòng)形成特征圖，此時(shí)特征圖將沿垂直和水平方向均等分割為塊，沿不同方向上切割的特征塊將會沿不同的網(wǎng)絡(luò)分支繼續(xù)向下傳播。圖3中：GMP是對特征圖常見的操作；“Split”代表對特征圖均等分割，以迫使網(wǎng)絡(luò)利用局部信息進(jìn)行車輛重識別；“⊕”代表特征圖張量相加；“C”代表特征圖以通道維度連接；“S”代表通道注意力機(jī)制［15］，由于通道注意力機(jī)制可以顯式地建模通道之間的關(guān)系，利用此方法可將特征塊按通道維度連接，并使用通道注意力機(jī)制建模特征塊之間的關(guān)系，以彌補(bǔ)特征分塊后的空間信息丟失；“DR”代表降維，降維操作既能減小特征的維度從而節(jié)約計(jì)算資源，又能減小車輛的表示特征維度以獲得更快的推理速度；“B”代表BN模塊，可以加快模型的收斂。模型中具體的小模塊結(jié)構(gòu)將在下面的小節(jié)進(jìn)行詳細(xì)說明。

1.2 關(guān)系描述模塊

由于車輛數(shù)據(jù)集中存在大量難以區(qū)分的樣本，相比使用單一的全局特征，采用更加精細(xì)的局部特征可以減少車輛數(shù)據(jù)集復(fù)雜化的影響，而且這些關(guān)鍵的局部特征更具有代表性，判別力更強(qiáng)，是區(qū)分不同車輛的重要依據(jù)。目前常用的提取局部特征的方法有圖像切塊、基于關(guān)鍵點(diǎn)位置［16］以及注意力機(jī)制等。

為了得到車輛的有效特征嵌入，本文算法根據(jù)車輛的結(jié)構(gòu)特征將特征圖進(jìn)行垂直和水平分割。由于分割后會出現(xiàn)相鄰塊與不相鄰塊之間的重要信息丟失，因此提出聯(lián)合關(guān)系模塊。如圖4所示，為了描述各個(gè)分區(qū)之間的關(guān)系，首先將特征圖均等分割成6份，依次按順序選擇其中一塊條紋特征圖，其余5塊條紋特征圖附上權(quán)重且相加后與被選擇的特征圖以通道維度相連后使用關(guān)系描述模塊，其中權(quán)重的大小與被選擇的條紋特征圖與當(dāng)前特征圖的距離相關(guān)，距離越近則權(quán)重越大。將特征圖依次編號1～6，如選擇第3塊特征圖時(shí)，則其余5塊相加如下所示：

圖3 本文方法總體框架

圖4 關(guān)系描述模塊

1.3 多激活值模塊

近年來，車輛重識別工作普遍使用全局最大池化；然而，全局最大池化只考慮特征圖上最大的激活值，雖然盡可能地減少了噪聲，但也會造成特征圖的空間信息丟失。對于全局平均池化，將特征圖上所有數(shù)值平均后得到的值作為最終值，雖然考慮到了全圖的信息，特征圖包含的信息更廣，但是由此帶來的噪聲也更多。Zheng等［17］綜合全局最大池化和全局平均池化豐富了信息，減少了噪聲，但隨之而來的是模型的復(fù)雜度增加。

為了使特征圖盡可能地減少噪聲并極大地豐富特征圖信息，構(gòu)建了多激活值模塊來解決此問題，其網(wǎng)絡(luò)結(jié)構(gòu)如圖3虛線框中所示。首先，為了盡可能地減少噪聲，加入了全局最大池化層；其次，為了同時(shí)考慮特征圖上的多個(gè)區(qū)域的信息，將特征圖分塊進(jìn)行最大池化后相加可豐富特征圖信息；接著為了彌補(bǔ)分塊后信息的丟失，考慮在特征圖上取1個(gè)激活值、2個(gè)激活值和3個(gè)激活值；最后為了降低特征圖的維度以節(jié)約計(jì)算資源，在模塊內(nèi)部將進(jìn)行兩次降維操作。由此設(shè)計(jì)的多激活值模塊既豐富了特征圖信息又極大地抑制了噪聲。

1.4 多損失聯(lián)合學(xué)習(xí)

三元組損失在度量學(xué)習(xí)中應(yīng)用廣泛，其定義如下：

1.5 批量歸一化模塊

在深度學(xué)習(xí)領(lǐng)域中，混用具有不同量綱或量綱單位的評價(jià)指標(biāo)容易使得數(shù)據(jù)中出現(xiàn)奇異樣本數(shù)據(jù)，從而造成訓(xùn)練時(shí)間過長以及損失無法收斂的問題。因此，為了消除指標(biāo)之間量綱的影響，需要對數(shù)據(jù)進(jìn)行歸一化。

在車輛重識別中普遍采用三元組損失和交叉熵?fù)p失函數(shù)對模型進(jìn)行監(jiān)督優(yōu)化，當(dāng)交叉熵?fù)p失函數(shù)和三元組損失函數(shù)共同優(yōu)化一個(gè)特征時(shí)，損失函數(shù)的優(yōu)化方向可能出現(xiàn)差異，如圖5在做三分類時(shí)，交叉熵?fù)p失函數(shù)經(jīng)改進(jìn)后使用余弦距離進(jìn)行度量，通過構(gòu)造超球面的方式將嵌入空間分成3個(gè)不同的子空間，3種類別中的每個(gè)特征都被映射為超球面上的點(diǎn)，這樣每個(gè)類別的特征會被分配到不同的子空間；三元組損失函數(shù)則采用歐氏距離進(jìn)行度量。當(dāng)這兩種損失函數(shù)對網(wǎng)絡(luò)中的同一個(gè)特征向量進(jìn)行監(jiān)督時(shí)，二者優(yōu)化方向的差異可能會使得訓(xùn)練過程中一個(gè)損失減小，而另一個(gè)損失振蕩發(fā)散，最終導(dǎo)致整個(gè)訓(xùn)練過程中損失的收斂難度變大。

圖5 不同損失函數(shù)下樣本分布二維可視化

圖6 批量歸一化模塊

2 實(shí)驗(yàn)及結(jié)果分析

2.1 評價(jià)指標(biāo)

車輛重識別是一個(gè)圖像檢索子問題，在衡量重識別方法的性能時(shí)，采用的評價(jià)指標(biāo)主要包括平均精度均值（Mean Average Precision， mAP）、累計(jì)匹配性能曲線（Cumulative Matching Characteristics curve， CMC）。

2.2 數(shù)據(jù)集

為了對模型的有效性進(jìn)行驗(yàn)證，選取公共數(shù)據(jù)集VeRi-776和VehicleID分別進(jìn)行實(shí)驗(yàn)驗(yàn)證。

2.2.1 VeRi-776

VeRi-776是由Liu等［19］提出的，包含由20個(gè)攝像頭拍攝的超過50 000張關(guān)于776輛汽車的圖像，標(biāo)注信息豐富，包括邊界框、車輛類型、顏色、廠商、車牌、時(shí)間戳和地理位置。在測試階段，由于重識別（Re- identification， Re-id）任務(wù)面對的是跨攝像頭搜索任務(wù)，因此在測試階段會將同一攝像頭下的同一身份的車輛圖像忽略。

2.2.2 VehicleID

VehicleID是由Liu等［18］提出的大規(guī)模車輛再識別數(shù)據(jù)集，其中包括221 763張關(guān)于26 267輛汽車的圖像，主要包含前后兩種視角。為了使車輛再識別方法的性能評測更加全面，VehicleID將測試集按照車輛圖像的規(guī)模劃分為大、中、小共3個(gè)子集。在測試時(shí)遵循一般原則并為了計(jì)算累計(jì)匹配性能，將每個(gè)測試子集中的每輛車的一張圖片隨機(jī)拿出來合成為圖庫集，其余全為查詢圖片。在測試時(shí)為了保證模型不因?yàn)閳D片的隨機(jī)選擇產(chǎn)生較大的偏差，在測試時(shí)隨機(jī)選取10次圖片進(jìn)行反復(fù)測試后求平均值作為最終的結(jié)果。

2.3 實(shí)驗(yàn)環(huán)境及訓(xùn)練細(xì)節(jié)

2.3.1 實(shí)驗(yàn)環(huán)境介紹

實(shí)驗(yàn)采用開源的 Pytorch1.6.0 深度學(xué)習(xí)框架，CPU配置為 Intel Core i9-9900KF，顯卡為GeForce RTX 2080Ti，內(nèi)存大小為64 GB，系統(tǒng)為ubuntu18.04 LTS，Python3.7.7，CUDA 10.2，cuDNN 7.6.5，OpenCV 4.4.0環(huán)境。

2.3.2 訓(xùn)練細(xì)節(jié)

在實(shí)驗(yàn)中采用ResNet-50作為骨干網(wǎng)絡(luò)，具體來說在ResNet-50中的layer3以前為骨干網(wǎng)絡(luò)，其后的網(wǎng)絡(luò)結(jié)構(gòu)被設(shè)置為一模一樣的上下雙分支網(wǎng)絡(luò)結(jié)構(gòu)以供豎直和水平條紋的局部特征學(xué)習(xí)。在訓(xùn)練過程中將每張圖像的大小調(diào)整為384像素×384像素，然后采用在線數(shù)據(jù)增強(qiáng)的方式對每張圖片進(jìn)行矩形區(qū)域像素隨機(jī)擦除和隨機(jī)翻轉(zhuǎn)的操作。

在損失計(jì)算階段采用三元組和交叉熵作為損失函數(shù)，每一個(gè)經(jīng)過三元組優(yōu)化的特征都會經(jīng)過批量歸一化模塊后在分類中使用交叉熵?fù)p失進(jìn)行優(yōu)化。

在推理階段，采用三元組損失函數(shù)優(yōu)化的全部特征串聯(lián)起來作為車輛圖像的特征。由于在訓(xùn)練階段每張圖片以0.5的概率隨機(jī)水平翻轉(zhuǎn)，所以在推理階段原圖和水平翻轉(zhuǎn)后的圖像的特征會連接起來作為車輛的最終表示特征。

訓(xùn)練完成后對網(wǎng)絡(luò)中各層的卷積進(jìn)行了可視化，如圖7所示，其中圖（a）為車輛原圖，圖（b）從上到下為網(wǎng)絡(luò)結(jié)構(gòu)逐漸加深的部分卷積可視化圖。由圖易見，淺層網(wǎng)絡(luò)習(xí)得的是線條、顏色、紋理等特征，而位于中間層的網(wǎng)絡(luò)，背景噪聲逐漸被忽略并學(xué)習(xí)到了更抽象的特征。在較深層的網(wǎng)絡(luò)中，注意力會集中在更有辨識性的一些局部特征，例如車頂、車尾等地方，這也表明該方法能夠提取出圖像中具有區(qū)分度的局部特征以供模型分類。

圖7 卷積特征可視化

2.4 實(shí)驗(yàn)結(jié)果可視化展示

在模型訓(xùn)練完成后，從8個(gè)不同的視角中選擇8個(gè)查詢圖像，結(jié)果根據(jù)相似度評分從左到右排序。其中，錯(cuò)誤匹配使用方框標(biāo)出，如圖8所示。不難發(fā)現(xiàn)被框標(biāo)注出的錯(cuò)誤識別主要集中在相同車型及相同顏色的車輛之間，并且肉眼也無法簡單地區(qū)分這兩類車。因此，受限于光線、分辨率、視角等問題，精準(zhǔn)的車輛重識別仍是一項(xiàng)具有挑戰(zhàn)性的任務(wù)。

2.5 實(shí)驗(yàn)結(jié)果分析

2.5.1 模型最優(yōu)實(shí)驗(yàn)驗(yàn)證

在模型訓(xùn)練過程中，為了達(dá)到模型最好的實(shí)驗(yàn)效果，除了調(diào)參等技術(shù)會影響實(shí)驗(yàn)結(jié)果外，所設(shè)計(jì)的關(guān)系描述模塊和多激活值模塊中存在的參數(shù)也需要討論。因此有以下三個(gè)問題需要考慮：一是對特征圖沿單一方向進(jìn)行均等分割和沿兩個(gè)方向同時(shí)進(jìn)行分割，哪種效果更好；二是將特征圖均等分割為多少塊才能達(dá)到最佳效果；三是在多激活值模塊中最高選取多少個(gè)激活值可以達(dá)到模型最優(yōu)。以上三個(gè)問題在VeRi-776數(shù)據(jù)集上展開實(shí)驗(yàn)驗(yàn)證。

針對問題一，在模型中分別對沿垂直方向分割、沿豎直方向分割和同時(shí)沿兩個(gè)方向分割做對比實(shí)驗(yàn)，結(jié)果如表1所示?？梢钥闯觯貎蓚€(gè)方向同時(shí)分割時(shí)，各類評價(jià)指標(biāo)均要高于沿其中任何一個(gè)方向?qū)μ卣鲌D進(jìn)行分割，且沿豎直方向進(jìn)行分割的結(jié)果要明顯好于沿水平方向進(jìn)行分割的結(jié)果，可能的原因是車輛存在大量不同的視角，沿垂直方向分割比沿水平方向分割的物理結(jié)構(gòu)更易對齊。

針對問題二，為進(jìn)一步探究最佳分割數(shù)目，分別取均等分割數(shù)目為2、4、6、8進(jìn)行實(shí)驗(yàn)，結(jié)果如表2所示?？梢钥闯觯寒?dāng)分支數(shù)為6時(shí)，mAP達(dá)到了84.1%；在分支數(shù)為4時(shí)，mAP達(dá)到了83.1%，略低于6分支結(jié)構(gòu)，在要求模型復(fù)雜度低的情況下可優(yōu)先選擇4分支網(wǎng)絡(luò)結(jié)構(gòu)。

針對問題三，設(shè)定最高激活值數(shù)目分別為1、2、3、4進(jìn)行實(shí)驗(yàn)，結(jié)果如表3所示?？梢钥闯觯喝?個(gè)激活值時(shí)效果達(dá)到了最優(yōu)；取4個(gè)激活值時(shí)，模型復(fù)雜度更高，且效果較取3個(gè)激活值時(shí)略差。

圖8 查詢可視化Rank-10結(jié)果

表1 特征圖分割方向?qū)δＰ托阅艿挠绊?單位： %

表2 特征圖分割數(shù)目對模型性能的影響 單位： %

表3 激活值數(shù)目對模型性能的影響 單位： %

2.5.2 消融實(shí)驗(yàn)結(jié)果分析

為進(jìn)一步分析所加入的每種網(wǎng)絡(luò)結(jié)構(gòu)對模型整體的影響，將本文提出的重識別算法劃分成4組不同的網(wǎng)絡(luò)模型在VeRi-776數(shù)據(jù)集上進(jìn)行消融實(shí)驗(yàn)。第一組代表Baseline算法，之后依次添加多激活值模塊、關(guān)系描述模塊和批量歸一化模塊，即第四組為本文所提出的聯(lián)合條紋關(guān)系的車輛重識別算法，實(shí)驗(yàn)結(jié)果如表4所示。由表4可以看出，在加入激活值模塊后，豐富了圖像信息并抑制了噪聲，提高了模型的泛化能力，相比Baseline，mAP值整體提高了3.2個(gè)百分點(diǎn)，Rank1提高了0.6個(gè)百分點(diǎn)；增加了關(guān)系描述模塊后，彌補(bǔ)了圖片分塊后的空間信息丟失，相比Baseline+激活值模塊，mAP值提高了3.3個(gè)百分點(diǎn)，Rank1值提高了0.6個(gè)百分點(diǎn)；第四組的本文算法在加入了批量歸一化模塊后，相比Baseline+激活值模塊+關(guān)系描述模塊，mAP值提高了0.6個(gè)百分點(diǎn)，Rank1值提高了0.4個(gè)百分點(diǎn)。

表4 消融實(shí)驗(yàn) 單位： %

實(shí)驗(yàn)中還發(fā)現(xiàn)，加入批量歸一化模塊的網(wǎng)絡(luò)能更快收斂到最優(yōu)值。為了更直觀地表現(xiàn)出本文模型的效果，引入loss收斂曲線圖和每50輪測試的mAP、Rank1、Rank5的折線圖，如圖9、10。從圖9、10中可以看出，模型loss不斷下降，mAP、Rank1、Rank5值不斷上升，說明模型在訓(xùn)練過程中逐步收斂且效果較好。

綜上所述，本文提出的每一種網(wǎng)絡(luò)模塊均具有一定效果，在對車輛的重識別中，最終的模型相較于Baseline，mAP值、Rank1值和Rank5值分別提升了7.1、1.6和0.5個(gè)百分點(diǎn)。

圖9 損失收斂曲線

圖10 測試結(jié)果

2.5.3 本文算法與其他重識別算法結(jié)果對比

為了驗(yàn)證本文算法的有效性與優(yōu)勢，分別在VeRi-776和VehicleID數(shù)據(jù)集上與其他車輛重識別算法進(jìn)行對比，對比算法包括PRN（Partition and Reunion Network）［20］、PNVR （Part-regularized Near-duplicate Vehicle Re-identification）［21］、VANet （Viewpoint-aware Attentive Network）［22］、MRL （Multi-View Ranking Loss）［9］、GS-TRE （Group Sensitive Triplet Embedding）［23］、EVER （Excited Vehicle Re-identification）［24］、SAN （Stripe-based and Attribute-aware deep convolutional neural Network）［12］、VehicleNet［25］，結(jié)果如表5、6所示。

從表5中可以看出，在VeRi-776數(shù)據(jù)集上，本文算法取得了最佳的mAP值、Rank1值以及Rank5值。此外，在VeRi-776數(shù)據(jù)集中，由于數(shù)據(jù)的特性，還可以進(jìn)一步利用重排序算法（Re-ranking）［26］來提升算法的性能。重排序是一種后處理算法，能提高最終結(jié)果的精度。當(dāng)不使用重排序技術(shù)時(shí)，相比目前效果較優(yōu)的VehicleNet，本文算法的mAP增加了0.7個(gè)百分點(diǎn)，Rank1相差不大，僅降低了0.1個(gè)百分點(diǎn)；而重排序后，本文算法要比VehicleNet算法的mAP值高2.6個(gè)百分點(diǎn)，Rank1要高0.7個(gè)百分點(diǎn)，驗(yàn)證了本文算法的有效性。

從表6中可以看出，在VehicleID數(shù)據(jù)集中，本文算法在小型、中型、大型這三個(gè)規(guī)模測試集中均取得了最佳的識別效果，在大型測試集上Rank1值比VehicleNet算法高出了0.7個(gè)百分點(diǎn)，Rank5值高出2.4個(gè)百分點(diǎn)。

表5 不同算法在VeRi-776數(shù)據(jù)集上的對比 單位： %

表6 不同算法在VehicleID數(shù)據(jù)集上的對比 單位： %

3 結(jié)語

本文提出一種基于聯(lián)合條紋關(guān)系的特征融合的車輛重識別算法，使用條紋關(guān)系模塊彌補(bǔ)了在特征圖分割時(shí)丟失的空間信息；并提出了多激活值模塊，豐富了特征圖信息，減少了噪聲；還設(shè)計(jì)了批量歸一化模塊，減弱了不同損失函數(shù)在優(yōu)化監(jiān)督時(shí)的沖突影響。通過在VeRi-776和VehicleID兩個(gè)公共數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，驗(yàn)證了本文算法的有效性與優(yōu)勢，它能夠有效提高車輛重識別的準(zhǔn)確度。

[1] SUN Y F， ZHENG L， YANG Y， et al. Beyond part models： person retrieval with refined part pooling （and a strong convolutional baseline）［C］// Proceedings of the 2018 European Conference on Computer Vision， LNIP 11208. Cham： Springer， 2018： 501-518.

[2] ZHENG L， ZHANG H H， SUN S Y， et al. Person re-identification in the wild［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2017： 3346-3355.

[3] 劉凱，李浥東，林偉鵬. 車輛再識別技術(shù)綜述［J］. 智能科學(xué)與技術(shù)學(xué)報(bào)， 2020， 2（1）：10-25.（LIU K， LI Y D， LIN W P. A survey on vehicle re-identification［J］. Chinese Journal of Intelligent Science and Technology， 2020， 2（1）：10-25.）

[4] 邱銘凱，李熙瑩. 用于車輛重識別的基于細(xì)節(jié)感知的判別特征學(xué)習(xí)模型［J］. 中山大學(xué)學(xué)報(bào)（自然科學(xué)版）， 2021， 60（4）：111-120.（QIU M K， LI X Y. Detail-aware discriminative feature learning model for vehicle re-identification［J］. Acta Scientiarum Naturalium Universitatis Sunyatseni， 2021， 60（4）：111-120.）

[5] ZAPLETAL D， HEROUT A. Vehicle re-identification for automatic video traffic surveillance［C］// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition Workshops. Piscataway： IEEE， 2016： 1568-1574.

[6] FERENCZ A， LEARNED-MILLER E G， MALIK J. Building a classification cascade for visual identification from one example［C］// Proceedings of the 10th IEEE International Conference on Computer Vision. Piscataway： IEEE， 2005： 286-293.

[7] LOWE D G. Distinctive image features from scale-invariant keypoints［J］. International Journal of Computer Vision， 2004， 60（2）： 91-110.

[8] 陳莉，王洪元，張?jiān)迄i，等. 聯(lián)合均等采樣隨機(jī)擦除和全局時(shí)間特征池化的視頻行人重識別方法［J］. 計(jì)算機(jī)應(yīng)用， 2021， 41（1）：164-169.（CHEN L， WANG H Y， ZHANG Y P， et al. Video-based person re-identification method by jointing evenly sampling-random erasing and global temporal feature pooling［J］. Journal of Computer Applications， 2021， 41（1）：164-169.）

[9] LIN W P， LI Y D， YANG X L， et al. Multi-view learning for vehicle re-identification［C］// Proceedings of the 2019 IEEE International Conference on Multimedia and Expo. Piscataway： IEEE， 2019： 832-837.

[10] LIU K， XU Z， HOU Z H， et al. Further non-local and channel attention networks for vehicle re-identification［C］// Proceedings of the 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops. Piscataway： IEEE， 2020： 2494-2500.

[11] FU Y， WEI Y C， ZHOU Y Q， et al. Horizontal pyramid matching for person re-identification［C］// Proceedings of the 33rd AAAI Conference on Artificial Intelligence. Palo Alto， CA： AAAI Press， 2019： 8295-8302.

[12] WANG G S， YUAN Y F， CHEN X， et al. Learning discriminative features with multiple granularities for person re-identification［C］// Proceedings of the 26th ACM International Conference on Multimedia. New York： ACM， 2018： 274-282.

[13] QIAN J J， JIANG W， LUO H， et al. Stripe-based and attribute-aware network： a two-branch deep model for vehicle re-identification［J］. Measurement Science and Technology， 2020， 31（9）： No.095401.

[14] HE K M， ZHANG X Y， REN S Q， et al. Deep residual learning for image recognition［C］// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2016： 770-778.

[15] HU J， SHEN L， SUN G. Squeeze-and-excitation networks［C］// Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2018： 7132-7141.

[16] WANG Z D， TANG L M， LIU X H， et al. Orientation invariant feature embedding and spatial temporal regularization for vehicle re-identification［C］// Proceedings of the 2017 IEEE International Conference on Computer Vision. Piscataway： IEEE， 2017： 379-387.

[17] ZHENG Z D， JIANG M Y， WANG Z G， et al. Going beyond real data： a robust visual representation for vehicle re-identification［C］// Proceedings of the 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops. Piscataway： IEEE， 2020： 2550-2558.

[18] LIU H Y， TIAN Y H， YANG Y W， et al. Deep relative distance learning： tell the difference between similar vehicles［C］// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2016： 2167-2175.

[19] LIU X C， LIU W， MA H D， et al. Large-scale vehicle re-identification in urban surveillance videos［C］// Proceedings of the 2016 IEEE International Conference on Multimedia and Expo. Piscataway： IEEE， 2016： 1-6.

[20] CHEN H， LAGADEC B， BREMOND F. Partition and reunion： a two-branch neural network for vehicle re-identification［C］// Proceedings of the 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops. Piscataway： IEEE， 2019： 184-192.

[21] HE B， LI J， ZHAO Y F， et al. Part-regularized near-duplicate vehicle re-identification［C］// Proceedings of the 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2019： 3992-4000.

[22] CHU R H， SUN Y F， LI Y D， et al. Vehicle re-identification with viewpoint-aware metric learning［C］// Proceedings of the 2019 IEEE/CVF International Conference on Computer Vision. Piscataway： IEEE， 2019： 8281-8290.

[23] BAI Y， LOU Y H， GAO F， et al. Group-sensitive triplet embedding for vehicle reidentification［J］. IEEE Transactions on Multimedia， 2018， 20（9）： 2385-2399.

[24] PERI N， KHORRAMSHAHI P， RAMBHATLA S S， et al. Towards real-time systems for vehicle re-identification， multi-camera tracking， and anomaly detection［C］// Proceedings of the 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops. Piscataway： IEEE， 2020： 622-623.

[25] ZHENG Z D， RUAN T， WEI Y C， et al. VehicleNet： learning robust visual representation for vehicle re-identification［J］. IEEE Transactions on Multimedia， 2021， 23： 2683-2693.

[26] ZHONG Z， ZHENG L， CAO D L， et al. Re-ranking person re-identification with-reciprocal encoding［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2017： 3652-3661.

Re-identification of vehicles based on joint stripe relations

ZHANG Tingping1， SHUAI Cong1*， YANG Jianxi1， ZOU Junzhi2， YU Chaoshun3， DU Lifang3

（1，，400074，；2，，400074，；3，，400074，）

In order to solve the problem of spatial information loss caused by the splitting of vehicle feature maps in the process of vehicle re-identification， a module combining the relationship between stripe features was proposed to compensate for the lost spatial information. First， a two-branch neural network model was constructed for the special physical structure of the vehicle， and the output feature maps were divided horizontally and vertically equally and trained on different branches of the neural network. Then， a multi-activation value module was designed to reduce noise and enrich the feature map information. After that， triplet and cross-entropy loss functions were used to supervise the training of different features to restrict the intra-class distance and enlarge the inter-class distance. Finally， the Batch Normalization （BN） module was designed to eliminate the differences of different loss functions in the optimization direction， thereby accelerating the convergence of the model. Experimental results on two public datasets VeRi-776 and VehicleID show that the Rank1 value of the proposed method is better than that of the existing best method VehicleNet， which verifies the effectiveness of the proposed method.

vehicle re-identification; stripe relation; feature map splitting; multi-activation value; Batch Normalization (BN)

This work is partially supported by Humanities and Social Science Project of Ministry of Education （20YJAZH132）， Science and Technology Research Program of Chongqing Municipal Education Commission （KJZD-M202000702）.

ZHANG Tingping， born in 1978， Ph. D.， professor. Her research interests include evaluation of node importance in complex networks.

SHUAI Cong， born in 1996， M. S. candidate. His research interests include vehicle tracking.

YANG Jianxi born in 1977， Ph. D.， professor. His research interests include bridge health structure monitoring.

ZOU Junzhi born in 1994， M. S. candidate. His research interests include bridge health structure monitoring.

YU Chaoshun born in 1997， M. S. candidate. His research interests include vehicle tracking.

DU Lifang born in 1997， M. S. candidate. Her research interests include vehicle re-identification.

TP391.1

A

1001-9081（2022）06-1884-08

10.11772/j.issn.1001-9081.2021040544

2021?04?12；

2021?08?10；

2021?08?11。

教育部人文社會科學(xué)研究一般項(xiàng)目（20YJAZH132）；重慶市教委科學(xué)技術(shù)研究計(jì)劃項(xiàng)目（KJZD?M202000702）。

張廷萍（1978—），女，貴州遵義人，教授，博士，主要研究方向：復(fù)雜網(wǎng)絡(luò)節(jié)點(diǎn)重要度評估；帥聰（1996—），男，重慶人，碩士研究生，主要研究方向：車輛跟蹤；楊建喜（1977—），男，寧夏青銅峽人，教授，博士，主要研究方向：橋梁健康結(jié)構(gòu)監(jiān)測；鄒俊志（1994—），男，四川自貢人，碩士研究生，主要研究方向：橋梁健康結(jié)構(gòu)監(jiān)測；郁超順（1997—），男，上海人，碩士研究生，主要研究方向：車輛跟蹤；杜利芳（1997—），女，四川廣元人，碩士研究生，主要研究方向：車輛重識別。