用于車輛重識別的基于細(xì)節(jié)感知的判別特征學(xué)習(xí)模型*

邱銘凱，李熙瑩

中山大學(xué)智能工程學(xué)院/廣東省智能交通系統(tǒng)重點(diǎn)實(shí)驗室/視頻圖像智能分析與應(yīng)用技術(shù)公安部重點(diǎn)實(shí)驗室，廣東廣州 510006

車輛重識別的一個重要應(yīng)用就是重構(gòu)車輛軌跡。通過車輛重識別，可以實(shí)現(xiàn)連續(xù)時間內(nèi)同一車輛在不同攝像頭下的關(guān)聯(lián)，實(shí)現(xiàn)基于道路監(jiān)控視頻的車輛軌跡重構(gòu)。利用車輛重識別重構(gòu)的車輛軌跡，結(jié)合車輛駕駛員信息，可以實(shí)現(xiàn)用戶乘客出行規(guī)律分析，進(jìn)一步實(shí)現(xiàn)乘客出行預(yù)測及出行引導(dǎo)。另外，在公安刑偵方面，車輛重識別可以用于車輛跟蹤、被盜車輛檢索以及車輛套牌驗證等場景。因此，車輛重識別在智能交通系統(tǒng)中具有重要的研究意義。如何在視頻大數(shù)據(jù)中基于計算機(jī)視覺技術(shù)，自動實(shí)現(xiàn)車輛重識別，是智能交通系統(tǒng)發(fā)展中一個亟需解決的問題。

車輛重識別在實(shí)際研究中的一大挑戰(zhàn)就是對外觀相似的不同車輛進(jìn)行區(qū)分。在實(shí)際場景中，道路上存在多輛車屬于同一款式的情況，而在同一攝像頭下拍攝到的不同車輛，由于款式和顏色相同，外觀相似度高，難以區(qū)分。由于相似外觀的不同車輛之間的差異主要集中于車窗裝飾物等局部區(qū)域，提升算法對于局部細(xì)節(jié)差異的捕獲能力成為研究的關(guān)鍵。

現(xiàn)有的車輛重識別研究主要利用深度學(xué)習(xí)技術(shù)，通過設(shè)計相應(yīng)的訓(xùn)練任務(wù)及改進(jìn)網(wǎng)絡(luò)結(jié)構(gòu)來指導(dǎo)網(wǎng)絡(luò)提取到具有辨識度的特征。為了加快網(wǎng)絡(luò)訓(xùn)練，使得網(wǎng)絡(luò)訓(xùn)練過程更加穩(wěn)定，Liu 等［1］設(shè)計了一個Couple Cluster Loss 以改進(jìn)三元組損失；考慮類內(nèi)差異，Bai 等［2］提出了一個Group-Sensi?tive-Triplet Embedding 方法，將同一車輛的不同圖片按照屬性差異劃分為多個組，同一組內(nèi)的圖片被認(rèn)為是具有相同的屬性，然后在損失函數(shù)中考慮組間的差異，以及不同車輛之間的差異，達(dá)到特征差異化的目的；考慮多視角下車輛的重識別，Chu 等［3］和Zhou 等［4］研究利用對抗生成網(wǎng)絡(luò)來通過單視角圖片生成車輛的多視角融合特征；考慮車輛關(guān)鍵部位特征提取，Khorramshahi 等［5］和Guo等［6］通過車輛關(guān)鍵部位定位以及關(guān)鍵點(diǎn)檢測，利用注意力機(jī)制來提取具有辨識度的特征。這些方法的實(shí)驗結(jié)果表明，添加限制性更強(qiáng)的損失函數(shù)以及有選擇性的引入額外的特征可以提高算法的魯棒性以及增強(qiáng)算法的識別效果。

卷積神經(jīng)網(wǎng)絡(luò)提取的特征可以根據(jù)深度被分為三個部分：淺層、中層及深層特征。其中，淺層特征對淺層視覺信息進(jìn)行表達(dá)，包括邊緣、角以及圓等；中層特征對圖片物體的各個部分進(jìn)行表達(dá)；深層特征得到關(guān)于圖片整體的語義信息表達(dá)［7-8］。因此，利用網(wǎng)絡(luò)的中層特征將會有助于網(wǎng)絡(luò)對于車輛局部區(qū)域的細(xì)節(jié)特征的提取，提高網(wǎng)絡(luò)對于車輛細(xì)節(jié)差異的辨識能力。

為了提升算法對于局部細(xì)節(jié)差異的捕獲能力，本文提出了一個基于細(xì)節(jié)感知的判別特征學(xué)習(xí)網(wǎng)絡(luò)模型。模型以InceptionV3［9］網(wǎng)絡(luò)為基礎(chǔ)結(jié)構(gòu)，設(shè)計了一個指導(dǎo)式的局部特征提取流程。在網(wǎng)絡(luò)結(jié)構(gòu)中，將基礎(chǔ)網(wǎng)絡(luò)劃分為淺層、中層和深層三層，對中層網(wǎng)絡(luò)設(shè)計基于注意力機(jī)制的局部特征提取模塊；結(jié)合局部限制及混合采樣策略指導(dǎo)局部特征提取。最后，將網(wǎng)絡(luò)提取的局部特征及全局特征組合作為車輛的聯(lián)合特征，計算不同車輛之間特征的歐式距離作為相似度衡量。模型在公開數(shù)據(jù)集VehicleID［1］及VeRi［10］上都可以取得領(lǐng)先于現(xiàn)有算法的水平。

1 基于細(xì)節(jié)感知的判別特征學(xué)習(xí)模型

本文設(shè)計的基于細(xì)節(jié)感知的判別特征學(xué)習(xí)模型，如圖1 所示。在網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計中，以Incep?tionV3 作為基礎(chǔ)骨干網(wǎng)絡(luò)，引入局部特征提取模塊，以局部特征及基礎(chǔ)骨干網(wǎng)絡(luò)提取到的全局特征作為車輛的聯(lián)合提取特征；在模型訓(xùn)練中，設(shè)計多任務(wù)聯(lián)合訓(xùn)練，以不同的損失函數(shù)指導(dǎo)特征的生成；為了優(yōu)化模型的訓(xùn)練，在圖片輸入部分，模型設(shè)計了有效的混合采樣策略。對于局部特征的生成提取，算法以局部特征提取模塊為基礎(chǔ)，結(jié)合局部限制及混合采樣策略，組成了一個完整的指導(dǎo)式局部特征提取流程。

圖1 基于細(xì)節(jié)感知的判別特征學(xué)習(xí)模型Fig.1 Detail-aware discriminative feature learning model

1.1 全局特征提取

判別特征學(xué)習(xí)模型中的基礎(chǔ)骨干網(wǎng)絡(luò)負(fù)責(zé)車輛全局特征的提取。在車輛重識別算法中，普遍使用VGG16［11］，Inception［9］以及ResNet［12］等經(jīng)典網(wǎng)絡(luò)作為基礎(chǔ)骨干網(wǎng)絡(luò)。其中，InceptionV3 網(wǎng)絡(luò)的基本結(jié)構(gòu)如表1 所示，因為Inception 模塊的存在，InceptionV3 可以更好的適用于多尺度特征的提取，所以在本研究中使用InceptionV3 作為基礎(chǔ)骨干網(wǎng)絡(luò)。

表1 InceptionV3 網(wǎng)絡(luò)結(jié)構(gòu)表Table 1 Network architecture of InceptionV3

Inception 模塊如圖2 所示。Inception 模塊設(shè)計為先進(jìn)行多尺寸的卷積、池化并行運(yùn)算后，將輸出并聯(lián)。一方面能夠增加網(wǎng)絡(luò)的寬度，另一方面增加了網(wǎng)絡(luò)對于尺度的適應(yīng)性，從而使得Inception網(wǎng)絡(luò)可以更好地適用于多尺度特征提取。

圖2 Inception 模塊Fig.2 Inception Module

這里使用Inception 網(wǎng)絡(luò)會更有利于對車輛局部區(qū)域特征的捕捉。對輸入圖片，經(jīng)過Incep?tionV3 網(wǎng)絡(luò)提取，可以得到大小為1×2 048 的表示車輛全局特征的向量。

1.2 局部特征提取

1.2.1 局部特征選擇車輛局部特征的提取分為網(wǎng)絡(luò)劃分、中層網(wǎng)絡(luò)特征提取兩步。為了對基礎(chǔ)網(wǎng)絡(luò)結(jié)構(gòu)InceptionV3 進(jìn)行劃分，在網(wǎng)絡(luò)劃分階段，參考文獻(xiàn)［13］，首先按照圖3 所示的基礎(chǔ)算法訓(xùn)練，訓(xùn)練完成后，對InceptionV3 各層網(wǎng)絡(luò)學(xué)習(xí)到的特征進(jìn)行了可視化。

圖3 車輛重識別基礎(chǔ)算法Fig.3 Baseline algorithm for vehicle re-identification

網(wǎng)絡(luò)每一層的部分特征圖的可視化結(jié)果如圖4所示?？梢钥吹?，對于InceptionV3 網(wǎng)絡(luò)，給定輸入圖片，Conv1 到Conv5 這5 層學(xué)習(xí)到的是顏色、邊緣、線段等特征；Mixed5 及Mixed6 學(xué)習(xí)到的大部分是車輛的局部區(qū)域，包括車輛柵格、車頂、車窗、車燈等。Mixed7 學(xué)習(xí)到的則是偏全局性的特征。因此，將Mixed5 以及Mixed6 兩個Inception模塊劃分為中層網(wǎng)絡(luò)。

圖4 InceptionV3 網(wǎng)絡(luò)各層特征可視化結(jié)果Fig.4 Feature visualization results of InceptionV3

基于前面的假設(shè)，網(wǎng)絡(luò)的中層特征有助于網(wǎng)絡(luò)對于車輛局部區(qū)域特征的提取，所以中間層Mixed5以及Mixed6被用于提取車輛的局部特征。

1.2.2 基于注意力機(jī)制的局部特征提取模塊在實(shí)際場景中區(qū)分不同車輛時，車輛的各個區(qū)域具有不同的辨識度。高辨識度區(qū)域主要集中于車燈、車輛柵格、車標(biāo)以及車輛擋風(fēng)玻璃等區(qū)域。因此，對局部特征進(jìn)行提取、比對的過程中，應(yīng)該考慮不同局部區(qū)域特征的辨識度，增強(qiáng)具有高辨識度的特征，抑制低辨識度特征的干擾。

基于上面的描述，在局部特征提取模塊的設(shè)計中，我們引入注意力機(jī)制，根據(jù)區(qū)域的重要性實(shí)現(xiàn)網(wǎng)絡(luò)自學(xué)習(xí)并自動分配不同的權(quán)重，得到帶注意力機(jī)制的局部特征提取模塊，模塊結(jié)構(gòu)如圖5中所示。

圖5 局部特征提取模塊Fig.5 Local feature extraction module

對于大小為H×W×C 的中間層特征圖，添加一個卷積核大小為3×3、步長為1×1 的卷積層，得到一個與原始特征圖同樣大小的注意力特征圖。在這里，使用Sigmoid 函數(shù)作為激活函數(shù)，從而保證得到的特征圖中的數(shù)值大小位于（0，1）區(qū)間內(nèi)。得到的注意力特征圖與原始特征圖相乘后進(jìn)行全局池化，即可得到最終的局部特征向量。

1.3 多任務(wù)聯(lián)合訓(xùn)練

輸入車輛圖片，模型提取得到兩部分特征：全局特征以及局部特征。針對全局特征、局部特征以及兩者組合的聯(lián)合特征，分別設(shè)計了不同任務(wù)及相應(yīng)的損失函數(shù)，以指導(dǎo)特征的生成。

對于全局特征，設(shè)計了車輛的屬性識別任務(wù)，分別對車輛的顏色以及款式進(jìn)行識別。顏色及款式識別屬于多分類問題，使用softmax 交叉熵函數(shù)作為損失函數(shù)：

其中下標(biāo)c 和m 分別表示顏色及款式。對于顏色識別，kc表示車輛顏色種類的數(shù)目，是網(wǎng)絡(luò)輸出的對于車輛屬于第i種顏色的概率的預(yù)測值。yci為0 或1，表示車輛顏色的真實(shí)值，定義為

對于款式識別，km，ymi，y′mi的含義與ym，yci，y′ci類似。對于車輛的聯(lián)合特征，在算法中設(shè)計了整體三元組損失函數(shù)。

對于車輛的聯(lián)合特征，在算法中設(shè)計了整體三元組損失函數(shù)。從訓(xùn)練集中隨機(jī)選擇一張圖片作為anchor，記為xa；再隨機(jī)選擇一張與xa屬于同一車輛、但是不同的圖片作為正樣本（positive），記為xp；同時，選擇一張與xa屬于不同車輛的圖片作為負(fù)樣本（negative），記為xn。這樣，就組成一個訓(xùn)練三元組[xa，xp，xn]，輸入網(wǎng)絡(luò)后可得到三元組的特征表達(dá)[Gf(xa)，Gf(xp)，Gf(xn)]。整體三元組損失函數(shù)為

其中α是預(yù)設(shè)值的閾值。

1.4 混合采樣策略

根據(jù)局部限制中對于三元組樣本構(gòu)造的要求，在網(wǎng)絡(luò)輸入中，不同于一般算法的直接隨機(jī)抽取M張圖片作為輸入，本算法中設(shè)計了混合采樣策略，如圖6所示。

圖6中，車輛優(yōu)先策略屬于一種先隨機(jī)選擇車輛，再隨機(jī)選擇圖片的二次隨機(jī)過程。車輛優(yōu)先策略以車輛為基本單位，先對車輛進(jìn)行隨機(jī)采樣，選擇K1輛車后，分別對每輛車的所有圖片進(jìn)行隨機(jī)選取，選取P1張圖片，則一個批次訓(xùn)練的總圖片數(shù)目為K1×P1。車輛優(yōu)先策略的優(yōu)點(diǎn)是可以保證訓(xùn)練集中每一張圖片都可以找到屬于相同車輛的其他圖片，從而能夠組成有效的三元組，有效地加速網(wǎng)絡(luò)訓(xùn)練，保證網(wǎng)絡(luò)收斂。

圖6的款式優(yōu)先策略在車輛優(yōu)先的基礎(chǔ)上，加入了對款式隨機(jī)選擇的過程，屬于一種三次隨機(jī)過程。與車輛優(yōu)先策略不同，款式優(yōu)先策略以款式為基本單位，先隨機(jī)選取C個款式，對每一個款式隨機(jī)選取K2輛車，對每一輛車再隨機(jī)選取P2張圖片，則一批次的訓(xùn)練圖片總數(shù)為C×K2×P2?？钍絻?yōu)先策略的意義在于：因設(shè)計了一個局部限制三元組損失函數(shù)，對于給定的anchorxam，只有與anchor屬于相同款式不同車輛的圖片才被確定為負(fù)樣本。如果僅采用車輛優(yōu)先策略，則在同一批次訓(xùn)練中，存在兩輛及以上車輛屬于同一款式的概率極低，即使用車輛優(yōu)先策略不利于局部限制三元組損失函數(shù)的收斂，而款式優(yōu)先策略則可以很好的解決這一問題。

圖6 混合采樣策略Fig.6 Mixed sampling strategy

款式優(yōu)先策略可以滿足需求，但是在本算法中，使用的是車輛優(yōu)先策略結(jié)合款式優(yōu)先策略的混合采樣策略，使用混合采樣策略的意義會在實(shí)驗部分進(jìn)行闡述。

2 實(shí)驗驗證

2.1 實(shí)驗設(shè)置

算法使用在ImageNet［14］數(shù)據(jù)集上預(yù)訓(xùn)練好的模型進(jìn)行參數(shù)的初始化。對于網(wǎng)絡(luò)的基礎(chǔ)設(shè)置，使用Adam 優(yōu)化器作為參數(shù)優(yōu)化器，使用默認(rèn)的參數(shù)設(shè)置（?= 10-3，β1= 0.9，β2= 0.999）。初始學(xué)習(xí)率設(shè)置為0.000 1，批大?。╞atch-size）設(shè)置為128，學(xué)習(xí)率衰減設(shè)置為每5 個epoch 乘以系數(shù)0.9，訓(xùn)練100 個epoch。對于算法中的各個參數(shù)，在整體三元組損失函數(shù)以及局部限制三元組損失函數(shù)中，設(shè)置α=β= 1.0；在混合采樣策略中，設(shè)置C=K2=P1=P2= 4，K1= 16，即款式優(yōu)先策略與車輛優(yōu)先策略采樣數(shù)目相同，各采樣64 張圖片。

2.2 數(shù)據(jù)集及評價標(biāo)準(zhǔn)

在測試中，給定查詢集，對于查詢集中每一張圖片，在候選集中進(jìn)行匹配。為了評價查詢集在候選集中的匹配效果，本研究使用3個指標(biāo)作為評價標(biāo)準(zhǔn)：rank1 準(zhǔn)確率，rank5 準(zhǔn)確率以及mAP（mean average precision）。為了對算法的有效性進(jìn)行驗證，本研究使用車輛重識別公開數(shù)據(jù)集Vehi?cleID［1］與VeRi［10］作為實(shí)驗數(shù)據(jù)集。

VehicleID 數(shù)據(jù)集采集自中國城市道路上監(jiān)控攝像頭于白天拍攝到的視頻。總共包含26 267 輛車共221 763 張圖片，每張圖片根據(jù)車牌號都標(biāo)注有相應(yīng)的ID，其中共78 957 張圖片標(biāo)注有款式及顏色信息，共228個款式，7種顏色。

VehicleID 數(shù)據(jù)集中提供了三種不同大小的測試集。其中，Test800 測試集包含800 張查詢圖片，6 532 張候選圖片；Test1600 測試集包含1 600 張查詢圖片，11 395 張候選圖片；Test2400 測試集包含2 400 張查詢圖片，17 638 張候選圖片。后續(xù)試驗會在三個不同測試集上進(jìn)行，根據(jù)VehicleID 數(shù)據(jù)集的設(shè)置，使用rank1 及rank5 準(zhǔn)確率作為算法在VehicleID數(shù)據(jù)集上的性能評價指標(biāo)。

VeRi 數(shù)據(jù)集采集自中國福建省福州市永泰縣一條道路上的道路監(jiān)控攝像頭拍攝到的視頻，總共包含776輛車共49 357張圖片。VeRi數(shù)據(jù)集中所有車輛都標(biāo)注有顏色及車型信息，共9種車型，10種顏色。數(shù)據(jù)集中還提供了每一圖片拍攝的位置信息及時間信息。

VeRi數(shù)據(jù)集中，其中500輛車共37 778張圖片作為訓(xùn)練集，剩余200輛車共11 579張圖片作為測試集。測試集中，劃分1 678 張圖片作為查詢集合，剩余9 901張圖片作為候選集合。根據(jù)VeRi數(shù)據(jù)集的設(shè)置，使用rank1準(zhǔn)確率，rank5準(zhǔn)確率以及mAP作為算法在VeRi數(shù)據(jù)集上的性能評價指標(biāo)。

2.3 消融分析

本文提出的算法包含了局部特征提取、局部限制、采樣策略等各個組件。為了對各個部分選擇最有效的設(shè)計方式，以及明確各個部分對于算法效果的影響，我們對算法進(jìn)行了消融分析，從而得到各個部分對于基礎(chǔ)算法的提升效果。本部分實(shí)驗以VehicleID 數(shù)據(jù)集的Test800，Test1600 和Test2400測試集進(jìn)行測試。

首先，在局部特征提取模塊設(shè)計中，考慮中間層以及池化方式對于算法的影響，我們將Incep?tionV3 網(wǎng)絡(luò)的Mixed5 以及Mixed6 兩個Inception 模塊劃分為中層網(wǎng)絡(luò)。另外，利用中層網(wǎng)絡(luò)特征圖進(jìn)行全局池化提取得到局部特征。在實(shí)驗中，我們對不同模塊分別進(jìn)行全局均值池化以及全局最大值池化的對比。實(shí)驗結(jié)果如表2 所示，其中Max，Ave 分別表示采用全局最大值池化及全局均值池化。

表2 不同中間層及池化方式組合的實(shí)驗結(jié)果Table 2 Results of different combination of middle layers and pooling methods %

由表2可以看出，對于兩個模塊組，使用全局最大值池化進(jìn)行特征提取在三個測試集上的表現(xiàn)都要優(yōu)于使用全局均值池化。在使用全局最大值池化時，使用Mixed6 模塊組在Test800 上的rank1準(zhǔn)確率和rank5 準(zhǔn)確率要優(yōu)于Mixed5 模塊組，但是在Test1600 和Test2400 兩個較大的測試集上的rank1 和rank5 準(zhǔn)確率則都要劣于Mixed5 模塊組?？紤]到Mixed6 模塊組提取到的局部特征維度為768，遠(yuǎn)遠(yuǎn)大于Mixed5 模塊組提取到的288 維特征向量，結(jié)合表格3的數(shù)據(jù)，在最終算法中將局部特征提取模塊設(shè)計為利用全局最大值池化方式，對Mixed5模塊組提取局部特征向量。

與Baseline 相比，加入局部特征向量，在不同的測試集上的rank1 和rank5 的準(zhǔn)確率都有所提升。在Test800 測試集上，Max-5 的rank1 和rank5 準(zhǔn)確率分別提高1.2%和0.6%，而在Test1600 測試集上，Max-5 的rank1 和rank5 準(zhǔn)確率分別提高2.2%和0.9%；在Test2400 測試集上，Max-5 的rank1 和rank5 準(zhǔn)確率分別提高4.2%和1.1%。可以看到，隨著測試集的數(shù)量增大，加入局部特征向量對于準(zhǔn)確率的提升越大。這是因為測試集的數(shù)量越大，則意味著存在外觀相似的車輛數(shù)量越多，算法更大概率會因混淆而導(dǎo)致誤判。而引入局部特征向量，則能夠增強(qiáng)算法對于局部區(qū)域特征的辨識能力，從而能夠更好的對易混車輛進(jìn)行區(qū)分。所以，測試集數(shù)量越大，引入局部特征算法相比于原始算法的優(yōu)勢則越大。

其次，考慮引入注意力機(jī)制以及局部限制對于算法的影響。實(shí)驗結(jié)果如表3 所示，其中att 表示注意力模塊，LC 表示局部限制，最后的Max-5+att+LC則為最終的算法。

表3 組件消融分析結(jié)果Table 3 Ablation analysis results of components %

由表3可以看出，相比于原始的加入局部特征向量，單獨(dú)引入注意力機(jī)制，在Test800 測試集的rank1 準(zhǔn)確率提升0.9%；而在Test1600 和Test2400兩個測試集上的rank1 和rank5 準(zhǔn)確率則近似沒有變化。另外，單獨(dú)加入局部限制，在三個測試集上的準(zhǔn)確率都要優(yōu)于單獨(dú)引入注意力機(jī)制。相比于原始的僅加入局部特征向量，在Test800 測試集的rank1 準(zhǔn)確率提升1.1%，在Test1600 和Test2400上的rank1 準(zhǔn)確率都提升了0.8%。而，同時引入注意力機(jī)制及局部限制，相比于原始的加入局部特征向量，在Test800 測試集上的rank1 和rank5 準(zhǔn)確率分別提高1.8% 和0.4%，在Test1600 上的rank1 準(zhǔn)確率提高1.3%，在Test2400 上的rank1 和rank5 準(zhǔn)確率則分別提升2%和1.1%?？梢钥吹?，引入注意力機(jī)制和局部限制對算法在不同大小測試集上的rank1 準(zhǔn)確率影響最大，而對于rank5 準(zhǔn)確率的影響則較小。

在實(shí)驗中，我們使用了款式優(yōu)先結(jié)合車輛優(yōu)先的混合采樣策略。對混合采樣策略和款式優(yōu)先策略進(jìn)行比較，實(shí)驗結(jié)果如表4 所示。其中Mix 表示混合采樣策略，MF表示款式優(yōu)先策略。

表4 不同采樣策略的結(jié)果Table 4 Results of different sampling strategies %

可以看到，僅使用款式優(yōu)先策略，相比于使用混合采樣策略，在Test800 測試集的rank1 和rank5 準(zhǔn) 確 率 分 別 下 降 了2.2% 和0.8%， 在Test1600 上的rank1 和rank5 準(zhǔn)確率分別下降了2.7%和1.2%，在Test2400上的rank1和rank5準(zhǔn)確率分別下降了3.2%和2.2%。出現(xiàn)準(zhǔn)確率下降的原因為：如果單獨(dú)采用款式優(yōu)先策略，則對于每一車輛，在樣本集中都存在與其相同款式但是不同ID 的車輛圖片。由于在整體三元組損失的計算中，對于每一個anchor，都是選擇與其距離最近的負(fù)樣本，即外觀最相似的不同車輛的圖片。則由于款式相同的車輛之間外觀最接近，對于每一個anchor，選擇的都是與其相同款式但是不同ID的車輛圖片進(jìn)行訓(xùn)練，這也就意味著網(wǎng)絡(luò)在訓(xùn)練的過程中沒辦法學(xué)習(xí)到不同款式車輛之間的差異。而采用款式優(yōu)先結(jié)合車輛優(yōu)先的混合策略，則一方面可以保證在樣本集中存在可以滿足局部限制三元組的樣本對，另一方面可以保證網(wǎng)絡(luò)可以學(xué)習(xí)到相同款式以及不同款式車輛之間的差異。

2.4 結(jié)果對比

將本研究的算法與現(xiàn)有的其他車輛重識別最新算法在VehicleID 及VeRi 數(shù)據(jù)集上進(jìn)行對比。我們 選 擇 的 對 比 算 法 包 括DRDL［1］、PROVID［10］、VAMI［3］、 JFSDL［15］、 ABLN［4］、 DHMVI［16］、TAMR［6］、AAVER［5］、EALN［17］。算法對比結(jié)果如表5-6所示。

表5 算法在VehicleID數(shù)據(jù)集上的對比結(jié)果Table 5 Comparisons of our method with state-of-the-arts on VechileID dataset %

從表5-6 可以看出，在與其他算法的對比中，本研究所提出的算法模型在兩個數(shù)據(jù)集中都可以取得最好的效果。在VehicleID 數(shù)據(jù)集中，相比于效果排在第二位的算法，本研究所提出的算法在Test800 測試集的rank1 和rank5 的準(zhǔn)確率、分別提高16%和6.6%，在Test1600 和Test2400 兩個測試集上的rank1 準(zhǔn)確率分別提高17.1%和19.2%。在VeRi 數(shù)據(jù)集中，相比于效果排在第二位的算法，本研究所提出的算法的rank5 準(zhǔn)確率和mAP 指標(biāo)分別提高了1.6%和7.1%。

表6 算法在VeRi數(shù)據(jù)集上的對比結(jié)果Table 6 Comparisons of our method with state-of-the-arts on VeRi dataset %

3 結(jié) 論

本文設(shè)計了一個基于細(xì)節(jié)感知的判別特征學(xué)習(xí)模型?？紤]深度網(wǎng)絡(luò)可以根據(jù)表述的特征劃分為淺層、中層和深層三類，其中中層特征對圖片的局部區(qū)域特征進(jìn)行表達(dá)，因此網(wǎng)絡(luò)的中層特征會有利增強(qiáng)網(wǎng)絡(luò)對于局部區(qū)域細(xì)節(jié)的辨識力?；谶@一假設(shè)，模型以InceptionV3 網(wǎng)絡(luò)為基礎(chǔ)結(jié)構(gòu)，設(shè)計了一個基于注意力機(jī)制的局部特征提取模塊，結(jié)合局部限制及混合采樣策略，指導(dǎo)局部特征提取生成。以提取的局部特征及基礎(chǔ)網(wǎng)絡(luò)生成的全局特征結(jié)合作為車輛的聯(lián)合特征，通過計算車輛特征之間的絕對距離作為相似度度量。在公開數(shù)據(jù)集VehicleID 及VeRi 上的實(shí)驗證明，所提的算法可以取得優(yōu)于現(xiàn)有的車輛重識別算法的效果。