基于深度學習的復雜場景下車輛識別方法?

余 勝 陳敬東 王新余

（武漢數(shù)字工程研究所 武漢 430205）

1 引言

隨著我國城市化進程的提速、汽車數(shù)量的急劇增長，城市擁堵和停車難等問題也日益嚴重，采用車輛識別方法對城市交通和停車狀況進行動態(tài)分析與調(diào)控得到了廣泛的關(guān)注。目前，國內(nèi)外學者提出了很多對復雜場景下的目標識別方法，然而在目標圖像背景復雜、尺寸相差大、遮擋嚴重等情況下還存在目標識別率較低、虛警率高、實時性差等問題。

目標識別過程可分為目標檢測階段和目標分類階段。傳統(tǒng)的目標檢測算法主要是基于支持向量機（SVM）算法［1］。為了克服傳統(tǒng)方法過于依賴目標分割的效果，Girshick等提出RCNN模型［2］進行目標檢測，拉開了利用深度學習進行目標檢測的帷幕。針對已經(jīng)存在的卷積神經(jīng)網(wǎng)絡算法需要輸入固定的圖像尺寸這一問題，Kaiming He等提出了SPP-net［3］，在 Google ImageNet競賽上表現(xiàn)優(yōu)異。之后，Girshick等進一步提出fast RCNN［4］縮短計算時間，提出 faster RCNN［5］減少重復計算，簡化計算。為了解決實時性檢測這一問題，YOLO（You Only Look Once）和 SSD（Single Shot MultiBox Detector）目標檢測算法相繼問世。YOLO大幅提升了計算速度，同時帶來了定位精度下降的負面效應［6］，這一缺陷也被作者在YOLO v2［7］里面改善。而SSD則結(jié)合Faster-RCNN的archor機制和YOLO的回歸思想，大幅提升定位精確度［8］。Jifeng Dai等則基于ResNets提出了R-FCN網(wǎng)絡模型，相比Faster R-CNN在計算速度和定位精確度上優(yōu)化效果明顯。

在分類領(lǐng)域，一般分為三個部分：底層特征提取、圖像表達、分類器。上世紀末，Lecun［10］等則對手寫字體進行分類研究。本世紀初，圖像分類還處于單層特征編碼階段，大多利用編碼從底層特征到中層特征的轉(zhuǎn)換，完成分類［11～13］。2006 年，深度學習領(lǐng)域泰斗Hinton提出深度玻爾茲曼機的網(wǎng)絡［14］，旨在構(gòu)建多層神經(jīng)網(wǎng)絡來進行特征學習。2012年，基于深度學習的目標分類在ImageNet Large Scale Visual Recognition Challenge（ILSVRC）2012斬獲第一，遙遙領(lǐng)先第二名。隨后幾年，ILSVRC比賽上排名前十的全部利用深度網(wǎng)絡模型。比較常用的幾種卷積神經(jīng)網(wǎng)絡模型包括AlexNet［15］、GoogLeNet［16］、VGG［17］。

為了提高目標的檢測率和識別率，YOLO v2利用回歸的方法，可以將分類與檢測同時進行，減少訓練和識別時間。針對復雜場景下的車輛識別需要，本文在YOLO v2網(wǎng)絡模型基礎(chǔ)上，提出了一種基于深度學習的車輛識別方法。該方法通過標注文件解析等方法規(guī)范數(shù)據(jù)集標注文件，確保學習樣本的準確性。通過對樣本的縮放、裁剪、旋轉(zhuǎn)等操作增加訓練樣本數(shù)量，提高算法的泛化能力。通過利用回歸的方法，實現(xiàn)了車輛檢測與識別的同時執(zhí)行，提高了算法的計算速度。通過一種基于殘差歸一化規(guī)則的虛警抑制方法將檢測結(jié)果中的野值進行剔除，減少虛警出現(xiàn)概率。實驗表明，提出的車輛識別算法能顯著提高車輛的識別率，減少虛警數(shù)量，具有較好的整體性能和實用性。

2 基于深度學習的車輛快速識別方法

2.1 數(shù)據(jù)預處理方法

數(shù)據(jù)預處理包括數(shù)據(jù)的裁剪、標注、批量規(guī)范化、數(shù)據(jù)增強等。

2.1.1 標注文件可視化解析與調(diào)整

從攝像頭采集和從網(wǎng)絡爬取的數(shù)據(jù)需要進行人工標注，以備深度網(wǎng)絡模型訓練的需要。

本文使用LabelImg工具對訓練數(shù)據(jù)集每張圖片里的車輛進行標注。當一張圖片標注完成之后，軟件會在原圖目錄下生成一個與原圖對應的xml文件，此xml文件記錄了原圖的路徑、標記框的相對位置（以圖像左上為原點，框的左上坐標和右下坐標）、標記框內(nèi)物體的類別等信息。

標注過程中若發(fā)現(xiàn)圖像中車輛太?。ㄖ徽紟讉€像素），可以選擇不標注此類圖像，也不將其加入訓練數(shù)據(jù)集。

微軟COCO公共數(shù)據(jù)集包括圖像（JPEG或JPG）和標注文件（json），無法直觀觀察標注框包圍車輛的實際情況。因此，本文編寫腳本對公共數(shù)據(jù)集的標注文件進行可視化解析，對漏標、誤標等情況進行重新標注，提升訓練數(shù)據(jù)集的質(zhì)量。

2.1.2 數(shù)據(jù)增強

數(shù)據(jù)增強是在每輪訓練前將圖片進行一定范圍內(nèi)的隨機旋轉(zhuǎn)、隨機曝光度設定、隨機飽和度設定等工作。

數(shù)據(jù)集增強是一種只對訓練集做預處理的方式，它是減少計算機視覺模型泛化誤差的一種好方法。在測試時可以將同一輸入的許多不同版本傳給模型（例如，在稍微不同的位置處裁剪的相同圖像），并且在模型的不同實例上決定模型的輸出；也可以被理解為集成方法，有助于減少泛化誤差。將傳感器采集的特定應用場景圖片加入訓練集和驗證集，能增強此場景目標識別效果。

2.2 深度學習模型的正則化

深度學習任務中一個核心問題是設計一個不僅在訓練數(shù)據(jù)上表現(xiàn)好而且在新的輸入上泛化好的算法。正則化可以有效減少算法在訓練數(shù)據(jù)集和新的輸入之間的預測誤差，即減少泛化誤差而不僅是訓練誤差。

正則化技術(shù)在深度學習出現(xiàn)之前已經(jīng)比較成熟。在線性回歸、邏輯回歸等線性模型中，可以使用簡單、直接、有效的正則化策略。

許多正則化方法通過對目標函數(shù)J添加一個參數(shù)范數(shù)懲罰項Ω(θ)，限制模型（如神經(jīng)網(wǎng)絡、線性回歸或邏輯回歸）的學習能力。將正則化后的目標函數(shù)記為?：其中，α∈[0，∞)是權(quán)衡范數(shù)懲罰項Ω和標注目標函數(shù)J相對貢獻的超參數(shù)。將α設為0表示沒有正則化；α越大，對應正則化懲罰越大。

根據(jù)參數(shù)范數(shù)懲罰項Ω(θ)的不同，可以分為不同的正則化方法。常用的是L2參數(shù)正則化和L1參數(shù)正則化。深度學習模型中常用二者對神經(jīng)網(wǎng)絡的操作層（如卷積層、分類層）進行正則化，約束模型復雜度。將正則項加入目標函數(shù)，通過整體目標函數(shù)的誤差反向傳播，達到正則項影響和指導網(wǎng)絡訓練的目的。

L2參數(shù)正則化通過向目標函數(shù)添加一個正則項：

使權(quán)重更加接近原點。其中λ控制正則項大小，較大的取值將較大程度約束模型復雜度表示權(quán)值向量W中各個元素的平方和。L1參數(shù)正則化的正則項為

需注意，L1參數(shù)正則化除了同L2正則化一樣能約束參數(shù)量級外，L1正則化還能起到使參數(shù)更稀疏的作用。稀疏化可起到選擇重要參數(shù)或者特征維度的作用，同時起到去除噪聲的效果。

此外，L2參數(shù)正則化和L1參數(shù)正則化可以聯(lián)合使用，形如：

這也被稱為“Elastic網(wǎng)絡正則化”。

2.3 基于YOLO模型的物體識別方法

YOLO將物體檢測作為回歸問題求解，基于一個單獨的端到端網(wǎng)絡，完成從原始圖像的輸入到物體位置和類別的輸出。

YOLO網(wǎng)絡訓練和檢測均是在一個單獨網(wǎng)絡中進行。YOLO v2采用了新網(wǎng)絡，使用常用的3*3卷積核，在每一次池化操作后把通道數(shù)翻倍。借鑒了network in network的思想，網(wǎng)絡使用了全局平均池化（global average pooling）做預測，把1*1的卷積核置于3*3的卷積核之間，用來壓縮特征。YOLO v2包含19個卷積層、5個最大值池化層。網(wǎng)絡最后一層是13*13，相對原來7*7的網(wǎng)絡來講，細粒度的處理目標已經(jīng)加倍了，再加上上一層26*26的特征共同決策，這兩層的貢獻等價于SSD網(wǎng)絡的4層以上，但計算量其實并沒有增加多少。

為了讓YOLOv2適應不同尺度下的檢測任務，Joseph Redmon等人嘗試通過不同分辨率圖片的訓練來提高網(wǎng)絡的適應性［7］。網(wǎng)絡只用到了卷積層和池化層，可以進行動態(tài)調(diào)整（檢測任意大小圖片）。

2.4 虛警抑制方法

對于車輛重疊率高、被遮擋嚴重等復雜場景下的車輛圖像，已有車輛識別算法虛警率較高。為了有效抑制虛警，提出了一種基于殘差歸一化規(guī)則的虛警抑制方法。此方法通過減少識別結(jié)果中的野值來優(yōu)化訓練樣本的有效性，從而減少識別虛警率，增加識別精度。

在數(shù)據(jù)處理領(lǐng)域中野值叫異常值，野值的產(chǎn)生往往是在錄取、傳輸?shù)倪^程中（不包括零件故障），由于受到干擾等原因所產(chǎn)生的一些不合理或者具有粗大誤差的數(shù)據(jù)，或者說是探測數(shù)據(jù)集合中嚴重偏離大部分數(shù)據(jù)所呈現(xiàn)趨勢的小部分數(shù)據(jù)點（大約包含1%-2%）。野值對高精度數(shù)據(jù)處理工作有著十分不利的影響。在數(shù)據(jù)十分重要的深度學習領(lǐng)域，它對改進處理結(jié)果的精度、提高處理質(zhì)量有著相當?shù)闹匾浴Ｒ爸禉z測被廣泛應用于模式識別，知識發(fā)現(xiàn)和數(shù)據(jù)挖掘中，具體的問題如視頻監(jiān)控，計算機入侵檢測，特定輻射源確認等。傳統(tǒng)分類方法能有效進行野值檢測，但是控制虛警概率始終是一個不可避免的難題。本文利用基于殘差歸一化的方法，在深度學習訓練過程中，隨機選擇部分樣本，計算得到多個歸一化殘差值，然后將這些值的平均與野值門限進行比較，由此判斷出待考查模式是否為野值。

2.4.1 殘差歸一化

從訓練樣本集中Xtr中隨機選擇樣本，2，…，k，則待考察模式η的殘差歸一化計算過程如式（5）。

野值門限值會影響虛警率的大小，此處僅分析待考查模式為正常模式的情形?？紤]噪聲的情況之后，K個隨機樣本表示為 xi=x0+εi，i=1，2，…，K，待考察模式為 η=xk=x0+εk，k＞K，其中 x0是模式的理論值，模式噪聲εi滿足標準差為0，方差為σ2I的正態(tài)分布，其中σ2為噪聲方差。

式（5）在忽略容差ε，并不考慮隨機選擇訓練樣本對判別η是否為野值的影響，則正常模式xk的歸一化殘差變?yōu)?/p>

其中

2.4.2 基于野值檢測的虛警剔除

訓練樣本集為 Xtr=｛xi，i=1，2，…，n｝，其中樣本的維度為N，協(xié)方差矩陣為C。設所需的虛警概率為Pf，計算歸一化殘差值時選擇的訓練樣本數(shù)為K≤n，重復計算NR值的次數(shù)為B，容差ε中的γ因子固定為0.001。本文的野值檢測方法敘述如下：

1）對協(xié)方差矩陣C進行酉特征值分解，得到酉轉(zhuǎn)換矩陣A；將其使用在訓練樣本和η上，使得樣本中的噪聲被白化。

2）計算野值門限h，公示如下

其中，Pf為虛警概率，Q為標準高斯分布的右尾概率。

3）對于待考查模式ηi，在 Xtr中隨機選擇K個訓練樣本｛xi，i=1，2，…，K｝，根據(jù)式（7）計算模式的歸一化殘差值ri。

4）如果K=n則得到待考查模式的歸一化殘差值為rˉi=ri；否則步驟3）重復 B次，得到 B個歸一

表1 SSD300與YOLO v2在公共數(shù)據(jù)集上的平均精度均值（mAP）和幀率

6）重復3）～5）直到所有待考察 ηi被考查。

7）剔除被判斷為野值的樣本。

3 實驗與分析

為了驗證提出算法的有效性，基于COCO數(shù)據(jù)集和PCAR數(shù)據(jù)集，對不同深度學習網(wǎng)絡模型識別性能進行了綜合分析和比較。

3.1 COCO實驗

COCO數(shù)據(jù)集是一個由微軟維護的圖像數(shù)據(jù)集，可進行對象識別、圖像分割和圖片中字幕識別等機器視覺任務的數(shù)據(jù)集，包括：超過30萬幅圖像、超過200萬個實例、80多類對象等。本文僅使用數(shù)據(jù)集中的一部分，數(shù)據(jù)集分為兩個部分，其中含有車的訓練圖片有8283張，含車的測試圖片有4048張，圖片分辨率低于640*640。

本文進行了三組對比實驗，實驗中分別使用YOLO、SSD和改進了的算法在COCO數(shù)據(jù)集上進行訓練，并利用COCO測試集進行測試。

圖1 YOLO、SSD和改進算法測試COCO數(shù)據(jù)

圖1給出了三種算法訓練COCO數(shù)據(jù)集后，分別測試同一張圖片（取自COCO測試集）的直觀效果，其中（a）、（b）、（c）、（d）分別表示原圖、YOLO算法識別結(jié)果、SSD算法識別結(jié)果和改進網(wǎng)絡識別結(jié)果。從圖1（b）、（c）、（d）中可以看出YOLO模型和SSD模型都存在虛警，其中（b）圖中最大的框表明YOLO模型將多輛車和背景識別為一輛車，（c）圖中有三個框是錯誤地將公路、花壇、摩托車識別為車；而改進的算法一定程度上避免了將其它目標或背景誤識別為車，表明改進算法之后，一般場景下車輛識別準確率變高了，有效去除了虛警。

3.2 PCAR數(shù)據(jù)集實驗

PCAR數(shù)據(jù)集沿用COCO數(shù)據(jù)集中含車的部分，并加入特定場景采集的圖像作為補充。PCAR數(shù)據(jù)集分為兩個部分，訓練集和驗證集。其中訓練集圖片包括8283張來自COCO數(shù)據(jù)集的圖片及其標注和作者采集并標注的特定場景的圖片；測試集包括4048張來自COCO數(shù)據(jù)集的圖片和作者采集并標注的特定場景的圖片。來自COCO的圖片分辨率不超過640*640，本實驗采集的圖像分辨率為1280*720和1920*1080。

本文進行了三組對比實驗，實驗中分別使用YOLO訓練COCO數(shù)據(jù)集、YOLO訓練PCAR數(shù)據(jù)集和改進的算法訓練PCAR數(shù)據(jù)集，然后PCAR測試集進行測試。

圖2給出了三種算法訓練后，分別測試同一張圖片（取自PCAR測試集）的直觀效果，其中（a）為原圖，（b）、（c）、（d）分別為YOLO訓練COCO數(shù)據(jù)集、YOLO訓練PCAR數(shù)據(jù)集和改進網(wǎng)絡訓練PCAR數(shù)據(jù)集之后識別一張PCAR測試集里面的圖片的結(jié)果。從圖（b）中可以看出YOLO網(wǎng)絡訓練COCO數(shù)據(jù)集來識別特定場景下PCAR測試集效果不理想，當使用YOLO訓練PCAR數(shù)據(jù)集之后，識別車輛個數(shù)上升，但是存在虛警，在使用改進算法訓練PCAR數(shù)據(jù)集之后，基本消除虛警。

表2給出了幾種算法在不同訓練集和不同測試集上的mAP（mean average precision）。當YOLO、SSD和改進算法都選擇相同的訓練集和驗證集時，改進的算法mAP值好于YOLO和SSD算法。觀察YOLO算法和改進算法在PCAR數(shù)據(jù)集上面的表現(xiàn)可以發(fā)現(xiàn)，PCAR數(shù)據(jù)集mAP值比COCO數(shù)據(jù)集低不少，而改進的算法依然比YOLO算法表現(xiàn)得好。

通過上述分析，可以得出以下3個結(jié)論：1）改進算法減少了YOLO及SSD在車輛識別過程中的虛警概率，這是因為虛警抑制模塊減少了物體錯誤識別的概率。2）COCO數(shù)據(jù)集和PCAR數(shù)據(jù)集下，改進算法的mAP值都高于YOLO算法，說明虛警抑制模塊的魯棒性較強，可以增強模型的識別精度。3）訓練集加入復雜場景數(shù)據(jù)并使用數(shù)據(jù)增強之后，對復雜場景的車輛識別效果明顯變好。

圖2 YOLO、改進算法測試PCAR數(shù)據(jù)

表2 對比YOLO、SSD和改進算法的mAP

4 結(jié)語

為了提高復雜場景下的車輛識別率，本文提出了一種基于深度學習的復雜場景下車輛識別方法。針對公開的COCO數(shù)據(jù)訓練集存在目標漏標、誤標等問題，采用標注文件可視化解析方法，直觀觀察圖像目標標注結(jié)果，對其中的漏標、誤標等目標進行重新標注。在訓練過程中對訓練圖像進行旋轉(zhuǎn)、縮放、改變光照變化和曝光度等方法增加訓練樣本數(shù)量，提高車輛識別算法的泛化能力。對于檢測出的車輛虛警目標，利用基于殘差歸一化規(guī)則的虛警抑制方法進行剔除。本文提出的算法對COCO數(shù)據(jù)集測試時，算法平均精度均值（Mean Average Precision，mAP）為79.2，比YOLO算法提高了0.6；對PCAR數(shù)據(jù)集測試時，算法mAP值為63.7，比YOLO算法提高了1.4，實驗結(jié)果充分證明了本文提出算法的有效性。