一種改進的FasterR?CNN對小尺度車輛檢測研究

張御宇 楊彪 鄧林紅

摘 ?要： 針對傳統(tǒng)Faster R?CNN算法對小尺度車輛檢測效果不佳的問題，提出一種改進型網(wǎng)絡進行車輛檢測的方法。首先，通過改進經(jīng)典全卷積網(wǎng)絡和區(qū)域建議網(wǎng)絡的結構，增強低層特征與高層特征之間的信息傳遞;其次，增加更小尺度的錨，從而改善Faster R?CNN對小目標的檢測能力;最后，增加錨選擇策略，通過平衡錨數(shù)量的差異，緩解區(qū)域建議網(wǎng)絡生成的正負錨數(shù)量不平衡問題。文中實驗分別在VOC2007、Kitti、真實數(shù)據(jù)集上對所提方法和傳統(tǒng)Faster R?CNN算法進行比較，檢測準確率分別提高了9%，8.1%，8.9%。

關鍵詞： Faster R?CNN; 小尺度車輛檢測; 全卷積網(wǎng)絡; 區(qū)域建議網(wǎng)絡; 錨選擇; 平衡錨數(shù)量

中圖分類號： TN98?34 ? ? ? ? ? ? ? ? ? ? ? ? ?文獻標識碼： A ? ? ? ? ? ? ? ? ? ? ? ? ?文章編號： 1004?373X（2019）11?0098?06

Abstract： A vehicle detection method based on improved Faster region convolutional neural network （Faster R?CNN） is proposed to improve the small?scale vehicle′s detection effect by using traditional Faster R?CNN algorithms. The structures of classic fully convolutional network and region proposal network are improved to enhance the information transfer between low?level and high?level features. The anchors with smaller scale are added in Faster R?CNN to improve the detection ability of small?size objects. An anchors selection strategy is used to balance the number of positive and negative anchors generated in the region proposal network. The effectiveness of the proposed method is compared with traditional Faster R?CNN algorithms with VOC2007， Kitti and real datasets， and its accuracy is increased by 9%， 8.1% and 8.9% respectively.

Keywords： Faster R?CNN; small?scale vehicle detection; fully convolutional network; region proposal network; anchor selection; number balance of anchor

0 ?引 ?言

隨著汽車數(shù)量的高速增長，交通事故發(fā)生率逐漸增高，其中，后車追尾占事故總數(shù)的30%以上[1]。提前檢測車輛并預警可以有效避免此類事故的發(fā)生。車輛檢測技術有很多種，如基于車載傳感器和射頻識別技術[2]、紅外和視覺傳感器等。相比于其他方法，視覺車輛檢測有許多優(yōu)勢，如容易實施、成本低、性能高。但其依然面臨諸多挑戰(zhàn)，如部分遮擋、外形差異、尺度變化等。因此，視覺車輛檢測已成為當前研究的熱點，引起了越來越多的關注。

傳統(tǒng)基于視覺的車輛檢測以手動提取特征為主，包括Haar，LBP，HOG等。這些方法通常在生成的目標候選區(qū)域進行特征提取，然后使用SVM，Random Forest，AdaBoost等分類器判斷該區(qū)域是否屬于真實車輛。這類方法的優(yōu)勢在于速度快，即使在嵌入式平臺也可以滿足實時性要求，但其檢測準確率通常達不到理想狀態(tài)。

近年來，深度神經(jīng)網(wǎng)絡在目標檢測與定位[3]、行人重識別、人臉識別[4]、車輛識別[5]等領域得到了廣泛的應用。深度神經(jīng)網(wǎng)絡相比于傳統(tǒng)的特征提取方法，效果更佳。諸如R?CNN[6]，F(xiàn)ast R?CNN [7]，F(xiàn)aster R?CNN（Faster Region Convolutional Neural Network）[8]，YOLO[9]，SSD[10]等通用目標檢測算法都取得了較好的結果。其中，F(xiàn)aster R?CNN算法相比其他方法具有更高的檢測精度和檢測速率。而在檢測小尺度目標時，該算法檢測精度會降低，主要是由于網(wǎng)絡高層特征對應的感受野較大，在該感受野內(nèi)小尺度目標區(qū)域相對于背景區(qū)域非常小，因此在訓練階段存在正負樣本數(shù)量差異較大的問題（正樣本采自目標區(qū)域，負樣本采自背景區(qū)域）。

針對這一不足，本文在通用檢測器Faster R?CNN的基礎上進行改進，具體改進措施如下：

1） 調(diào)整傳統(tǒng)神經(jīng)網(wǎng)絡的結構，對全卷積網(wǎng)絡進行密集連接，從而增強低層特征與高層特征之間的信息傳遞;

2） 增加更小尺度的錨，使改進后的算法能夠覆蓋小尺度車輛目標;

3） 增加錨選擇層，緩解區(qū)域建議網(wǎng)絡生成的正負錨數(shù)量不平衡問題。

1 ?相關工作

車輛檢測算法種類頗多，對于靜止背景，可以采用背景差法和幀差法，對于變化背景，主要采用光流或特定檢測器檢測車輛。本文主要關注變化背景下的車輛檢測問題，考慮到光流法計算開銷極大，主要關注如何設計檢測器進行車輛檢測。下面對生成候選區(qū)域、特征提取、車輛檢測三個方面進行分析。

1.1 ?生成候選區(qū)域

滑動窗法經(jīng)常被用來生成候選區(qū)域，但該方法搜索區(qū)域大，計算復雜耗時，不利于實時目標檢測。因此，大量學者對滑動窗法進行改進，文獻[11]提出基于相機位置、距離及目標先驗信息的自適應滑動窗方法，加快滑動窗檢測速度。文獻[12]在滑動窗口上增加幾何約束，提高車輛檢測的魯棒性。文獻[13?14]通過約束條件加快滑動窗速度，利用粗略語義分割限制滑動窗區(qū)域。文獻[15?16]對滑動窗使用粗到細的策略，即先使用大尺度窗口粗略尋找目標區(qū)域，再使用小尺度窗口對其精細尋找。

1.2 ?特征提取

得到候選區(qū)域后，需要從候選區(qū)域中提取車輛特征。Gabor濾波器具有方向和尺度相關特征機制，常被用于描述車輛特征[17]。HOG也屬于常用的車輛特征[18]。近年來，Harr特征[19]由于其對垂直、水平、對稱結構的敏感性以及計算的高效性，被廣泛應用于車輛實時檢測，文獻[20]將Harr和Gabor結合在一起，加強了檢測魯棒性。

1.3 ?車輛檢測

當從候選區(qū)域提取得到車輛特征后，需要用分類器判斷該區(qū)域是否屬于真實車輛。常見的分類算法包括AdaBoost，SVM以及極限學習機等。如：將AdaBoost與Harr特征結合進行快速車輛檢測，將SVM與LBP特征結合進行魯棒的車輛檢測。

傳統(tǒng)的車輛檢測方法在簡單環(huán)境下表現(xiàn)較好，在復雜交通環(huán)境下受到天氣、遮擋以及不同車輛之間外形差異大等影響，效果欠佳。近年來，基于深度學習方法的目標檢測已經(jīng)取得很大的成功。許多最新的通用目標檢測框架如R?CNN，F(xiàn)ast R?CNN，F(xiàn)aster R?CNN，YOLO以及SSD被用來檢測不同種類目標，有研究者嘗試將生成候選區(qū)域、特征提取和分類器結合，利用通用的端到端的檢測框架檢測指定道路的車輛。如文獻[21]使用基于序列蒙特卡羅濾波器將通用Faster R?CNN檢測器使用到特定車輛場景下;文獻[22]深入研究Faster R?CNN的尺度問題，改善了候選區(qū)域的選擇方法，并且在這些區(qū)域上選擇更優(yōu)的尺度，以提高在小尺度車輛上的檢測性能;文獻[23]通過語義分割檢測車輛，為自動駕駛設計了一個快速場景理解系統(tǒng)。

2 ?本文方法

2.1 ?Faster R?CNN

文獻[8]提出一種通用目標檢測框架Faster R?CNN，在VOC2007數(shù)據(jù)集上對20類目標進行檢測，平均精度達到73.2%。不同于R?CNN與Fast R?CNN，F(xiàn)aster R?CNN使用區(qū)域建議網(wǎng)絡（RPN）生成候選區(qū)域，提高檢測速度和準確率。

RPN網(wǎng)絡通過輸入任意大小的圖片，得到若干矩形區(qū)域候選框，其中每個候選框?qū)繕舜嬖诘母怕屎臀恢眯畔ⅰＴ谔卣鲌D上使用3×3的卷積核與特征圖進行卷積，得到一個三維矩陣數(shù)據(jù)結構。在3×3的區(qū)域上，每一個特征圖上得到一個1維向量，256個特征圖即256維向量。在最后一個卷積層的特征圖上，每個像素點稱為一個錨。每個Anchor對應于輸入圖像預測3種尺度（如1282，2562，5122，單位為像素）、3種寬高比（1[∶]1，1[∶]2，2[∶]1）的9個區(qū)域。將其輸入到兩個全連接層，即分類層和回歸層，分別用于分類和包圍框（Bounding Box）回歸。根據(jù)提議區(qū)域得分高低，選取前300個候選區(qū)域輸入Fast R?CNN進行目標檢測。

2.2 ?改進的Faster R?CNN

正常尺度車輛樣本圖片在Faster R?CNN下檢測效果較好，但對小尺度車輛檢測效果不佳，因此本文對Faster R?CNN進行改進，使其對于小尺度車輛有更好的檢測效果。圖1為本文改進的訓練網(wǎng)絡的總體框架圖，主要有三處改進，下文將詳細介紹。

圖1 ?改進的Faster R?CNN模型框圖

1） 本文在傳統(tǒng)Faster R?CNN的基礎上添加了兩個更小的錨（322，642，單位為像素）。對于每個尺度的錨，仍舊使用1[∶]1，1[∶]2，2[∶]1作為寬高比，其余的參數(shù)均保持與經(jīng)典Faster R?CNN算法相同，特征圖上每個像素位置可產(chǎn)生15個錨。

2） 文獻[22]認為通過Faster R?CNN中的全卷積網(wǎng)絡會得到較大的感受野，從而檢測到更多的圖像信息。小尺度的目標容易受到更多背景信息的干擾，往往會被平滑從而造成漏檢。因此，使用底層卷積信息獲取較小的感受野，但忽視了層次之間信息傳遞的效率，所以精度方面沒有明顯提高。圖2借鑒文獻[24]提出的DenseNet，增加了層與層之間的聯(lián)系，將前面所有層的輸出作為本層的輸入，加強特征傳播和特征信息共享。

圖2 ?卷積層密集連接

3） 圖片背景面積較大，車輛所占區(qū)域較小，這使得訓練過程中正負錨的數(shù)量差異較大。在訓練和測試的過程中，選取具有較高訓練損失的負樣本，較隨機抽樣所有的負樣本效果更好[25]。因此，本文在訓練過程中增加錨選擇層，在測試階段，需要移除錨選擇層，同時選取訓練損失較高的正負錨，具體錨選擇算法如下：

式中：[Ncls]為每次迭代的最小批量;[Lcls]為交叉熵損失;[pi]和[p*i]分別是第[i]個錨點的預測概率以及對應的標簽，如果是正樣本則標簽為1，反之則為0。

3 ?實驗分析

3.1 ?實施細節(jié)和評價指標

本文使用的改進Faster R?CNN框架與通用Faster R?CNN一樣，都是以VGG16作為模型初始化。本文在每個像素位置使用滑動窗，生成15個邊界框（5個尺度[322，642，1282，2562，5122]和3類長寬比[1[∶]1，2[∶]1，1[∶]2]）。從不同的數(shù)據(jù)庫選取車輛圖片，對Faster R?CNN進行端到端微調(diào)，交疊率（IOU）閾值設置為0.7。其他的網(wǎng)絡參數(shù)參照Faster R?CNN（見表1），采用交替訓練的方法[4]在NVIDA Gefore Titan X GPU （12 GB）下訓練Faster R?CNN。

表1 ?訓練階段使用的主要參數(shù)

式中：[TP]表示車輛被正確預測的數(shù)目;[FP]表示非車輛被預測為車輛的數(shù)目;[FN]表示車輛被預測為非車輛的數(shù)目。精度和召回率直接反映出分類效果的優(yōu)良，[F1]?分數(shù)是兩者的折中表示。

3.2 ?VOC2007數(shù)據(jù)集檢測結果

VOC2007數(shù)據(jù)集包含2 501張訓練圖片（6 301個目標）和2 510張測試圖片（6 307個目標），總共21類，有自行車、鳥、汽車、飛機等。本文從中選取1 430張包含車量的圖片，并使用5折交叉驗證進行檢驗，并得到三個評價指標上的最終結果。在VOC2007上使用本文方法的RPN loss如圖3a）所示，結果表明，損失隨著迭代的增加逐漸收斂。

圖3 ?VOC2007數(shù)據(jù)集訓練曲線

VOC2007數(shù)據(jù)集上的Precision?Recall曲線和ROC曲線如圖3b）和圖3c）所示，從圖中可以看出本文方法對Faster R?CNN進行的改進有顯著效果。

表2中列出了不同方法在VOC2007數(shù)據(jù)集上的平均精確率（Average Precision，AP），平均召回率（Average Recall，AR）和平均[F1]?分數(shù)（Average [F1]?score，[AF1]）。在使用錨選擇之前，本文的整體效果比Faster R?CNN提升4%～5%，而在增加錨選擇層之后，平衡訓練時的正負樣本數(shù)據(jù)，各個指標在此基礎上又提高了3%～4%。

表2 ?VOC2007數(shù)據(jù)集上的定量比較分析

本文方法與通用Faster R?CNN在檢測結果上的定性比較如圖4所示。在正常尺寸下，兩種方法的檢測效果相當，但是對于如圖4第4列所示的小尺度目標來說，通用檢測器效果不佳，但本文方法效果較好。

3.3 ?Kitti數(shù)據(jù)集檢測結果

Kitti數(shù)據(jù)集總共包含7 841張圖片，本文選取6 600張包含車輛的圖片，并使用6折交叉驗證進行檢驗，最終得到3個指標上的結果。實驗結果在訓練階段會隨著迭代次數(shù)的增加越來越收斂，如圖5a）所示。

圖4 ?VOC2007數(shù)據(jù)集上的定性比較分析

圖5 ?Kitti數(shù)據(jù)集訓練曲線

在Kitti數(shù)據(jù)集上Precision?Recall曲線圖和ROC曲線圖分別如圖5b）和圖5c）所示。從圖中曲線結果可以明顯看出，本文方法優(yōu)于通用Faster R?CNN。表3描述了各類方法AP，AR，[AF1]的定性比較，從表中結果可以看出每一項指標不使用錨選擇層的情況下，有2%～4%的增長，增加錨選擇后，相對于通用Faster R?CNN算法有8%～9%的增長。

表3 ?Kitti數(shù)據(jù)集上的定量比較分析

圖6給出了在Kitti上本文方法和通用Faster R?CNN的定性檢測效果，如圖中第3、4列所示，本文的方法在小尺度目標上的檢測效果優(yōu)于通用Faster R?CNN，但是兩種方法都不能有效地解決目標遮擋問題。

圖6 ?Kitti數(shù)據(jù)集上的定性比較分析

3.4 ?實際數(shù)據(jù)的檢測結果

本文的實際數(shù)據(jù)集是從實際車載攝像機拍攝的視頻中進行截取的，本文總共選取了3 000張車輛圖片。使用5折交叉驗證進行檢驗，并最終得到3個指標的結果，從圖7a）中可以看出，隨著迭代次數(shù)的增加，損失逐漸收斂。

圖7 ?實際數(shù)據(jù)集訓練曲線

如圖7b）、圖7c）所示為實際數(shù)據(jù)集上的Precision?Recall曲線和ROC曲線，可以看出本文所提方法明顯優(yōu)于通用Faster R?CNN。表4列出了3個指標的對比（AP，AR，AF1），由于實際采集的圖片比通用數(shù)據(jù)集包含更復雜的道路情況（如行人穿插、自行車等），檢測效果弱于在通用數(shù)據(jù)集上的檢測效果，但本文方法在車輛檢測上明顯優(yōu)于Faster R?CNN。

圖8是在實際場景車輛數(shù)據(jù)集上兩種方法的定性比較，可以看出本文方法可以有效地檢測小尺度車輛（如第3、4列所示），通用Faster R?CNN只可以檢測正常大小車輛，但是兩種方法都不能較好地檢測出遮擋車輛（如圖8第1列所示）。

表4 ?實際數(shù)據(jù)集上的定量比較分析

圖8 ?實際數(shù)據(jù)集上的定性比較分析

4 ?結 ?論

本文對通用的Faster R?CNN檢測框架進行改進，將其運用到小尺度車輛的檢測中。本文首先選取車輛圖片對Faster R?CNN進行微調(diào)，并且重新設計了全卷積網(wǎng)絡和區(qū)域建議網(wǎng)絡。將全卷積網(wǎng)絡密集連接增強了不同層之間的信息交互，在區(qū)域建議網(wǎng)絡中增加兩個更小尺度的錨以檢測小尺度車輛。同時在訓練階段增加了錨選擇層以緩解正負樣本不平衡的問題。通過在VOC2007、Kitti以及實際數(shù)據(jù)集中與傳統(tǒng)的Faster R?CNN進行對比，本文方法在平均精度指標上分別得到了9%，8.1%，8.9%的提高。但是，本文方法仍然無法解決嚴重的車輛遮擋問題，未來將嘗試通過特征加工解決車輛嚴重遮擋導致的漏檢問題。

參考文獻

[1] National Transportion Safety Board. Special investigation report?highway vehicle and infrastructure?based technology for the prevention of rear?end collisions [R]. [S.l.]： National Transportion Safety Board， 2001.

[2] SONG X， LI X， TANG W， et al. A fusion strategy for reliable vehicle positioning utilizing RFID and in?vehicle sensors [J]. Information fusion， 2016， 31（C）： 76?86.

[3] JONGPIL K， PAVLOVIC V. A shape?based approach for salient object detection using deep learning [C]// 2016 European Conference on Computer Vision. Switzerland： Springer， 2016： 455?470.

[4] 吳堯，邱衛(wèi)根.基于改進的深度卷積神經(jīng)網(wǎng)絡的人臉識別[J].計算機工程與設計，2017，38（8）：2246?2250.

WU Yao， QIU Weigen. Face recognition algorithm based on improved deep convolutional neural network [J]. Computer engineering and design， 2017， 38（8）： 2246?2250.

[5] 蔡英鳳，王海，陳龍，等.采用視覺顯著性和深度卷積網(wǎng)絡的魯棒視覺車輛識別算法[J].江蘇大學學報（自然科學版），2015，36（3）：331?336.

CAI Yingfeng， WANG Hai， CHEN Long， et al. Robust vehicle recognition algorithm using visual saliency and deep convolutional neural networks [J]. Journal of Jiangsu University （Na?tural Science Edition）， 2015， 36（3）： 331?336.

[6] GIRSHICK R， DONAHUE J， DARRELL T， et al. Rich feature hierarchies for accurate object detection and semantic segmentation [C]// Proceedings of 2014 IEEE Conference on Computer Vision and Pattern Recognition. [S.l.]： IEEE， 2014： 580?587.

[7] GIRSHICK R. Fast R?CNN [C]// 2015 IEEE International Conference on Computer Vision. Santiago： IEEE， 2015： 1440?1448.

[8] REN S， HE K， GIRSHICK R， et al. Faster R?CNN： towards real?time object detection with region proposal networks [J]. IEEE transactions on pattern analysis and machine intelligence， 2015， 39（6）： 91?99.

[9] REDMON J， FARHADI A. YOLO9000： better， faster， stronger [C]// 2017 IEEE Conference on Computer Vision and Pattern Recognition. Honolulu： IEEE， 2017： 6517?6525.

[10] LIU W， ANGUELOV D， ERHAN D， et al. Ssd： single shot multibox detector [C]// 2016 European Conference on Computer Vision. Swizerland： Springer， 2016： 21?37.

[11] HASELHOFF A， KUMMERT A. A vehicle detection system based on Haar and triangle features [C]// 2009 IEEE Intelligent Vehicles Symposium. Xian： IEEE， 2009： 261?266.

[12] SUDOWE P， LEIBE B. Efficient use of geometric constraints for sliding?window object detection in video [C]// 2011 International Conference on Computer Vision Systems. [S.l.]： Sprin?ger， 2011： 11?20.

[13] CARREIRA J， SMINCHISESCU C. CPMC： automatic object segmentation using constrained parametric min?cuts [J]. IEEE transactions on pattern analysis and machine intelligence， 2012， 34（7）： 1312?1328.

[14] ENDRES I， HOIEM D. Category independent object propo?sals [C]// 2010 European Conference on Computer Vision. [S.l.]： Springer， 2010： 575?588.

[15] GEISMANN P， SCHNEIDER G. A two?staged approach to vision?based pedestrian recognition using Haar and HOG features [C]// 2008 IEEE Intelligent Vehicles Symposium. Eindhoven： IEEE， 2008： 554?559.

[16] PEDERSOLI M， GONZ?LEZ J， BAGDANOV A D， et al. Efficient discriminative multiresolution cascade for real?time human detection applications [J]. Pattern recognition letters， 2011， 32（13）： 1581?1587.

[17] SUN Z， BEBIS G， MILLER R. On?road vehicle detection using Gabor filters and support vector machines [C]// 2002 IEEE the 14th International Conference on Digital Signal Proces?sing. Santorini： IEEE， 2002： 1019?1022.

[18] YUAN Q， THANGALI A， ABLAVSKY V， et al. Learning a family of detectors via multiplicative kernels [J]. IEEE transactions on pattern analysis and machine intelligence， 2011， 33（3）： 514?530.

[19] CHANG W C， CHO C W. Online boosting for vehicle detection [J]. IEEE transactions on systems， man， and cyberne?tics， 2010， 40（3）： 892?902.

[20] SUN Z， BEBIS G， MILLER R. Improving the performance of on?road vehicle detection by combining Gabor and wavelet features [C]// 2002 IEEE the 5th Conference on Intelligent Transportation Systems. Singapore： IEEE， 2002： 130?135.

[21] MHALLA A， CHATEAU T， MA?MATOU H， et al. SMC Faster R?CNN： toward a scene?specialized multi?object detector [J]. Computer vision and image understanding， 2017， 164： 3?15.

[22] GAO Y， GUO S， HUANG K， et al. Scale optimization for full?image?CNN vehicle detection [C]// 2017 IEEE Intelligent Vehicles Symposium. [S.l.]： IEEE， 2017： 785?791.

[23] NEVEN D， DE BRABANDERE B， GEORGOULIS S， et al. Fast scene understanding for autonomous driving [C]// 2017 IEEE Symposium on Intelligent Vehicles. [S.l.]： IEEE， 2017： 1?5.

[24] HUANG G， LIU Z， WEINBERGER K Q， et al. Densely connected convolutional networks [EB/OL]. [2018?01?28]. https：//arxiv.org/pdf/1608.06993.pdf.

[25] SHRIVASTAVA A， GUPTA A， GIRSHICK R. Training region?based object detectors with online hard example mining [C]// 2016 IEEE Conference on Computer Vision and Pattern Re?cognition. Las Vegas： IEEE， 2016： 761?766.