Faster R-CNN模型在車輛檢測中的應用

王 林，張鶴鶴

(西安理工大學 自動化與信息工程學院，西安 710048)

0 引言

車輛檢測是智能交通系統(tǒng)中一個不可或缺的重要環(huán)節(jié)，它能夠為道路交通控制、高速公路管理和緊急事件管理等諸多后續(xù)交通環(huán)節(jié)提供強有力的信息支撐，因此得到了研究者的廣泛關注。傳統(tǒng)的基于機器學習的車輛檢測方法通過方向梯度直方圖(Histogram Of Gradients, HOG)[1]和尺度不變特征轉換(Scale-Invariant Feature Transform, SIFT)[2]等方法對車輛進行特征提取，并將其提取到的特征輸入至支持向量機(Support Vector Machine, SVM)[3]、迭代器(AdaBoost)[4]等分類器進行車輛檢測。這類方法本質上使用的是人為設計和制造的特征作為圖像表征的工具，需要研究人員具有相當堅實的專業(yè)知識和大量的經(jīng)驗，設計過程較為主觀，缺乏理論的指導，不但耗費時間精力，而且最終得到的特征也是參差不齊，難以適應天氣和光線等條件的變化，泛化能力差。隨著交通環(huán)境的日趨復雜，采用人工設計特征的手段進行車輛檢測越來越難以勝任。而深度學習的出現(xiàn)就解決了這一問題，深度學習中的卷積神經(jīng)網(wǎng)絡對幾何變換、形變和光照等具有一定程度的不變性[5]，并且可以靈活地在訓練數(shù)據(jù)的驅動下根據(jù)不同的需求任務自動地去學習有用的特征來幫助算法完成檢測和識別的任務。相比人工設計的特征，對目標具有更強的表達能力。

近年來，隨著深度學習的快速發(fā)展，基于深度卷積神經(jīng)網(wǎng)絡的目標檢測方法得到廣泛應用。文獻[6]中Girshick等提出了基于區(qū)域卷積神經(jīng)網(wǎng)絡(Regions with Convolutional Neural Network features, R-CNN)的目標檢測方法，解決了如何用少量的標注數(shù)據(jù)訓練出高質量模型的問題，成為了目前目標檢測領域的主流方法，但是效率低、占用內存大。隨后，Ross和微軟亞洲研究院的研究者陸續(xù)提出了改進的R-CNN方法：文獻[7]中首次引入空間金字塔池化層，放寬了對輸入圖片尺寸的限制，提高了檢測準確率；文獻[8]中提出了Fast R-CNN模型，規(guī)避了R-CNN中冗余的特征提取操作，采用自適應尺度池化對整個網(wǎng)絡進行優(yōu)化從而提高了深層網(wǎng)絡檢測識別的準確率，但是利用選擇性搜索算法提取候選區(qū)域，耗時較多，無法滿足實時應用需求；文獻[9]中通過構建精巧的區(qū)域建議網(wǎng)絡(Region Proposal Network, RPN)取代時間開銷大的選擇性搜索方法，提出了Faster R-CNN模型，解決了計算區(qū)域建議時間開銷大的瓶頸問題，使實時檢測識別成為可能，并在2015年ImageNet比賽中在VOC 2007和 VOC 2012數(shù)據(jù)集上實現(xiàn)了最高的目標檢測準確率。

綜上所述，F(xiàn)aster R-CNN模型將目標檢測的4個基本步驟(候選區(qū)域生成、特征提取、分類、位置精修)統(tǒng)一到一個深度神經(jīng)網(wǎng)絡框架之內，能夠在訓練數(shù)據(jù)的驅動下自動提取目標的特征，既對位移、尺度和光照等具有一定程度的不變性，又能保證理想的檢測率，基本實現(xiàn)實時檢測，可克服現(xiàn)有基于機器學習的車輛檢測方法的不足。然而若直接將該模型應用于實際場景中的車輛檢測，將會出現(xiàn)以下兩大弊端：1)遠近不同場景中車輛尺寸差異較大，可能無法檢測出遠處場景中較小的車輛；2)數(shù)據(jù)集中一般目標區(qū)域比背景區(qū)域小很多，負樣本空間大，訓練時收斂困難。

因此本文以Faster R-CNN為基礎模型，結合多尺度訓練和難負樣本挖掘策略，利用KITTI數(shù)據(jù)集訓練深度神經(jīng)網(wǎng)絡模型，并進行合理的參數(shù)調節(jié)，把車輛檢測問題轉換為車輛的二分類問題，解決了光照、目標尺度和圖像質量等因素的影響，訓練時負樣本空間大的問題，進一步提高了車輛檢測的效率和精確度。

1 改進的Faster R-CNN的車輛檢測方法

Faster R-CNN模型以卷積神經(jīng)網(wǎng)絡框架caffe(convolutional architecture for fast feature embedding)為基礎，主要由兩個模塊構成：RPN候選框提取模塊和Fast R-CNN目標(車輛)檢測模塊，模型框圖如圖1所示。RPN是全卷積神經(jīng)網(wǎng)絡，用于提取高質量的候選框，即預先找出圖中車輛可能出現(xiàn)的位置；Fast R-CNN基于RPN提取的候選框來檢測并識別候選框中的車輛。

圖1 Faster R-CNN模型框圖 Fig. 1 Framework of Faster R-CNN model

1.1 區(qū)域建議網(wǎng)絡

通過在ImageNet預訓練模型ZF最后一層卷積特征圖之后添加一個卷積層和兩個并行的全連接層來構建RPN。RPN[9]以原始圖像所提取出的卷積特征圖矩陣作為輸入，輸出一系列的矩形候選框以及該矩形候選區(qū)域是否為目標的分數(shù)，RPN的結構示意圖如圖2所示。

RPN中采用了滑動窗口機制，在卷積神經(jīng)網(wǎng)絡最后一個共享卷積層的特征圖上增加一個小的滑動窗口，該滑動窗口與輸入特征圖n×n大小的空間是全連接的，每一個滑動窗口都映射成一個低維的短向量，將該向量輸入到兩個并行的全連接網(wǎng)絡層，一個網(wǎng)絡層負責輸出滑動窗口區(qū)域內的特征屬于圖像背景還是目標，另一個網(wǎng)絡層負責輸出該區(qū)域位置的回歸坐標值。當n×n的滑動窗口在卷積特征圖矩陣上滑動時，滑動的每個位置都在原始圖像對應k個不同的錨框(人為假定的在原始圖像中的候選區(qū)域)，因此一個全連接層輸出2×k維向量，對應k個錨框目標和背景的分數(shù)，另一個全連接層輸出4×k維向量，表示k個錨框對應于真實目標框的變換參數(shù)。每一個錨框都以當前滑動窗口的中心為中心，并分別對應一種尺度和長寬比。本文預設了4種尺度(642、1282、2562、5122)和4種長寬比(1∶1、1∶2、1.5∶1、2∶1)，這樣在每一個位置就有16個錨框，使得RPN提取的候選框更加準確；同時對生成的候選框采用非極大值抑制法(Non-Maximum Suppression, NMS)選取300個得分較高的候選框。

圖2 RPN結構 Fig. 2 Framework of region proposal network

損失函數(shù)如下。

為了訓練區(qū)域建議網(wǎng)絡(RPN)，給每一個候選框都分配一個二進制的標簽(目標/非目標)。本文中給以下兩類候選框分配正標簽：

1)與某個真實的區(qū)域包圍盒有最大交并比(Intersection-over-Union, IoU)(即兩個區(qū)域的交集面積與并集面積之比)值。

2)與任意真實區(qū)域包圍盒的IoU值大于0.7的候選框。

為所有與真實區(qū)域包圍盒的IoU值低于0.3的候選框分配負標簽。遵循文獻[9]中的多任務損失，最小化損失函數(shù)對網(wǎng)絡進行微調。對一個圖像的損失函數(shù)定義為：

(1)

(2)

對于回歸損失，定義為：

(3)

其中smoothL1(x)為：

(4)

對于回歸，采用4個坐標的參數(shù)：

(5)

其中：(x,y)為預測的包圍盒的中心坐標；(xa，ya)為候選框的坐標；(x*，y*)為真實區(qū)域包圍盒的坐標；w和h分別為包圍盒的寬和高;Ncls和Nreg為歸一化參數(shù)，實驗中設為256和2 400;λ為平衡因子，實驗中設為10。

1.2 Faster R-CNN模型的改進

Faster R-CNN將原始圖像和RPN提取出來的候選框同時送入Fast R-CNN檢測網(wǎng)絡。訓練時，首先將帶有標注的數(shù)據(jù)集輸入網(wǎng)絡中，對輸入圖像進行5層卷積網(wǎng)絡的特征提取，之后將候選區(qū)域映射到該共享的特征圖中，獲取相應的特征信息，通過感興趣區(qū)域(Region of Interest, RoI)池化層對該特征進行池化操作，得到一個7×7的區(qū)域特征池化圖，并通過全連接層得到一個4 096維的特征向量，該向量就是卷積神經(jīng)網(wǎng)絡所提取出的每個候選框的最終特征。最后，將此特征向量分別輸入到Softmax分類與包圍盒回歸中，可預測候選區(qū)域屬于每個類別的概率(得分)和目標對象包圍盒的更合適的位置。

為了使得Faster R-CNN模型能夠更好地應用于車輛檢測中，本文在訓練的過程中加入了多尺度訓練和難負樣本挖掘策略來增強模型的性能。

1.2.1 多尺度訓練

在實際場景中，遠處和近處的車輛目標尺寸差異較大。原始的Faster R-CNN模型使用的是單一尺度的圖片進行訓練，對圖像中的較遠目標會出現(xiàn)漏檢的情況。本文采用多尺度訓練，將每張圖像設置了3種尺度(600、850、1 100)，每張圖像隨機選擇三種尺度之一輸入進網(wǎng)絡進行訓練，因此訓練出的模型將能夠在各種尺寸范圍內學習特征。通過實驗證明使用多尺度訓練能夠讓參與訓練的目標大小分布更加均衡，從而使得訓練出來的模型對目標大小具有一定的魯棒性。

1.2.2 難度樣本挖掘

Faster R-CNN模型在訓練過程中有一個很大的問題，整張圖里面目標的區(qū)域要比背景的區(qū)域小很多，負樣本空間大。如果直接把這樣極度不均衡的數(shù)據(jù)拿去訓練模型的話，模型可能會傾向于把所有的樣本分為負樣本，導致訓練時難以收斂。文獻[10-11]中所用的難負樣本挖掘策略可以有效地解決這個問題。本文在訓練階段加入難負樣本挖掘策略，將第一次訓練時在負樣本原圖(沒有目標)上進行目標檢測時收集所有檢測到的矩形框，然后用這個初始模型錯誤分類的負樣本形成一個難負樣本集，將此難負樣本集加入到訓練集中重新訓練新的模型。訓練時將輸出的得分高于0.7并且與任意真實區(qū)域包圍盒的IoU值小于0.5的候選框作為難負樣本。實驗證明難負樣本挖掘策略可以增強算法的判別能力，提高檢測的精確度。

1.3 模型訓練與檢測過程

模型訓練和測試的流程如圖3所示。在模型訓練階段主要進行數(shù)據(jù)處理、參數(shù)調優(yōu)等過程；在模型測試階段，主要利用測試樣本對訓練所得的模型的有效性進行檢驗。

具體的訓練過程如下：

1)獲取KITTI數(shù)據(jù)集，將KITTI數(shù)據(jù)集轉換成VOC2007數(shù)據(jù)集格式。

2)采用ZF模型作為卷積特征提取模型，利用處理好的數(shù)據(jù)集對模型進行訓練。

3)使用相同的數(shù)據(jù)集測試初步訓練好的模型來產生難負樣本。

4)將這些難負樣本加入到訓練集中，對網(wǎng)絡再次訓練，增強模型的類別判定能力。

5)通過式(1)對網(wǎng)絡模型進行微調，得到最終的檢測模型。在這個階段加入多尺度訓練策略，使得參與訓練的目標大小更加均衡，從而提高模型的性能。

在整個訓練階段，采用文獻[9]中交替訓練兩個網(wǎng)絡的方式來進行訓練，使得區(qū)域建議網(wǎng)絡(RPN)和目標檢測網(wǎng)絡(Fast R-CNN)共享卷積層特征，構成一個統(tǒng)一深度卷積神經(jīng)網(wǎng)絡，從而提高了計算效率，達到實時檢測的效果。

圖3 模型訓練與檢測的流程 Fig. 3 Flow chart of model training and testing

2 實驗分析

2.1 數(shù)據(jù)集

本文訓練的原始數(shù)據(jù)集為KITTI數(shù)據(jù)集[12]，該數(shù)據(jù)集包含市區(qū)、鄉(xiāng)村和高速公路等場景采集的真實圖像數(shù)據(jù)，每張圖像中最多包含15輛車，還有各種程度的遮擋與截斷。實驗中選取了5 000張圖像，并根據(jù)實驗需求將其轉化為VOC2007數(shù)據(jù)集格式進行訓練。另外采集了300張實際場景中不同條件下的圖像(各種背景和各種光線)對訓練好的模型進行測試，驗證本文所用方法的有效性。

2.2 實驗結果及分析

為評估本文算法在解決車輛檢測問題時的有效性，本文使用召回率(recall)和精確度(precision)來衡量模型的性能[13]。召回率與精確度的取值范圍均在[0,1]，計算公式如式(6)和式(7)所示：

recall=TP/(TP+FN)

(6)

precision=TP/(TP+FP)

(7)

在GPU@3.90 GHz，8 GB內存，64位Windows 7的計算機系統(tǒng)下進行了相應的實驗，并對結果進行了詳細的分析。實驗分為4個部分：

1)對比相同場景下兩種算法的檢測效果。

利用KITTI數(shù)據(jù)集對原始的Faster R-CNN和改進后的Faster R-CNN進行訓練，并從測試集中選取100張圖像(包含232輛車)進行測試，兩種算法的召回率、精確度如表1所示。檢測效果如圖4所示。

表1 相同場景下兩種算法的檢測效果Tab. 1 Detection results of two algorithms under same scene

圖4 兩種算法的檢測效果對比圖 Fig. 4 Comparison of detection results by two algorithms

圖4中(a)、(b)分別為兩種模型的檢測效果圖，圖中目標車輛處顯示的是該目標的類別名和置信度。從圖4以及表1的數(shù)據(jù)對比可以看出通過多尺度訓練和難負樣本挖掘策略改進后的Faster R-CNN模型的召回率、精確度均優(yōu)于原始的Faster R-CNN模型。相比原始的Faster R-CNN模型，在保證時間性能的情況下召回率提升了約6%，精確度提升了約8%，并且框圖相對完整，能夠檢測圖中各種尺寸的車輛目標。

2)采用不同方法檢測單張相同圖片的時間對比。

利用YOLO[14](You Only Look Once)、SSD[15](Single Shot MultiBox Detector)、RFCN[16](Region-based Fully Convolutional Network)和原Faster R-CNN以及本文方法對測試集中的圖像進行檢測，檢測的精確度和檢測速率如表2所示。

YOLO將整個檢測問題轉化為一個回歸問題，網(wǎng)絡結構簡單，檢測速度較高，但是相比表2中的同類方法精確度較低。SSD結合了YOLO和Faster R-CNN方法，使檢測精確度得到了提高。RFCN使用Faster R-CNN架構，但只含有卷積網(wǎng)絡，減少了計算量，和Faster R-CNN相比提高了檢測速率。本文在Faster R-CNN基礎上結合了多尺度訓練和難負樣本挖掘策略提高了精確度。從表2可以看出，本文方法在檢測速率方面稍劣于其他方法，但是在保證基本實現(xiàn)實時檢測的情況下，檢測精確度相比其他方法有很大的優(yōu)勢。綜合考慮本文的方法是一個有效的車輛檢測方法。

表2 不同方法處理相同圖片的時間對比Tab. 2 Time comparison of different methods dealing with same picture

3)采用不同策略訓練網(wǎng)絡時的檢測效果。

為了進一步驗證所提方法中使用不同策略的有效性，本文分別使用不同的策略對網(wǎng)絡進行訓練與測試。采用的策略以及訓練之后的檢測結果見表3所示。

表3 采用不同策略訓練網(wǎng)絡的檢測效果Tab. 3 Detection results of using different strategies to train network

對比表3中策略1和2發(fā)現(xiàn)錨框數(shù)量的增加使得檢測精度提升了約1個百分點。這是由于原始的Faster R-CNN在RPN網(wǎng)絡中設置9個錨框，對于區(qū)域面積較小的地方容易出現(xiàn)漏檢的情況，如圖3中的(a)與(c)。本文通過添加一種尺度(642)和一種長寬比(1.5∶1)，將錨框的數(shù)量增加到16，使得模型可以檢測更多的小目標。對比策略2和3發(fā)現(xiàn)使用難負樣本挖掘策略使得模型的判別能力增強，檢測精度提升了約2個百分點。對比策略2和4發(fā)現(xiàn)由于使用了多尺度訓練策略，使得模型對目標大小具有一定的魯棒性，從而提升了模型的檢測精度。實驗證明采用多尺度訓練和難負樣本挖掘策略訓練模型可以有效地提高模型的檢測精度以及召回率。

4)不同場景下改進的Faster R-CNN檢測效果。

從300張測試數(shù)據(jù)中挑選了50張不同場景下的圖像來測試改進的Faster R-CNN的性能，其檢測結果圖如5所示。

觀察圖5可以看出改進的Faster R-CNN對于流量較大、光線較強并且存在車輛重疊的場景如圖5中的(e)，光線較差的場景如圖5中的(a)、(b)、(c)與(d)，目標尺寸差距大的場景如圖5中的(c)、(d)與(f)，背景環(huán)境復雜且目標較為模糊的場景如圖5中的(a)、(b)與(f)均具有較好的檢測效果。實驗結果表明本文所使用的方法能夠適用于不同場景下的車輛目標檢測，精確度和實時性均滿足實際要求。

3 結語

本文結合多尺度訓練和負樣本挖掘策略改進了目前在目標檢測領域最先進的Faster R-CNN 方法，通過KITTI數(shù)據(jù)集對深層模型訓練，進行合理的參數(shù)調節(jié)，將復雜環(huán)境下的車輛檢測問題轉換為易于實現(xiàn)的車輛二分類問題。實驗證明，該方法能夠自動提取車輛的特征，訓練出的模型對不同清晰度、不同車流量、不同遮擋程度和不同目標大小的場景均具有很好的魯棒性，運行效率上每幅圖像處理速度在毫秒級別，但是模型訓練過程對硬件設備有較高要求，有待進一步改進。

圖5 不同場景下車輛檢測效果 Fig. 5 Vehicle detection results under different scenes

參考文獻(References)

[1] NEGRI P, CLADY X, HANIF S M, et al. A cascade of boosted generative and discriminative classifiers for vehicle detection [J]. Eurasip Journal on Advances in Signal Processing, 2008, 2008: Article No. 136.

[2] MA X, GRIMSON W E L. Edge-based rich representation for vehicle classification [C]// Proceedings of the 2005 10th IEEE International Conference on Computer Vision. Washington, DC: IEEE Computer Society, 2005: 1185-1192.

[3] TEOH S S, BRAUNL T. Symmetry-based monocular vehicle detection system [J]. Machine Vision & Applications, 2012, 23(5):831-842.

[4] CAO X, WU C, YAN P, et al. Linear SVM classification using boosting HOG features for vehicle detection in low-altitude airborne videos [C]// Proceedings of the 2011 IEEE International Conference on Image Processing. Piscataway, NJ: IEEE, 2011: 2421-2424.

[5] 何灼彬.基于卷積深度置信網(wǎng)絡的歌手識別[D].廣州:華南理工大學,2015:38-48.(HE Z B. Singer identification based on convolution deep belief networks [D]. Guangzhou: South China University of Technology, 2015: 38-48.)

[6] GIRSHICK R, DONAHUE J, DARRELL T, et al. Rich feature hierarchies for accurate object detection and semantic segmentation [C]// Proceedings of the 2014 IEEE Conference on Computer Vision and Pattern Recognition. Washington, DC: IEEE Computer Society, 2014: 580-587.

[7] HE K, ZHANG X, REN S, et al. Spatial pyramid pooling in deep convolutional networks for visual recognition [J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2015, 37(9):1904-1916.

[8] GIRSHICK R. Fast R-CNN [C]// Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition. Washington, DC: IEEE Computer Society, 2015: 1440-1448.

[9] REN S, HE K, GIRSHICK R, et al. Faster R-CNN: towards real-time object detection with region proposal networks [J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2017, 39(6):1137-1149.

[10] SUN X, WU P, HOI S C H. Face detection using deep learning: an improved faster RCNN approach [EB/OL]. [2017- 03- 01]. http://xueshu.baidu.com/s?wd=paperuri%3A%28526a86e5697d1f0c149d60d8ba856dd5%29&filter=sc_long_sign&tn=SE_xueshusource_2kduw22v&sc_vurl=http%3A%2F%2Farxiv.org%2Fpdf%2F1701.08289&ie=utf-8&sc_us=9408430938623955412.

[11] SHRIVASTAVA A, GUPTA A, GIRSHICK R. Training region-based object detectors with online hard example mining [C]// CVPR 2016: Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Washington, DC: IEEE Computer Society, 2016: 761-769.

[12] FAN Q, BROWN L, SMITH J. A closer look at faster R-CNN for vehicle detection [C]// Proceedings of the 2016 Intelligent Vehicles Symposium. Piscataway, NJ: IEEE, 2016: 124-129.

[13] 鐘曉明,余貴珍,馬亞龍,等.基于快速區(qū)域卷積神經(jīng)網(wǎng)絡的交通標志識別算法研究[C]//中國汽車工程學會年會論文集.北京：中國汽車工程學會,2016:2033-2036.(ZHONG X M, YU G Z, MA Y L, et al. Research on traffic sign recognition algorithm based on faster R-CNN [C]// Proceedings of the 2016 Annual Conference of Society of Automotive Engineers of China. Beijing: SAE-China, 2016: 2033-2036.)

[14] REDMON J, DIVVALA S, GIRSHICK R, et al. You only look once: unified, real-time object detection [C]// CVPR 2016: Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Washington, DC: IEEE Computer Society, 2016: 779-788.

[15] LIU W, ANGUELOV D, ERHAN D, et al. SSD: single shot multibox detector [C]// Proceedings of the 2016 European Conference on Computer Vision, LNCS 9905. Berlin: Springer, 2016: 21-37.

[16] DAI J, LI Y, HE K, et al. R-FCN: object detection via region-based fully convolutional networks [EB/OL]. [2017- 04- 21]. http://pdfs.semanticscholar.org/a8f2/4fcc1eb0354ffd91f0e3031f5c4dc3e02dd6.pdf.

This work is partially supported by Shaanxi Province Science and Technology Key Project (2017ZDCXL-GY- 05- 03).

WANGLin, born in 1962, Ph. D., professor. His research interests include wireless sensor network, community detection of complex network, big data, data mining.

ZHANGHehe, born in 1991, M. S. candidate. Her research interests include big data, deep learning.