基于深度學(xué)習(xí)的道路車輛目標(biāo)檢測方法研究

賈淑滟

(山西旅游職業(yè)學(xué)院 山西太原 030031)

隨著計算機視覺和深度學(xué)習(xí)的迅速發(fā)展，道路車輛檢測技術(shù)逐漸成為自動駕駛系統(tǒng)和智能交通系統(tǒng)的重要組成部分。它要求檢測器快速實時檢測車輛，以檢測交通監(jiān)控中的異常情況，如交通擁堵、違章停車等[1]?；谶\動的模型包括背景差分、光流和幀減法。背景差分網(wǎng)絡(luò)是基于高斯混合模型[2]通過區(qū)分前景和背景來檢測車輛。而在光流方法中，特征向量的像素由模型進行定位，然后對這些向量像素進行跟蹤。顯然這很耗時，存在復(fù)雜性問題[3]，無法大量應(yīng)用。而幀相減技術(shù)是通過計算兩個或多個幀之間的差分來檢測運動中的車輛，但這仍不適合用于檢測快速的運動?；谔卣鞯哪Ｐ陀刑荻确较蛑狈綀D、Haar特征和SURF特征等。梯度方向直方圖特征具有豐富的描述性，根據(jù)梯度對像素進行分組。使用Haar特征可以指出感興趣的區(qū)域[4]。SURF為尺度不變特征變換的描述符，在目標(biāo)標(biāo)記、車輛零件識別和物體識別方面非常有效[5]。早期的基于可變形部件的模型[6]在使用HOG特征和分類器進行檢測時表現(xiàn)更好。卷積神經(jīng)網(wǎng)絡(luò)方法，如R-CNN，使用選擇性搜索來生成建議區(qū)域[7]。而后深度學(xué)習(xí)取得了一些進展，出現(xiàn)了Fast-RCNN和Faster-RCNN，實現(xiàn)了最先進的結(jié)果[8-10]。Mask-RCNN是Faster-RCNN的進一步擴展，旨在解決定位像素級別目標(biāo)實例分割的問題，但檢測率低[11]。對檢測到的目標(biāo)進行跟蹤對于分析和預(yù)測車輛的運動至關(guān)重要。跟蹤器主要分為基于CNN和基于RNN[12]。基于CNN的跟蹤器由于其卓越的特征提取能力和分類技術(shù)而在跟蹤方面表現(xiàn)出色。此外，現(xiàn)有的工作主要集中在檢測通用物體，而不是車輛。因此，車輛檢測是一個特例，如果將物體檢測網(wǎng)絡(luò)直接用于檢測車輛，顯然會存在許多問題。車輛檢測需要低級別的特征圖和小縱橫比的圖像，并且要求足夠快地進行高精度的實時預(yù)測。當(dāng)具備了設(shè)計車輛檢測網(wǎng)絡(luò)的所有必要細(xì)節(jié)后，如何合適的基礎(chǔ)網(wǎng)絡(luò)作為構(gòu)建該車輛檢測器網(wǎng)絡(luò)模型也尤為重要。文章基于YOLOV3-tiny網(wǎng)絡(luò)結(jié)構(gòu)，對其特征提取部分進行改進，以提升其在車輛檢測上的速度和精度。具體來說，將空間金字塔結(jié)構(gòu)和不同規(guī)模的聚集層應(yīng)用在現(xiàn)有網(wǎng)絡(luò)中，用于連接不同層(感受野)之間的語義特征，并使用回歸損失和廣義交并比損失來增強模型的特征學(xué)習(xí)和車輛檢測能力。

1方法介紹

YOLOv3-tiny網(wǎng)絡(luò)是YOLOv3物體檢測網(wǎng)絡(luò)的微型版本。這些網(wǎng)絡(luò)在MS COCO數(shù)據(jù)集上進行訓(xùn)練，取得了較好的效果。文章在YOLOv3-tiny的基礎(chǔ)上，新增了了空間特征金字塔池化層[17]和廣義交并比損失(Intersection over Union，IoU)[18]作為回歸任務(wù)的監(jiān)督信號，也用作最終的評測指標(biāo)。K-means++算法用于為預(yù)測目標(biāo)選擇合適的邊界框。文章針對道路車輛檢測任務(wù)進行而設(shè)計，因此僅使用車輛相關(guān)的類別數(shù)據(jù)進行訓(xùn)練。圖1展示了文章方法的網(wǎng)絡(luò)結(jié)構(gòu)示意圖。

圖1 框架結(jié)構(gòu)示意圖

1.1網(wǎng)絡(luò)結(jié)構(gòu)

YOLO網(wǎng)絡(luò)最早是由Redmon等人提出的[16]，它在一個流程中處理圖像以快速檢測出目標(biāo)物體。為了實現(xiàn)這一目的，建立一個良好的特征提取網(wǎng)絡(luò)是非常重要的。如果網(wǎng)絡(luò)提取更多豐富的特征，那么就有更大概率能夠準(zhǔn)確地檢測對象。YOLO使用GoogleNet[19]作為特征提取網(wǎng)絡(luò)。YOLOv2和YOLOv3則分別使用Darknet19和Darknet53作為特征提取網(wǎng)絡(luò)[15，16]。YOLOv3-tiny網(wǎng)絡(luò)雖然速度很快，但檢測結(jié)果不夠準(zhǔn)確。因此，需要進行一些改進來構(gòu)建一個強大的車輛檢測網(wǎng)絡(luò)，具體網(wǎng)絡(luò)結(jié)構(gòu)如表1所示。

表1 網(wǎng)絡(luò)結(jié)構(gòu)細(xì)節(jié)

1.2特征提取層

最初的YoLoV3-tiny網(wǎng)絡(luò)有10個卷積層和6個最大池層作為特征提取器。有關(guān)網(wǎng)絡(luò)的詳細(xì)信息參考[16]。雖然該網(wǎng)絡(luò)在目標(biāo)檢測方面表現(xiàn)較好，但其處理速度和計算復(fù)雜度較高。對于車輛檢測模型，應(yīng)當(dāng)對其進行進一步的簡化，以構(gòu)建可靠的車輛檢測器。

文章方法主要由13個卷積層組成，它們之間通過跳層連接來實現(xiàn)特征聚合用作特征提取。同時移除了YOLOv3-tiny中卷積層后的最大池化層，然后在特征提取層之后并入空間金字塔池化網(wǎng)絡(luò)。該網(wǎng)絡(luò)旨在提取豐富的特征進行檢測，同時該過程不會很慢,空間金字塔結(jié)構(gòu)實現(xiàn)了計算復(fù)雜性的最小化。它在一次前向過程中從整個圖像輸入到輸出特征圖。當(dāng)使用空間金字塔時，卷積層的特征不會被反復(fù)處理，因此網(wǎng)絡(luò)速度大大提高。

1.3錨點框聚類

YOLOv3-tiny使用k-means聚類來選擇錨框。k-means是一種基于距離的聚類算法，它根據(jù)目標(biāo)對象的屬性對其進行聚類，被很多網(wǎng)絡(luò)模型廣泛使用。聚類的每個簇由簇的中心和這些簇的質(zhì)心的交點來定義。它是通過為每個目標(biāo)預(yù)測最接近聚類的種子點并計算種子點作為聚類的當(dāng)前平均點的質(zhì)心來進行初始化。但該算法存在很多缺點，例如k個數(shù)的簇必須提前指定，在有噪聲的圖像中表現(xiàn)不夠魯棒。因此，錨是從k-means++算法計算的，比k-means算法好。在k-means++中，質(zhì)心是隨機初始化的，然后計算初始數(shù)據(jù)點與所有其他數(shù)據(jù)點之間的距離，然后一個接一個地選擇所有其他數(shù)據(jù)點，并像初始步驟一樣計算它們之間的距離。

11-means++算法用于PASCAL VOC和MS COCO數(shù)據(jù)集，以計算具有6個簇的錨點框。對于尺寸為640×640的輸入圖像，六個錨點框分別為(25×25)，(60×60)，(120×120)，(320×160)，(280×340)，(520×460)。前三個錨點用于檢測最終YOLO層上的小型車輛，后三個錨點用于檢測第一個YOLO檢測層上的大型車輛。

1.4檢測網(wǎng)絡(luò)

文章點預(yù)測過程是由YOLO檢測網(wǎng)絡(luò)負(fù)責(zé)的。該網(wǎng)絡(luò)由幾個卷積層組成，上采樣因子為2。使用由k-means++算法定義的錨點框來預(yù)測車輛的邊界框。在YOLO層中，會分別進行邊界框、分?jǐn)?shù)、錨點框坐標(biāo)和類別的預(yù)測。對于每個邊界框，網(wǎng)絡(luò)預(yù)測四個坐標(biāo)值。YOLO層之前的卷積層的核大小通過1×1來計算[Bbox×(5 +類數(shù))]。Bbox是錨點框數(shù)量(為3)，分別預(yù)測4個邊界框偏移量和1個分?jǐn)?shù)。這里使用的類別數(shù)，在PASCAL VOC中是2，分別是汽車和公共汽車，在MS COCO是3，分別是汽車、公共汽車和卡車。所以預(yù)測層的核大小分別是1×1×21和1×1×24,接著對特征圖進行上采樣。利用空間金字塔提取細(xì)粒度特征,然后利用最終的特征圖通過YOLO層預(yù)測出車輛的位置。

1.5包圍框回歸損失函數(shù)

網(wǎng)絡(luò)中使用的損失函數(shù)有廣義IoU和均方誤差損失。包圍框回歸是車輛檢測中的一項重要任務(wù),車輛檢測和定位通常依賴于精確的包圍框回歸。IoU損失函數(shù)是目標(biāo)檢測算法中常用的手段，但是它對于非重疊的目標(biāo)存在問題,另一個用于包圍框回歸的GIoU則解決了這個問題。因此，在訓(xùn)練過程中使用了GIoU作為邊界回歸損失。

(1)

(2)

(3)

對于不重疊的錨點框，IoU損失的梯度為零，而GIoU在所有目標(biāo)中都能形成梯度。在大多數(shù)網(wǎng)絡(luò)中，均方誤差損失函數(shù)通常用于回歸。均方誤差是真實物體標(biāo)注和預(yù)測目標(biāo)值之間的平方距離之和：

(4)

2實驗

2.1數(shù)據(jù)集

該工作中使用的數(shù)據(jù)集為PASCAL VOC 2007、PASCAL VOC2012、MS COCO 2014[11-12]。PASCAL VOC總共包含20個不同的類，而MS COCO有80個類，這些數(shù)據(jù)集通常用于目標(biāo)檢測模型。文章在訓(xùn)練過程中僅使用了PASCAL VOC中汽車、公共汽車等類別和MS COCO中汽車、公共汽車、卡車等類別組合的數(shù)據(jù)集。最終，車輛檢測的組合數(shù)據(jù)集包含總共27 983個訓(xùn)練圖像和10 497個驗證圖像。表2為文章使用的數(shù)據(jù)集情況。

表2 訓(xùn)練和驗證圖片數(shù)據(jù)集

對模型的評價指標(biāo)主要有：0.5閾值下的平均精度均值(mean average precision，MAP)，輸入大小、平均運算速度和基于浮點運算的推理時間等指標(biāo)，表3列出了實驗平臺的配置。

表3 實驗平臺設(shè)置

2.2模型訓(xùn)練與實驗結(jié)果分析

文章訓(xùn)練過程是通過不同的方法在三個不同的數(shù)據(jù)集上進行的。在第一種訓(xùn)練方法中，使用SGD在PASCAL VOC 2007、2012數(shù)據(jù)集上訓(xùn)練網(wǎng)絡(luò)。從數(shù)據(jù)集中移除不需要的類，然后使用基于車輛的類汽車和公共汽車。網(wǎng)絡(luò)的輸入大小為416×416，批大小分別為64和8。數(shù)據(jù)集中的訓(xùn)練圖像總數(shù)為16，551，驗證圖像集為4952。動量為0.9，學(xué)習(xí)率為0.001，權(quán)重衰減為0.0005。網(wǎng)絡(luò)處理的迭代次數(shù)接近10萬次。YOLO檢測層上使用了均方誤差損失，縮放和0.50的IOU閾值等超參。多尺度訓(xùn)練用于訓(xùn)練不同大小的圖像，而不考慮原始大小。如表4所示，這種訓(xùn)練方法獲得76.74%的mAP，比YOLOv2-tiny和YOLOv3-tiny高。該網(wǎng)絡(luò)對于177 FPS也達到了5ms左右的推理時間。

表4 不同方法在PASCAL VOC2007、2012數(shù)據(jù)集上的性能表現(xiàn)

在第二個訓(xùn)練模型中，使用了MS COCO 2017數(shù)據(jù)集，其中包含汽車、公共汽車和卡車類別。輸入大小和使用的所有其他參數(shù)和函數(shù)與之前的訓(xùn)練方法相同。表5總結(jié)了五種模型的比較結(jié)果。這五個模型都是在相同配置設(shè)置下訓(xùn)練出來的。實驗結(jié)果表明，所提方法在平均測試時間上取得了更好的結(jié)果。它還實現(xiàn)了53.75%的mAP，這比現(xiàn)有的網(wǎng)絡(luò)模型更好，如表5所示。與YOLOv3-tiny相比，文章方法的檢測準(zhǔn)確率提高了7.63%。

表5 不同方法在MS COCO 2014數(shù)據(jù)集上的性能對比上的表現(xiàn)

在最后一種訓(xùn)練方法中，將PASCAL VOC和MS COCO數(shù)據(jù)集進行合并?？偣灿?7983幅訓(xùn)練圖像是從汽車、公共汽車和卡車三個不同的類別中選取的。該網(wǎng)絡(luò)以416×416和640×640的輸入規(guī)模進行訓(xùn)練。在416 × 416模型中，批量為64，小批量為8，學(xué)習(xí)率為0.001，權(quán)值衰減為0.0005。訓(xùn)練網(wǎng)絡(luò)時分別使用MSE損失和GIoU損失函數(shù)。在640×640尺寸中，批量增加到90，小批量增加到32。然后遵循上一次訓(xùn)練網(wǎng)絡(luò)的所有其他默認(rèn)設(shè)置，并使用GIoU loss。網(wǎng)絡(luò)處理的迭代為10～15萬次。該網(wǎng)絡(luò)在YOLO檢測層中使用的超參有GIoU損失、邊界框的比例因子為1.05、IoU閾值為0.23、IoU歸一化和類歸一化。

為了優(yōu)化網(wǎng)絡(luò)，所有卷積層上的批量歸一化保持不變，這也被證明在改進mAP方面是有效的[13]。文章方法在640尺寸下實現(xiàn)了47.41%的mAP，如表6所示。與PASCAL VOC和MS COCO數(shù)據(jù)集相比，在合并數(shù)據(jù)集上獲得的mAP更低。

表6 在PASCAL VOC 2007， 2012 和MS COCO 2014合并數(shù)據(jù)集

用PASCAL VOC 2017、2012數(shù)據(jù)集訓(xùn)練的輸入尺寸為416 × 416的網(wǎng)絡(luò)預(yù)測結(jié)果如圖2所示?？梢娢恼路椒軌蚩焖贆z測遠程小尺寸的噪聲車輛。在表5為用MS COCO 2014數(shù)據(jù)集訓(xùn)練的輸入尺寸為416的模型預(yù)測結(jié)果，表明該網(wǎng)絡(luò)能夠準(zhǔn)確預(yù)測多輛重疊的車輛。而且文章方法比最初的YOLOv3-tiny網(wǎng)絡(luò)更加簡單。

圖2 在PASCAL VOC 2007、2012數(shù)據(jù)集上訓(xùn)練后的檢測結(jié)果

相比而言，YOLOv3-tiny在近距離定位的基礎(chǔ)上產(chǎn)生了很多誤差。它也很難探測到遠距離的車輛。因此，文章主要致力于改善這些問題。在PASCAL VOC數(shù)據(jù)集上，所提方法在小型車輛上產(chǎn)生一些誤檢。在MS COCO中，誤檢主要出現(xiàn)在中型和大型車輛上，并且還會出現(xiàn)背景誤檢。這些誤檢大多在合并兩個數(shù)據(jù)集時得到糾正，但與MS COCO相比，總體來看mAP下降了。文章的網(wǎng)絡(luò)結(jié)構(gòu)也進行了一系列改進，采用性能更好的殘差連接取代了最大池化層，空間金字塔模塊、均方誤差損失、GIoU損失、批量歸一化和非最大抑制等手段也都被用于優(yōu)化網(wǎng)絡(luò)。在評估用PASCAL VOC、MS COCO和組合數(shù)據(jù)集訓(xùn)練的這些模型時，在MS COCO數(shù)據(jù)集上訓(xùn)練的網(wǎng)絡(luò)在準(zhǔn)確性方面更好，但是組合數(shù)據(jù)集上性能更高。

總的來說，現(xiàn)有許多目標(biāo)檢測網(wǎng)絡(luò)并不完全集中在車輛上。文章從數(shù)據(jù)集中刪除了車輛類別之外的其他類別。汽車、公共汽車和卡車等車輛類別用于訓(xùn)練該網(wǎng)絡(luò)。因此，該方法的訓(xùn)練速度和基于車輛特征的學(xué)習(xí)都很好。許多基于YOLO的目標(biāo)檢測網(wǎng)絡(luò)具有高計算成本，并且由于其復(fù)雜性，其訓(xùn)練速度也很慢。在YOLOv3-tiny中， 特征提取卷積層通過最大池化分離，文章通過移除那些最大池化層并添加空間金字塔池來提高網(wǎng)絡(luò)的性能。

圖3顯示了一些錯誤預(yù)測的結(jié)果，還錯誤地將一輛油罐車標(biāo)注為公共汽車。加油機的前端有公共汽車的特征，但加油機的背面沒有參與訓(xùn)練。PASCAL和MS COCO數(shù)據(jù)集不包含加油機的圖像,因此網(wǎng)絡(luò)無法正確檢測到它。幀中漏檢的車輛是由于數(shù)據(jù)集中的圖像較少。為了提高網(wǎng)絡(luò)的檢測精度，在訓(xùn)練過程中需要更多的車載圖像來豐富數(shù)據(jù)集。

圖3 錯誤檢測結(jié)果

3結(jié)語

文章提出了一種高效車輛檢測算法，由改進的特征提取層、空間金字塔池和GIoU損失函數(shù)組成。K-means++聚類算法用于初始化錨點框。該網(wǎng)絡(luò)在PASCAL VOC 2007、2012和MS COCO數(shù)據(jù)集上的mAP分別達到76.74%和53.75%。實驗結(jié)果表明，該網(wǎng)絡(luò)速度很快，能夠以高精度從交通CCTV攝像機采集的視頻中實時檢測車輛。