基于遷移學(xué)習(xí)的交通場景車輛實時檢測算法

商國軍　楊利紅　王列偉

摘要：為實現(xiàn)精確實時的車輛檢測，本文算法基于遷移學(xué)習(xí)思想，以深度學(xué)習(xí)實時檢測算法YOLOv2為基礎(chǔ)。使用在大規(guī)模數(shù)據(jù)集上預(yù)訓(xùn)練得到的分類模型初始化YOLOv2卷積神經(jīng)網(wǎng)絡(luò)，搜集交通場景車輛圖片并標(biāo)注后輸入該網(wǎng)絡(luò)利用反向傳播進(jìn)行微調(diào)，從而得到最終的車輛檢測模型。測試結(jié)果表明，本文算法在包含300張車輛圖片的測試集中MAP達(dá)到0.788，每幀檢測平均耗時15ms，滿足工程應(yīng)用實時性要求。

關(guān)鍵詞：遷移學(xué)習(xí)；車輛檢測；卷積神經(jīng)網(wǎng)絡(luò)；YOLOv2

中圖分類號：TP391.41 文獻(xiàn)標(biāo)識碼：A 文章編號：1007-9416（2018）04-0123-02

車輛檢測作為智能交通規(guī)劃中的關(guān)鍵基礎(chǔ)技術(shù)，一直以來都是國內(nèi)外研究的熱點(diǎn)。近年來，伴隨著國內(nèi)機(jī)動車數(shù)量的快速增長，我國道路交通狀況日趨復(fù)雜，實現(xiàn)精確實時車輛檢測的難度不斷增加。

傳統(tǒng)的車輛檢測方法基于機(jī)器學(xué)習(xí)，由于監(jiān)控視頻中的車輛特征隨著光照、視角等因素的變化而變化，使用HOG、SIFT等常用特征泛化能力較差。因此工程應(yīng)用中需要針對具體應(yīng)用場景進(jìn)行特征設(shè)計，為了獲取更高的準(zhǔn)確率，特征維度越來越高，大大降低了算法實時性，因此傳統(tǒng)車輛檢測方法在實用中一直難以取得突破性進(jìn)展。

近年來，隨著大規(guī)模數(shù)據(jù)集的不斷構(gòu)建以及硬件計算能力的持續(xù)增強(qiáng)，深度學(xué)習(xí)理論和實踐得到迅速發(fā)展。2014年，R-CNN[1]首次將深度學(xué)習(xí)應(yīng)用到檢測領(lǐng)域，后續(xù)出現(xiàn)了該類方法的改進(jìn)，但均無法實時運(yùn)行。在工程應(yīng)用中，實時性非常重要，由此出現(xiàn)了基于回歸的深度學(xué)習(xí)目標(biāo)檢測方法，典型代表為YOLO[2]、SSD[3]和YOLOv2[4]，能夠?qū)崿F(xiàn)實時檢測。

根據(jù)交通場景中車輛檢測對準(zhǔn)確率和實時性的要求，本文以YOLOv2算法作為基礎(chǔ)，結(jié)合大量交通場景車輛樣本數(shù)據(jù)，實現(xiàn)了基于遷移學(xué)習(xí)的車輛實時檢測算法。實驗結(jié)果表明每幀圖像檢測平均耗時15ms，不僅顯著提高了識別準(zhǔn)確率，而且滿足工程應(yīng)用的實時性需求。

1 YOLOv2算法簡介

YOLOv2是基于回歸的目標(biāo)檢測方法，通過在圖像上運(yùn)行一次深度卷積神經(jīng)網(wǎng)絡(luò)前向計算，同時預(yù)測得到其中目標(biāo)的位置和類別。由于將候選框提取、特征提取、目標(biāo)分類、目標(biāo)定位統(tǒng)一于同一個卷積神經(jīng)網(wǎng)絡(luò)中，YOLOv2不僅訓(xùn)練過程中能夠?qū)崿F(xiàn)端到端的優(yōu)化，而且檢測過程耗時少，能夠滿足實時處理需求。

2 實時車輛檢測算法

基于遷移學(xué)習(xí)的交通場景車輛實時檢測算法分為訓(xùn)練階段和檢測階段。訓(xùn)練階段基于遷移學(xué)習(xí)，首先使用在大規(guī)模數(shù)據(jù)集上預(yù)訓(xùn)練得到的分類模型初始化YOLOv2卷積神經(jīng)網(wǎng)絡(luò)，然后將車輛圖片數(shù)據(jù)及其標(biāo)注信息輸入卷積神經(jīng)網(wǎng)絡(luò)利用反向傳播對網(wǎng)絡(luò)參數(shù)進(jìn)行微調(diào)，從而得到最終的車輛檢測模型。檢測階段輸入待檢測交通場景圖片，通過訓(xùn)練階段得到的檢測模型計算其中包含的車輛位置及其類別概率，并輸出最終檢測到的車輛目標(biāo)信息。整個算法流程圖如圖1所示。

2.1 遷移學(xué)習(xí)簡介

在深度學(xué)習(xí)領(lǐng)域，由于獲取并標(biāo)注足量的訓(xùn)練樣本用于從頭開始訓(xùn)練整個卷積網(wǎng)絡(luò)成本十分昂貴，因此實踐中通常應(yīng)用遷移學(xué)習(xí)的思想把已訓(xùn)練好的模型參數(shù)遷移到新的模型來幫助新模型訓(xùn)練。首先使用在開源的大規(guī)模數(shù)據(jù)集上預(yù)訓(xùn)練得到模型初始化卷積神經(jīng)網(wǎng)絡(luò)，然后使用特定場景的訓(xùn)練樣本對卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行微調(diào)，通過繼續(xù)反向傳播來優(yōu)化卷積神經(jīng)網(wǎng)絡(luò)參數(shù)，從而得到最終的深度學(xué)習(xí)模型。由于大部分?jǐn)?shù)據(jù)或任務(wù)是存在相關(guān)性的，所以通過遷移學(xué)習(xí)可以將已經(jīng)學(xué)到的模型參數(shù)分享給新模型從而加快并優(yōu)化模型的學(xué)習(xí)效率。

2.2 檢測模型訓(xùn)練

2.2.1 訓(xùn)練集構(gòu)建

訓(xùn)練集是遷移學(xué)習(xí)能否取得良好效果極為重要的因素。本文收集了大量交通場景下的車輛圖片，對圖片中車輛出現(xiàn)的位置進(jìn)行標(biāo)注。所收集的圖片包含白天、夜間等不同的關(guān)照條件，涵蓋晴天、雨雪天等不同的天氣環(huán)境，覆蓋目標(biāo)盡可能多的尺度和形狀變化，保證了訓(xùn)練樣本的多樣性。

2.2.2 初始候選框選取

本文統(tǒng)計了訓(xùn)練集中所有目標(biāo)標(biāo)注框的寬度和高度數(shù)據(jù)，通過k-means++算法對其進(jìn)行聚類，得到最能表征訓(xùn)練集中目標(biāo)寬高比信息的候選框尺度。表1所示為各個初始候選框的尺度，其中寬度比和高度比是初始候選框尺寸與檢測區(qū)域尺寸的比值。交通場景中車輛圖片正面和背面位置框近似為正方形且像素占比較小，側(cè)面位置框近似于長方形且像素占比較大，與表1中初始候選框尺度數(shù)據(jù)一致。

2.3 車輛檢測

檢測階段流程圖如圖2所示，首先將需要車輛檢測的圖片縮放到416×416，并將其劃分為13×13的檢測區(qū)域，針對每個檢測區(qū)域預(yù)測得到5個目標(biāo)候選框，采用非極大值抑制剔除無效候選框，最終得到圖片中包含車輛目標(biāo)。

3 算法效果

3.1 運(yùn)行環(huán)境

本文算法運(yùn)行環(huán)境如：CPU：Inter Xeon CPU E5-2623；GPU：NVIDIA Geforce GTX1080Ti。

3.2 檢測指標(biāo)

測試數(shù)據(jù)集包含300張不同光照和天氣環(huán)境下的交通場景車輛圖片，在上述測試條件下，檢測算法每幀平均耗時15ms。

YOLOv2算法通過VOC數(shù)據(jù)集訓(xùn)練得到的檢測模型中包含車輛類型，并不適用于本文所述的交通場景，直接使用其檢測本文測試數(shù)據(jù)集，MAP僅為0.636；本文檢測模型達(dá)到的MAP為0.788，有較大提升。由此可見，針對具體應(yīng)用場景，在已有的深度學(xué)習(xí)檢測模型基礎(chǔ)上應(yīng)用遷移學(xué)習(xí)進(jìn)行微調(diào)可以較大程度提升檢測準(zhǔn)確率。

4 結(jié)語

相較于基于機(jī)器學(xué)習(xí)車輛檢測方法中的傳統(tǒng)特征，深度學(xué)習(xí)模擬人腦，自動從圖像中提取深度特征，不僅避免了復(fù)雜的特征設(shè)計過程，而且具有強(qiáng)大的泛化能力。本文以深度學(xué)習(xí)實時檢測算法YOLOv2為基礎(chǔ)，通過遷移學(xué)習(xí)，利用了大規(guī)模數(shù)據(jù)集上預(yù)訓(xùn)練模型參數(shù)加快并優(yōu)化了車輛檢測模型的學(xué)習(xí)效率，將檢測MAP從0.636提高到0.788；同時該算法每幀平均檢測耗時15ms，滿足工程應(yīng)用實時性需求。

參考文獻(xiàn)

[1]Girshick R， Donahue J， Darrell T， et al. Rich Feature Hierarchies for Accurate Object Detection and Semantic Segmentation[C]. IEEE Conf. Computer Vision and Pattern Recognition， 2014， 580-587.

[2]Redmon J， Divvala S， Girshick R， et al. You Only Look Once： Unified， Real-Time Object Detection[C]. IEEE Conf. Computer Vision and Pattern Recognition， 2016， 779-788.

[3]Liu W， Anguelov D， Erhan D， et al. SSD： Single Shot MultiBox Detector[C]. 14th European Conference. European Conference on Computer Vision， 2016， 21-37.

[4]Redmon J， Farhadi A， YOLO9000： Better， Faster， Stronger[C]. IEEE Conf. Computer Vision and Pattern Recognition 2017， 6517-6525.