基于卷積神經(jīng)網(wǎng)絡的環(huán)視車位檢測研究

楊科　張效宇　徐維慶

摘 要：針對車載平臺有限的硬件資源，提出一種快速的卷積神經(jīng)網(wǎng)絡車位檢測方法。以YOLOv3算法為基礎，根據(jù)車位檢測特定的應用場景，對模型的深層網(wǎng)絡進行優(yōu)化縮減，并采用MobileNet技術(shù)對網(wǎng)絡中的卷積層進行加速，該模型在占用較小的存儲資源前提下，能夠快速有效地完成車位檢測任務。實驗結(jié)果表明，新模型大小為原先模型的1/12，檢測速度比原先模型快1倍，而檢測準確率與原模型相近。

關(guān)鍵詞：卷積神經(jīng)網(wǎng)絡;車位檢測;網(wǎng)絡縮減;MobileNet

1 引言

隨著中國經(jīng)濟的發(fā)展，汽車保有量逐年增加，人們出行得到極大改善，同時停車難問題也日益凸顯。開展自動泊車技術(shù)研究，實現(xiàn)車輛自主車位識別和自動泊車功能，能夠有效解決駕駛員停車難問題。泊車傳感器分為超聲波雷達和攝像頭兩大類，超聲波檢測相鄰車輛外輪廓信息，攝像頭檢測地面車位線信息。兩類傳感器各有優(yōu)點，可以單獨用于有效車位的檢測，或者對兩類信息進行融合，然后用融合后的車位信息引導車輛泊車。本文研究攝像頭車位檢測技術(shù)，基于4個魚眼攝像頭的環(huán)視拼接圖像，采用卷積神經(jīng)網(wǎng)絡檢測方法，識別地面車位線位置和類別，用于車輛自動泊車。

傳統(tǒng)的視覺檢測方法使用Hough變換[1]、邊緣信息LSD[2]等手段，提取圖像中的車位線信息，這些方法具有較高的誤檢率，而且容易受到車輛陰影、光照變化、遮擋截斷等情況影響。卷積神經(jīng)網(wǎng)絡檢測方法[3-7]使用多類基礎網(wǎng)絡層，構(gòu)建復雜網(wǎng)絡模型，通過大量的標注數(shù)據(jù)訓練，能夠有效地克服傳統(tǒng)方法的不足，適應多種復雜的自動泊車場景。本文考慮車載有限的計算資源，對現(xiàn)有的YOLOv3[7]模型進行改進，降低模型復雜度，提高檢測算法實時性。針對車位線主要表現(xiàn)為邊緣、線條等特征，保留YOLOv3模型淺層結(jié)構(gòu)，優(yōu)化縮減模型深層結(jié)構(gòu)，另外使用MobileNet[8]技術(shù)對網(wǎng)絡進行改造，進一步減少網(wǎng)絡模型的參數(shù)量，降低對車載硬件資源的需求。最后仿真試驗驗證了該方法的有效性。

2 360環(huán)視系統(tǒng)

車載360環(huán)視系統(tǒng)由4個魚眼攝像頭和1個信號處理板組成。如圖1所示，攝像頭分別安裝在前進氣格柵、左后視鏡、右后視鏡、后備箱門。每個攝像頭具有超大廣角的視野范圍，能夠探測180度范圍內(nèi)的所有場景目標。4路攝像頭信號經(jīng)過傳輸線傳送至處理板，并在處理板中完成相關(guān)的圖像處理。

信號處理板主要實現(xiàn)魚眼校正、透視變換、環(huán)視拼接等功能，輸出一整幅完整的360環(huán)視鳥瞰圖像。魚眼校正[9]通過對攝像頭進行標定，獲取攝像頭的內(nèi)參和畸變系數(shù)，進而構(gòu)建校正模型來消除魚眼形變的影響。透視變換[10]通過設置多個參考點，計算原圖到透視圖的轉(zhuǎn)換矩陣，將圖像坐標系下的像素點轉(zhuǎn)換到俯視平面坐標系。環(huán)視拼接[2]對兩兩相鄰的攝像頭俯視圖像進行配準，并對重疊區(qū)域進行加權(quán)融合處理，將4個不同位置的透視圖像拼成一個完整的環(huán)視圖像。

3 檢測算法研究

目標檢測需要精確找到物體的位置，并確定物體的類別，當前主流的神經(jīng)網(wǎng)絡檢測方法分為兩步檢測和單步檢測兩大類。兩步檢測是通過候選區(qū)域模塊生成大量的可能包含待檢測物體的潛在候選框，再用分類器判斷每個候選框里是否包含物體，以及物體所屬類別的置信度，如Fast-RCNN[3]、Faster-RCNN[4]等。單步檢測將物體檢測任務當作一個回歸問題來處理，物體的區(qū)域預測和類別預測整合到單個神經(jīng)網(wǎng)絡模型中，使用一個神經(jīng)網(wǎng)絡預測物體的邊界框位置和類別置信度，如YOLO[5]、SSD[6]等。兩步檢測方法先產(chǎn)生候選框再檢測，具有較高的檢測準確度，但運行速度較慢。單步檢測方法采用單個神經(jīng)網(wǎng)絡將物體定位和物體分類統(tǒng)一起來，實現(xiàn)端到端的目標檢測，在檢測速度上具有優(yōu)勢，但檢測準確度相對較差。另外，單步檢測方法經(jīng)過逐步迭代更新，新一代檢測方法在保證檢測速度的基礎上，不斷提升檢測準確度，文獻[7]給出YOLOv3在檢測準確度和檢測速度方面都具有較好表現(xiàn)，為此本文選用YOLOv3作為基礎網(wǎng)絡，開展相應的性能改進研究。

3.1 YOLOv3算法原理

如圖2所示，YOLOv3檢測算法[7]包括特征提取、多尺度檢測、非極大值抑制等模塊，將一幅圖像輸入訓練過的YOLOv3神經(jīng)網(wǎng)絡，將直接得到圖像上所有物體的邊界框位置和目標類別。具體過程如下所示：

步驟1，將一幅圖像分成S×S個網(wǎng)格（grid cell），如果某個物體的中心落在這個網(wǎng)格中，則這個網(wǎng)格就負責預測該物體。每個網(wǎng)格要預測B個邊界框，每個邊界框包含5個信息（，，，，），和表示邊界框的中心點位置，和表示邊界框的寬和高，表示預測的邊界框的準確度。為了提升模型訓練的穩(wěn)定性，對5個信息值進行歸一化處理，具體的變換公式如下：

其中，、是單元網(wǎng)格相對于圖像左上角的偏移量，、是邊界框先驗值的寬度和高度，是sigmoid函數(shù)，是表示網(wǎng)格內(nèi)是否有物體，是預測邊界框和真實標定框的交并比值。

步驟2，卷積神經(jīng)網(wǎng)絡特征提取。在原有的YOLOv2網(wǎng)絡基礎上，YOLOv3的特征提取網(wǎng)絡包含53個卷積神經(jīng)網(wǎng)絡層，并在每個卷積層中添加批標準化（Batch Normalization）處理，用于提升網(wǎng)絡的收斂性，同時消除對其它形式的正則化的依賴。YOLOv3借鑒殘差網(wǎng)絡（residual network）的做法，在卷積層之間設置直連層（shortcut），進一步保證53層深網(wǎng)絡結(jié)構(gòu)在訓練時具有較好的收斂性。

步驟3，多尺度檢測。YOLOv3使用步長為2的卷積層來進行降采樣，特征提取網(wǎng)絡經(jīng)過5次降采樣后，對網(wǎng)絡8倍、16倍、32倍的降采樣特征進行檢測。為了網(wǎng)絡同時學習深層和淺層特征，對32倍降采樣特征進行2倍上采樣，并與16倍降采樣特征進行拼接，這樣16倍降采樣的特征增加，檢測效果也提到提升。8倍降采樣也進行相似的操作，特征信息得到擴充。

步驟4，非極大值抑制。通過計算檢測框的相互重疊程度，并判斷檢測框的置信度，剔除相互重疊嚴重、置信度低的檢測框，保留最優(yōu)的檢測結(jié)果。

在車輛泊車過程中，車身會對車位線產(chǎn)生部分遮擋，進而影響車位角點的檢測效果，但是基于卷積神經(jīng)網(wǎng)絡的檢測方法，能夠有效克服該類問題的影響。如圖8所示，使用本文的縮減+壓縮網(wǎng)絡仍能有效檢測各個車位角點，其中右上角邊界框是車身遮擋的檢測結(jié)果。另外車輛陰影也會影響車位信息檢測，圖9是縮減+壓縮網(wǎng)絡的車位角點檢測結(jié)果，其中右上角邊界框是有車輛陰影的情況。

5 結(jié)語

本文基于經(jīng)典的YOLOv3網(wǎng)絡模型，針對車位檢測這一特定應用場景，縮減優(yōu)化網(wǎng)絡模型的深層結(jié)構(gòu)，并采用MobileNet技術(shù)對網(wǎng)絡進行改造和加速。新的網(wǎng)絡模型具備存儲資源小、運算速度快、檢測性能好等特性，在實車采集的360環(huán)視圖像上取得良好的檢測效果。通過本文的理論研究和仿真實驗，對于后續(xù)的車載平臺移植開發(fā)具有一定的探索意義。

參考文獻：

[1]張悅旺.基于改進Hough變換的車位線識別方法[J].計算機工程與設計，2017，38（11）： 3046-3050.

[2]王晉疆，王鵬飛. 一種基于環(huán)視系統(tǒng)的車位檢測方法[J]. 分析儀器，2019，1：71-77.

[3]Ross Girshick. Fast R-CNN[C]. IEEE International Conference on Computer Vision （ICCV），Santiago，2015： 1440-1448.

[4]Shaoqing Ren，Kaiming He，Ross Girshick，et al. Faster R-CNN： Towards Real-Time Object Detection with Region Proposal Networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，2017，39（6）：1137-1149.

[5]田坤，李冠，趙衛(wèi)東.基于YOLO和極限學習機的駕駛員安全帶檢測模型研究[J].計算機應用與軟件，2019，36（11）： 196-201.

[6]Liu W，Anguelov D，Erhan D，et al. SSD： single shot multiBox detector[C].European Conference on Computer Vision，2016：21-37.

[7]Redmon J，F(xiàn)arhadi A. YOLOv3：an incremental improvement[J]. arXiv：1804.02767，2018.

[8]Andrew G. Howard，Menglong Zhu，Bo Chen，et al. MobileNets： Efficient Convolutional Neural Networks for Mobile Vision Applications [J]. arXiv： 1704.04861，2017.

[9]Zhengyou Zhang. A Flexible New Technique for Camera Calibration [J]. IEEE Transactions on Pattern Analysis & Machine Intelligence 2000，22（11）：1330-1334.

[10]楊剛，臧春華，李仲年. 基于參考點配準法的全景泊車系統(tǒng)研究[J].傳感器與微系統(tǒng)，2017，36（10）：41-44.

[11]Alex Krizhevsky，Ilya Sutskever，Geoffrey E. Hinton. ImageNet Classification with Deep Convolutional Neural Networks [C]. Proceedings of the Advances in Neural Information Processing Systems. South Lake Tahoe，USA. 2012： 1097-1105.