基于MTCNN算法的單目視覺車距檢測方法

丁柏群,李敬宇

(東北林業(yè)大學 交通學院,黑龍江 哈爾濱 150040)

0 引 言

全球每年在交通事故中受傷的人數(shù)超過1 000萬人,在這些事故中,尾撞事故約占所有事故的30%[1]。車輛測距技術對保持安全車距、保障車輛安全具有重要作用。與雷達、激光等主動傳感器相比,視覺檢測系統(tǒng)具有獲取信息豐富、檢測方便、成本低廉等特點,不僅可用于車距檢測,還可以檢測交通標志標線、交通設施和其它障礙物等?；谝曈X的測距方法分為單目視覺和多目視覺測距。多目視覺測距方法[2-4]涉及多個攝像頭參數(shù)與信息的匹配,計算量大,算法復雜,處理圖像的時間較長,測距成本相對較高。與多目系統(tǒng)、雷達和激光傳感器相比,單目視覺測距方法雖然精度稍低,但原理和結構簡單,成本低廉,計算量小,實時性更好。

近年來,國內外許多學者對前方車輛單目測距的方法開展深入研究。楊清峻等[5]、杜琰琪等[6]、陳薇等[7]通過探測、識別、提取車道標線消失點或已知的車道寬度實現(xiàn)單目視覺測距,但其車距測量的精度受車道標線識別的準確度影響,只適用于特定結構化道路;吳駿等[8]、J.HAN等[9]、G.KIM等[10]采用的測距方法以單目攝像頭成像橫向模型為基礎,估計前方車輛的寬度作為已知的物理值,結合行駛場景進行車距測量,但這種方法容易受到前車車型的局限,若出現(xiàn)預估的車輛寬度與實際的車輛寬度相差較大的情況,則會產生較大的誤差;LIU Zewei等[11]、蔣玉亭等[12]、陳勇等[13]通過世界坐標系、攝像機坐標系和圖像坐標系之間的關系,分析前方車輛在圖像平面與道路平面中的對應位置,將已知的車載單目攝像頭距離地面的高度作為準確的物理量,不需要估算前方車輛的寬度,但是,這些研究難以確定車輛距離地面的準確位置信息,容易受到地形的限制;李占旗等[14]、程瑤等[15]、姚春蓮等[16]分別利用機器學習與深度學習中SSD(single shot multibox detector)算法識別車輛號牌,以之作為固定靶標進行車距測量,結果表明,深度學習比機器學習實時性更好,但因這種方法需要足夠的特征映射(feature mapping)來提供精確特征,同時也需要大量的語義信息與背景作區(qū)分,所以對車牌這類小目標的識別效果不夠理想。

筆者提出一種基于多任務級聯(lián)卷積神經網絡(MTCNN)的車牌檢測算法,結合P4P(perspective-4-point)算法計算車距的方法,可以檢測多尺度車輛的車距,并進行了試驗驗證。

1 測距方法總體設計

車輛距離檢測方法總體設計如圖1。

圖1 車距檢測總體流程Fig.1 Overall process of vehicle distance detection

為了使車輛號牌的定位更加精準,筆者借助基于深度學習的MTCNN(multi-task cascaded convolutional neural network)算法進行駕駛場景中前方車輛車牌的檢測,檢測結構采用了兩個級聯(lián)的網絡,包括提案網絡(P-Net)與輸出網絡(O-Net)。通過車牌分類、邊界框回歸以及關鍵點定位3個任務同時訓練神經網絡,完成車牌角點定位,獲取車牌角點坐標。最后,依據P4P算法與幾何關系,計算出前方車輛的距離。

2 車牌定位

2.1 檢測算法架構

深度神經網絡從淺層到高層進行特征學習,可以用于車牌定位。利用Faster R-CNN(faster region-based convolutional neural networks)算法得出的識別結果雖然準確,但耗時較長;SSD、YOLO(you only look once)等方法識別的速度相對較快,但不適合小物體的識別。因此,H.LI等[17]在2015年提出了級聯(lián)神經網絡,它不僅保持了R-CNN較高的識別精度,而且創(chuàng)造性地將幾個性能較低的小網絡級聯(lián),形成性能優(yōu)良的強分類器。傳統(tǒng)方法常通過人工處理每一級分類器使用的特征,級聯(lián)神經網絡則由神經網絡生成,具有很好的擬合能力。

MTCNN算法自提出以來主要用于人臉與面部關鍵點的檢測,是一種改進的級聯(lián)神經網絡方法。該方法主要采用了3個級聯(lián)的網絡,分別為生成候選窗口的提案網絡(P-Net)、對候選窗口進行過濾優(yōu)化的優(yōu)化網絡(R-Net)和生成最終邊界框與面部關鍵點的輸出網絡(O-Net)。

筆者只使用其中的P-Net和O-Net,對于車牌定位,跳過R-Net不會損害識別的準確性,并且提高識別速度。輸入車牌圖像按照不同的縮放比例縮放到不同的大小,形成一個特征金字塔,作為后續(xù)二級級聯(lián)框架的輸入。整個過程分為2個階段,在第1階段,利用P-Net網絡獲取候選車牌和邊界回歸向量,然后采用非極大值抑制(NMS)方法來合并重疊程度較高的候選項;第2階段中,O-Net使用邊界框回歸和NMS對候選車牌進行微調,在去除重疊候選框的同時,對車牌的關鍵點進行定位。

具體的車牌檢測定位網絡架構包括P-Net和O-Net:

1)P-Net(proposal network)網絡架構如圖2。利用3個卷積層得到候選區(qū)域分類結果和邊界回歸向量。P-Net具有規(guī)模小、閾值低的特點,最大限度地提高正樣本召回率。其主要目的是選擇盡可能多的車牌信息,并將較困難的分類任務分配給后續(xù)網絡,使用NMS消除冗余的候選車牌,找到候選車牌的最佳檢測位置。

圖2 P-Net網絡架構Fig.2 P-Net network structure

2)O-Net(output network)網絡架構如圖3。基本結構是一個更復雜的卷積神經網絡。O-Net可以更詳細地描述車牌,并且輸出車牌4個角點位置用于定位。

圖3 O-Net網絡架構Fig.3 O-Net network structure

2.2 訓 練

在車牌定位的訓練過程中,筆者采用了3個任務同時訓練神經網絡:車牌分類、邊界框回歸、車牌關鍵點定位。

2.2.1 車牌分類

車牌分類的學習目標是一個兩類分類問題,既輸入圖像中是否包含車牌信息,用交叉熵損失函數(shù)來判斷該分類問題,如式(1):

(1)

2.2.2 邊界框回歸

對于每個候選框,預測它與正確的數(shù)據標簽之間的偏移量(坐標、寬度和高度)。學習目標是一個回歸問題,對每個樣本xi使用歐式損失,如式(2):

(2)

2.2.3 關鍵點定位

與邊界框回歸相似,車牌關鍵點的檢測也是一個回歸問題,對每個樣本xi使用歐式損失,如式(3):

(3)

2.2.4 多源訓練

因為在每個卷積神經網絡中使用了不同的任務,總目標如式(4):

(4)

在P-Net中,取αdet=1,αbox=0.5,αkeypoint=0.5;而在O-Net中,為了更準確的檢測車牌四角的坐標,取αdet=1,αbox=0.5,αkeypoint=1。

3 前方車距計算

采用單目攝像頭獲取圖像信息時,將現(xiàn)實中3D場景投影到攝像機2D像平面上,可以使用線性攝像機模型將三維空間點與二維空間點聯(lián)系起來,即任意一點P1的投影點P2都是光心Oc與P1點的連線與像平面的交點,如圖4。

圖4 線性攝像機模型Fig.4 Linear camera model

根據線性攝像機模型,車牌的投影原理如圖5。圖5中包含4個坐標系:世界坐標系(Ow-XwYwZw)、相機坐標系(Oc-XcYcZc)、圖像坐標系(O-xy)以及像素坐標系(O′-uv);A、B、C、D分別代表車牌的4個角點,a、b、c、d則為車牌的4個角點在相機成像平面上的投影。

圖5 車牌的投影圖像Fig.5 Projection image of the license plate

基于文獻[18] 所述的P4P算法,對于三角形Ocab和OcAB,由余弦定理可得:

(5)

同理,對于另外3組三角形,可以得到式(6):

(6)

式中:h為車牌高度,即AC;w為車牌寬度,即CD。

世界各國車輛號牌規(guī)格雖有差別,但每個國家在相當長的時期內號牌的幾何尺寸是穩(wěn)定不變的,而且統(tǒng)一為若干類規(guī)格。由于a、b、c、d在圖像上的位置是已知的,余弦角α、β、γ、θ也是已知的,通過聯(lián)立式(5)、式(6),可以求出lOcA、lOcB、lOcC、lOcD。所以,單目攝像頭距前方車牌的距離l的計算式如式(7):

(7)

4 試驗驗證

為驗證文中方法的有效性,在實際駕駛環(huán)境下對文中方法進行測試。試驗車搭載單目攝像頭駛向前方目標車輛,將試驗車與目標車輛的車距依次遞減采集視頻圖像。車距分別為20、15、10、5 m時采集的圖像如圖6。

在我國大陸,車輛號牌的規(guī)格統(tǒng)一為440 mm(寬)×140 mm(高),所以取h=140 mm、w=440 mm。使用文中測距方法分別對每個距離下的目標車輛車牌圖像進行距離計算,并將求取的距離值與真實距離值相比較,車距測量結果及平均絕對誤差如表1。

表1 車距測量結果

車距測量的結果與實際距離的偏差曲線如圖7,車距測量的相對誤差曲線如圖8。

圖7 實際車距與測量結果對比Fig.7 Comparison between actual vehicle distance and measurement results

圖8 測量結果相對誤差Fig.8 Relative error of measurement results

由圖7、圖8可以發(fā)現(xiàn):測距的絕對誤差隨試驗車與目標車的距離增大而增大,這主要是由于在目標車距離逐漸增大的過程中,車牌圖像、邊緣輪廓的清晰度逐漸降低,絕對誤差因而增大;相對誤差的變化則比較平穩(wěn),車距在27 m范圍內的檢測平均相對誤差約為2.77%,其中在3 m以外的平均誤差為2.52%,而在3 m內因車間實際距離很小,測距相對誤差增大,平均誤差達到約4.79%。

為了更清楚地表明文中方法的有效性與準確性,在[0,5]、(5,10]、(10,15]、(15,20]、(20,25]m共5個不同的距離區(qū)間,分別計算、對比文中與文獻[14]～文獻[16] 的測距試驗相對誤差平均值,結果如表2和圖9。

表2 若干測距方法的相對誤差

圖9 相對誤差對比Fig.9 Relative error comparison

對不同測距方法的相對誤差對比分析可以看出,文中方法明顯優(yōu)于對比的其它幾種方法,各距離區(qū)間的相對誤差降低了約25.4%～84.7%,總平均相對誤差降低了約38.6%～71.8%。SSD算法[14]隨著目標車輛距離增大,其相對誤差也有不同程度的增大;而文中方法隨著距離的增大,相對誤差降低近一半且波動不大,表明筆者提出的方法在提高精度的基礎上具有更好的穩(wěn)定性。

5 結 論

1)采用MTCNN算法和P4P算法識別車牌、計算車輛間距,檢測方法僅與車牌圖像識別測算質量有關而與車型大小、道路起伏無關,有效減少了負向影響因素,提高了單目視覺檢測車距的精度。

2)在試驗范圍內,車距檢測的平均誤差為2.77%,其中3～27 m的檢測平均誤差為2.52%,與機器學習和SSD算法相比,平均誤差降低了約38.6%～71.8%,且具有較高的穩(wěn)定性。