基于深度置信網絡的多源信息前方車輛檢測?

王戰(zhàn)古，高 松，邵金菊，譚德榮，孫 亮，于 杰

(山東理工大學交通與車輛工程學院，淄博 255000)

前言

汽車安全輔助駕駛技術的研究受到各國的普遍關注，通過分析車載傳感器獲取的信息掌握車輛、道路和環(huán)境等駕駛信息，并在危險狀態(tài)下實現(xiàn)為駕駛員提供勸告或預警信號，甚至是對車輛實施控制，可減輕駕駛員的操作強度，提高汽車行駛的安全性，避免駕駛員因素所造成的交通事故。其中前方車輛檢測在汽車安全輔助駕駛領域中占據重要地位[1]。

得益于傳感器成本的降低和其應用技術的逐步成熟，各種類型的傳感器(攝像頭、超聲波雷達、毫米波雷達、激光雷達等)被廣泛應用于汽車安全輔助駕駛領域，并取得了一系列的成果。文獻[2]～文獻[4]中提出了一系列基于機器視覺的前方車輛檢測方法，該類方法通過設計不同檢測特征的車輛分類器，利用機器學習與形態(tài)學算法相結合的方法完成前方車輛的識別。文獻[5]～文獻[7]中提出了一種基于毫米波雷達與圖像融合的車輛檢測方法，該方法較好解決了車輛在夜間低曝光環(huán)境下的車輛檢測與識別問題，同時提高了系統(tǒng)的準確性和穩(wěn)定性。文獻[8]～文獻[9]中基于深度卷積神經網絡模型，采用正負樣本訓練車輛識別分類器，完成前方車輛的檢測，該方法對前方不同形態(tài)的車輛檢測表現(xiàn)出較好的魯棒性。

本文中提出了一種基于DBN(deep belief network)深度置信網絡的多傳感器融合的前方車輛檢測方法，通過攝像頭和毫米波雷達的信息融合完成環(huán)境感知。以毫米波雷達的檢測數(shù)據為基礎，結合深度置信網絡對前方障礙物檢測數(shù)據進行挖掘、分類，充分發(fā)揮了毫米波雷達實時檢測效率高，冗余數(shù)據量小的優(yōu)點。最后根據常見車型寬高比插值表獲得前方車輛識別的圖像驗證窗口。實驗表明以毫米波雷達數(shù)據為基礎，采用DBN深度置信網絡對前方車輛進行檢測分類，大大提高了系統(tǒng)實時處理的效率，同時可以很好地彌補傳統(tǒng)基于機器視覺的檢測方法在低曝光率、夜間、輕雨霧天等惡劣環(huán)境中檢測失效的不足。

1 毫米波雷達與機器視覺融合

采用752×480高清工業(yè)攝像機和77GHz毫米波雷達對前方道路環(huán)境進行感知。毫米波雷達通過可調螺栓固定在試驗車輛前保險杠上方中央位置，高清工業(yè)攝像機固定于車輛的前風窗玻璃上。在實際安裝過程中，為保證毫米波雷達和攝像頭的水平角與俯仰角滿足安裝要求，通常使用激光水平儀對傳感器的安裝位置進行定位，確保兩傳感器對稱軸線所在的平面與車輛縱向對稱面重合，如圖1所示。

將車輛坐標系定義為毫米波雷達坐標系正下方，與大地坐標系重合。通過建立合理的雷達坐標系和相機坐標系，利用雷達掃描點和攝像頭圖像的空間約束關系，即可求解兩坐標系的空間轉化關系，因此雷達掃描點可以通過攝像頭模型投影至圖像像素坐標上。假設車體坐標系中物點 P為(xε，yε，zε)，對應圖像坐標系中像點 Q 為(x，y)，其像素級融合方程為

圖1 傳感器的安裝位置

式中:zc為物點P在攝像機坐標系中Z軸方向的坐標；K為攝像機內部參數(shù)矩陣；Rc和Tc為攝像機外部參數(shù)，分別代表旋轉矩陣和平移向量。上述參數(shù)可以很方便地通過攝像機標定實驗獲得，在這里不做贅述[10]。

毫米波雷達通過接受掃描信號，將三維環(huán)境的感知信息呈現(xiàn)為極坐標系下的二維信息[6]。假設目標與雷達的徑向距離為R，目標中心與雷達中心所成角度為α，雷達坐標系所在的平面與環(huán)境坐標系平行，且兩者之間的距離為H0，則環(huán)境坐標系中的物點 P 的坐標(xε，yε，zε)與毫米波雷達坐標系中物點P的坐標(R，α)的相互轉化關系為

聯(lián)立式(1)與式(2)可得毫米波雷達坐標系與圖像像素坐標系的轉化關系為

2 毫米波雷達的數(shù)據采集與預處理

77GHz毫米波雷達可最多同時檢測64個目標，能夠對各個目標的運動狀態(tài)進行實時檢測。在結構化道路上車輛前方障礙物主要包括前方車輛、道路兩邊的護欄、樹木、標志牌等。車輛運行環(huán)境示意圖如圖2所示。

為充分獲得車輛在各種道路環(huán)境和天氣狀況下

圖2 車輛運行環(huán)境示意圖

前方障礙物的檢測數(shù)據，通過實車道路實驗對實際道路中的障礙物進行信息采集。實驗表明，毫米波雷達可以對前方障礙物的14項指標(速度、距離、角度、反射率等)進行檢測，信息采集界面如圖3所示。

圖3 毫米波雷達障礙物信息采集窗口

上述的信息采集軟件內置有信號濾波器和障礙物運動狀態(tài)算法，能對虛假目標和不成熟目標進行篩選。同時14項檢測指標中有4項參數(shù)(中端更新頻率、遠端更新頻率、成熟度、統(tǒng)計頻率)是用來描述障礙物的跟蹤狀態(tài)，與障礙物的分類特征沒有直接關系。通過剔除虛假目標和不成熟目標，并根據障礙物的分類特征對檢測指標進行篩選后獲得5 200組車輛前方障礙物數(shù)據，然后將5 200組數(shù)據進行障礙物分類打標簽處理，將車輛目標和非車輛目標進行區(qū)分，處理后的部分數(shù)據如表1所示。

表1 預處理后的毫米波雷達部分檢測數(shù)據

表中:運動狀態(tài)0代表靜止，1代表運動；角度正號表示車輛坐標系X軸正方向，負號表示車輛坐標系X軸負方向；障礙物標簽信息1為車輛障礙物，0為非車輛障礙物。由雷達檢測數(shù)據可知，在結構化道路中，車輛目標和非車輛目標在運動狀態(tài)、空間位置分布和反射率等方面存在不同程度的差異。

3 DBN深度置信網絡模型

在獲得帶有障礙物分類標簽的訓練數(shù)據后，選取合適的深度網絡進行建模。DBN作為經典實用的深度學習方法，可以包含較多的隱藏層，通過構建多層非線性映射的深度網絡，能夠更好地學習各種復雜數(shù)據的結構和分布，實現(xiàn)對輸入信號逐層抽象并非監(jiān)督、貪心地提取特征[11]。

從結構組成上看，DBN深度置信神經網絡由受限制玻爾茲曼機(restricted boltzmann machine，RBM)網絡和一層前饋反向傳播(feedforward backpropagation，BP)神經網絡組成。其結構如圖4所示[11－12]。

圖4 深度置信網絡結構

圖中:W為神經元間的連接權重；V和H分別為可見單元與隱含單元。

3.1 深度RBM模型

受限玻爾茲曼機是一個特殊的馬爾可夫隨機場，一個RBM包含一個由隨機的隱含單元構成的隱含層(一般是伯努利分布)和一個由隨機的可見單元構成的可見層。深度RBM就是將多個受限玻爾茲曼機進行層疊，前一層的輸出作為后一層的輸入。

RBM可以表示為成雙向圖，所有可見單元v和隱含單元h之間都存在連接，而隱含單元兩兩之間和可見單元兩兩之間不存在連接，也就是層間全連接，層內無連接，如圖5所示。對任意一組給定的(v，h)，定義E作為一層RBM整體的能量函數(shù)。基于該能量函數(shù)求出可見層與隱含層之間聯(lián)合概率分布，進而根據條件概率可以求出每個可見層和隱含層神經元的激活概率。訓練時RBM采用對比散度算法求得模型偏置項參數(shù)和連接權值，在每一次迭代中都對訓練數(shù)據進行吉布斯采樣，并更新參數(shù)。

圖5 受限玻爾茲曼機結構圖

3.2 BP神經網絡

將一定數(shù)量的RBM堆疊組成一個DBN，然后從下而上逐層進行無監(jiān)督預訓練，在DBN的最后一層采用有監(jiān)督的BP神經網絡對整體網絡的參數(shù)進行調整。通過深度RBM訓練獲得的網絡參數(shù)作為BP網絡的初始化參數(shù)，BP神經網絡根據原始數(shù)據進行有監(jiān)督地訓練，并將訓練輸出的分類標簽和實際分類標簽進行誤差比較，如果輸出層得不到期望輸出，則轉入反向傳播，根據預測誤差調節(jié)和更新網絡參數(shù)，完成對整個深度置信網絡的微調。

4 基于DBN的前方障礙物識別

將5 200組前方障礙物實驗數(shù)據以向量的形式輸入DBN的可見層，其中障礙物的特征檢測向量作為網絡的輸入，對應的分類標簽作為網絡的輸出，對每一層RBM，其能量函數(shù)定義為

式中:v為可見單元；h為隱含層單元；θ為給定的模型參數(shù)；wij為可見層第i個神經元和隱含層第j個神經元之間的連接權值；bi為可見層的偏置項；aj為隱含層的偏置項；I和J分別為可見單元和隱含單元的數(shù)目?；谠撃芰亢瘮?shù)，可見層v向量和隱含層h向量之間的聯(lián)合概率分布為

式中Z(θ)為歸一化項也稱為配分函數(shù)。

那么在給定隱含層hj概率分布的基礎上，可見層每個神經元vi的激活概率通過條件概率可以很方便地求出。

同理在給定可見層vi概率分布的基礎上，隱含層各個神經元hj的激活概率為

其中的激活函數(shù) σ(x)＝ (1＋e－x)－1。

RBM的訓練過程即為參數(shù)θ＝{W，a，b}的求解過程，利用吉布斯采樣器獲得樣本集，計算對數(shù)似然函數(shù)log p(v；θ)關于θ的偏導數(shù)為

式中:EPdata為訓練集中觀測數(shù)據的期望；EPθ為模型所確定的分布上的期望。在以上梯度的基礎上利用對比散度算法多次迭代最終求出參數(shù)θ。

以Matlab深度學習工具箱作為數(shù)據處理和模型搭建工具，根據上述DBN模型對預處理的毫米波雷達數(shù)據進行訓練和測試，隨機選取5 200組訓練數(shù)據中90%的數(shù)據作為訓練樣本，10%的數(shù)據作為測試樣本，訓練結果與測試結果如圖6和圖7所示。

圖6 訓練與測試結果混合矩陣

圖7 測試與訓練ROC曲線

圖6 中混合矩陣的橫坐標代表目標真實類別(即標簽類別)，縱坐標代表網絡預測輸出的類別，當預測結果和標簽類別一致時表示網絡分類正確，如左上方塊和中央方塊所示；否則表示網絡分類錯誤，如上中方塊和左中方塊所示，其他以此類推。從圖6中可以看出，基于DBN深度置信網絡訓練結果的準確率為94.5%，測試結果準確率為93.1%。圖7顯示訓練過程和測試過程的ROC曲線表現(xiàn)出良好的收斂性。上述結果表明基于DBN深度置信網絡對前方車輛的識別具有較高準確率。

5 車輛識別窗口的建立

車輛識別窗口的建立是基于先前的研究工作完成的，并在此基礎上進行了適當?shù)母倪M與創(chuàng)新。根據式(1)毫米波雷達與機器視覺像素級的融合模型，可將毫米波雷達檢測到的車輛前方障礙物投影到圖像窗口，此時車輛前方障礙物包括行駛車輛、樹木、護欄和標志桿等。通過DBN深度置信網絡，將車輛目標和非車輛目標進行分類后，剔除非車輛障礙物的干擾，可完成對前方車輛的識別與檢測，分類結果如圖8所示。

圖8 車輛前方障礙物檢測

從圖8可以看出，分類后的前方車輛識別窗口與車輛實際輪廓還有一定的差距，為了得到更為準確的識別結果，需要對窗口的尺寸大小做進一步地調整。

毫米波雷達信號穿透霧、煙、灰塵的能力強，具有全天候(大雨天除外)、全天時的特點，毫米波雷達通過接受聲波的反射信號能夠對前方障礙物各種參數(shù)進行測量，根據雷達信號給出的車輛識別感興趣區(qū)域，結合圖像檢測處理方法可以提取前方車輛的寬度信息[13－15]。毫米波雷達與機器視覺對各種類型車輛寬度的測量結果如表2所示。

從表2可以看出，毫米波雷達與機器視覺對于車輛寬度測量的平均相對誤差約為10%，這些測量誤差反映在直觀的圖像上時，能夠滿足車輛識別窗口建立的要求。對于一些車輛寬度無法提取的特殊情況，系統(tǒng)會根據常見車輛的平均寬度分配一個預測值(如1.8m)。在獲得前方車輛寬度的基礎上，根據式(2)雷達坐標系和圖像坐標系之間的轉化關系可獲得車輛識別窗口的寬度。

為獲得前方車輛識別窗口的高度，對常見的120種車輛的寬度、高度進行統(tǒng)計，同時結合國標GB1589—2016道路車輛外廓尺寸中關于汽車外形寬高比的推薦要求，獲得了車輛寬高比的插值MAP圖，如圖9所示[16]。

表2 各類車型寬度測量結果

圖9 車輛寬高比插值MAP圖

根據毫米波雷達測量獲得的車輛寬度信息，通過車輛寬高比MAP圖利用數(shù)據查表的方法可以快速獲得車輛的高度信息，然后根據式(1)得到圖像中車輛識別窗口的高度。在獲得車輛識別窗口的高度和寬度后，根據車輛對稱性特征，建立車輛識別窗口，結果如圖10所示。

圖10 車輛識別窗口建立

通過圖10中的對比，不難發(fā)現(xiàn)調整后的車輛識別窗口對前方車輛的檢測效果明顯提高，能夠較好地擬合車輛外部輪廓特征，滿足汽車輔助駕駛技術的要求。

6 實驗結果與分析

為驗證基于DBN深度置信網絡的多傳感器融合前方車輛檢測方法的性能，以Matlab深度學習和GUI工具箱為基礎搭建了前方車輛檢測測試系統(tǒng)，測試系統(tǒng)工作界面如圖11所示。測試系統(tǒng)綜合考慮了毫米波雷達和機器視覺的優(yōu)勢，毫米波雷達工作界面可以對前方車輛的位置、距離、速度進行檢測；圖像窗口能夠直觀地對前方車輛進行標記，并按照距離遠近對車輛進行排序。徑向距離最近，位置越靠近雷達對稱軸線的車輛被標記為車輛識別的主目標。

圖11 前方車輛檢測測試系統(tǒng)

選取典型路段進行道路實車實驗，實驗過程中充分考慮了各種復雜的道路環(huán)境和天氣狀況，部分實驗測試結果如圖12所示。

在較好的識別環(huán)境下選取200幅圖像，每幅圖像包含的車輛數(shù)目不等，共計前方車輛617輛。對車輛的識別情況進行統(tǒng)計分析，統(tǒng)計結果顯示該方法的前方車輛識別的正確率為91.2%，誤檢率為5.3%，漏檢率為3.5%，單幀圖像的總處理時間約為37ms。道路實車實驗表明該方法能較好地完成前方車輛的檢測與識別，具有良好的實時處理特性，同時能夠滿足各種天氣狀況(晴天、夜間、輕雨霧天、霧霾天等)對于檢測穩(wěn)定性的要求。但是對于前方部分遮擋車輛，因為雷達檢測信號和圖像特征的不完整性以及傳感器誤差導致檢測結果欠佳，如圖12(d)所示，只能大體描述車輛的位置，不能很好地建立識別窗口。對大面積遮擋的情況，將無法有效地識別車輛。

圖12 道路實驗測試結果

基于DBN深度置信網絡的多傳感器融合前方車輛檢測方法充分發(fā)揮了毫米波雷達和機器視覺的優(yōu)勢，最大的優(yōu)點在于能夠適應各種復雜的道路環(huán)境和天氣狀況，同時在保證識別準確率的前提下具有更快的處理速度和較小的算法模型，提高了汽車輔助駕駛系統(tǒng)實時處理的能力，降低了系統(tǒng)對于硬件的要求。各種常見的車輛識別方法在其特定的環(huán)境中的性能指標如表3所示。

以深度卷積神經網絡(DCNN)為例，其迭代曲線與本文方法的對比結果如圖13所示。

由圖13可見，在網絡訓練過程中基于圖像的深度卷積神經網絡的識別正確率比本文方法略高，但以毫米波雷達數(shù)據為基礎的DBN深度置信網絡，在網絡訓練的過程中具有更高的迭代速度，更快地趨于分類的穩(wěn)定。實際上毫米波雷達數(shù)據信息相比于圖像信息，冗余數(shù)據量小，分類特征維度低的特點使DBN深度置信網絡模型更加簡練，網絡參數(shù)更加優(yōu)化，有利于提高系統(tǒng)實時處理的速度。同時毫米波信號不受曝光強度和特殊天氣狀況的影響，相比與單一圖像處理能更好地適應車輛復雜的道路環(huán)境。

表3 各種車輛檢測方法對比

圖13 兩種方法迭代曲線

7 結論

以毫米波雷達檢測數(shù)據為基礎，結合DBN深度置信網絡對前方障礙物進行分類識別，最終利用常見車型寬高比的統(tǒng)計規(guī)律建立前方車輛的識別窗口。實驗表明，該方法的車輛識別正確率為91.2%，對各種天氣狀況和道路環(huán)境表現(xiàn)出良好的穩(wěn)定性。單幀融合數(shù)據的平均總處理時間為37ms，在保證識別準確率的前提下能有效提高系統(tǒng)實時處理的速度。同時較小的算法模型也降低了系統(tǒng)對于硬件的要求，滿足汽車輔助駕駛技術對于準確性和穩(wěn)定性的要求。

[1] 郭烈，葛平淑，張明恒，等.汽車安全輔助駕駛技術[M].北京:北京大學出版社，2014:1－2.

[2] 金立生，王巖，劉景華，等.基于Adaboost算法的日間前方車輛檢測[J].吉林大學學報(工學版)，2014(6):1604－1608.

[3] 郭磊，李克強，王建強，等.一種基于特征的車輛檢測方法[J].汽車工程，2006，28(11):1031－1035.

[4] 劉操，鄭宏，黎曦，等.基于多通道融合HOG特征的全天候運動車輛檢測方法[J].武漢大學學報(信息科學版)，2015，40(8):1048－1053.

[5] JINL，F(xiàn)UM Y，WANGM L，et al.Vehicle detection based on vision and millimeter wave radar[J].Journal of Infrared＆Millimeter Waves，2014，33(5):465－471.

[6] 金立生，程蕾，成波.基于毫米波雷達和機器視覺的夜間前方車輛檢測[J].汽車安全與節(jié)能學報，2016，7(2):167－174.

[7] 王寶鋒，齊志權，馬國成，等.一種基于雷達和機器視覺信息融合的車輛識別方法[J].汽車工程，2015，37(6):674－678.

[8] 蔡英鳳，王海，陳龍，等.采用視覺顯著性和深度卷積網絡的魯棒視覺車輛識別算法[J].江蘇大學學報(自然科學版)，2015，36(3):331－336.

[9] CHEN X，XIANGS，LIU CL，et al.Vehicle detection in satellite images by hybrid deep convolutional neural networks[J].IEEE Geoscience and remote sensing letters，2014，11(10):1797－1801.

[10] 鄒博維.基于多傳感器的車輛局部交通環(huán)境感知[D].長春:吉林大學，2013.

[11] 何俊，蔡建峰，房靈芝，等.基于LBP/VAR與DBN模型的人臉表情識別[J].計算機應用研究，2016，33(8):2509－2513.

[12] TANG B， LIU X，LEIJ，et al.DeepChart:Combining deep convolutional networks and deep belief networks in chart classification[J].Signal Processing，2016，124:156－161.

[13] 劉海波，楊杰，吳正平，等.基于暗通道先驗和Retinex理論的快速單幅圖像去霧方法[J].自動化學報，2015，41(7):1264－1273.

[14] HUANG D Y，CHEN C H，CHEN T Y，et al.Vehicle detection and inter-vehicle distance estimation using single-lens video camera on urban/suburb roads[J].Journal of Visual Communication and Image Representation，2017，46:250－259.

[15] 郭君斌，王建強，易世春，等.基于單目視覺的夜間前方車輛檢測方法[J].汽車工程，2014，36(5):573－579.

[16] 王戰(zhàn)古，高松，邵金菊，等.復雜道路環(huán)境中前方車輛檢測方法[J].科學技術與工程，2017，17(33):112－118.