碰撞預(yù)判系統(tǒng)中車輛寬度和位置的測(cè)量方法

羅 逍，姚 遠(yuǎn)，李沛雨，楊 帆，張金換

(1.清華大學(xué),汽車安全與節(jié)能國(guó)家重點(diǎn)實(shí)驗(yàn)室,北京 100084； 2.汽車噪聲振動(dòng)和安全技術(shù)國(guó)家重點(diǎn)實(shí)驗(yàn)室,重慶 401120)

2016029

碰撞預(yù)判系統(tǒng)中車輛寬度和位置的測(cè)量方法

羅 逍1，姚 遠(yuǎn)2，李沛雨1，楊 帆1，張金換1

(1.清華大學(xué),汽車安全與節(jié)能國(guó)家重點(diǎn)實(shí)驗(yàn)室,北京 100084； 2.汽車噪聲振動(dòng)和安全技術(shù)國(guó)家重點(diǎn)實(shí)驗(yàn)室,重慶 401120)

為進(jìn)一步提高碰撞預(yù)判系統(tǒng)的判斷精度，提出了一種基于雷達(dá)和圖像融合的車輛寬度和位置測(cè)量方法。首先，確定雷達(dá)坐標(biāo)系與圖像坐標(biāo)系之間的轉(zhuǎn)換關(guān)系；然后根據(jù)圖像中目標(biāo)的陰影或雷達(dá)探測(cè)目標(biāo)在圖像中的投影生成目標(biāo)假設(shè)區(qū)域；通過(guò)Haar特征車輛級(jí)聯(lián)分類器對(duì)生成的目標(biāo)假設(shè)區(qū)域進(jìn)行驗(yàn)證；最后對(duì)驗(yàn)證過(guò)的目標(biāo)進(jìn)行寬度和位置測(cè)量。試驗(yàn)結(jié)果表明，該方法能較準(zhǔn)確地測(cè)量車輛寬度和位置，為碰撞預(yù)判系統(tǒng)提供重要參數(shù)。

汽車安全；碰撞預(yù)判系統(tǒng)；車輛識(shí)別；寬度和位置測(cè)量

前言

碰撞預(yù)判系統(tǒng)作為高級(jí)駕駛員輔助系統(tǒng)的重要組成部分之一，能夠利用包括毫米波雷達(dá)、激光雷達(dá)和攝像頭等環(huán)境感知傳感器探測(cè)駕駛過(guò)程中本車周圍環(huán)境的變化，并根據(jù)相對(duì)位置和相對(duì)速度等關(guān)系判斷不可避免的碰撞事故，進(jìn)而控制制動(dòng)系統(tǒng)進(jìn)行制動(dòng)，驅(qū)使被動(dòng)安全保護(hù)機(jī)構(gòu)對(duì)乘員執(zhí)行保護(hù)動(dòng)作，從而實(shí)現(xiàn)更好的碰撞保護(hù)。碰撞預(yù)判系統(tǒng)能夠合理地利用汽車主、被動(dòng)安全系統(tǒng)已有的資源，降低乘員在碰撞事故中頭部、頸部等部位的傷害水平[1]。

目前，碰撞預(yù)判系統(tǒng)使用的傳感器包括毫米波雷達(dá)、激光雷達(dá)和攝像頭，但無(wú)論是單獨(dú)使用一種傳感器還是使用多種傳感器融合的方法[2-3]，臨撞時(shí)間(time to collision，TTC)的計(jì)算在碰撞預(yù)判系統(tǒng)中對(duì)于正面碰撞的判斷都至關(guān)重要[4-5]。然而，在實(shí)際情況中部分駕駛員面對(duì)緊急情況更傾向于采取轉(zhuǎn)向避讓動(dòng)作而非單純制動(dòng)，在這種情形下只考慮臨撞時(shí)間的碰撞預(yù)判算法可能會(huì)誤觸發(fā)后端的被動(dòng)安全保護(hù)機(jī)構(gòu)。因此，如果能夠獲得前方車輛的寬度和橫向位置信息，綜合考慮駕駛員駕駛習(xí)慣，將能使碰撞預(yù)判算法對(duì)碰撞的判斷更加準(zhǔn)確。此外，獲得前方車輛寬度和位置信息能更加準(zhǔn)確地判斷碰撞位置，使得被動(dòng)安全保護(hù)機(jī)構(gòu)能夠針對(duì)將要發(fā)生的碰撞事故優(yōu)化控制策略，對(duì)乘員實(shí)現(xiàn)更好的約束。通過(guò)對(duì)相關(guān)文獻(xiàn)的調(diào)研，未見測(cè)量前方車輛寬度的相關(guān)方法。本文中采用毫米波雷達(dá)和圖像信息融合的方法進(jìn)行車輛目標(biāo)識(shí)別，并通過(guò)圖像測(cè)量的方法計(jì)算前方車輛的寬度和位置信息，并與毫米波雷達(dá)測(cè)得的信息對(duì)比。試驗(yàn)表明，該方法能較準(zhǔn)確地測(cè)得前方車輛寬度和位置信息，為碰撞預(yù)判系統(tǒng)提供數(shù)據(jù)。

1 車輛目標(biāo)圖像識(shí)別方法

1.1 目標(biāo)假設(shè)生成

基于圖像的車輛目標(biāo)識(shí)別方法中的兩個(gè)主要步驟是生成目標(biāo)假設(shè)和驗(yàn)證目標(biāo)假設(shè)[6]。在目標(biāo)假設(shè)生成過(guò)程中，算法對(duì)攝像頭獲得的圖像進(jìn)行搜素，尋找車輛具有的典型特征，如對(duì)稱性、車輛底部陰影、車輛邊緣和車輛的特殊紋理等[7]。由于在灰度圖中車輛底部陰影的灰度值相對(duì)于路面的灰度值會(huì)產(chǎn)生突變，因此可以用來(lái)作為生成車輛目標(biāo)假設(shè)的依據(jù)。本文中使用車輛底部陰影特征在圖像中生成車輛目標(biāo)假設(shè)；采用毫米波雷達(dá)作為傳感器搭建了系統(tǒng)，將毫米波雷達(dá)探測(cè)的目標(biāo)投影到圖像中用來(lái)生成目標(biāo)假設(shè)，以彌補(bǔ)光照條件不足時(shí)，車輛底部陰影不明顯而導(dǎo)致無(wú)法生成車輛目標(biāo)假設(shè)的缺點(diǎn)。

本文中選取車輛前方臨近道路上兩小塊區(qū)域的平均灰度值作為基礎(chǔ)閾值Tbasic，根據(jù)實(shí)際圖像處理效果總結(jié)出經(jīng)驗(yàn)公式，計(jì)算原始灰度圖二值化閾值Tgray和水平邊緣圖的二值化閾值Thoriz。

(1)

其中原始灰度圖通過(guò)攝像頭直接采集得到，水平邊緣圖由原始灰度圖經(jīng)過(guò)水平索貝爾算子處理后得到。得到原始灰度圖和水平邊緣圖閾值后，對(duì)兩幅圖像進(jìn)行二值化處理。圖1(a)為原始灰度圖；圖1(b)為對(duì)原始灰度圖的二值化處理結(jié)果，其中不僅包括車輛底部陰影，還包括樹木、建筑物的陰影和其他灰度較深的物體；圖1(c)為水平邊緣圖二值化處理結(jié)果，包括車輛底部陰影在內(nèi)；圖1(d)為圖1(b)和圖1(c)進(jìn)行與運(yùn)算處理結(jié)果，獲得兩幅圖像中的共同部分，去除了部分干擾；圖1(e)是在圖1(d)的基礎(chǔ)上提取的輪廓信息，但仍難以避免一些較大的陰影區(qū)域的干擾；圖1(f)在原始圖像上生成了車輛目標(biāo)假設(shè)區(qū)域，包括前景的車輛和背景的樹蔭，但未能將全部干擾去除。

1.2 目標(biāo)假設(shè)驗(yàn)證

使用特征對(duì)目標(biāo)進(jìn)行分類識(shí)別比通過(guò)像素進(jìn)行計(jì)算速度更快[8]，而且可以通過(guò)對(duì)有限數(shù)量的樣本進(jìn)行訓(xùn)練獲得對(duì)目標(biāo)所擁有知識(shí)的編碼。本文中使用Haar特征[9]對(duì)車頭和車尾外觀特征進(jìn)行表征。圖2描繪了3種基本的Haar特征，其中圖2(a)和圖2(b)雙矩形特征表征水平和豎直的邊緣特征，圖2(c)的三矩形特征表征豎直線的特征，圖2(d)的四矩形特征表征角點(diǎn)特征。

為了驗(yàn)證目標(biāo)假設(shè)，使用AdaBoost算法[10]構(gòu)建了由15個(gè)弱分類器串聯(lián)而成的強(qiáng)分類器。分類器訓(xùn)練過(guò)程中使用的正樣本包括車輛尾部和車輛正面圖像，通過(guò)網(wǎng)絡(luò)下載和實(shí)際道路拍攝獲得，左右鏡像處理后正樣本集合包括1 300多張照片。另外，在負(fù)樣本集合中選取車輛行駛過(guò)程中周圍環(huán)境經(jīng)常出現(xiàn)的目標(biāo)，如路面、房屋和樹木等，共1 500余張照片。進(jìn)行目標(biāo)假設(shè)驗(yàn)證時(shí)，在已生成的目標(biāo)假設(shè)區(qū)域以36×24大小的窗口遍歷整個(gè)目標(biāo)假設(shè)區(qū)域進(jìn)行搜索，然后放大搜索窗口繼續(xù)搜索，直至檢測(cè)完整個(gè)目標(biāo)假設(shè)區(qū)域。分類器將被認(rèn)為是目標(biāo)的物體以矩形框的形式返回，對(duì)這些矩形框進(jìn)行合并處理，并將合并得到的外包矩形框底邊拉至與陰影區(qū)域底邊重合，作為后續(xù)測(cè)量工作的基準(zhǔn)。整個(gè)車輛目標(biāo)圖像識(shí)別方法經(jīng)過(guò)實(shí)際上路測(cè)試，識(shí)別率達(dá)到88.8%，誤識(shí)別率為7%。

2 車輛寬度和位置的測(cè)量

2.1 測(cè)量方法

毫米波雷達(dá)能夠較為準(zhǔn)確地測(cè)量車輛的縱向相對(duì)距離，但是測(cè)量車輛的橫向相對(duì)位移誤差較大，而且不能測(cè)量車輛的寬度。因此，須要通過(guò)圖像對(duì)車輛橫向位置和寬度進(jìn)行測(cè)量。路面水平假設(shè)是進(jìn)行圖像測(cè)距的前提，為了進(jìn)行圖像測(cè)距并且能夠?qū)⒗走_(dá)探測(cè)目標(biāo)投影在圖像中，須要建立圖像坐標(biāo)系、雷達(dá)坐標(biāo)系和車輛坐標(biāo)系三者之間的相互轉(zhuǎn)換關(guān)系[11]，其中雷達(dá)坐標(biāo)系和車輛坐標(biāo)系關(guān)系為

(2)

式中：Lx和Ly分別為雷達(dá)坐標(biāo)系坐標(biāo)xr和yr相對(duì)于車輛坐標(biāo)系坐標(biāo)xv和yv在x和y方向上的偏移距離。圖像坐標(biāo)系與車輛坐標(biāo)系之間的轉(zhuǎn)換關(guān)系為

(3)

式中：H為攝像頭光心相對(duì)地面的高度，θ為攝像頭光軸的俯仰角，Cx和Cy為光心偏移誤差，fx和fy為攝像頭在x和y方向的焦距。利用式(3)可以通過(guò)對(duì)圖像中的車輛目標(biāo)進(jìn)行測(cè)量，獲得在實(shí)際中車輛的位置信息和寬度信息。

2.2 融合算法

毫米波雷達(dá)和攝像頭探測(cè)原理不同，各有優(yōu)缺點(diǎn)，為了使兩種傳感器發(fā)揮各自的長(zhǎng)處，本文中設(shè)計(jì)了一種如圖3所示的融合算法。算法中分別以車輛底部陰影和雷達(dá)探測(cè)目標(biāo)投影點(diǎn)在圖像中生成目標(biāo)假設(shè)，對(duì)于相互遮擋的目標(biāo)假設(shè)區(qū)域保留距自車較近的區(qū)域。然后，利用Haar特征分類器對(duì)目標(biāo)假設(shè)區(qū)域進(jìn)行識(shí)別，被確認(rèn)為車輛目標(biāo)者，采用圖像測(cè)距方法計(jì)算車輛的寬度和位置信息。如果圖像測(cè)量得到的縱向位置信息和雷達(dá)測(cè)得的縱向位置信息出入較大，則利用雷達(dá)測(cè)得的縱向位置信息對(duì)攝像頭的俯仰角度進(jìn)行補(bǔ)償，然后再計(jì)算車輛寬度和橫向位置信息。

3 試驗(yàn)驗(yàn)證

為了檢驗(yàn)該算法的有效性，本文中在包括本車車道和左右相鄰車道在內(nèi)的3條車道上分別進(jìn)行了實(shí)車動(dòng)態(tài)測(cè)試，包括本車道內(nèi)同向行駛情況和相鄰車道內(nèi)同向與反向行駛情況，如圖4(a)所示。試驗(yàn)中車輛縱向距離以雷達(dá)測(cè)量值為準(zhǔn)，同時(shí)為了獲得真實(shí)的車輛橫向距離，試驗(yàn)中試驗(yàn)車輛一律緊貼路面標(biāo)識(shí)線行駛，試驗(yàn)中具體情況如圖4(b)所示。

試驗(yàn)結(jié)果顯示，通過(guò)圖像測(cè)量得到的車輛縱向距離與雷達(dá)探測(cè)得到的縱向距離吻合較好，如圖5(a)所示。橫向距離測(cè)量中，3次試驗(yàn)結(jié)果分別為0，-1.7和3.75m，如圖5(b)中實(shí)線所示，從試驗(yàn)結(jié)果中可以看出，雷達(dá)測(cè)量得到的車輛橫向距離誤差較大且結(jié)果不穩(wěn)定，圖像測(cè)量得到的車輛橫向位置較為準(zhǔn)確，結(jié)果也較穩(wěn)定。測(cè)量誤差與目標(biāo)車輛在圖像中的位置有關(guān)，車輛目標(biāo)在圖像邊緣處由于鏡頭畸變會(huì)導(dǎo)致較大的測(cè)量誤差。目標(biāo)車輛最寬處車寬約為1.77m，但是試驗(yàn)中圖像測(cè)量的是車輛前端和尾端處的寬度，經(jīng)測(cè)量約為1.65m，與試驗(yàn)中測(cè)得車輛平均寬度1.6m相差無(wú)幾。在車輛尾部或車輛正面曲面過(guò)渡的地方分類器不能完全識(shí)別車輛尾部或車輛正面信息；圖像多為斜向采集，得到的并不是車輛正向圖像；車輛目標(biāo)在圖像邊緣處，鏡頭畸變較大等原因是車輛橫向位置和寬度測(cè)量誤差及測(cè)量結(jié)果不穩(wěn)定的主要原因。在進(jìn)行車輛寬度測(cè)量時(shí)，可以通過(guò)對(duì)多次測(cè)量值求平均的方法減小誤差。此外，通過(guò)找目標(biāo)對(duì)稱軸、提高分類器性能等方法也可以提高對(duì)車輛目標(biāo)寬度和橫向位置的測(cè)量精度。

4 結(jié)論

利用毫米波雷達(dá)和攝像頭生成目標(biāo)假設(shè)，通過(guò)Haar特征分類器識(shí)別車輛，根據(jù)小孔成像原理計(jì)算車輛位置和寬度信息，并使用雷達(dá)探測(cè)得到的縱向距離對(duì)圖像測(cè)量信息進(jìn)行修正，得到了較為準(zhǔn)確的車輛寬度和位置信息，為碰撞預(yù)判系統(tǒng)判斷決策提供更豐富、準(zhǔn)確的信息，為優(yōu)化后端被動(dòng)安全執(zhí)行機(jī)構(gòu)提供依據(jù)。

[1] SCHOENEBURG R, BREITLING T. Enhancement of Active & Passive Safety by Future PRE-SAFE Systems[C].2005 ESV Conference, Washington DC, 2005.

[2] PIETZSCH S, VU D T, BURLET J, et al.Results of a Precrash Application Based on Laser Scanner and Short-range Radars[J]. Intelligent Transportation Systems, IEEE Transactions on, 2009, 10(4): 584-593.

[3] ALESSANDRETTI G, BROGGI A, CERRI P.Vehicle and Guard Rail Detection Using Radar and Vision Data Fusion[J]. Intelligent Transportation Systens, IEEE Transactions on, 2007, 8(1): 95-105.

[4] TU P, KIANG J. Estimation on Location, Velocity, and Acceleration with High Precision for Collision Avoidance[J]. Intelligent Transportation Systems, IEEE Transactions on, 2010,11(2): 374-379.

[5] KIM T, JEONG H. Crash Probability and Error Rates for Head-on Collisions Based on Stochastic Analyses[J]. Intelligent Transportation Systems, IEEE Transactions on, 2010,11(4): 896-904.

[6] SUN Z, BEBIS G, MILLER R. On-road Vehicle Detection: a Review[J]. Pattern Analysis and Machine Intelligence, IEEE Transactions on, 2006, 28(5): 694-711.

[7] 顧柏院, 王榮本, 郭烈，等. 基于機(jī)器視覺(jué)的道路上前方多車輛探測(cè)方法研究[J]. 汽車工程, 2006,28(10): 902-905.

[8] VIOLA P, JONES M. Rapid Object Detection Using a Boosted Cascade of Simple Features[C].Computer Vision and Pattern Recognition, Proceedings of the 2001 IEEE Computer Society Conference on, 2001, 1:511-518.

[9] PAPAGEORGIOU C P, OREN M, POGGIO T. A General Framework for Object Detection[C]. Computer Vision, Sixth International Conference on. 1998, 1: 555-562.

[10] FREUND Y, SCHAPIRE R E. Experiments with a New Boosting Algorithm[C]. International Conference on Machine Learning, 1996: 148-156.

[11] 羅逍, 姚遠(yuǎn), 張金換. 一種毫米波雷達(dá)和攝像頭聯(lián)合標(biāo)定方法[J]. 清華大學(xué)學(xué)報(bào)(自然科學(xué)版), 2014,54(3):289-293.

Vehicle Width and Position Measurement Method for Pre-crash System

Luo Xiao1,Yao Yuan2, Li Peiyu1, Yang Fan1& Zhang Jinhuan1

1.TsinghuaUniversity,StateKeyLaboratoryofAutomotiveSafetyandEnergy,Beijing100084; 2.StateKeyLaboratoryofVehicleNVHandSafetyTechnology,Chongqing401120

To enhance the judgment accuracy of pre-crash system, a measurement method of vehicle width and position based on radar and image fusion is proposed. Firstly, the transformation relationship between radar coordinate and image coordinate is determined; Then, the object hypothesis region is generated based on the shadow of vehicle object in the image or the projection of vehicle object in the image detected by radar, and the objective hypothesis region generated is verified by Haar-like feature classifier; Finally, the width and position of vehicle objects verified are measured. Test results show that the method proposed can accurately measure the width and position of vehicle, providing important parameters for Pre-crash system.

vehicle safety; pre-crash system; vehicle identification; width and position measurement

原稿收到日期為2014年9月17日，修改稿收到日期為2014年12月23日。