閻 俊, 王 娟
(西安電子工程研究所 生產(chǎn)2室, 陜西 西安 710100)
車道障礙目標參數(shù)測量的分析
閻 俊, 王 娟
(西安電子工程研究所 生產(chǎn)2室, 陜西 西安 710100)
針對車載視頻中的障礙目標,通過單目視覺測距法對目標位置進行測量;利用物像位置公式推倒障礙目標的外形求解方法;基于視頻跟蹤系統(tǒng),采用幀差法得到運動目標的速度參數(shù)、方向參數(shù)、加速度參數(shù)等計算障礙目標的大致運行軌跡。結(jié)果表明,對參數(shù)的實時測量分析能有效避免車道的防偏和防撞問題,為車載視頻系統(tǒng)捕捉多個目標、分析處理多個目標、及時合理規(guī)避目標障礙等提供了一定的理論依據(jù)。
車載視頻;障礙目標;單目視覺;自動駕駛
隨著第三代移動通訊技術(shù)等在汽車上的廣泛應(yīng)用,現(xiàn)代汽車正向著智能化方向發(fā)展。利用安裝于車上的各式各樣的傳感器,在第一時間收集車內(nèi)外的環(huán)境參數(shù)及車周圍的景物參數(shù),通過計算機進行靜態(tài)、動態(tài)目標的辨識、測量、追蹤等技術(shù)上的分析處理,確定有無干擾目標障礙,制定合理行車動作,避免事故發(fā)生及行車動作時的浪費。
對車載視頻行車道上障礙目標位置、外形尺寸、相對運動等參數(shù)的判定有多種測量方法。如激光測距[1-2]、激光雷達測距、連續(xù)波雷達測距、單脈沖雷達測距[3]、雙攝像頭成像測距、超聲波測距儀[4-5]、無源紅外測距儀等。文獻[6~8]利用已安裝的激光雷達對目標測距;文獻[9]通過安裝激光脈沖測距儀來測距,利用理想光學系統(tǒng)的光學測距原理來反推目標的外形尺寸,該方法克服了超聲波測距誤差過大的缺陷,測距精度可達到毫米級別,但作用距離較短且電路復(fù)雜。本文對車載視頻圖像中如何監(jiān)測本車與前方障礙目標之間參數(shù)的測量算法進行研究,立足于單目視覺技術(shù)[10]來實現(xiàn)車道保持和進行障礙物檢測的實時測量;應(yīng)用光學測距原理,利用物像位置公式推倒障礙目標的外形求解方法;基于視頻跟蹤系統(tǒng),采用幀差法[11]得到運動目標的速度參數(shù)、方向參數(shù)、加速度參數(shù)等計算障礙目標的大致運行軌跡。
自動駕駛汽車[12-14]由衛(wèi)星導航系統(tǒng)根據(jù)駕駛員所給定的目的地設(shè)定行駛路線;由主動巡航系統(tǒng)中的探測,設(shè)備對汽車周圍環(huán)境進行實時探測并反應(yīng)至主控計算機進行解算、目標識別,做出環(huán)境模擬,制定詳細的行車動作;行車過程中會遇到各種意外情況,自動駕駛安防系統(tǒng)可對其做出正確處理,如前方突然出現(xiàn)障礙物等;當汽車到達目的地后,停車動作由停車系統(tǒng)進行處理,同時車后輪上的位置評估器對行車動作進行驗證。其工作原理如圖1所示
圖1 自動駕駛原理
主動巡航系統(tǒng)中的關(guān)鍵技術(shù)是車載視頻圖像處理技術(shù)。其中,車載視頻行車道上正向防撞需要檢測本車道前方的障礙目標,如果每一幅視頻圖像均檢測定位目標,那么一定會影響系統(tǒng)的實時性,所以最實際的解決方法就是根據(jù)已分析出的目標信息預(yù)測目標可能出現(xiàn)的位置,并進行跟蹤檢測。首先對視頻畫面上所有目標標記后進行初步分析,并對無影響車輛行駛的目標進行排除,有影響的目標建立車輛行駛方向的車道線和汽車自身安全行駛所需的雙車道線。對于在雙車道線以外的目標,只需對目標進行跟蹤即可,若目標圖框不進入雙車道線內(nèi),則不需要對目標其它參數(shù)進行計算;若目標進入雙車道線,則需根據(jù)進入雙車道線目標距離汽車遠近程度,優(yōu)先進行參數(shù)測量分析計算,得到詳細的參數(shù)后,將參數(shù)信息輸入3D環(huán)境圖中,以便計算機根據(jù)情況設(shè)計行車計劃。
對障礙目標參數(shù)的測量主要包括:目標距離、目標外形尺寸、目標與本車相對行進方向及相對速度、計算目標行進方向與本車行進方向交點位置及時間等。
2.1 單目視覺實時測距法
一般情況下,攝像機所拍攝到的畫面是空間三維場景在二維空間的投影。然而,利用機器視覺對道路狀況進行識別的過程中,就需要一種逆求解的過程,將二維畫面還原成空間三維路面圖像,這一過程就是獲取目標距離信息的算法。目前單目視覺系統(tǒng)一般采用對應(yīng)點標定法來獲取目標的距離信息。即通過不同坐標系中對應(yīng)點的對應(yīng)坐標求解坐標系的轉(zhuǎn)換關(guān)系。然而對于應(yīng)用在自動駕駛汽車上的攝像機來說,由于汽車行駛過程中會有顛簸,致使攝像機的參數(shù)發(fā)生變化,所以適用性受到了限制。
根據(jù)攝像機投影模型,通過幾何推導得到路面坐標系和圖像坐標系之間的關(guān)系?;趲缀侮P(guān)系推導法,提出了利用單目視覺監(jiān)測本車與前方障礙物之間距離的實時測距算法[10]。由于試驗分析表明攝像機的俯仰角對算法的精度有較大影響,因此提出了利用道路邊界平行約束條件來實時計算攝像機的動態(tài)俯仰角度的算法,其可以獲取較為準確的目標距離信息,并已通過靜態(tài)實車試驗和動態(tài)實車試驗驗證了算法的準確性和實時性。根據(jù)小孔成像模型,可以將單目視覺系統(tǒng)簡化為攝像機投影模型,如圖2和圖3所示。
圖2 攝像機投影模型-投影關(guān)系
圖3 攝像機投影模型-投影平面
圖2中平面ABU代表道路平面,ABCD為攝像機拍攝到的道路平面上的梯形區(qū)域,O點為攝像機鏡頭中心點,OG為攝像機光軸,G點為攝像機光軸和道路平面的交點(同時也是視野梯形的對角線交點),I點為O點在道路平面上的垂直投影。在路面坐標系中,將G點定義為坐標系原點,車輛前進方向定義為Y軸方向。G、A、B、C、D各點在圖像平面內(nèi)的對應(yīng)點如圖3所示:a、b、c、d為像平面矩形的4個端點,H和W分別為像平面的高和寬。定義圖像矩形的中點g為像平面坐標系的坐標原點,y軸代表車輛前進方向。取道路平面上一點P,其在道路平面坐標系的坐標為(XP,XP) ,P點在圖像平面內(nèi)的對應(yīng)點為p,其在像平面坐標系的坐標為(xp,yp) ,利用幾何關(guān)系可以推導出如下路面坐標與圖像坐標之間的對應(yīng)關(guān)系
(1)
其中
(2)
(3)
式(2)~式(3)中,H為圖像的高;W為圖像的寬;h為攝像機的安裝高度;2β0為攝像機鏡頭的水平視野角;2α0為攝像機鏡頭的垂直視野角;γ0為攝像機的俯仰角。式(1)的前兩式為像平面到路平面的映射關(guān)系;后兩式為路平面到像平面的逆映射關(guān)系。
假設(shè)本車與前方障礙物的真實距離為dr,根據(jù)單目視覺的測距算法計算得到的本車與前方障礙物的距離為dc。dc=d1+d2,其中d1為攝像機最近視野到本車前端的距離,d2是由圖像上得到的最近視野與障礙物的距離。求解d2的方法如下:(1)通過攝像機得到視野前方圖像;(2)通過障礙物識別算法識別出圖像中的障礙物,并用矩形框?qū)⑵錁擞洺鰜恚?3)求取該矩形框底邊中點的圖像平面坐標u1、v1;(4)求取圖像平面底邊中點的圖像平面坐標u2、v2;(5)將圖像平面坐標u1、v1、u2、v2通過前文提到的幾何關(guān)系推導成道路平面坐標x1、y1、x2、y2;(6)d2= ((y1-y2)2+(x1-x2)2)0.5。
2.2 障礙目標外形的測量
理想光學系統(tǒng)中物與像處于同一介質(zhì),故圖4中物方焦距與像方焦距相等,都用f′表示。
圖4 理想光學測距原理
圖中AB=H,AF=D′,A′B′=h,PF=f′。根據(jù)物象位置公式(即牛頓公式)H/h=D′/f′,距離估算過程中D≈D′, 求得目標的近似距離:D≈(H/h)f′。
基于文中單目視覺實時測距法所測距離,利用物象位置公式計算目標的外形大小為H≈(D/f′)h。 其中,D為目標近似距離;H為目標實際高度;h為目標相高;f′為焦距。
目標的外形圖像利用圖像處理等技術(shù)可以單獨提取出來,并計算出像的外框大小,根據(jù)H≈(D/f′)h可以計算出目標的外形尺寸。
2.3 障礙目標運動參數(shù)的測量
如何對目標的運動參數(shù)進行測量,首先要能做到對運動目標進行跟蹤。視頻跟蹤系統(tǒng)是具有一定智能的圖像跟蹤裝置,它能在比較復(fù)雜的背景下按照標準電視制式,逐場提取與分離視場內(nèi)的運動目標,提取目標亮度與結(jié)構(gòu)特征,測定目標中心相對中心軸的方位與俯仰角誤差,該跟蹤角誤差信息經(jīng)變換后反映到道路模擬畫面上,實現(xiàn)對目標的實時自動跟蹤。視頻跟蹤仿真如圖5所示。
圖5 視頻跟蹤仿真圖
對于動態(tài)場景,由于目標與攝像頭之間存在復(fù)雜的相對運動,運動檢測富有挑戰(zhàn)性。傳統(tǒng)的幀差法[15-16]已經(jīng)不再適用,如何能對全局的運動進行估計和補償,成為問題的關(guān)鍵。要檢測動態(tài)場景中的運動目標,關(guān)鍵在于對場景的運動進行估計,通過估計出的運動參數(shù)補償其運動,最后使用幀差法得到運動目標,如圖6所示。
圖6 幀差法得到運動目標
將目標提取出來,此時就可以計算出目標的位置和形狀參數(shù),投影到模擬道路畫面上,記錄為t1時刻,如圖7所示;經(jīng)過Δt時間后,目標的位置已經(jīng)發(fā)生變化,其形狀也有了輕微的變化,對此時的視頻畫面再次進行分析,并與上一個畫面進行差分對比,就可以得出目標新的位置和形狀的參數(shù)信息,將得到的參數(shù)投影到模擬道路畫面上,記錄為t2時刻,如圖8所示;再經(jīng)過Δt時間后,對視頻畫面再次進行分析,并與上一個畫面進行差分對比,得出目標新的位置和形狀的參數(shù)信息,將得到的參數(shù)投影到模擬道路畫面上,記錄為t3時刻,圖9所示。
圖7 t1時刻目標位置
圖8 t2時刻目標位置
圖9 t3時刻目標位置
以此類推,利用式(4)計算出目標的運動速度參數(shù)、方向參數(shù)
(4)
式(4)中,V表示目標的矢量速度;L1、L2表示目標在t1時刻和t2時刻的時候與坐標原點(即本車位置)的矢量距離。對式(4)求導可得出目標的加速度參數(shù)、運動曲線參數(shù)等。然后利用得出的速度參數(shù)、方向參數(shù)、加速度參數(shù)就可以計算出目標的大致運行軌跡和經(jīng)過時間t后將處于的位置。
得出目標的運動參數(shù)后,此時,目標的運動參數(shù)應(yīng)為目標相對于本車的運動參數(shù),與本車的運動參數(shù)矢量相加,則為目標的絕對運動參數(shù),根據(jù)其絕對運動參數(shù)則可以判斷出目標為靜止目標還是運動目標,為自動駕駛汽車的行駛提供了參考依據(jù)。
本文主要對車載視頻中如何監(jiān)測本車與前方障礙物之間參數(shù)的測量算法進行研究。(1)立足于單目視覺技術(shù)來實現(xiàn)車道保持和進行障礙物檢測的實時測量,證實該算法具有較高的準確性,可滿足測距要求;(2)應(yīng)用光學測距原理,利用物像位置公式推倒障礙目標的外形求解方法;(3)基于視頻跟蹤系統(tǒng),采用幀差法得到運動目標的速度參數(shù)、方向參數(shù)、加速度參數(shù)等計算障礙目標的大致運行軌跡。
車載視頻中目標參數(shù)的測量能夠準確的探測并跟蹤本車前方的障礙物,解決了在自動駕駛汽車過程中本車道的防偏和防撞問題,為車載視頻系統(tǒng)捕捉多個
目標、分析處理多個目標、及時合理規(guī)避目標障礙等提供了一定的理論依據(jù)。
[1] 鄭大青,陳偉民,陳麗,等.一種基于相位測量的快速高精度大范圍的激光測距法[J].光電子·激光,2015,35(2):303-308.
[2] 權(quán)貴秦,郝睿鑫,于洵.一種室內(nèi)標定激光測距準確度方法的研究[J].國外電子測量技術(shù),2013,32(9):42-45.
[3] 聶濤.應(yīng)答式單脈沖雷達測距精度分析[J].中國無線電,2014,10(4):12-15.
[4] 仲園,郁昊.基于超聲波測距原理的倒車防撞預(yù)警器的設(shè)計[J].電子設(shè)計工程,2016(5):158-161.
[5] 苑潔,常太華.基于STM32單片機的高精度超聲波測距系統(tǒng)的設(shè)計[J].電子設(shè)計工程, 2011 (15):76-76.
[6] 姜海嬌,來建成,王春勇,等. 激光雷達的測距特性及其測距精度研究[J].中國激光, 2011, 21(5):15-20.
[7] 姚金良,嚴惠民,張秀達,等.一種應(yīng)用圖像配準疊加提高成像激光雷達測距精度的方法[J].中國激光,2010,37(6):33-37.
[8] 焦宏偉,秦石喬,胡春生,等.一種脈沖激光雷達與攝像機標定方法的研究[J].中國激光,2011,38(1):21-24.
[9] 周睿,孔東.一種高精度相位激光測距方法的實現(xiàn)[J].科學技術(shù)與工程,2009,21(9):6337-6342.
[10] 郭磊,徐友春,李克強,等.基于單目視覺的實時測距方法研究[J].中國圖像圖形學報,2006,11(1):74-77.
[11] 邱道尹,張文靜,顧波,等.幀差法在運動目標實時跟蹤中的應(yīng)用[J].華北水利水電學報,2009,30(3):45-46.
[12] Richard Bishop.Intelligent vehicle technology and trends[M].MD,USA:Artech House Publishers,2005.
[13] 陳大明,勐海華,湯天波.全球自動駕駛發(fā)展現(xiàn)狀與趨勢[J].華東科技,2014(10):68-70.
[14] 馬春江.自動駕駛技術(shù)的討論與展望[J].信息與電腦:理論版,2014(12):53-54.
[15] 張曉慧.視頻監(jiān)控運動目標檢測算法的研究與實現(xiàn)[D]. 西安:西安電子科技大學,2012.
[16] 呂國亮,趙曙光,趙俊.基于三幀差分和連通性檢驗的圖像運動目標檢測新方法[J].液晶與顯示,2007,22(1):87-93.
Measurement of Parameters for Barriers to the Target In Lane
YAN Jun, WANG Juan
(Production Room 2, Xi’an Electronic Engineering Research Institute, Xi’an 710100, China)
Barriers to target of vehicle-mounted video, such as the target location, is measured by the monocular vision algorithm. The shape solving method is obtained by the image formula. The target trajectory of speed, direction and acceleration are obtained by the frame difference method in the video tracking system. Results show that parameter measurement avoids the car collision effectively. It provides a theoretical basis for the vehicle-mounted video system to capture multiple targets, analyze and deal with multiple targets, and timely avoid obstacles.
vehicle-mounted video; barrier to target; monocular vision; auto-pilot
2016- 04- 06
閆俊(1985-),女,碩士,助理工程師。研究方向:雷達技術(shù)。
10.16180/j.cnki.issn1007-7820.2017.02.024
TN949.293; TP391.1
A
1007-7820(2017)02-090-04