面向智能交通的單目視覺測距方法研究

鄒 斌，袁宇翔*

(1.武漢理工大學現(xiàn)代汽車零部件技術(shù)湖北省重點實驗室武漢430070；2.汽車零部件技術(shù)湖北省協(xié)同創(chuàng)新中心，武漢430070)

0 引言

安全車距是指后方車輛為避免與前方車輛發(fā)生意外碰撞與前車保持的必要間隔距離.ADAS(車輛駕駛輔助系統(tǒng))可以依靠視覺傳感器檢測行人及交通標志，但由于相機安裝基線短，雙目視覺對遠距離目標測距精度低，單目視覺在無幾何約束下僅能確定目標方位，無法測量前方車輛距離.

智能交通技術(shù)的不端發(fā)展，推動基于車聯(lián)網(wǎng)[1-2]和智能識別[3-4]的道路標志識別方法，如依托車聯(lián)網(wǎng)技術(shù)可以從網(wǎng)絡中獲得道路標志集合尺度信息，依托智能識別技術(shù)可以識別前方車輛車型與道路標志類型；科研人員同時還提出了依靠道路幾何標志的前方車輛單目視覺測距方法，然而未考慮融合物聯(lián)網(wǎng)、云計算等新方法，只能適用于單臺車輛，以及固定有限的道路標識.

為此，本文首先提出融合物聯(lián)網(wǎng)、智能識別、云計算技術(shù)的車聯(lián)網(wǎng)模型，在基礎(chǔ)上提出以交通標志、車道分界線為合作標志的單目視覺測距方法，最后綜合應用單目視覺測距方法，給出前方車輛自適應視覺測距方案.這種融合物聯(lián)網(wǎng)、智能識別和云計算的前方單目視覺測距，對未來智能交通的輔助駕駛，能提供有效的車輛測距手段.

1 適用于單目視覺測距的車聯(lián)網(wǎng)模型設計

1.1 車聯(lián)網(wǎng)模型及交通要素目標識別原理

如圖1所示[2]，車聯(lián)網(wǎng)模型是實現(xiàn)單目視覺測距的物理基礎(chǔ).計算中心是車聯(lián)網(wǎng)云模型的管理和計算中心，可通過中繼站接收車輛運動信息并傳輸服務響應.中繼站可和多個車輛、計算中心響應、通信.車輛端提供車輛導航、輔助駕駛功能.云計算模型客戶端層為車載智能終端，可通過服務訪問點向上層發(fā)送服務請求并接受服務響應.通信層通過服務訪問點連接客戶端和云端，融合互聯(lián)網(wǎng)、3G/4G、衛(wèi)星等多種通信網(wǎng)絡.云層是車聯(lián)網(wǎng)云模型的計算/控制/數(shù)據(jù)中心，可響應客戶端服務請求，運算能力強.

圖1 適用于單目視覺測距的車聯(lián)網(wǎng)模型Fig.1 Internet of cars for monocular vision measurement

如圖2所示，基于視覺的目標檢測分類、車道線提取已在ADAS系統(tǒng)集成應用，具備向車聯(lián)網(wǎng)模型移植條件.通過快速區(qū)域卷積神經(jīng)網(wǎng)絡可檢測、識別交通目標[3-4]，使用交通目標訓練網(wǎng)絡，獲得樣本候選區(qū)域并將坐標與視覺任務示例圖像輸入網(wǎng)絡，得到深度卷積特征；然后，經(jīng)過池化層將特征規(guī)格化并輸入全連接層，并行回歸計算特征分類及檢測框坐標值；經(jīng)多次迭代訓練得到同視覺任務強相關(guān)的目標檢測模型.在此基礎(chǔ)上，通過全連接層獲取包含每個候選區(qū)域的最終特征向量并輸入到分類器，利用非極大值抑制，判斷出候選區(qū)域的目標類別與位置；最后利用判斷值與實際標注值之間的差別得到損失函數(shù)，通過反向傳播與隨機梯度下降法優(yōu)化網(wǎng)絡參數(shù)得到輸出網(wǎng)絡.實驗證明，目標檢測成功率超過85%，對15種交通標志分類成功率接近90%.為獲取車輛寬度[1]，研究人員使用AdaBoost和聚合通道特征對車輛初步檢測，利用車輛幾何尺寸約束濾除誤檢結(jié)果，在車輛ROI區(qū)域內(nèi)利用車尾部特征對車輛精確定位.實驗證明，檢測車輛誤差均值為1.086 3像素.為提取車道分界線，首先提取地平線及圖像ROI區(qū)域，對道路圖像二值處理并用Canny算子提取邊緣；然后對圖像逆透視變換得到俯視圖像并進行Hough變換，調(diào)整Hough變換閾值參數(shù)及直線角度，篩選出車道線；最后，配準含車道線的圖像，得到車道線輪廓及部分角點.

圖2 應用于自主駕駛的視覺目標檢測分類、車道線提取功能Fig.2 Object detection and lane extraction function used in autonomous driving

1.2 基于車聯(lián)網(wǎng)云模型的單目視覺測距實現(xiàn)方法

圖3給出了基于車聯(lián)網(wǎng)云模型的單目視覺測距實現(xiàn)方法，車輛端采集道路前方圖像后，在計算中心、中繼站分別運行前車目標、交通標志檢測識別分類功能，返回前方車輛及交通標志尺度信息；在車輛端部署車道分界線提取功能，向附近中繼站請求其尺度信息.根據(jù)車載毫米波雷達輸出的前車距離信息，選取輔助合作標志從而確定單目視覺測量策略.車輛端匯集全部幾何尺度信息實現(xiàn)前車測距.當車輛行駛環(huán)境要素變化較小時，通過計算中心、中繼站一次性檢測、車輛端持續(xù)跟蹤目標、實時測距，使計算任務同計算能力相匹配，可確保單目視覺測距功能實時性.

2 應用道路合作標志的單目視覺測距方法

圖3 單目視覺測距實現(xiàn)方法Fig.3 Realization of monocular visual measurement

如圖4所示，車道分界線在不同環(huán)境下其長度、寬度、前后間隔為固定值；車道上方交通標志包括主要標志和輔助標志，主要標志又分為指示標志、指路標志等6種，其中指示及指路標志的高度、寬度有著統(tǒng)一規(guī)定.應用車載單目相機測量前方車輛距離時，可引入車道分界線、指路標志尺寸信息，合理設定坐標系，實現(xiàn)前方車輛測距.

2.1 單目視覺測量數(shù)學建模

根據(jù)相機數(shù)學模型[7-8]，利用幾何尺寸固定的合作標志，獲取前方車輛深度信息.參考典型單目視覺成像模型，建立世界坐標系O-XwYwZw、相機坐標系O-XcYcZc、圖像物理坐標系o-xy、圖像坐標系I-uv，如圖5所示.

若世界坐標系某一坐標點Po(Xw,Yw,Zw)，該點從世界坐標系轉(zhuǎn)換到相機坐標系下坐標為(Xc,Yc,Zc)，再轉(zhuǎn)換到像平面坐標系下坐標為(x,y)，再轉(zhuǎn)換到圖像坐標系下像素坐標為(u,v)，上述轉(zhuǎn)換關(guān)系用齊次坐標系表示為

圖4 用于輔助單目視覺測量的交通標志Fig.4 Traffic signs for monocular visual measurement

圖5 視覺測量坐標系模型Fig.5 Visual measurement coordinate system model

式中：R為3×3正交變換矩陣；T為三維平移向量；OT=(0,0,0)T；f為相機焦距；u0,v0為CCD相機光軸與像平面交點(x0,y0)的坐標；dx,dy為CCD光電耦合元件的尺寸大?。籯x,ky為X,Y軸方向的放大系數(shù)；Min為相機內(nèi)參數(shù)矩陣mij(i=1,2,3;j=1,2,3,4)投影矩陣參數(shù).

2.2 基于水平方向合作標志的單目視覺測距

對于某個在世界坐標系下坐標已知的空間點，通過相機在圖像坐標系成像，成像點(u,v)和空間點(Xw,Yw,Zw)可由式(2)獲得.

設相機主光軸與水平地面近似平行，則可認為道路上所有位置已知點的坐標Zw=0.通過增加上述幾何約束，可以簡化式(3).如果存在n個空間點，且世界坐標系下(Xwi,Ywi,Zwi)坐標已知；同時，通過直線檢測方法提取出各空間點在圖像坐標系下的坐標(ui,vi)，且m34≠ 0，則可獲得

B=[u1v1…unvn]T，由式(3)可知，獲取場景中4組以上空間點在世界坐標系下的坐標，可以求解系數(shù)矩陣m'為

圖6 基于水平方向合作標志的目標測距Fig.6 Visual measurement based on horizontal cooperative sign

如圖6所示，獲得系數(shù)矩陣m'后，通過車輛目標識別分割，推算前方車輛目標外接矩形同道路平面交線L0的兩個端點為Car1,Car2，在圖像中坐標(u1,v1),(u2,v2)，可以得出前方車輛在世界坐標系下的位置Pcar1(Xw1,Yw1,Zw1),Pcar2(Xw2,Yw2,Zw2).前方車輛、本車均在道路平面行駛，即Zwi=0.通過計算中心對前方車輛進行車型識別，獲取車輛類型及車輛世界坐標系下水平方向?qū)挾龋唇痪€L0兩端點Car1,Car2的幾何關(guān)系為

綜合上述幾何約束及投影關(guān)系，計算前方車輛在世界坐標系下的位置，即

由于式(6)為超定方程，通過最小二乘方法，解得未知量X=[Xw1,Yw1,Xw2,Yw2]T，則前方車輛距本車距離為

2.3 基于垂直(光軸)方向合作標志的單目視覺測距

除車道分界線外，道路中矩形交通標志可應用于前方車輛距離測量.若上述矩形在相機空間坐標系和圖像坐標系下面積已知，且矩形目標平面同相機主光軸垂直，可以計算出矩形目標在相機坐標系下的空間位置[7].

圖7 基于垂直方向合作標志的目標測距Fig.7 Vision measurement based on vertical cooperative sign

如圖7所示，假設車載相機鏡頭畸變較小，在車輛前方Zc=Zc0平面上，有一矩形目標，寬高比為α，目標寬為L1，高為L2，面積為S，為設其4個角點在相機坐標系下的坐標為(XC1,YC1,ZC0)，(XC2,YC2,ZC0)，(XC3,YC3,ZC0)，(XC4,YC4,ZC0)；在像平面成像后，目標在圖像坐標系下坐標為(u1,v1)，(u2,v2)，(u3,v3)，(u4,v4)，寬為l1，高為l2，面積為s，且圖像坐標系的成像平面中心點為(u0,v0)，則像素(ui,vi)和空間點(Xci,Yci,Zc0)間的對應關(guān)系為

則可以計算出矩形目標的深度，即前方車輛同本車距離為

式中：kx,ky分別為X,Y軸方向放大系數(shù)，根據(jù)Faugeras提出的線性模型攝像機內(nèi)外參數(shù)標定方法，在相機使用前將相機內(nèi)參數(shù)預先標定，利用6個及以上控制點，代入式(2)，組成超定方程，通過最小二乘方法，求解矩陣M的各個參數(shù)，其中，令m1=[m11m12m13]T，m2=[m21m22m23]T，則kx=‖m1?m3‖，ky=‖m2?m3‖.

3 前方車輛自適應視覺測距方案設計

城市內(nèi)車道分界線常為劃2 m間隔4 m；交通標志常出現(xiàn)在路口附近，如矩形交通指示牌尺寸寬為4 m，高為2 m.如圖8所示，車輛應參考車載毫米波雷達測距信息獲取前車距離范圍，自適應選取相機視野內(nèi)含幾何約束的交通標志，確保單目視覺測距連續(xù)、可用.

圖8 單目視覺測距合作標志應用策略Fig.8 Application of monocular vision measurement

如圖8(a)所示，前車距離2 m＜D≤10 m，相機視野內(nèi)車道分界線不完整，當前車尾部可見時，可用于輔助視覺測距.通過計算中心識別前方車型，返回前方車輛尾部面積信息S，車輛端獲取前車在圖像坐標系下面積為s；選用垂直方向合作目標輔助測距方法，預先標定相機參數(shù)kx,ky，則前方車輛距離為

如圖8(b)所示，前車距離10 m＜D≤20 m，相機視野內(nèi)前車尾部、車道兩側(cè)邊界線可作為合作標志輔助視覺測距.計算中心識別車型返回尾部寬度信息L0，車輛端獲取分界線的圖像坐標(ui,vi),i=1,2,3,…,8，推算車輛尾部平面同道路平面交界線的端點(u10,v10)、(u20,v20)；車輛端通過向中繼站請求該區(qū)域車道分界線、交通標志尺度信息，并合理設置世界坐標系原點，推算合作標志坐標(Xi,Yi,Zi),i=1,2,3,…,8，獲得透視參數(shù)矩陣m'；根據(jù)透視投影關(guān)系，建立融合車輛寬度信息的超定方程，通過最小二乘方法，解得車輛尾部平面同道路平面交線端點坐標X=[Xw1,Yw1,Xw2,Yw2]T，則前方車輛距離為

如圖8(c)所示，前車距離20 m＜D≤30 m，相機視野內(nèi)前車尾部、車道兩側(cè)邊界線可作為合作標志輔助視覺測距.在該距離下，車輛尾部可見，車道分界線距相機較遠的角點不能準確提取，故利用車道線兩側(cè)端點作為幾何約束，則前方車輛距離為

如圖8(d)所示，前車距離D＞30 m，相機視野內(nèi)遠方車道邊界線不清晰，前車尾部、交通標志可作為合作標志輔助視覺測距.通過計算中心進行車型識別，向車輛端返回前方車輛尾部、交通標志面積信息S1、S2，車輛端獲取前車目標的坐標，在圖像坐標系下面積為s1、s2；選用垂直方向合作目標輔助測距，車輛同最近交通標志距離為D1，則前方車輛距離為

4 實驗及分析

4.1 仿真實驗

通過AutoCAD構(gòu)建4個三維模型，對式(10)～式(13)所述4種工況進行驗證.環(huán)境中車道寬為4 m，車道線長2 m、寬0.2 m；矩形交通標志寬4 m，高2 m；模擬車載相機安裝位置為(0 m,0 m,2 m)，焦距30 mm，圖像分辨率為1024×768，內(nèi)參數(shù)kx、ky乘積為；前方貨車高度設為4.5 m，寬度約為3.4 m，每個環(huán)境的場景與相機視圖如圖9所示.根據(jù)前文分析結(jié)果，前方車距變化時，選用視場內(nèi)相應的交通標識空間及圖像坐標作為幾何約束，如表1所示，獲得前方車輛單目視覺測距結(jié)果，如表2和表3所示.

表1 視覺測距應用的幾何約束Table 1 Geometric constraint of monocular vision measurement

圖9 單目視覺測量仿真實驗Fig.9 Experiment of monocular vision measurement

表2 單目視覺測距結(jié)果1(仿真)Table 2 Result of monocular vision measurement

4.2 真實環(huán)境

如圖10所示，使用測距儀(200 m測距誤差1%)測量前方目標距離10.600 m，使用分辨率1 080×1 440的相機采集圖像；車道寬4 m，矩形交通指示牌寬4 m，高2 m，前方車輛寬1.51 m，高1.86 m，視覺測距結(jié)果如表4和表5所示.

表3 單目視覺測距結(jié)果2(仿真)Table 3 Result of monocular vision measurement

圖10 測量環(huán)境、工程偵查測距儀及真實環(huán)境實驗Fig.10 Engineering investigation rangefinder prototype and real environment experiment

表4 單目視覺測距結(jié)果1(真實環(huán)境)Table 4 Result of monocular vision measurement in real envirnment

表5 單目視覺測距結(jié)果2(真實環(huán)境)Table 5 Result of monocular vision measurement in real envirnment

分析上述實驗結(jié)果可得結(jié)論如下：

(1)單目視覺測距精度隨前車距離增加而降低.

(2)選用垂直合作標志的單目視覺測距精度高于選用水平合作標志的單目視覺測距精度，當視野內(nèi)同時出現(xiàn)兩種合作標志，優(yōu)先選用垂直合作標志作為輔助定位標志；

(3)若前方車輛距離在40 m內(nèi)，且圖像中車輛寬度提取誤差小于6 pixel，則視覺測距誤差不超過10%，可作為駕駛輔助系統(tǒng)測距手段之一，實現(xiàn)視覺同雷達“識別—探測”數(shù)據(jù)融合.

5 結(jié)論

本文介紹了一種面向未來智能交通系統(tǒng)的前方車輛單目視覺測量方法，車輛獲得多種道路要素幾何尺度信息后實現(xiàn)前方車輛距離單目視覺測量；與毫米波雷達同時使用，可豐富ADAS系統(tǒng)測距手段.本文提出了單目視覺測距功能在車聯(lián)網(wǎng)模型中部署方案，使用靜態(tài)方法測試了單目視覺測距正確性.未來應重點提升單目視覺測量精度，提升方案同智能交通系統(tǒng)、ADAS適配性、兼容性.