基于雙目視頻分析的高速公路道口車輛速度估算

陳 靜,王 軍,宓 超,鳳宇飛,張志偉

(1.廣西交通科學(xué)研究院有限公司 智能交通事業(yè)部,南寧 530000; 2.上海海事大學(xué) 集裝箱供應(yīng)鏈教育部 工程研究中心,上海 201306; 3.上海海矚智能科技有限公司 智能交通研發(fā)部,上海 201306)

目前,汽車車速的自動(dòng)檢測(cè)是智能交通領(lǐng)域的一個(gè)重要研究方向.汽車車速作為車輛行駛過(guò)程中的一個(gè)重要行為指標(biāo),為眾多智能交通系統(tǒng)提供了前期檢測(cè)基礎(chǔ)與后期分析依據(jù).但目前市場(chǎng)上針對(duì)車型自動(dòng)識(shí)別等場(chǎng)景的測(cè)速應(yīng)用并沒(méi)有較好的解決方案.原因主要有以下兩個(gè)方面:一是上述測(cè)速場(chǎng)景對(duì)測(cè)速精度要求不高,所以市場(chǎng)上現(xiàn)有的高精度車速檢測(cè)系統(tǒng)對(duì)于這類道口測(cè)速應(yīng)用意義不大;另外一個(gè)原因則是目前市場(chǎng)上的車速檢測(cè)系統(tǒng)成本普遍比較高,超出了上述應(yīng)用系統(tǒng)所能承受的范圍.因此,本文提出了一種基于雙目視覺(jué)的低成本車速檢測(cè)方案,在保證一定檢測(cè)精度的情況下,將整套測(cè)速系統(tǒng)成本控制在千元以內(nèi).

在現(xiàn)有的智能交通系統(tǒng)中,車速測(cè)量的方法主要有線圈測(cè)速、激光測(cè)速、雷達(dá)測(cè)速、視頻測(cè)速等[1].線圈測(cè)速雖然成本較低,但線圈容易受到冰凍、路基下沉等影響,且當(dāng)車流擁堵時(shí),線圈不能有效分車,這大大降低了檢測(cè)精度[2-3].激光測(cè)速在遇到路口多、道路多、車輛多的情況時(shí),其單點(diǎn)測(cè)量的效率就會(huì)無(wú)法滿足要求[4-5].雷達(dá)測(cè)速雖然被廣泛使用,但由于雷達(dá)波是沿直線發(fā)射和反射的,因此,如果雷達(dá)本身放置不當(dāng),會(huì)使被測(cè)車輛的讀數(shù)被其他車輛所替代[6-9].目前基于視頻檢測(cè)的測(cè)速方法,是將攝像機(jī)安裝在通行車道的上方,通過(guò)攝像機(jī)獲取的圖像計(jì)算被測(cè)汽車在每?jī)蓭g的位移來(lái)得到被測(cè)汽車的行駛速度.現(xiàn)在采用的檢測(cè)方法主要有角點(diǎn)檢測(cè)[10]、紋理分析[11]、背景差分法[12]等.但上述檢測(cè)方法都存在一定的問(wèn)題:背景差分法普遍存在不能及時(shí)更新背景物體的變化、計(jì)算量比較大、占用內(nèi)存太大等問(wèn)題,從而導(dǎo)致運(yùn)動(dòng)汽車的誤檢或漏檢;角點(diǎn)檢測(cè)法則在穩(wěn)定性和有效性方面存在一定問(wèn)題[10];紋理分析法則需要輔以虛擬線圈并且當(dāng)光照變化時(shí)誤檢率和漏檢率會(huì)提高[11].因此,上述幾種視頻檢測(cè)方法在一定情形下雖然能取得較好的檢測(cè)效果,但它們都由于較大的計(jì)算量或者穩(wěn)定性等問(wèn)題無(wú)法滿足實(shí)時(shí)測(cè)速的要求;而且由于攝像頭要架設(shè)在車道上方,這給施工等也帶來(lái)了一定的難度.

綜上所述幾種汽車測(cè)速方法存在一定的不足,本文中提出一種基于連續(xù)視頻分析的汽車車速測(cè)量方法.該方法通過(guò)安裝在汽車通行車道旁邊的攝像機(jī),獲取汽車運(yùn)行過(guò)程中的一系列圖像序列,對(duì)這些圖像上某一特征點(diǎn)位置的變化進(jìn)行分析,獲得這一特征點(diǎn)在兩幀圖像之間移動(dòng)的像素差,最后結(jié)合相機(jī)坐標(biāo)與世界坐標(biāo)的轉(zhuǎn)換,實(shí)現(xiàn)對(duì)被測(cè)汽車的車速實(shí)時(shí)精確測(cè)量.

1 車輛速度估算算法

傳統(tǒng)車速檢測(cè)算法大多采用單目視頻利用幀差法[13]、背景減除法[14]、光流法[15]等運(yùn)動(dòng)目標(biāo)跟蹤算法來(lái)實(shí)現(xiàn).幀差法的運(yùn)動(dòng)目標(biāo)檢測(cè)主要基于相鄰幀間差來(lái)實(shí)現(xiàn),面對(duì)本文中的大型客貨車,運(yùn)動(dòng)目標(biāo)畫(huà)幅占比大,且顏色單一,極易出現(xiàn)運(yùn)動(dòng)雙影和空洞;背景減除法和光流法則主要基于背景建模以及對(duì)視頻圖像進(jìn)行光流場(chǎng)的計(jì)算,檢測(cè)前景運(yùn)動(dòng)目標(biāo),這兩種方式的計(jì)算復(fù)雜度極高,抗噪聲性能較差,因此,同樣不適用于本文高速公路道口車輛速度檢測(cè).

本文高速公路道口的車輛速度檢測(cè)具備以下特點(diǎn):① 全天候條件下的單一背景.在攝像機(jī)靜止?fàn)顟B(tài)下,面對(duì)全天候光照變化下的單一背景,同時(shí)具有單一背景和復(fù)雜光照環(huán)境兩種特性.② 復(fù)雜前景運(yùn)動(dòng)目標(biāo).高速公路道口的運(yùn)動(dòng)車輛大小差別較大,尺寸較小的小客和體型較大的大型客貨車同時(shí)存在,甚至大型客貨車已超出圖像成像范圍,此時(shí)運(yùn)動(dòng)區(qū)域?qū)⒏采w整幅畫(huà)面.

本文采用加速穩(wěn)健特征(Speeded Up Robust Features,SURF)點(diǎn)匹配的方式進(jìn)行車速檢測(cè),提出一種基于現(xiàn)場(chǎng)可編程門(mén)陣列(Field-Programmable Gate Anay,FPGA)的雙目特征點(diǎn)時(shí)序空間匹配的車輛測(cè)速算法,算法的主要流程如圖1所示.首先在圖像預(yù)處理后進(jìn)行特征點(diǎn)提取.其次對(duì)兩個(gè)攝像機(jī)圖像進(jìn)行雙目視覺(jué)的時(shí)序空間匹配,主要分為兩部分:① 同步異位特征點(diǎn)匹配的靜態(tài)背景剔除和運(yùn)動(dòng)物體測(cè)距;② 異步同位特征點(diǎn)匹配的運(yùn)動(dòng)距離檢測(cè).最后,利用運(yùn)動(dòng)距離和相鄰圖像的時(shí)間間隔獲取運(yùn)動(dòng)車輛的平均速度大小.

1.1 SIFT/SURF特征提取

同其他特征點(diǎn)描述算子相比,尺度不變特征變換(Scodc-Invariant Reature Transform,SIFT)/SURF特征點(diǎn)描述具備平移、旋轉(zhuǎn)和多尺度的不變性優(yōu)勢(shì),在視頻時(shí)間序列圖像的車輛特征點(diǎn)匹配時(shí)能夠保持很好的魯棒性[16].因此,本文車輛測(cè)速算法主要基于SIFT/SURF特征點(diǎn)來(lái)提取圖像感興趣點(diǎn).

圖1 車輛速度估計(jì)算法流程Fig.1 Estimation algorithm flow of vehicle speed

SIFT特征的主要思想是通過(guò)構(gòu)建圖像多尺度金字塔檢測(cè)尺度空間中的極值點(diǎn)來(lái)實(shí)現(xiàn)的.首先,利用尺度參數(shù)構(gòu)建多尺度圖像金字塔,獲取高斯差分圖像(Difference of Gaussions,DoG);其次,在DoG圖像中進(jìn)行極值點(diǎn)檢測(cè),消除邊緣響應(yīng)和低對(duì)比點(diǎn)后即為真正的關(guān)鍵點(diǎn);最終,將關(guān)鍵點(diǎn)梯度進(jìn)行加權(quán)投影,并對(duì)特征向量進(jìn)行歸一化.SIFT特征的提取算法步驟如下:

步驟1尺度空間構(gòu)建.在原圖基礎(chǔ)上,利用尺度參數(shù)的變化獲得一系列不同參數(shù)的圖像序列,組成圖像尺度空間.該圖像序列是通過(guò)高斯核函數(shù)計(jì)算原圖卷積獲得,即

(1)

式中:σ為高斯核函數(shù)的尺度參數(shù);L(x,y,σ)為σ尺度參數(shù)下的卷積圖像;I(x,y)為原始圖像.

在高斯核函數(shù)計(jì)算卷積過(guò)程中,圖像序列的細(xì)節(jié)特征不斷丟失,σ越大丟失細(xì)節(jié)越多,其表示的圖像尺度也越大.

步驟2極值點(diǎn)檢測(cè).將DoG空間的圖像像素點(diǎn)與其三維領(lǐng)域空間中的所有像素點(diǎn)進(jìn)行對(duì)比,計(jì)算極值點(diǎn).

步驟3關(guān)鍵點(diǎn)定位.在DoG空間中,離散化的極值點(diǎn)并非真正意義上的極值點(diǎn).因此,需要對(duì)極值點(diǎn)進(jìn)行函數(shù)擬合以定位關(guān)鍵點(diǎn),同時(shí)去除低對(duì)比點(diǎn)和邊緣響應(yīng)點(diǎn),擬合公式為

(2)

式中:D為離散極值點(diǎn);D(X)為DoG空間圖像;X=(x,y,σ)T.

極值點(diǎn)偏移量為

(3)

將式(3)代入式(2)中,獲得對(duì)應(yīng)的極值點(diǎn)計(jì)算公式為

(4)

本文將計(jì)算值小于0.03的極值點(diǎn)判斷為低對(duì)比點(diǎn),予以丟棄.此外,在檢測(cè)邊緣時(shí),高斯差分計(jì)算往往會(huì)產(chǎn)生較大的主曲率,有著強(qiáng)烈的邊緣響應(yīng),會(huì)對(duì)關(guān)鍵點(diǎn)產(chǎn)生極大干擾,因此,還需要去除邊緣的不穩(wěn)定點(diǎn).

步驟4主方向分配.去除低對(duì)比和邊緣點(diǎn)后剩余的極值點(diǎn)即為特征描述關(guān)鍵點(diǎn),其梯度大小和方向計(jì)算為

步驟5特征向量生成.

通過(guò)上述步驟后,關(guān)鍵點(diǎn)具備了位置、尺度及方向數(shù)值,SIFT特征則是利用一組向量將這個(gè)關(guān)鍵點(diǎn)描述出來(lái).本文使用尺度空間4×4的窗口范圍內(nèi)的8個(gè)方向梯度信息來(lái)描述特征向量.為了滿足尺度、旋轉(zhuǎn)不變性,特征向量計(jì)算過(guò)程中的領(lǐng)域范圍為圓形半徑覆蓋區(qū)域,且將坐標(biāo)軸旋轉(zhuǎn)與關(guān)鍵點(diǎn)方向一致.統(tǒng)計(jì)上述4×4×8=128個(gè)梯度信息組成該關(guān)鍵點(diǎn)的梯度方向.最后,為了消除光照影響對(duì)特征向量進(jìn)行歸一化處理,生成SIFT特征描述向量.圖2為SIFT特征檢測(cè)結(jié)果.

圖2 道口車輛圖像SIFT特征檢測(cè)結(jié)果Fig.2 SIFT feature detection result ofthe crossing vehicle image

SURF是對(duì)SIFT算法的改進(jìn),在保證性能不受影響的情況下,加快了算法運(yùn)行速度.因此,為了滿足低成本硬件下的計(jì)算性能,降低計(jì)算復(fù)雜度,本文使用SURF特征來(lái)提取車輛圖像特征.

1.2 同位異步特征點(diǎn)匹配

SURF特征點(diǎn)提取后,針對(duì)雙目相機(jī)的圖像序列做特征點(diǎn)匹配檢測(cè),匹配分為兩部分——同位異步特征點(diǎn)匹配、同步異位特征點(diǎn)匹配,分別解決運(yùn)動(dòng)車輛位移檢測(cè)問(wèn)題和運(yùn)動(dòng)車輛運(yùn)動(dòng)測(cè)速問(wèn)題[17].下面將對(duì)第一部分同位異步特征點(diǎn)匹配算法進(jìn)行詳細(xì)描述.

(7)

圖3為同位異步特征點(diǎn)匹配結(jié)果.

圖3 同位異步特征點(diǎn)匹配結(jié)果圖Fig.3 Match result graph of the co-locatedasynchronous feature points

(2) 背景分離.將特征匹配成功的向量組對(duì)應(yīng)到兩幅圖像的特征點(diǎn)P1m,P1n,計(jì)算兩個(gè)特征點(diǎn)在圖像中的像素點(diǎn)距離為

(8)

根據(jù)式(8),DL接近于0的匹配點(diǎn)表示同一相機(jī)兩個(gè)時(shí)間點(diǎn)的像素運(yùn)動(dòng)距離為0,標(biāo)記為背景像素.如圖3中虛線框中的匹配點(diǎn)即為背景像素.

(3) 運(yùn)動(dòng)檢測(cè).根據(jù)式(8)計(jì)算,特征匹配點(diǎn)像素距離遠(yuǎn)大于0的像素區(qū)域即為運(yùn)動(dòng)區(qū)域,將其標(biāo)記為運(yùn)動(dòng)像素.統(tǒng)計(jì)所有運(yùn)動(dòng)像素的運(yùn)動(dòng)距離,中值濾波后即為運(yùn)動(dòng)車輛的移動(dòng)距離像素大小,記為Dc.圖3中實(shí)線框中的匹配點(diǎn)即為運(yùn)動(dòng)像素.

1.3 同步異位特征點(diǎn)匹配

在上一小節(jié)中,同位異步特征點(diǎn)匹配實(shí)現(xiàn)了單位時(shí)間內(nèi)車輛運(yùn)動(dòng)距離像素大小的檢測(cè).為了獲得車輛運(yùn)動(dòng)速度,本文采用同步異位特征點(diǎn)匹配來(lái)實(shí)現(xiàn)運(yùn)動(dòng)距離像素與實(shí)際距離之間的轉(zhuǎn)換.

同步異位特征點(diǎn)匹配,即為同一時(shí)刻不同位置的相機(jī)圖像的特征點(diǎn)匹配.同樣根據(jù)特征點(diǎn)匹配結(jié)果,本算法主要分為坐標(biāo)系轉(zhuǎn)換、同步異位匹配測(cè)距、車輛速度測(cè)量3部分,具體算法流程如下:

(1) 坐標(biāo)系轉(zhuǎn)換.如圖4所示,在本車輛測(cè)速系統(tǒng)中,首先需要將世界坐標(biāo)系(X,Y,Z)中的點(diǎn)與攝像機(jī)圖像坐標(biāo)系(x,y,z)中的點(diǎn)建立轉(zhuǎn)換關(guān)系,由于圖像為二維,故z=0.

令攝像機(jī)焦距為f,則坐標(biāo)系轉(zhuǎn)換式為

(9)

式中:Z為攝像機(jī)平面與拍攝目標(biāo)所在位置的距離.

(2) 同步異位匹配測(cè)距.如圖5所示,本文采用兩個(gè)位置攝像機(jī)同時(shí)拍攝道口區(qū)域,P為兩幅同步異位圖像的特征匹配同名點(diǎn).假設(shè)運(yùn)動(dòng)車輛在實(shí)際坐標(biāo)中的位置P(X,Y,Z),在左右兩個(gè)攝像機(jī)位于同等水平面,且水平距離為D,圖像中的位置分別為P(xleft,yleft),P(xright,yright).根據(jù)式(9),以下等式成立:

(10)

式中:Δx為兩幅同步異位圖像中同名點(diǎn)的像素差.

圖4 攝像機(jī)坐標(biāo)系轉(zhuǎn)換原理Fig.4 Conversion principle of the cameracoordinate system

圖5 同步異位匹配測(cè)距原理Fig.5 Matching ranging principle ofthe synchronous ectopic

圖6所示為同步異位特征點(diǎn)匹配結(jié)果圖.

圖6 同步異位圖像特征點(diǎn)匹配效果圖Fig.6 Matching rendering of the synchronousectopic image feature points

綜上,運(yùn)動(dòng)車輛速度計(jì)算公式為

(11)

式中:s為車輛運(yùn)動(dòng)速度;Δd為同位異步同名點(diǎn)像素差;t為相機(jī)抓拍間隔.

2 測(cè)速試驗(yàn)及結(jié)果分析

為了驗(yàn)證本文測(cè)速系統(tǒng)的測(cè)量精度,做了如下真實(shí)應(yīng)用環(huán)境下的精度測(cè)試實(shí)驗(yàn).

2.1 實(shí)際應(yīng)用環(huán)境精度測(cè)試

實(shí)際應(yīng)用環(huán)境精度測(cè)試設(shè)置在廣西省防城港收費(fèi)站ETC出口車道,如圖7所示.在測(cè)試過(guò)程中,我們無(wú)法預(yù)先知道車輛的真實(shí)行駛速度,因此,對(duì)于真實(shí)車速的測(cè)量我們采用高精度手持測(cè)速儀進(jìn)行檢測(cè),將測(cè)量結(jié)果與本文測(cè)速系統(tǒng)測(cè)量結(jié)果進(jìn)行對(duì)比,實(shí)驗(yàn)結(jié)果如表1所示.

圖7 實(shí)際應(yīng)用環(huán)境車速測(cè)量現(xiàn)場(chǎng)實(shí)驗(yàn)Fig.7 Field experiment of the speed measurement inpractical application environment

實(shí)驗(yàn)結(jié)果可以看出:本文提出的車速檢測(cè)系統(tǒng)有較優(yōu)異的表現(xiàn),測(cè)速誤差能保證在15%以內(nèi).這主要得益于本文測(cè)速算法采用同位異步特征點(diǎn)匹配和同步異位特征點(diǎn)匹配相結(jié)合的算法.若單使用同位異步特征點(diǎn)匹配,則需要對(duì)現(xiàn)場(chǎng)環(huán)境進(jìn)行標(biāo)定,得到單個(gè)像素點(diǎn)所對(duì)應(yīng)的位移,但該位移的大小會(huì)隨著汽車側(cè)面離攝像機(jī)的遠(yuǎn)近而改變,從而造成測(cè)量誤差;若單使用同步異位特征點(diǎn)匹配,則無(wú)法較為準(zhǔn)確地得到當(dāng)前車輛的位移像素點(diǎn),從而造成測(cè)量誤差.而本文車速測(cè)量系統(tǒng)將時(shí)間與空間的相關(guān)性相結(jié)合,使得整個(gè)系統(tǒng)無(wú)需對(duì)環(huán)境進(jìn)行標(biāo)定,直接拍攝車輛即可以較高精度完成測(cè)量,靈活性好.

表1 實(shí)際應(yīng)用環(huán)境車速測(cè)量結(jié)果及誤差分析Tab.1 The results and error analysis of the speedmeasurement in practical applicationenvironment

3 結(jié)論

本文提出了基于連續(xù)視頻分析的高速公路道口車輛速度跟蹤方法,通過(guò)雙目視覺(jué)技術(shù)特征點(diǎn)提取、同位異步特征點(diǎn)匹配和同步異位特征點(diǎn)匹配等算法,獲取汽車在兩幀圖像間行駛的距離和單位像素的位移大小,從而計(jì)算得到被測(cè)車輛當(dāng)前的行駛速度.通過(guò)實(shí)驗(yàn)可以證明:該方法能夠使用較低成本,實(shí)現(xiàn)高速公路智能道口車型識(shí)別、ETC稽查、超限檢測(cè)等應(yīng)用場(chǎng)景下的實(shí)時(shí)車速檢測(cè).