動(dòng)態(tài)圖像逆透視映射方法在路面圖像拼接中的應(yīng)用*

曹 毓，馮 瑩，魏立安，雷 兵，王彥輝

(國(guó)防科技大學(xué)光電科學(xué)與工程學(xué)院，長(zhǎng)沙 410073)

相機(jī)拍攝到的圖像是世界坐標(biāo)系下的3維景物在2維像平面上的投影，該過程在數(shù)學(xué)上是一個(gè)透視映射過程，其逆過程稱為逆透視映射(Inverse Perspective Mapping，IPM)。IPM技術(shù)廣泛應(yīng)用于車輛自主駕駛、自動(dòng)泊車、機(jī)器人導(dǎo)航及路面信息勘測(cè)等領(lǐng)域［1－15］。但是現(xiàn)有的IPM方法均假定相機(jī)姿態(tài)是恒定的。車輛行進(jìn)中的顛簸難免使得相機(jī)姿態(tài)發(fā)生變化，由此導(dǎo)致現(xiàn)有方法在此情況下獲得的路面俯視圖存在著較大誤差。

本文針對(duì)相機(jī)動(dòng)態(tài)條件下的IPM問題展開研究。介紹了使用姿態(tài)傳感器實(shí)時(shí)測(cè)量相機(jī)姿態(tài)的方法，利用相機(jī)姿態(tài)角數(shù)據(jù)計(jì)算出相機(jī)相對(duì)路面的逆透視映射關(guān)系矩陣，從而獲得了高精度路面俯視圖。室內(nèi)靜態(tài)實(shí)驗(yàn)證明:在相機(jī)任意姿態(tài)下該方法均可獲得較高的IPM精度。隨后的動(dòng)態(tài)實(shí)驗(yàn)驗(yàn)證了相機(jī)的姿態(tài)變化對(duì)圖像IPM結(jié)果的影響，并給出了路面圖像的拼接結(jié)果。本文提出的方法可在存在一定顛簸的路面上獲取高精度的大范圍路面圖像信息，可應(yīng)用于機(jī)場(chǎng)跑道的異物檢測(cè)及公路路面病害快速勘測(cè)等領(lǐng)域。

1 基于相機(jī)姿態(tài)實(shí)時(shí)測(cè)量的IPM算法

由攝像測(cè)量學(xué)基本原理［16］，可以建立世界坐標(biāo)系中一物點(diǎn)Q(Xw，Yw，Zw)坐標(biāo)與其像點(diǎn)q(u，v)像素坐標(biāo)的關(guān)系如下:

式中:u0，v0為圖像的中心點(diǎn)像素坐標(biāo)，ZC為歸一化系數(shù)，dx，dy分別為傳感器水平和垂直方向的像元物理尺寸，f為鏡頭焦距，ax=f/dx，ay=f/dy，0T=(0，0，0)為零矢量。矢量t給出了像機(jī)坐標(biāo)系與世界坐標(biāo)系原點(diǎn)間的相對(duì)位置關(guān)系，矩陣R給出了像機(jī)坐標(biāo)系與世界坐標(biāo)系坐標(biāo)軸間的姿態(tài)關(guān)系，稱為相機(jī)旋轉(zhuǎn)矩陣。MI稱為內(nèi)參數(shù)矩陣。MO稱為像機(jī)外部參數(shù)矩陣。M稱為投影矩陣。

相機(jī)一旦給定其內(nèi)參數(shù)矩陣MI便已確定。不妨將像機(jī)坐標(biāo)系與世界坐標(biāo)系原點(diǎn)重合，則外參數(shù)矩陣MO中只需考慮旋轉(zhuǎn)矩陣R的影響。本文采用的姿態(tài)傳感器坐標(biāo)軸定義如圖1所示，約定歐拉角旋轉(zhuǎn)次序?yàn)閄－Y－Z。

圖1 姿態(tài)傳感器及其坐標(biāo)系約定

令世界坐標(biāo)系為XG，相機(jī)坐標(biāo)系為XS，有XG=RGSXS，則有:

其中:

其中的三個(gè)角φ，θ，ψ分別被定義為相機(jī)的橫滾角、俯仰角和航向角。

傳統(tǒng)的IPM方法均假設(shè)RGS是固定的，這樣做雖可以簡(jiǎn)化算法，但是車輛行駛過程中相機(jī)姿態(tài)難免會(huì)發(fā)生變化，由此導(dǎo)致現(xiàn)有IPM算法此時(shí)出現(xiàn)較大誤差。為此，我們采用了姿態(tài)傳感器監(jiān)控相機(jī)姿態(tài)，實(shí)時(shí)解算出對(duì)應(yīng)時(shí)刻下的RGS矩陣并用于圖像的IPM變換中。

在獲得投影矩陣M后，可按下述步驟實(shí)施圖像的IPM變換:

(1)確定世界坐標(biāo)系下路面的待變換區(qū)域A并指定分辨率，將區(qū)域A按照分辨率劃分成若干正方形網(wǎng)格，如圖2所示。例如選擇路面上1 m×1 m的區(qū)域?qū)嵤㊣PM變換，指定分辨率為1 cm，則該區(qū)域被劃分為100×100的網(wǎng)格，在世界坐標(biāo)系下一個(gè)網(wǎng)格對(duì)應(yīng)的路面面積為1 cm2，而每個(gè)正方形網(wǎng)格對(duì)應(yīng)IPM變換后圖像中一個(gè)像素，IPM變換后圖像分辨率為100像素×100像素。

圖2 路面點(diǎn)與像平面點(diǎn)映射關(guān)系示意圖

(2)對(duì)世界坐標(biāo)系下每一個(gè)正方形網(wǎng)格的中心點(diǎn)坐標(biāo)P(Xw，Yw，－h(huán))，利用式(1)計(jì)算出對(duì)應(yīng)圖像坐標(biāo)系下的圖像坐標(biāo)p(u，v)。

(3)依據(jù)圖像坐標(biāo)值p(u，v)對(duì)IPM變換后的圖像逐像素賦予灰度值。獲取的圖像像素坐標(biāo)p(u，v)可能并非為整數(shù)，甚至可能為負(fù)值。對(duì)于坐標(biāo)計(jì)算結(jié)果超出圖像平面像素范圍的，說明對(duì)應(yīng)的路面網(wǎng)格不在相機(jī)視場(chǎng)內(nèi)，如圖2中的點(diǎn)Q所示，應(yīng)對(duì)IPM變換后的圖像中該網(wǎng)格點(diǎn)對(duì)應(yīng)位置賦予灰度值0，即黑色。對(duì)于圖像坐標(biāo)值計(jì)算結(jié)果為小數(shù)的，可采取臨近插值法或雙線性插值法獲得其灰度值。雙線性插值法精度稍高，但臨近插值法耗時(shí)更少，實(shí)際應(yīng)用中二者可權(quán)衡采用。

在實(shí)施以上三個(gè)步驟后即可得到路面俯視圖。

2 實(shí)驗(yàn)驗(yàn)證

2.1 靜態(tài)實(shí)驗(yàn)驗(yàn)證IPM精度

將相機(jī)和姿態(tài)傳感器固定在同一平臺(tái)并傾斜向下架設(shè)，如圖3所示。

圖3 實(shí)驗(yàn)裝置圖

準(zhǔn)確測(cè)量出相機(jī)的架設(shè)高度、姿態(tài)角等參數(shù)。在地面鋪設(shè)邊長(zhǎng)96 cm的點(diǎn)陣模板，對(duì)相機(jī)拍攝到的包含透視效果的模板圖像，根據(jù)姿態(tài)傳感器測(cè)得的相機(jī)姿態(tài)角，使用本文方法實(shí)施IPM變換;通過測(cè)量IPM變換后圖像中的模板變形量來定量驗(yàn)證本文IPM方法的精度。實(shí)驗(yàn)選用Point Grey公司的Flea2－14S3相機(jī)來獲取圖像，相機(jī)鏡頭視場(chǎng)角為69.4°×52.05°，焦距為4.8 mm。選用Xsens公司的MTI姿態(tài)參考系統(tǒng)來測(cè)量相機(jī)的姿態(tài)角，其靜態(tài)測(cè)角精度為0.3°。由于使用了廣角鏡頭，在實(shí)施IPM變換前，需要對(duì)圖像實(shí)施畸變校正。圖4給出了相機(jī)姿態(tài)角不同的兩組實(shí)驗(yàn)的IPM前后圖像對(duì)比結(jié)果。圖像1和2為相機(jī)拍攝的原始圖像，3和4為對(duì)應(yīng)的IPM結(jié)果。選擇地面上2 m×2 m的逆透視映射范圍，分辨率設(shè)定為4 mm，因此IPM變換后的圖像分辨率為500像素×500像素，模板在圖像中的尺寸應(yīng)為240像素×240像素。

圖4 實(shí)施IPM變換前后的圖像對(duì)比

為定量檢驗(yàn)?zāi)嫱敢曈成浣Y(jié)果的精度，我們利用National Instrument公司的視覺助手(Vision Assistant)軟件，分別測(cè)量了圖像3和4中正方形網(wǎng)格模板ABCD的四個(gè)邊長(zhǎng)和四角的角度值，兩組實(shí)驗(yàn)的詳細(xì)結(jié)果數(shù)據(jù)如表1所示。由旋轉(zhuǎn)矩陣RGS的表達(dá)式發(fā)現(xiàn)，相機(jī)航向角的變化只會(huì)影響IPM變換結(jié)果圖像的整體旋轉(zhuǎn)量。在圖像拼接應(yīng)用中，圖像的旋轉(zhuǎn)是可以很容易校正的，不會(huì)對(duì)最終拼圖結(jié)果造成影響，因此表中并未給出航向角的值。

表1 IPM變換后模板參數(shù)測(cè)量結(jié)果

表1中可見，在兩組實(shí)驗(yàn)得到的映射圖像中，正方形ABCD的四個(gè)邊長(zhǎng)與實(shí)際長(zhǎng)度相比，最大誤差0.8%;模板四個(gè)角的角度最大誤差為0.5°。因此，在相機(jī)不同姿態(tài)的情況下，本文算法的IPM精度均較高。產(chǎn)生誤差的原因主要有三點(diǎn):一是姿態(tài)傳感器本身有測(cè)角誤差;二是對(duì)相機(jī)高度等參數(shù)的測(cè)量有誤差;三是在圖像中人工量取方式獲得的模板尺寸數(shù)據(jù)引入了誤差。

2.2 動(dòng)態(tài)實(shí)驗(yàn)驗(yàn)證圖像拼接效果

為進(jìn)一步驗(yàn)證本文IPM算法在實(shí)際應(yīng)用中的表現(xiàn)，選擇了一塊約20 m×80 m范圍的平坦場(chǎng)地進(jìn)行實(shí)驗(yàn)，為了模擬車輛顛簸的情況，人為的在路面設(shè)置了若干障礙物，如圖5所示。使用星網(wǎng)宇達(dá)公司的姿態(tài)測(cè)量系統(tǒng)(型號(hào):ADU7600)實(shí)時(shí)監(jiān)測(cè)相機(jī)姿態(tài)變化，其動(dòng)態(tài)測(cè)量精度為0.2°，坐標(biāo)系約定與MTI相同。為拍攝到大范圍的路面場(chǎng)景，相機(jī)架設(shè)高度3.6 m。圖6給出了傳感器聯(lián)合架設(shè)示意圖。圖中姿態(tài)測(cè)量系統(tǒng)水平放置，相機(jī)為了拍攝路面，相對(duì)于姿態(tài)測(cè)量系統(tǒng)有固定的35°俯角偏置。圖7為相機(jī)實(shí)驗(yàn)中拍攝的其中一幅路面透視圖像。車輛靜止時(shí)，記錄下由姿態(tài)傳感器讀出的傳感器安裝平臺(tái)傾角為:俯仰0.45°，橫滾－1.31°。車輛行進(jìn)時(shí)，相機(jī)以6幀/s的幀頻采集圖像，同時(shí)姿態(tài)傳感器實(shí)時(shí)同步記錄相機(jī)姿態(tài)數(shù)據(jù)，圖8給出了由姿態(tài)傳感器記錄到的傳感器平臺(tái)實(shí)時(shí)傾角變化曲線。從圖中發(fā)現(xiàn)，由于車輛顛簸的影響，俯仰角和橫滾角均經(jīng)歷了幅度約3°的波動(dòng)。

圖5 實(shí)驗(yàn)場(chǎng)景圖

圖6 傳感器聯(lián)合架設(shè)示意圖

圖7 相機(jī)拍攝的一幅路面圖像

圖8 傳感器平臺(tái)實(shí)時(shí)傾角變化曲線

首先不考慮相機(jī)姿態(tài)變化，使用車輛靜止時(shí)的相機(jī)初始姿態(tài)角對(duì)所有圖像實(shí)施了IPM變換。圖9為圖7經(jīng)未施加姿態(tài)校正的IPM變換后的結(jié)果。隨后，根據(jù)相機(jī)在獲得每幅圖像時(shí)由姿態(tài)傳感器同步獲取的相機(jī)姿態(tài)信息再次對(duì)圖像進(jìn)行了IPM變換。為了準(zhǔn)確獲得相機(jī)拍攝時(shí)刻對(duì)應(yīng)的姿態(tài)信息，需要相機(jī)和姿態(tài)傳感器實(shí)現(xiàn)精確的同步。圖10為圖7經(jīng)施加姿態(tài)校正的IPM變換后的結(jié)果，從地面磚縫的平行度容易判斷，其IPM校正效果明顯好于圖9。

圖9 施加角度校正前的圖像IPM結(jié)果

圖10 施加角度校正后的圖像IPM結(jié)果

圖11給出了由未施加相機(jī)姿態(tài)校正的IPM變換后圖像拼接得到的實(shí)驗(yàn)場(chǎng)地全局圖，圖像拼接使用Microsoft公司開發(fā)的現(xiàn)有成熟商業(yè)軟件Image Composite Editor(ICE)完成。從圖中可見，原本直線度良好的路面磚塊條紋出現(xiàn)了扭曲變形，這是由IPM變換誤差導(dǎo)致的。圖12給出了由施加了相機(jī)姿態(tài)校正的IPM變換后圖像拼接得到的實(shí)驗(yàn)場(chǎng)地全局圖。從圖中可見，原本成直線的路面磚塊條紋信息得到了真實(shí)準(zhǔn)確的還原。

圖11 未考慮相機(jī)姿態(tài)變化的圖像拼接結(jié)果

圖12 考慮了相機(jī)姿態(tài)變化后的圖像拼接結(jié)果

3 結(jié)論

本文分析了一種應(yīng)用于路面圖像拼接的動(dòng)態(tài)圖像IPM方法。實(shí)驗(yàn)結(jié)果表明，在車輛出現(xiàn)顛簸的情況下，實(shí)施相機(jī)姿態(tài)校正后獲得的圖像IPM結(jié)果明顯優(yōu)于未施加姿態(tài)校正的IPM結(jié)果。由本文方法獲得的路面俯視圖拼接出的路面圖像準(zhǔn)確恢復(fù)出了實(shí)際的道路特征。該方法實(shí)施簡(jiǎn)便，環(huán)境適應(yīng)性強(qiáng)，圖像拼接質(zhì)量高且失真小，可用于自主泊車、機(jī)場(chǎng)跑道異物檢測(cè)及公路路面病害勘測(cè)等領(lǐng)域。

［1］鄭榜貴，田炳香，段建民.基于Kalman預(yù)測(cè)及逆投影的車道識(shí)別技術(shù)［J］.計(jì)算機(jī)工程與設(shè)計(jì)，2009，30(6):1548－1554.

［2］袁啟平，宋金澤，吳濤.基于逆透視映射的圖像拼接方法［J］.微計(jì)算機(jī)信息，2010，26(7－3):208－210.

［3］Massimo Bertozzi，Alberto Broggi，GOLD:A Parallel Real-Time Stereo Vision System for Generic Obstacle and Lane Detection［J］.IEEE Transactions on Image Processing，1998，7(1):62－81.

［4］Massimo Bertozzi，Alberto Broggi，Alessandra Fascioli.Stereo Inverse Perspective Mapping:Theory and Applications［J］.Image and Vision Computing，1998，16:585－590.

［5］高德芝，鄭榜貴，段建民.基于逆透視變換的智能車輛定位技術(shù)［J］.計(jì)算機(jī)測(cè)量與控制，2009，17(9):1810－1812.

［6］付夢(mèng)印，李博，王美玲.一種基于逆投影變換的智能車道路識(shí)別方法［J］.光學(xué)技術(shù)，2008，34(3):368－371.

［7］曹毓，馮瑩，楊云濤，等.基于滅點(diǎn)查找的姿態(tài)角測(cè)量方法在路面三維重建中的應(yīng)用［J］.傳感技術(shù)學(xué)報(bào)，2011，24(7):1081－1086.

［8］江澤民，楊毅，付夢(mèng)印.基于平行線的室內(nèi)視覺導(dǎo)航［J］.機(jī)器人，2007，29(2):128－132.

［9］戴斌，裘偉.逆透視投影下車道偏離時(shí)間的在線估計(jì)［J］.計(jì)算機(jī)工程與應(yīng)用，2007，43(16):235－238.

［10］郭磊，徐友春，李克強(qiáng)，等.基于單目視覺的實(shí)時(shí)測(cè)距方法研究［J］.中國(guó)圖像圖形學(xué)報(bào)，2006，11(1):74－81.

［11］郭磊.基于定向二維插值的逆投影變換方法［J］.清華大學(xué)學(xué)報(bào)(自然科學(xué)版)，2006，46(5):712－715.

［12］Sovira Tan，Jason L.Dale，Andrew Anderson，et al.Inverse Perspective Mapping and Optic Flow:A Calibration Method and a Quantitative A-nalysis［J］.Image and Vision Computing，2006，(24):153－165.

［13］SHU Y，Tan A.Vision Based Lane Detection in Autonomous Vehicle［J］.Proceedings of the 5th world Congress on Intelligent Control and Automation.2004，Hangzhou，P.R.China.

［14］鄧劍文，安向京，賀漢根.基于道路結(jié)構(gòu)特征的自主車視覺導(dǎo)航［J］.吉林大學(xué)學(xué)報(bào)，2004，22(4):415－419.

［15］徐友春.基于機(jī)器視覺的汽車主動(dòng)安全技術(shù)的研究［D］.北京:清華大學(xué)，2003.

［16］于起峰，尚洋.攝像測(cè)量學(xué)原理與應(yīng)用研究［M］.科學(xué)出版社，2009，25－34.