基于立體視覺(jué)的汽車(chē)安全車(chē)距預(yù)警系統(tǒng)研究＊

張鳳靜 王紅陽(yáng) 張 軒

（中國(guó)電子科技集團(tuán)公司第28研究所 南京 210007）

1 引言

汽車(chē)安全車(chē)距預(yù)警系統(tǒng)作為智能交通的一個(gè)重要分支是近年來(lái)的研究熱點(diǎn)，它是一種當(dāng)本車(chē)與周?chē)?chē)輛或者障礙物距離較近時(shí)向司機(jī)預(yù)先發(fā)出報(bào)警信號(hào)的裝置。立體視覺(jué)測(cè)距利用間隔固定的兩個(gè)攝像頭對(duì)前方同一景象拍攝，通過(guò)對(duì)兩幅圖像分析處理得到目標(biāo)的三維點(diǎn)坐標(biāo)。

相比于已有的超聲波、激光雷達(dá)、毫米波雷達(dá)、紅外線測(cè)距等，立體視覺(jué)測(cè)距的優(yōu)點(diǎn)是：受環(huán)境影響?。豢梢垣@得汽車(chē)周?chē)膱D像信息，得到精確、豐富的道路信息；作為一種被動(dòng)接受系統(tǒng)，不需向外發(fā)射信號(hào)，避免大量裝備后各個(gè)車(chē)輛之間的相互干擾。

視覺(jué)系統(tǒng)在安全輔助駕駛方面的應(yīng)用，國(guó)外典型的有意大利Parma大學(xué)研制的ARGO試驗(yàn)車(chē)，該車(chē)采用“GOLD視覺(jué)系統(tǒng)”［1］，利用雙CCD攝像機(jī)構(gòu)成雙目視覺(jué)系統(tǒng)實(shí)現(xiàn)前方車(chē)輛的檢測(cè)、識(shí)別和定位［2］。處于應(yīng)用探索階段的有梅塞德斯奔馳研制的智能汽車(chē)安全駕駛輔助系統(tǒng)，豐田汽車(chē)、富士重工等也推出了相應(yīng)的用于展示的產(chǎn)品。

國(guó)內(nèi)的研究起步較晚，目前有清華大學(xué)“移動(dòng)機(jī)器人課題組”研制的智能車(chē)［3］，吉林大學(xué)的Jutiv系列智能車(chē)［4］，此外重慶大學(xué)［5～6］、南理工團(tuán)隊(duì)的研究［7～8］也頗有成效。相關(guān)專(zhuān)利有南理工的基于單目視覺(jué)的汽車(chē)巡航控制方法及其實(shí)現(xiàn)系統(tǒng)，上海世科嘉車(chē)輛技術(shù)研發(fā)的基于單目機(jī)器視覺(jué)的車(chē)輛距離測(cè)量方法，以及深圳先進(jìn)技術(shù)研究院發(fā)明的一種基于機(jī)器視覺(jué)的防撞預(yù)警方法及裝置。

從已掌握的國(guó)內(nèi)外研究現(xiàn)狀來(lái)看，基于雙目立體視覺(jué)的車(chē)距預(yù)警系統(tǒng)在國(guó)內(nèi)的研究較少，國(guó)內(nèi)尚未推出此類(lèi)產(chǎn)品，國(guó)外現(xiàn)有產(chǎn)品尚未大規(guī)模使用。本課題自主研發(fā)視頻輸入設(shè)備，基于DM642平臺(tái)，開(kāi)發(fā)出一整套視覺(jué)測(cè)距系統(tǒng)。

2 本文采用的系統(tǒng)框圖

系統(tǒng)包括雙目視頻輸入模塊，視頻圖像處理模塊和視頻輸出模塊。其中視頻輸入模塊由兩臺(tái)自主研發(fā)的攝像頭構(gòu)成，視頻處理模塊實(shí)現(xiàn)的功能包括對(duì)攝像機(jī)內(nèi)、外參數(shù)的標(biāo)定及車(chē)輛檢測(cè)定位、距離測(cè)量，最后在視頻輸出設(shè)備中輸出結(jié)果。

3 雙目立體視覺(jué)系統(tǒng)

雙目立體視覺(jué)系統(tǒng)的具體實(shí)現(xiàn)是用兩臺(tái)參數(shù)性能完全相同、位置固定的圖像采集設(shè)備，獲取同一景物的兩幅圖像，計(jì)算同一空間點(diǎn)在兩幅圖像中的視差，確定三維空間點(diǎn)的深度信息［9～10］。

3.1 雙目立體視覺(jué)系統(tǒng)的模式

最基本的雙目立體視覺(jué)的幾何關(guān)系如圖2（a）所示，稱為雙目橫向成像模式［11］，它由兩臺(tái)完全相同的攝像機(jī)組成，兩臺(tái)攝像機(jī)的圖像平面位于同一平面，光軸與Z軸重合，坐標(biāo)系統(tǒng)對(duì)應(yīng)的光軸精確地平行。其中B為基線距離，指兩攝像機(jī)光心之間的距離，f為攝像機(jī)的焦距。

圖2（b）所示為雙目橫向匯聚模式的系統(tǒng)，兩攝像機(jī)光軸匯聚，放置在同一水平線上。本系統(tǒng)研究時(shí)最初采用的是圖2（a）所示的系統(tǒng)，但由于實(shí)際操作中兩臺(tái)攝像機(jī)不可能完全相同，兩臺(tái)攝像機(jī)的光軸系統(tǒng)也不可能完全精確地平行，所以在考慮算法時(shí)采用的是圖2（b）所示的系統(tǒng)，圖2（a）的系統(tǒng)就是圖2（b）所示系統(tǒng)兩條光軸平行的情況。

圖2 雙目立體視覺(jué)系統(tǒng)模式

3.2 立體視覺(jué)系統(tǒng)的標(biāo)定

空間物體表面某點(diǎn)的三維幾何位置與其在圖像中對(duì)應(yīng)點(diǎn)間的相互關(guān)系是由攝像機(jī)成像的幾何模型決定的，這些幾何模型對(duì)應(yīng)的參數(shù)稱為攝像機(jī)的參數(shù)，攝像機(jī)標(biāo)定就是為了得到這些參數(shù)進(jìn)行的試驗(yàn)和計(jì)算過(guò)程［12］。

目前的攝像機(jī)標(biāo)定方法有兩類(lèi)：傳統(tǒng)標(biāo)定方法和攝像機(jī)自標(biāo)定法。張正友平面模板標(biāo)定法［13～14］是一種介于傳統(tǒng)的攝像機(jī)標(biāo)定方法與攝像機(jī)自標(biāo)定方法之間的算法，這種標(biāo)定方法用攝像機(jī)對(duì)一個(gè)已知尺寸的棋盤(pán)格式平面模板在兩個(gè)以上不同方位進(jìn)行拍攝，攝像機(jī)和平面模板可以自由移動(dòng)，不需要知道參數(shù)，操作簡(jiǎn)單靈活。

本系統(tǒng)采用的視覺(jué)系統(tǒng)有兩個(gè)攝像機(jī)，標(biāo)定時(shí)采用張正友平面模板標(biāo)定法先對(duì)單個(gè)攝像機(jī)分別進(jìn)行標(biāo)定得到左右攝像機(jī)各自的內(nèi)部參數(shù)和外部參數(shù)，通過(guò)計(jì)算得到兩攝像機(jī)的位置關(guān)系。

設(shè)空間一點(diǎn)P在世界坐標(biāo)系、攝像機(jī)坐標(biāo)系C1、攝像機(jī)坐標(biāo)系C2下的非齊次坐標(biāo)分別為Xw，Xc1，Xc2。C1與世界坐標(biāo)系之間相對(duì)位置的外部參數(shù)為旋轉(zhuǎn)矩陣R1和平移向量t1，C2與世界坐標(biāo)系之間的相對(duì)位置的外部參數(shù)為旋轉(zhuǎn)矩陣R2和平移向量t2。這些參數(shù)有如下關(guān)系［15～16］：

進(jìn)一步可得：

由式（2）可知攝像機(jī)C1和C2的位置關(guān)系用R和t可表示如下：

由式（3）可知，由左右兩個(gè)攝像機(jī)各自的外部參數(shù)R1，t1和R2，t2，可以計(jì)算出兩個(gè)攝像機(jī)之間的相對(duì)幾何位置關(guān)系R和t。

根據(jù)對(duì)左右兩個(gè)攝像頭分別進(jìn)行標(biāo)定得到的結(jié)果，計(jì)算出雙目立體視覺(jué)設(shè)備兩個(gè)攝像頭之間旋轉(zhuǎn)矩陣和平移矢量如下：

旋轉(zhuǎn)矩陣：

平移矢量：

試驗(yàn)結(jié)果如圖3所示。

圖3 標(biāo)定板在雙目標(biāo)定中的外參數(shù)示意圖

圖3所示為標(biāo)定板在雙目立體視覺(jué)系統(tǒng)中不同位置的示意圖。由標(biāo)定結(jié)果可知，旋轉(zhuǎn)矩陣R近似為單位矩陣，平移矢量Y軸和Z軸的平移近似為零，可以認(rèn)為只存在平移不存在旋轉(zhuǎn)，和實(shí)際情況很相符。平移矢量中X軸的平移為1127.2mm，與實(shí)際的基線距離1125.0mm非常接近，可見(jiàn)標(biāo)定的雙目立體攝像機(jī)結(jié)果是正確的。

4 雙目立體視覺(jué)測(cè)距原理

對(duì)圖4所示的兩幅圖片，采用檢測(cè)車(chē)輛底部下邊緣陰影的方法［17］檢測(cè)出車(chē)輛在圖像中的位置坐標(biāo)，取檢測(cè)起始點(diǎn)和終點(diǎn)的中點(diǎn)為計(jì)算目標(biāo)車(chē)輛位置的特征點(diǎn)，圖4（b）為右邊攝像機(jī)所拍圖片的檢測(cè)結(jié)果，其中車(chē)輛位置坐標(biāo)為（317 239）。用同樣的方法檢測(cè)出同一時(shí)刻左邊攝像機(jī)所拍攝圖片中車(chē)輛所在位置的檢測(cè)結(jié)果為（332 224）。

圖4 車(chē)距測(cè)量試驗(yàn)圖

采用公垂線中點(diǎn)法計(jì)算出距離［18］。采用同樣的方法選取100m內(nèi)不同距離進(jìn)行試驗(yàn)，試驗(yàn)方法及數(shù)據(jù)參見(jiàn)文獻(xiàn)［18］。

5 基于DM642的系統(tǒng)硬件實(shí)現(xiàn)

圖5 硬件系統(tǒng)原型圖

本文硬件系統(tǒng)原型圖如圖5所示，圖中設(shè)備包括：雙目視頻輸入設(shè)備（圖中4個(gè)攝像頭中啟用最左邊和最右邊一個(gè)），視頻輸出設(shè)備，基于DM642的開(kāi)發(fā)平臺(tái)，JTAG仿真器，TOSHIBA筆記本。其中雙目立體攝像系統(tǒng)和基于DM642的開(kāi)發(fā)平臺(tái)是自行設(shè)計(jì)和開(kāi)發(fā)的。

雙目視頻輸入設(shè)備的主要芯片為兩片OV7950芯片［19］?；贒M642的產(chǎn)品開(kāi)發(fā)平臺(tái)是整個(gè)系統(tǒng)的核心部分，該開(kāi)發(fā)平臺(tái)為一塊基于DM642的核心板，以DM642芯片［20～22］為核心，由視頻編碼模塊、視頻解碼模塊、存儲(chǔ)模塊、電源模塊、JTAG接口等組成。視頻解碼模塊和雙目視頻采集板連接主要完成實(shí)時(shí)視頻數(shù)據(jù)的采集，視頻編碼模塊和顯示器連接用于顯示試驗(yàn)結(jié)果。

目前系統(tǒng)能夠?qū)崿F(xiàn)雙通道圖像采集、實(shí)時(shí)視頻圖像處理、視頻輸出等功能，應(yīng)用于汽車(chē)安全車(chē)距預(yù)警系統(tǒng)，目前可以實(shí)現(xiàn)單幀圖像的處理和顯示，處理時(shí)間為0.1s。

6 結(jié)語(yǔ)

本文在雙目立體視覺(jué)系統(tǒng)的原理的基礎(chǔ)上，開(kāi)發(fā)出基于DM642的系統(tǒng)硬件平臺(tái)，對(duì)雙目立體視覺(jué)系統(tǒng)進(jìn)行了內(nèi)外參數(shù)的標(biāo)定，在公路上進(jìn)行模擬試驗(yàn)，獲得車(chē)在路面的圖像，對(duì)圖像進(jìn)行處理，獲取車(chē)輛在圖片中的位置，采用公垂線中點(diǎn)法計(jì)算出車(chē)輛距攝像頭的距離，最后顯示輸出結(jié)果。

當(dāng)前雙目立體視覺(jué)系統(tǒng)在安全車(chē)距方面的應(yīng)用還比較少，本文的后續(xù)研究工作還有很多：1）檢測(cè)車(chē)輛時(shí)車(chē)道局限于直的車(chē)道，可以擴(kuò)展到彎車(chē)道，從算法上實(shí)現(xiàn)各種車(chē)道中車(chē)輛的檢測(cè)；2）將攝像機(jī)標(biāo)定算法固化到系統(tǒng)中，系統(tǒng)上電后即可自標(biāo)定，采用可變焦的攝像頭，提高測(cè)量的距離和精準(zhǔn)度；3）優(yōu)化硬件實(shí)現(xiàn)算法，提高速度和精度，減少運(yùn)算量，增強(qiáng)系統(tǒng)的實(shí)時(shí)性和準(zhǔn)確性。

［1］Massimo Be rtozzi，Alberto Broggi.GOLD：A Parallel Real－Time Stereo Vision System for Generic Obstacle and Lane Detection［C］／／IEEE Transactions on Image Processing，1998，7（1）：62－81.

［2］Massimo Bertozzi，Alberto Broggi and Alessandra Fascioli.The ARGO autonomous vehicle’s and control systems［J］.International Journal of Intelligent Control and Systems，1999，13（4）：409－441.

［3］郭磊，徐友春，李克強(qiáng)，等.基于單目視覺(jué)的實(shí)時(shí)測(cè)距方法研究［J］.中國(guó)圖象圖形學(xué)報(bào)，2006，11（1）：74－81.

［4］顧柏園.基于單目視覺(jué)的安全車(chē)距預(yù)警系統(tǒng)［D］.吉林：吉林大學(xué)，2006：1－143.

［5］謝毅，黃席樾.基于機(jī)器視覺(jué)的車(chē)輛對(duì)稱中心檢測(cè)［J］.重慶工學(xué)院學(xué)報(bào)（自然科學(xué)版），2007，21（4）：8－11.

［6］周欣，黃席樾，黎昱.基于單目視覺(jué)的高速公路車(chē)道保持與距離測(cè)量［J］.中國(guó)圖象圖形學(xué)報(bào)，2003，8（5）：590－595.

［7］周俊杰.基于單目視覺(jué)的夜間車(chē)輛和車(chē)距檢測(cè)［D］.南京：南京理工大學(xué)，2007：1－54.

［8］馬偉.基于單個(gè)攝像機(jī)的車(chē)輛檢測(cè)與跟蹤［D］.南京：南京理工大學(xué)，2008：1－80.

［9］馬頌德，張正友.計(jì)算機(jī)視覺(jué)－計(jì)算理論與算法基礎(chǔ)［M］.北京：科學(xué)出版社，2003：72－94.

［10］王潤(rùn)生.圖像理解［M］.長(zhǎng)沙：國(guó)防科技大學(xué)出版社，1998：46－74.

［11］章毓晉.圖像工程（下冊(cè)）圖像理解（第二版）［M］.北京：清華大學(xué)出版社，2007：24－56.

［12］韓九強(qiáng).機(jī)器視覺(jué)技術(shù)及其應(yīng)用［M］.北京：高等教育出版社，2009：12：1－36.

［13］Zhang Z.A Flexible New Technique for Camera Calibration［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，1996，26（10）：44－48.

［14］Janne Heikkila，Olli Silven.A Four－step Camera Calibration Procedure with Implicit Image Correction［J］.Computer Vision and Pattern Recognition，1997：1106－1112.

［15］李洪海.一種簡(jiǎn)便的雙目攝像機(jī)標(biāo)定方法［J］.淮陰工學(xué)院學(xué)報(bào)，2009，18（3）：56－61.

［16］李洪海.基于移動(dòng)機(jī)器人的雙目立體視覺(jué)技術(shù)研究［D］.南京：南京航空航天大學(xué)，2007：17－47.

［17］張鳳靜，夏偉杰.雙目立體視覺(jué)測(cè)距系統(tǒng)目標(biāo)車(chē)輛檢測(cè)算法研究［J］.重慶科技學(xué)院學(xué)報(bào)，2011（1）：161－164.

［18］張鳳靜，周建江，夏偉杰.基于雙目立體視覺(jué)的汽車(chē)安全車(chē)距測(cè)量方法［J］.智能系統(tǒng)學(xué)報(bào)，2011（1）：79－84.

［19］OV7950Datasheet［M］.California，USA：Omnivision inc，2006：1－20.

［20］TMS320DM642Video／Imaging Fixed Point Digital Signal Processor［M］.Texas，USA：Texas Instruments，2004：12－47.

［21］王躍宗，劉京會(huì).TMS320DM642應(yīng)用系統(tǒng)設(shè)計(jì)與開(kāi)發(fā)［M］.北京：人民郵電出版社，2009：23－34.

［22］李建科，黃席樾，杜長(zhǎng)海，等.基于TMS320DM642的嵌入式實(shí)時(shí)圖像處理系統(tǒng)設(shè)計(jì)及應(yīng)用［J］.自動(dòng)化與儀器儀表，2009，142（2）：19－22.