一種基于折反射相機(jī)的客車全景環(huán)視系統(tǒng)

遲瑞娟，趙木禎，，王建強(qiáng)，張德兆，3

(1.中國農(nóng)業(yè)大學(xué) 車輛人機(jī)工程與智能控制研究室，北京100083;2.清華大學(xué)，汽車節(jié)能與安全國家重點(diǎn)實(shí)驗(yàn)室，北京100084;3.中國汽車工程研究院汽車噪聲振動和安全技術(shù)國家重點(diǎn)實(shí)驗(yàn)室，重慶400039)

隨著車載相機(jī)模組技術(shù)的發(fā)展與成本的降低，車輛監(jiān)控從傳統(tǒng)的倒車后視監(jiān)控逐漸發(fā)展成為車輛全景環(huán)視[1].利用多個相機(jī)監(jiān)控車輛周圍環(huán)境并以圖像拼接技術(shù)進(jìn)行視覺增強(qiáng)性的輔助系統(tǒng)，已成為目前轎車等乘用車影像的主流.大客車體積大、左右后視鏡的視野較小，在車輛后方、右后側(cè)方以及左右前輪處均存在盲區(qū)，而且觀看左右后視鏡進(jìn)行判斷時駕駛員動作幅度大，容易造成駕駛疲勞，使客車行車危險系數(shù)增加[2-3].全景環(huán)視系統(tǒng)能全方位和準(zhǔn)確地對車輛周圍的環(huán)境信息進(jìn)行監(jiān)控，有效地提升行車安全[1，3，4].目前車輛全景環(huán)視等盲點(diǎn)監(jiān)控系統(tǒng)在轎車上的實(shí)現(xiàn)已經(jīng)較多[1，4]，而在大客車上實(shí)現(xiàn)的例子鮮見，且方案不成熟.在系統(tǒng)標(biāo)定方案上，已有全景環(huán)視系統(tǒng)的標(biāo)定需要在車周圍很大范圍內(nèi)布滿均勻棋盤[5-6]，或者采集相機(jī)的多張棋盤圖片間接參與標(biāo)定計算[5，7]，對標(biāo)定設(shè)備和標(biāo)定場地要求較高.在系統(tǒng)所用魚眼相機(jī)模型建模上，大多利用徑向畸變和切向畸變相機(jī)模型進(jìn)行建模[3]，其他模型還有高階徑向模型[3]、球面坐標(biāo)模型[3]以及橢圓坐標(biāo)模型[5]等.在標(biāo)定算法上，主要以Tsai的兩級標(biāo)定法和Zhang的快速標(biāo)定方法最為常用[8-9].Zhang法的精度高于兩級標(biāo)定法，且不需要高精度的定位儀器[3]，實(shí)用性較高.由于乘用車體積較小，利用上述方法在乘用車上較易于實(shí)現(xiàn)全景環(huán)視系統(tǒng)[5];但對于大客車，一般車廠難以提供這么大面積的標(biāo)定工位和標(biāo)定設(shè)備.

客車全景環(huán)視系統(tǒng)，從相機(jī)模型出發(fā)，根據(jù)相機(jī)外參數(shù)加入特殊平面與地面的映射關(guān)系，在客車上采用升高標(biāo)定棋盤的方式進(jìn)行系統(tǒng)實(shí)現(xiàn)和系統(tǒng)標(biāo)定，有效避免了直接將乘用車的方案應(yīng)用到客車帶來的標(biāo)定場地和標(biāo)定設(shè)備復(fù)雜、標(biāo)定時間長等問題.

1 客車全景環(huán)視系統(tǒng)

1.1 系統(tǒng)組成

客車全景環(huán)視系統(tǒng)由安裝在客車周圍能覆蓋車輛周邊視場的4個魚眼相機(jī)、圖像處理控制器ECU、中控臺顯示屏及相應(yīng)線束組成.

ECU控制器內(nèi)集成有4路魚眼圖像的標(biāo)定、畸變校正、投影變換以及圖像拼接算法，由DSP實(shí)現(xiàn).系統(tǒng)組成框圖如圖1所示，系統(tǒng)部件的實(shí)車布置方案如圖2所示.

圖1 全景環(huán)視系統(tǒng)的系統(tǒng)組成Fig.1 Components of the top-view system

圖2 客車全景環(huán)視系統(tǒng)部件安裝位置示意Fig.2 Installation position of the top-view system

1.2 系統(tǒng)工作原理介紹

如圖3所示，經(jīng)過魚眼相機(jī)拍攝的四幅圖像視野較大，但是存在較大變形失真，經(jīng)過DSP處理后，將各部分的圖像進(jìn)行畸變矯正和俯視變換，配合車輛尺寸等參數(shù)進(jìn)行標(biāo)定計算拼接得到客車正上方視角的鳥瞰視圖送顯給駕駛員.

圖3 全景環(huán)視系統(tǒng)工作原理示意Fig.3 Working diagram of the top-view system

2 相機(jī)模型及標(biāo)定計算方法

2.1 折反射魚眼相機(jī)模型及標(biāo)定方法

折反射魚眼相機(jī)模型[11-12]如圖4所示.

利用該模型計算的標(biāo)定方法中，需要放置標(biāo)定模板，采圖像后提取圖像角點(diǎn)坐標(biāo)參與標(biāo)定計算.該模型中從世界坐標(biāo)到成像面坐標(biāo)的投影關(guān)系為一個包含相機(jī)畸變參數(shù)的非線性投影函數(shù)，其用泰勒級數(shù)展開多項式表示為[11]:

圖4 折反射魚眼相機(jī)模型及坐標(biāo)系Fig.4 Catadioptric fisheye camera model and coordinate system

用Rt=[r1r2r3t]表示世界坐標(biāo)到相機(jī)坐標(biāo)的旋轉(zhuǎn)平移矩陣，也即相機(jī)相對棋盤的安裝位置外參數(shù)矩陣，則有世界坐標(biāo)系內(nèi)一物點(diǎn)P(x，y，z)到其成像點(diǎn)的投影關(guān)系[11]:

不失一般性，成像點(diǎn)的坐標(biāo)與圖像上的像素坐標(biāo)存在如下的仿射變換關(guān)系[10-11]:

由此就通過一系列參數(shù)確定了圖像坐標(biāo)與世界坐標(biāo)的對應(yīng)關(guān)系.求取這些參數(shù)時，利用通過上面的投影關(guān)系和從圖像中識別到模板的角點(diǎn)坐標(biāo)數(shù)據(jù)，首先在感光面中心與圖像中心一致的假設(shè)條件下，計算得到相機(jī)的外參數(shù)和對應(yīng)內(nèi)參數(shù)的初始值，然后對模板中的角點(diǎn)坐標(biāo)采用Levenbereg-Marquardt算法迭代求解成像投影誤差值的最大似然估計，對超定方程組的偽逆求解得到準(zhǔn)確的相機(jī)內(nèi)外參數(shù)[11].整個標(biāo)定過程簡單快速，易于編程實(shí)現(xiàn).

2.2 實(shí)驗(yàn)室內(nèi)標(biāo)定仿真驗(yàn)證

利用上述的模型和標(biāo)定方法在實(shí)驗(yàn)室進(jìn)行了標(biāo)定仿真實(shí)驗(yàn).相機(jī)固定后放置標(biāo)定模板，采集原始魚眼圖像，如圖5所示.

如圖6所示，經(jīng)過模板角點(diǎn)識別和棋盤坐標(biāo)系建立，進(jìn)行投影模型擬合計算參數(shù)初始值，然后根據(jù)優(yōu)化計算擬合得到相應(yīng)的相機(jī)內(nèi)參數(shù)與外參數(shù).結(jié)果如表1所示.

圖5 實(shí)驗(yàn)室內(nèi)的魚眼原始圖像Fig.5 Fisheye image captured in Lab

圖6 角點(diǎn)識別與棋盤坐標(biāo)系Fig.6 Corners found and the coordinate system

表1 相機(jī)內(nèi)外參數(shù)優(yōu)化擬合結(jié)果Table 1 Optimizing results of intrinsic and external parameters

根據(jù)參數(shù)的標(biāo)定計算結(jié)果，在VC下編程得到相應(yīng)的校正圖像和俯視圖像，如圖7所示.從實(shí)驗(yàn)結(jié)果和表1的誤差統(tǒng)計結(jié)果看出，此方法可以得到較好的俯視投影效果.

圖7 實(shí)驗(yàn)室內(nèi)的標(biāo)定結(jié)果Fig.7 Calibration results of fisheye image in Lab

最后，為了驗(yàn)證標(biāo)定參數(shù)的準(zhǔn)確性，對于標(biāo)定結(jié)果中具有在世界坐標(biāo)系下具有實(shí)際意義的外參數(shù)進(jìn)行了對比(如表2).

表2 標(biāo)定外參數(shù)與實(shí)際外參數(shù)對比Table 2 Contrast of calibration parameters and actual parameters

從對比結(jié)果可知，標(biāo)定參數(shù)經(jīng)羅格里斯變換后的數(shù)值與真實(shí)測量數(shù)值很接近，即利用該模型進(jìn)行計算的結(jié)果較為準(zhǔn)確，標(biāo)定得到的外參數(shù)值符合實(shí)際意義，反折射魚眼相機(jī)模型和對應(yīng)的標(biāo)定方法適用于全景環(huán)視系統(tǒng)設(shè)計.

2.3 基于標(biāo)定結(jié)果的圖像拼接

2.3.1 建立統(tǒng)一坐標(biāo)系

為了利用上面的標(biāo)定結(jié)果，將4幅畫面的俯視圖像拼接獲得全景環(huán)視的效果圖像，根據(jù)系統(tǒng)設(shè)計中相機(jī)的安裝位置，建立了如圖8的坐標(biāo)系.

圖8 圖像拼接中統(tǒng)一坐標(biāo)系的建立Fig.8 The coordinate system inimage jointprogross

其中，W、H、L1、L2、L3、L4為全景環(huán)視有效區(qū)域尺寸(單位:mm).

前、左、右、后4個相機(jī)在地面的投影點(diǎn)在統(tǒng)一坐標(biāo)系(O-X-Y)內(nèi)的坐標(biāo)分別為O1(Cfx，Cfy)，O2(Clx，Cly)，O2(Crx，Cry)，O2(Cbx，Cby).可以用如下的平移向量表示:

為了表示棋盤與相機(jī)位置關(guān)系，建立相機(jī)坐標(biāo)系與棋盤坐標(biāo)系的關(guān)系模型，如圖9所示.

圖9 相機(jī)坐標(biāo)系與棋盤坐標(biāo)系的關(guān)系模型建立Fig.9 Relationship model of camera and pattern coordinate system

2.3.2 投影關(guān)系分析

對相機(jī)i(i=前、后、左、右)來說，其在圖像拼接中側(cè)相機(jī)原始圖像到全景圖像投影中各個坐標(biāo)系的轉(zhuǎn)換過程如下:

首先將i側(cè)相機(jī)的相機(jī)坐標(biāo)系(Oc-Xc-Yc-Zc)旋轉(zhuǎn)至Z軸豎直向下，X軸、Y軸方向與圖8中(oi-x-y)坐標(biāo)系內(nèi)x，y方向一致的坐標(biāo)系，用Ri表示旋轉(zhuǎn)矩陣，其轉(zhuǎn)換關(guān)系可以表示為

而旋轉(zhuǎn)后的相機(jī)坐標(biāo)系(oi-x-y)與統(tǒng)一坐標(biāo)系(O-X-Y)有如下對應(yīng)的關(guān)系:

式中:ti表示式(4)～(7)表示的平移向量;R0表示兩坐標(biāo)系之間的旋轉(zhuǎn)矩陣，它的表達(dá)式[10，12]為

對于前、左、后、右各側(cè)相機(jī)，旋轉(zhuǎn)角度g的取值依次為:-90°、0°、180°、90°.

上面內(nèi)容表示了從多幅圖像到最終全景環(huán)視圖像的正投影關(guān)系.由統(tǒng)一坐標(biāo)系內(nèi)全景圖像區(qū)域的一點(diǎn)坐標(biāo)和全景環(huán)視有效區(qū)域的尺寸，可以確定此點(diǎn)的原始圖像來自哪個相機(jī)，然后對此相機(jī)通過以上關(guān)系的逆投影計算得到俯視圖像上坐標(biāo)值，最后利用俯視圖像到原始圖像的逆投影變換即可得到對應(yīng)的原始圖像坐標(biāo).遍歷整個全景區(qū)域，逆投影求得的原始魚眼圖像坐標(biāo)數(shù)據(jù)進(jìn)行插值處理后，即可得到全景環(huán)視圖像[12].

2.4 實(shí)驗(yàn)室模型車的全景環(huán)視系統(tǒng)驗(yàn)證

在實(shí)驗(yàn)室的模型樣車上，依據(jù)2.1和2.3的理論內(nèi)容進(jìn)行了仿真實(shí)驗(yàn)，搭建的實(shí)驗(yàn)場景如圖10(a)所示.

圖10 模型車仿真實(shí)驗(yàn)場景與實(shí)驗(yàn)圖像示例Fig.10 Experimental scene of model for simulation and images

實(shí)驗(yàn)設(shè)計的標(biāo)定棋盤方格大小為30 mm，全景環(huán)視有效區(qū)域如圖10(a)中框線所示，其尺寸:W=17 mm，H=27 mm，L1=200 mm，L2=200 mm，L3=80 mm，L4=150 mm.擺放好標(biāo)定棋盤后，對相機(jī)進(jìn)行標(biāo)定實(shí)驗(yàn)，采集原始圖像利用圖像進(jìn)行標(biāo)定結(jié)算，原始圖像和根據(jù)標(biāo)定結(jié)果計算的俯視圖像分別如圖10(b)、10(c)所示.

按照2.3節(jié)中的圖像拼接的算法，遍歷全景圖像有效區(qū)域，最后的插值方法利用雙線性插值，得到如圖11所示的模型車全景環(huán)視效果.

圖11 模型車實(shí)現(xiàn)的全景環(huán)視系統(tǒng)結(jié)果Fig.11 Results of top-view system from model car

3 針對大客車的簡化標(biāo)定方案設(shè)計

根據(jù)模型車的仿真實(shí)驗(yàn)可知，折反射魚眼相機(jī)模型及其標(biāo)定方法符合全景環(huán)視系統(tǒng)的標(biāo)定要求，在標(biāo)定外參數(shù)準(zhǔn)確的前提下，圖像拼接計算僅與標(biāo)定的結(jié)果中棋盤與相機(jī)的外參數(shù)有關(guān).

在實(shí)際客車上的實(shí)驗(yàn)中，在客車周圍地面擺放方格大小為30'30(cm)的5'5標(biāo)定棋盤并其進(jìn)行標(biāo)定實(shí)驗(yàn)，結(jié)果如圖12所示:

圖12 實(shí)際客車在地面擺放標(biāo)定棋盤與標(biāo)定結(jié)果示例Fig.12 Calibration results of fisheye image while the pattern placed on the ground around bus

可以看出圖12(b)中只有中間擺放棋盤的區(qū)域俯視效果較好，邊緣區(qū)域俯視效果較差，不符合全景環(huán)視系統(tǒng)的預(yù)想標(biāo)定結(jié)果，要利用地面棋盤進(jìn)行標(biāo)定，就需要整個有效區(qū)域內(nèi)的鋪滿方格大小適宜的棋盤.這對于地面棋盤的要求太高.

為解決這個難題，提出了如下的改進(jìn)方法:將棋盤平行升高，在2.3節(jié)中圖像拼接過程的投影關(guān)系中加入升高棋盤世界坐標(biāo)系與相機(jī)投影點(diǎn)為原點(diǎn)的地面世界坐標(biāo)系的映射關(guān)系建立模型，如圖13所示.

圖13 加入棋盤平面與地面關(guān)系建立投影模型Fig.13 Relationship model of camera and ground coordinate system

對升高的棋盤模板提出如下要求:

1)棋盤平整，通過水平尺進(jìn)行調(diào)整，使其與地面平行放置，即圖13中棋盤坐標(biāo)軸與車身平行;

2)棋盤大小要保證棋盤顯示在圖像中的區(qū)域盡可能的覆蓋全景環(huán)視的有效區(qū)域.

需要補(bǔ)充的測量數(shù)據(jù)為抬高的平行棋盤距離地面的尺寸距離 (單位:mm).

基于以上模型，根據(jù)相機(jī)小孔成像的規(guī)律[10]，得到棋盤與地面的對應(yīng)關(guān)系:

式中:h表示棋盤在豎直方向上離相機(jī)坐標(biāo)系中心的距離，根據(jù)標(biāo)定結(jié)果的外參數(shù)，求得的相機(jī)外參矩陣為

其中，r1、r2分別為棋盤坐標(biāo)系中X、Y軸在相機(jī)坐標(biāo)系中的方向向量[10-11].通過方向向量可以求得X、Y軸確定的平面方程，計算相機(jī)坐標(biāo)系原點(diǎn)與X-Y平面的距離即為相機(jī)高度h.

經(jīng)過此計算后，再利用2.3中的方法，遍歷全景環(huán)視區(qū)域?qū)崿F(xiàn)利用升高的小棋盤進(jìn)行客車全景環(huán)視系統(tǒng)的標(biāo)定.

4 實(shí)車實(shí)驗(yàn)及實(shí)驗(yàn)結(jié)果

根據(jù)以上內(nèi)容，設(shè)計了系統(tǒng)的標(biāo)定工作流程如圖14所示:

圖14 客車全景環(huán)視系統(tǒng)標(biāo)定流程Fig.14 Flow chart of the calibration for bus top-view system

在實(shí)際應(yīng)用中為提升實(shí)時性，系統(tǒng)標(biāo)定完成后可以生成全景圖象與原始圖像的查找映射表供車載控制器硬件平臺使用，查找表格后利用雙線性插值的方法生成圖像送顯.

實(shí)驗(yàn)中安放升高標(biāo)定棋盤如圖15(a)所示，采集用于標(biāo)定計算的原始圖像如圖15(b)所示，對相機(jī)進(jìn)行標(biāo)定計算后利用標(biāo)定結(jié)果得到的俯視圖像如圖15(c)所示.

遍歷全景圖像有效區(qū)域進(jìn)行圖像拼接，利用雙線性插值，得到客車的全景環(huán)視圖像，如圖16所示.

圖15 標(biāo)定棋盤放置和實(shí)驗(yàn)圖像示意Fig.15 Experimental scene of bus top-view system and images

圖16 客車全景環(huán)視系統(tǒng)實(shí)車效果Fig.16 Experiment result of bus top-view system

5 結(jié)束語

利用基于折反射原理的魚眼攝像機(jī)模型及標(biāo)定方法，針對大客車對全景環(huán)視系統(tǒng)的標(biāo)定步驟做了適當(dāng)?shù)母倪M(jìn)，提出一種適合客車的全景環(huán)視系統(tǒng)的標(biāo)定方法，能快速準(zhǔn)確地得到系統(tǒng)效果.試驗(yàn)表明，該標(biāo)定方法克服了傳統(tǒng)標(biāo)定方法中標(biāo)定過程繁瑣、對場地和設(shè)備要求嚴(yán)格、標(biāo)定時間長等缺點(diǎn)，同時也適用于乘用車等小型車輛，可以簡化標(biāo)定過程和標(biāo)定設(shè)備，具有較大的實(shí)際應(yīng)用意義.

[1]徐子健.全周影像行車輔助系統(tǒng)發(fā)展及市場趨勢[J].車輛研測資訊，2010(6):18-22.XU Zijian.The development and the market trend of around view driving assist system[J].Information of Vehicle Research and Measurement，2010(6):18-22.

[2]公安部交通管理局.中華人民共和國道路交通事故統(tǒng)計年報(2011年度)[Z].無錫市:公安部交通管理科學(xué)研究所，2011.Ministry of Public Security Traffic Management.Statistics annual report on road traffic accident of the People＇s Republic of China(2011annual)[Z].Wuxi:Ministry of Public Security Traffic Management Science Research Institute，2011.

[3]丁鑫.全景視覺泊車輔助系統(tǒng)研究[D].杭州:浙江大學(xué)，2008:77-83.DING Xin.Parking-assistant system using omni directional vision[D].Hangzhous Zhejiang University，2008:77-83.

[4]凃淵耀.嵌入式環(huán)車監(jiān)控系統(tǒng)[D].臺北:國立交通大學(xué)，2006:5-13，35-40.TU Yuanyao.An embedded system for vehicle surrounding monitoring[D].Taiwan:National Chiao Tung University，2006:5-13，35-40.

[5]上海杰圖軟件技術(shù)有限公司.魚眼標(biāo)定方法和裝置[P].中國:CN102096923A，2011.6.15.

[6]宓桃，安平.基于多視定位算法的多攝像機(jī)標(biāo)定[J].中國圖像圖形學(xué)報，2008，13(10):1922-1925.MI Tao，AN Ping.Depending on the location algorithm based on the camera calibration[J].Journal of Image and Graphics of China，2008，13(10):1922-1925.

[7]劉育志.魚眼攝影機(jī)校正與多視點(diǎn)影像接合[D].臺灣:國立交通大學(xué)，2007:15-16，30-33 LIU Yuzhi.Fisheye camera calibration and multiple-viewpoint image stitching[D].Taiwan:National Chiao Tung U-niversity，2007:15-16，30-33.

[8]ZHANG Zhengyou.A flexible new technique for camera calibration[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2000，22(11):1330-1334.

[9]TSAI R Y.An efficient and accurate camera calibration technique for 3D machine vision[C]//Proceedings of IEEE Conference on Computer Vision and Pattem Reeognition.Miami Beach，USA，1986.

[10]章毓進(jìn).圖像處理技術(shù)[M].4版.北京:清華大學(xué)出版社，2008:102-113.

[11]SCARAMUZZA D.A toolbox for easily calibrating omnidirectional cameras[C]//Proceedings of the Fourth IEEE InternationalConference on Computer Vision Systems(ICVS).[s.l.]，2006.

[12]張浩鵬，王宗義.全景攝像機(jī)標(biāo)定[J].哈爾濱工程大學(xué)學(xué)報，2011，30(11):1239-1245.ZHANG Haopeng，WANG Zongyi.Panoramic camera calibration[J].Journal of Harbin Engineering University，2011，30(11):1239-1245