3D全景泊車多點圖形拼接標(biāo)定系統(tǒng)裝置

周俊鋒，茅衛(wèi)東，袁浩，王成文，奚新文

(奇瑞新能源汽車技術(shù)有限公司，安徽蕪湖 241002)

0 引言

截至2018年末中國乘用車市場存量已達(dá)3.25億臺。汽車產(chǎn)業(yè)的飛速發(fā)展和創(chuàng)造經(jīng)濟財富的同時也改變了人們的生活方式，人們對行駛安全和操控性要求越來越高，從代步工具需求發(fā)展到目前的車內(nèi)電子科技的需求。為了適應(yīng)可持續(xù)發(fā)展的趨勢，滿足人們對汽車電子科技品質(zhì)需求，近年來被動安全裝置被應(yīng)用到汽車上，其中全景泊車系統(tǒng)是新興技術(shù)。在駕駛汽車過程中，汽車四周存在六大視野盲區(qū)(如圖1所示)，想要安全駕駛汽車并不是一件容易的事。車輛與障礙物發(fā)生碰擦事故中，其中駕駛員視野盲區(qū)導(dǎo)致事故的日本占21%、中國占31%。視野盲區(qū)往往給公民的財產(chǎn)和人生安全帶來嚴(yán)重的損傷。

以上背景加速了全景泊車系統(tǒng)在汽車上的應(yīng)用開發(fā)，隨著360°泊車系統(tǒng)裝車量的提升，將有效減少汽車與道路交通障礙之間的行駛交通事件，減少因視覺盲區(qū)給司機帶來的駕駛煩惱，為司機泊車提供便利。行車安全性能夠得到較大的提高，在更大程度上保證了乘客及障礙物的安全，因此具有很重要的社會價值和龐大的市場空間。全景泊車4個或以上攝像頭安裝完畢后，車上電后不能正常工作，所采集的圖像為4個攝像頭單獨拍攝的4副曲面畫面，全景圖像會出現(xiàn)重影、盲區(qū)、圖像拼接處有明顯的拼接痕跡、明顯色差、畫面圖像整體比例不協(xié)調(diào)等問題；迫切需要一套魚眼圖像矯正裝置，該裝置能方便、快捷、穩(wěn)定的將車載360°泊車系統(tǒng)圖像進(jìn)行標(biāo)定。本文作者詳述一種穩(wěn)定可靠的全景監(jiān)控圖形標(biāo)定方案。

圖1 汽車視野六大盲區(qū)

1 標(biāo)定系統(tǒng)裝置機理

為了讓車身四周的區(qū)域環(huán)境能完整顯示在一個俯視圖上，在整車車身高固定的情況下，不得不使用廣角鏡頭，水平拍攝角度170°～190°。一個物體被拍攝后的圖像通過這樣的鏡頭成像后，就變成一個畸變曲面圖像。那么360°輔助泊車系統(tǒng)的標(biāo)定就是將鏡頭采集的畸變曲面圖像還原成一個平面，并根據(jù)預(yù)先確定好的裁剪線進(jìn)行圖像拼接。圖2所示為全景泊車鏡頭覆蓋的區(qū)域。

圖2 攝像頭覆蓋區(qū)域

為了獲得車身周邊360°環(huán)境圖像必須達(dá)到超廣角度的視野而使用非線性的廣角攝像頭[5]。由于廣角攝像頭拍攝的圖像是非線性數(shù)據(jù)，直接處理難度大，常規(guī)做法是對畸變曲面圖像先進(jìn)行規(guī)定場景標(biāo)定矯正處理[6-7]，將超廣角圖像的數(shù)據(jù)從非線性轉(zhuǎn)換成線性，為計算機和人類眼睛視網(wǎng)膜可辨認(rèn)的線性圖像，最后在標(biāo)定好的圖像基礎(chǔ)上按預(yù)設(shè)邊界線裁剪拼接處理。

圖像傳感器上的2D圖像通常是空間物體3D場景的投影結(jié)果。描述這類物體空間坐標(biāo)點的3D坐標(biāo)與圖像中2D相應(yīng)坐標(biāo)的關(guān)聯(lián)取決于針孔攝像機成像的透視投影2D圖像，這些2D圖像參變量又稱作針孔鏡頭參變量。這些2D圖像參變量可以經(jīng)過正交實驗與理論計算求解，而得到參變量的經(jīng)過可以稱為針孔鏡頭的矯正(標(biāo)定)。針孔鏡頭矯正的目的就是通過矯正3D物體的圖像參考位置點(x，y，z)與它在2D圖像中的點(u，v)，確定針孔鏡頭的內(nèi)部亮度圖像、透視投影、圖像元素、采樣點以及鏡頭坐標(biāo)系與空間物體3D坐標(biāo)系的關(guān)系，如圖3所示。上述對2D圖像進(jìn)行矯正(標(biāo)定)的方法總結(jié)后形成3種[9]：

(1)照相視覺矯正法[10]

此方案是通過理論計算空間矯正物體在3D空間中的線性參變量。被矯正物由2～3個正交面互相交錯形成。另外，此矯正方法也使用1個正交面來標(biāo)定，需要事先計算出正交面的水平移動規(guī)律。此方法矯正速度快，但購置矯正設(shè)備價格高，還需要事先對該物體進(jìn)行理論計算和試驗作為基礎(chǔ)。

(2)自標(biāo)定方法[11]

自矯正方案不用被矯正參考物，僅需要在不變矯正場景中沿任一方向移動針孔鏡頭即完成圖像的矯正工作。矯正場景一般為趨向于固定不動的剛性物體，為針孔鏡頭增加了兩項約束參變量。如所需的圖像由不同鏡頭采集，即便所有參數(shù)一致，4幅采集圖所提供的任一對應(yīng)坐標(biāo)點信息可以得到新裁剪拼接的全景圖像。由于這種方案需要采集的參變量較多，所以同樣一組圖像矯正后的精細(xì)化效果一般。

(3)張正友標(biāo)定技術(shù)[12]

此方法簡單易用穩(wěn)定性好。該方案要求鏡頭對同一矯正塊在幾個位置采集多幅圖像，將圖像2D點坐標(biāo)提取出來，通過這些2D坐標(biāo)與3D坐標(biāo)相吻合的點，得到最終矯正合格結(jié)果。此方法是目前商業(yè)化較為可靠的圖像矯正方法。

圖3 透視投影幾何

張正友標(biāo)定基本原理為：在鏡頭視線范圍內(nèi)，采集大于3副圖像；然后將實物坐標(biāo)系固定在矯正平面上，矯正平面可以放置于攝像頭水平位置為佳，設(shè)矯正實物面的坐標(biāo)是鏡頭參數(shù)矩陣，X=(x，y，z)T是圖像實物平面上點的齊次坐標(biāo)，u=(u，v)T是標(biāo)定平面上點透視投影到圖像平面上對應(yīng)點的齊次坐標(biāo)，T和(r1，r2，r3)分別為實物矯正塊對應(yīng)鏡頭坐標(biāo)系的旋轉(zhuǎn)矩陣和平行位置向量，以上邏輯可用以下公式表示：

(1)

(2)

先將數(shù)個圖像采集點累加后，則公式可簡寫成Sh=0，求得方程式的解是STS的最小特性值所對應(yīng)的特性向量。簡化計算該向量后就會得到H，使用非線性最小平方法來求的H最大似然集合估算。

用h1、h2、h3表示三列，則有：

(3)

式中：λ為常數(shù)。

其中，任一圖片能提取下述二個對鏡頭參數(shù)矩陣的約束方程式：

(4)

其中：K-T為(K-1)T或(K-)-1。

(5)

B是一個對稱矩陣，也可以表示為以下形式：

(6)

(7)

其中：vij=[hi1hj1，hi1hj2+hi2hj1，hi3hj1+hi1hj3，hi3hj2+hi2hj3，hi3hj3]T，則公式內(nèi)參數(shù)約束關(guān)系可寫為

(8)

對矯正塊拍攝多幅圖片并通過多個同樣的方程組，將其疊加后得出：

Vb=0

(9)

由公式(3)可得：

r1=λK-1h1，r2=λK-1h2，r3=r1×r2,t=λK-1r2

(10)

本文作者參考張正友矯正魚眼鏡頭曲面畸變圖片的方法，通過計算出圖片中間元素之間的坐標(biāo)對應(yīng)關(guān)系實現(xiàn)圖片矯正。此標(biāo)定方法使用的矯正塊成本較低、使用方便、易制作免維護(hù)并對標(biāo)定場景要求低，能滿足汽車全景泊車標(biāo)定精度需求。首先將地面打磨平整(誤差小于1 cm/m)，再使用黑白相間油漆在地坪上涂刷出矯正塊；然后將車輛開到標(biāo)定場景內(nèi)，按住車輛標(biāo)定程序(程序自動移動鏡頭)，采集20張任一角度的圖片[13]；最后對這20張圖片進(jìn)行標(biāo)定。主要按如下4個步驟：

(1)通過車載360°全景模塊控制器，可讀取鏡頭采集的多組圖片；

(2)軟件提取黑白相間角點(圖4)，對圖像進(jìn)行處理；

(3)求得坐標(biāo)的相互關(guān)系，矯正鏡頭內(nèi)部參變量；

(4)根據(jù)拍攝的第一幅圖片矯正鏡頭外部參變量。

圖4 角點提取

根據(jù)以上推算矯正得到文中采用的超廣角相機內(nèi)部參變量為

矯正效果如圖5—圖6所示。其中，圖5為使用廣角攝像機對矯正塊采集到的圖片，使用張正友矯正后的圖片如圖6所示。可得：圖像袪除了原超廣角圖片中存在的曲面畸變效果，標(biāo)定效果良好。以上足以說明，通過張正友圖像矯正機制能夠很好地滿足廣角攝像頭拍攝的曲面畸變圖片的矯正需要。

圖5 原廣角圖像

圖6 矯正后圖像

2 滿足在線100%連續(xù)標(biāo)定系統(tǒng)裝置要求

根據(jù)以上理論在汽車廠設(shè)置全景標(biāo)定系統(tǒng)裝置工位，要求平攤的場地5 m×8 m，分為涂刷成黑白相間的區(qū)域、能擺放車體區(qū)域、標(biāo)定設(shè)備操縱位置3個部分，對地面平整度的要求誤差小于1 cm/m；光照條件：標(biāo)定時光線均勻、地面不存在陰影、保證車輛前后左右的地面處照度大于10 lux；隔絕周圍其他強光線進(jìn)入標(biāo)定區(qū)域(如較強的太陽光等)。標(biāo)定區(qū)域采用水泥亞光處理，黑白相間方格與標(biāo)定區(qū)域水泥地面保持在一個水平面上，并采用啞光色彩，反光能力弱，方格大小為20 cm×20 cm；整體尺寸符合圖7要求。

圖7 標(biāo)定裝置地面示意

由于汽車生產(chǎn)車間在對全景魚眼鏡頭標(biāo)定為連續(xù)作業(yè)(節(jié)拍120 s)，車輛在進(jìn)入標(biāo)定區(qū)域中時，需要快速確定X、Y向位置，精度在±1 cm，這時就需要制作專用的導(dǎo)向和定位裝置對車每次停放標(biāo)定位置的唯一性確認(rèn)。

3 標(biāo)定系統(tǒng)裝置車輛定位設(shè)計

車輛的定位采用鐵質(zhì)焊接導(dǎo)軌用螺栓固定在地面上，根據(jù)輪胎尺寸進(jìn)行車輛定位擺放，其示意圖如圖8所示。

圖8 車輛定位裝置方案

將車輛輪胎方向?qū)?zhǔn)導(dǎo)軌，使車輪能夠按照導(dǎo)軌將前輪卡在定位槽中，如圖9所示。

4 標(biāo)定系統(tǒng)裝置使用

標(biāo)定系統(tǒng)環(huán)境光照以漫射光為主,光源照明采用LED燈管垂直照明, 避免普通熒光日光燈管的50 Hz頻閃, 要求環(huán)境亮度值在300～1 000 lux之間,照明燈管安裝在標(biāo)定場正上方4.5 m高度。

5 標(biāo)定系統(tǒng)裝置使用

先把車停在指定位置上；操作員使用汽車面板的組合鍵按鈕(同時UI模擬按鍵和遠(yuǎn)光燈5S)，進(jìn)入自動矯正；自動矯正成功后，畫面會提示矯正完成。

如自動標(biāo)定提示失敗時，請檢查燈光是否正常，方格表面是否有污物，車輛是否進(jìn)入指定位置，確認(rèn)正常后，再次進(jìn)行自動標(biāo)定即可，如圖10所示。

圖10 標(biāo)定流程

6 標(biāo)定圖形判定原理

判斷原理標(biāo)定完成之后通過計算處理可以獲得攝像頭圖像中的任意點坐標(biāo)Pimg對應(yīng)的物理點坐標(biāo)Pphy。

理想情況下計算出來的物理坐標(biāo)Pphy與其對應(yīng)的真實物理坐標(biāo)PPHY應(yīng)該完全一致。實際工程環(huán)境下則會存在一定誤差Epos=Pphy-PPHY。

可以用所有輔助點的計算物理坐標(biāo)與真實物理坐標(biāo)均方誤差S來評價標(biāo)定效果。通過拼接區(qū)域標(biāo)定點的計算物理坐標(biāo)與真實物理坐標(biāo)的均方誤差來評價拼接效果。

(1)

判斷流程如圖11所示。

圖11 標(biāo)定判斷流程

7 結(jié)論

本文作者所論述的全景式監(jiān)控影像系統(tǒng)裝置，使用簡易標(biāo)定方案、自動標(biāo)定結(jié)果評估，主要完成兩項任務(wù)：

(1)判決標(biāo)定點識別是否準(zhǔn)確。標(biāo)定點能否正確識別直接決定標(biāo)定工作能否成功完成。

(2)標(biāo)定效果評價。在實際使用環(huán)境中，因各種誤差因素影響，即使標(biāo)定點都能準(zhǔn)確識別，標(biāo)定結(jié)果也會有一定的誤差，誤差在拼接圖像上主要體現(xiàn)為圖像畸變、拼接錯位。

目前自動標(biāo)定采用冗余標(biāo)定點方案，自動標(biāo)定所識別標(biāo)定點除標(biāo)定必須用的圖像點之外，也會同時識別一部分輔助標(biāo)定點。主要利用必需的點來完成標(biāo)定，然后用部分輔助標(biāo)定點來驗證標(biāo)定點識別是否成功。

通過利用標(biāo)定數(shù)據(jù)計算出圖像中輔助標(biāo)定點對應(yīng)的物理坐標(biāo)，計算物理坐標(biāo)與真實物理坐標(biāo)誤差會在一個比較小的范圍內(nèi)波動，誤差超過一定閾值即可判定標(biāo)定點識別失敗。

本文作者對全景式監(jiān)控影像系統(tǒng)標(biāo)定機制和簡易在線批量標(biāo)定裝置的應(yīng)用進(jìn)行了詳細(xì)闡述，對魚眼鏡頭采集的扭曲畫面進(jìn)行修正處理，通過圖像畸變還原、拉伸和裁剪，將前后左右的畫面處理成平面可視畫面，簡單、有效和快速，在汽車生產(chǎn)廠家可以推廣使用本套裝置。