基于雙目近景圖像的車體相對(duì)車位方位視覺檢測方法

張西良, 閆 妍, 劉玉芹, 袁朝春

(1.江蘇大學(xué) 機(jī)械工程學(xué)院, 江蘇 鎮(zhèn)江 212013; 2.江蘇大學(xué) 汽車工程研究院, 江蘇 鎮(zhèn)江 212013)

自動(dòng)泊車系統(tǒng)一般包含車位識(shí)別、決策規(guī)劃和執(zhí)行控制3大關(guān)鍵技術(shù)[1],只有準(zhǔn)確識(shí)別車體相對(duì)目標(biāo)空車位的方位才能使自動(dòng)泊車系統(tǒng)制定高效精準(zhǔn)的決策規(guī)劃路線.車體相對(duì)目標(biāo)空車位方位參數(shù)包括方位角和距離2個(gè)指標(biāo).獲取車體相對(duì)目標(biāo)空車位的方位角和距離是實(shí)現(xiàn)自動(dòng)泊車的基礎(chǔ)和關(guān)鍵.

目前,方位檢測方法多應(yīng)用于車輛定位[2]、水下未知目標(biāo)檢測和方位估計(jì)[3]、新型武器靶場試驗(yàn)方位檢測[4]等領(lǐng)域.在進(jìn)行目標(biāo)識(shí)別、檢測、定位過程中通常需要借助雷達(dá)、聲吶、經(jīng)緯儀等儀器,檢測獲取目標(biāo)周圍參照物的信息,結(jié)合機(jī)器視覺檢測技術(shù)獲取方位,這給目標(biāo)周圍無參照物情況下方位檢測帶來較大限制.

應(yīng)用單一機(jī)器視覺技術(shù)實(shí)現(xiàn)對(duì)無周圍參照物的目標(biāo)空車位方位檢測是對(duì)其他車位方位檢測方法的很好補(bǔ)充.其關(guān)鍵技術(shù)是基于視覺圖像實(shí)現(xiàn)對(duì)幾何尺寸和距離的檢測.孫少杰[5]以顯著性標(biāo)志物中的關(guān)鍵點(diǎn)為目標(biāo),探討了一種基于計(jì)算機(jī)視覺的目標(biāo)方位測量方法,通過采用Harris算法提取被測目標(biāo)特征角點(diǎn),基于亞像素技術(shù)識(shí)別特征角點(diǎn)像素坐標(biāo),實(shí)現(xiàn)對(duì)目標(biāo)方位測量,但對(duì)大視場條件下的現(xiàn)場測量,未考慮鏡頭抖動(dòng)、拍攝距離等導(dǎo)致圖像解析度低等問題,適用性有待提高.LI Y.L.等[6]提出了一種基于探針式多視場三維視覺測量系統(tǒng),通過建立立體定向靶標(biāo)的6個(gè)單元模型實(shí)現(xiàn)多面體或旋轉(zhuǎn)體的形狀測量,并不適用于車位平面信息檢測.WANG T.Y.等[7]設(shè)計(jì)了1個(gè)基于單視覺和人工平面的目標(biāo)定位系統(tǒng),研究圖像匹配和位置解析,建立圖像樣本,驗(yàn)證圖像匹配算法的準(zhǔn)確性,但是其僅限于80 mm×60 mm靶標(biāo)尺寸和800 mm小范圍內(nèi)靶標(biāo)點(diǎn)檢測.

筆者在應(yīng)用雙目視覺技術(shù)進(jìn)行目標(biāo)識(shí)別與尺寸大小檢測研究的基礎(chǔ)上,擬基于雙魚眼鏡頭近距離拍攝目標(biāo)空車位近景圖像,采用傳統(tǒng)圖像處理方法對(duì)雙近景圖像進(jìn)行校正等處理,提取俯視平面上目標(biāo)空車位線輪廓邊緣和雙魚眼鏡頭位置點(diǎn),基于特征點(diǎn)像素坐標(biāo)和數(shù)學(xué)幾何計(jì)算方法,檢測車體相對(duì)目標(biāo)空車位方位.

1 車體相對(duì)車位方位視覺檢測設(shè)計(jì)

為了在初始采集圖像時(shí)提高目標(biāo)空車位信息在整體圖像中的占比率,結(jié)合車位可能處于車體四周的情況,在車體四邊各設(shè)置1個(gè)魚眼鏡頭來采集圖像.車體相對(duì)目標(biāo)空車位方位視覺檢測方法流程如圖1所示.

圖1 車體相對(duì)目標(biāo)空車位方位視覺檢測方法流程圖

檢測方法流程包括2個(gè)階段:① 車位近景圖像獲取與處理.首先確定4個(gè)魚眼鏡頭在車體上的安放位置;然后依據(jù)車位情況,選其中靠近車位的車體相鄰的2個(gè)魚眼鏡頭拍攝車位近景圖像,并對(duì)原始圖像進(jìn)行校正,消除魚眼鏡頭視角拍攝產(chǎn)生的圖像畸變;再將校正后的2張車位近景圖像拼接起來,合成1幅完整的車位圖像;接著對(duì)拼接圖進(jìn)行逆透視變換,提取車位ROI(region of interest)區(qū)域;最后做二值化處理,凸顯ROI區(qū)域中的車位線信息和2個(gè)魚眼鏡頭位置.② 車體相對(duì)車位的方位角與距離計(jì)算.先建立車位二維坐標(biāo)系,基于圖中像素灰度值差異,通過視覺識(shí)別雙魚眼鏡頭在車位二維坐標(biāo)系下的坐標(biāo);再基于已知車位和車體尺寸、魚眼鏡頭在車體上安放位置等信息,以及拼接圖中車位線輪廓邊緣信息和2個(gè)魚眼鏡頭坐標(biāo),應(yīng)用數(shù)學(xué)幾何方法分析車體相對(duì)車位的方位關(guān)系,建立相應(yīng)的數(shù)學(xué)模型,計(jì)算求解最接近車位的車體端點(diǎn)在車位二維坐標(biāo)系下的坐標(biāo)、車體端點(diǎn)與坐標(biāo)原點(diǎn)之間的距離以及車體前后或者左右側(cè)邊沿相對(duì)坐標(biāo)軸方位角,實(shí)現(xiàn)車體相對(duì)車位方位參數(shù)的檢測.

2 車位近景圖像獲取與處理

2.1 車位近景圖像獲取

4個(gè)魚眼鏡頭分別安置在車體O1、O2、O3、O4處.O1在車尾中點(diǎn)位置,距離地面高度h1為60 cm;O2在左后視鏡下方,距離地面高度h2為90 cm;O3在車頭中點(diǎn)位置,距離地面高度h3為60 cm;O4在右后視鏡下方,距離地面高度h4為90 cm;車體鄰邊2個(gè)魚眼鏡頭到同一車體端點(diǎn)的尺寸分別為W和L.試驗(yàn)車位尺寸長度為L1,寬度為W1;試驗(yàn)車體尺寸長度為L2,寬度為W2.

為使采集的車位近景圖像為全景圖像,選用焦距為1.7 mm、視角為180°的魚眼鏡頭,構(gòu)建獲取圖像的系統(tǒng)模型如圖2所示.

圖2 圖像獲取系統(tǒng)模型

以O(shè)4、O3處魚眼鏡頭拍攝車位近景圖像為例,其獲取的垂直車位、平行車位和傾斜車位的3種車位近景圖像如圖3、4所示.

圖3 O4處魚眼鏡頭獲取的車位近景圖像

圖4 O3處魚眼鏡頭獲取的車位近景圖像

2.2 車位近景圖像校正

為消除魚眼鏡頭視角拍攝引起的圖像畸變,采用張正友棋盤格標(biāo)定法[8-10],并依據(jù)魚眼鏡頭在車體的已知安裝位置條件,求解魚眼鏡頭的內(nèi)參矩陣和畸變矩陣,對(duì)原始車位近景圖像進(jìn)行圖像校正,圖像校正原理如下:

(1)

將制作的棋盤格布放在車體四周,然后用車體上的前后左右4個(gè)魚眼鏡頭拍攝圖像,用求解的內(nèi)參矩陣和畸變矩陣對(duì)圖像進(jìn)行校正,二者對(duì)比效果如圖5所示.經(jīng)校正后可修復(fù)魚眼鏡頭拍攝的畸變棋盤格圖片.對(duì)圖3獲取的垂直車位、平行車位、傾斜車位3種車位的近景圖像進(jìn)行校正,其效果如圖6所示,從校正圖中可以看出,校正后可修復(fù)車位圖像中間呈拋物狀且向魚眼鏡頭前部凸出的畸變.

圖5 棋盤格圖像校正

圖6 車位近景圖像校正圖

2.3 車位近景圖像拼接

車位近景圖像拼接的原理如下:將2幅存在一定重合部分車位的近景圖像,通過SIFT(scale-inva-riant feature transform)算法進(jìn)行特征點(diǎn)匹配得到對(duì)應(yīng)點(diǎn),將這些得到的對(duì)應(yīng)點(diǎn)重合,并將2幅圖像的未重合車位部分進(jìn)行拼接,得到1幅完整車位的圖像.

(2)

(3)

將5對(duì)不共面的匹配特征點(diǎn)的坐標(biāo)代入式(3),可得15個(gè)獨(dú)立的方程,組成1個(gè)新的方程組,聯(lián)列式(2),求解該方程組即得M矩陣.

2.4 車位近景圖像逆透視變換

圖像進(jìn)行逆透視變換處理的目的是獲取ROI區(qū)域,部分信息會(huì)被去除,逆透視變換處理后的2幅圖像不利于進(jìn)行拼接,所以對(duì)拼接后的車位近景圖像進(jìn)行逆透視變換處理.將圖中三維立體空間下的車位信息降至二維平面,獲取車位的俯視平面圖,最大程度清除圖中車位周邊的建筑物、花草樹木、車輛等干擾信息.經(jīng)過校正拼接后的圖像坐標(biāo)為(kx,ky),對(duì)應(yīng)在俯視圖中的像素為(a,b),則2個(gè)坐標(biāo)間的轉(zhuǎn)換關(guān)系為

(4)

將式(4)轉(zhuǎn)換成如下矩陣形式:

(5)

為驗(yàn)證逆透視變換程序的應(yīng)用效果,對(duì)校正后的棋盤格圖像做逆透視變換.先任意指定4個(gè)點(diǎn),通過findHomography()函數(shù)獲取變換矩陣,在圖像上構(gòu)造出1個(gè)可伸縮四邊形窗口,然后通過鼠標(biāo)拖移將四邊形的端點(diǎn)拉伸至棋盤格布上對(duì)應(yīng)的4個(gè)端點(diǎn),獲取棋盤格的ROI區(qū)域,呈現(xiàn)的效果如圖7所示.

圖7 棋盤格圖像逆透視變換

從圖7可以看出:經(jīng)逆透視變換后,可獲取棋盤格圖像上的ROI區(qū)域,并將三維立體空間下的棋盤格圖像轉(zhuǎn)換成二維平面下的棋盤格俯視圖.對(duì)圖6校正后的車位近景圖像進(jìn)行逆透視變換,獲取車位的整體俯視圖,提取車位ROI區(qū)域的效果如圖8所示.

圖8 車位近景圖像逆透視變換結(jié)果圖

2.5 車位近景圖像二值化

對(duì)車位近景圖像做二值化處理的目的是使圖像中車位的車位線呈現(xiàn)為黑色線條,其余信息表示為白色區(qū)域.再由上述圖像拼接原理確定可有效采集車位近景圖像的魚眼鏡頭地面投影點(diǎn)位置,在二值化結(jié)果圖中以黑點(diǎn)表示.圖像二值化是通過threshold()函數(shù)閾值分割實(shí)現(xiàn)的,其原理是以某一數(shù)值為分界線,當(dāng)圖像中的灰度值小于等于該值時(shí),讓灰度值為0,該區(qū)域在圖像中顯示為黑色;圖像中的灰度值大于該值時(shí),灰度值為255,該區(qū)域在圖像中顯示為白色.圖8車位近景圖像二值化結(jié)果如圖9所示,車位線基本完整呈現(xiàn)為黑色線條,其余信息大部分表示為白色區(qū)域,達(dá)到二值化效果.

圖9 車位近景圖像二值化結(jié)果圖

3 車體相對(duì)車位方位參數(shù)計(jì)算方法

無論車位類型為垂直車位、平行車位或傾斜車位,車體相對(duì)車位邊都具有1個(gè)方位角,該方位角的值域?yàn)閇0°, 90°].本研究主要針對(duì)在[0°, 90°]中任意角度停泊的車輛,檢測車體上最接近車位邊沿和端點(diǎn)相對(duì)車位某邊的方位角α和相對(duì)車位最遠(yuǎn)某點(diǎn)的距離d.

定義1:可獲取車位完整4個(gè)端點(diǎn)近景圖像的車位情景稱作一般車位.

而剛剛掌握解開這個(gè)世界“方法論”的孩子們首當(dāng)其沖，因此，如何在教學(xué)過程中教會(huì)同學(xué)們正確分辨虛假信息，培養(yǎng)其批判性思維，成為了新加坡中學(xué)老師們關(guān)注的重要教學(xué)目標(biāo)之一。

定義2:獲取車位非完整4個(gè)端點(diǎn)近景圖像的車位情景稱作特殊車位.

下面分別分析計(jì)算2種車體相對(duì)車位方位模型的方位角和距離.

3.1 二維車位坐標(biāo)系的建立

當(dāng)L1>W1且車位為矩形時(shí),泊車目標(biāo)車位為垂直車位;當(dāng)L1W1且車位為平行四邊形時(shí),泊車目標(biāo)車位為傾斜車位.車體相對(duì)車位方位的平面圖如圖10所示.以垂直車位為例,均按照距離車體最遠(yuǎn)車位角點(diǎn)為原點(diǎn)O,O點(diǎn)鄰邊車位線所在直線分別設(shè)為X、Y軸,建立二維坐標(biāo)系OXY.則其余3個(gè)車位角點(diǎn)在坐標(biāo)系上分別為A、B、C點(diǎn),車位4個(gè)端點(diǎn)坐標(biāo)分別為A(0,L1)、O(0,0)、B(W1,L1)、C(W1,0).在坐標(biāo)系中標(biāo)注車體4個(gè)魚眼鏡頭的位置,分別為O1、O2、O3、O4,將最靠近車位的車體端點(diǎn)命名為D.為便于計(jì)算,2種車位模型的方位平面圖中相同位置參數(shù)用同一符號(hào)標(biāo)記,需要求解的車體相對(duì)車位方位角標(biāo)記為α,D點(diǎn)到坐標(biāo)原點(diǎn)O的距離標(biāo)記為d.

圖10 車體相對(duì)車位方位的平面圖

3.2 有效魚眼鏡頭點(diǎn)坐標(biāo)視覺識(shí)別

通過VS2019試驗(yàn)平臺(tái),hist()函數(shù)獲取車位近景圖像的像素直方圖,垂直車位、平行車位和傾斜車位近景圖像逆透視變換的像素直方圖如圖11所示.視覺識(shí)別魚眼鏡頭O1、O2兩點(diǎn)坐標(biāo)的具體方法如下:① 設(shè)置攝像頭窗口大小,用cv.CAP_PROP_FRAME_WIDTH指定寬度, cv.CAP_PROP_FRAME_HEIGHT指定高度;② 通過圖11中的像素分布,求得O1、O2兩點(diǎn)的像素坐標(biāo);③ 結(jié)合圖像校正中魚眼鏡頭內(nèi)參矩陣f1和畸變矩陣f2的已知信息,根據(jù)像素坐標(biāo)與坐標(biāo)系上的坐標(biāo)對(duì)應(yīng)公式(1),將O1、O2兩點(diǎn)的像素坐標(biāo)轉(zhuǎn)換成在OXY坐標(biāo)系上的坐標(biāo).由圖10識(shí)別的O1、O2的像素坐標(biāo)分別為O1(a1,b1)、O2(a2,b2),且攝像頭窗口尺寸與真實(shí)尺寸的比例關(guān)系為1∶120.采用最大類間方差法,取車位近景圖像像素直方圖中第1個(gè)極值點(diǎn)坐標(biāo)值為a1、b1的值,取車位近景圖像像素直方圖中第2個(gè)極值點(diǎn)坐標(biāo)為a2、b2的值.像素坐標(biāo)與坐標(biāo)系上的坐標(biāo)對(duì)應(yīng)公式為

圖11 不同車位近景圖像逆透視變換的像素直方圖

(6)

基于圖像校正中魚眼鏡頭內(nèi)參矩陣f1、畸變矩陣f2的已知信息,根據(jù)式(6)可計(jì)算車體相對(duì)一般車位的O1、O2兩點(diǎn)坐標(biāo).

3.3 計(jì)算方位角α和距離d

圖10a坐標(biāo)系OXY中的有效點(diǎn)O1、O2和D的坐標(biāo)分別為O1(x1,y1)、O2(x2,y2)和D(x,y).因?yàn)镈點(diǎn)又是O1、O2兩點(diǎn)所在直線的交點(diǎn),且有|O1D|=W,|O2D|=L,為已知信息,在魚眼鏡頭O1、O2兩點(diǎn)坐標(biāo)已知的基礎(chǔ)上,由勾股定理可求出D點(diǎn)坐標(biāo).計(jì)算公式如下:

(7)

(8)

(9)

4 試驗(yàn)結(jié)果與討論

試驗(yàn)在VS2019環(huán)境下,基于 C語言調(diào)用OpenCV庫函數(shù)實(shí)現(xiàn).以垂直車位、平行車位和傾斜車位作為試驗(yàn)車位模型,使用魚眼鏡頭采集車位近景圖像,運(yùn)用本研究提出的基于近景圖像的車體相對(duì)車位方位參數(shù)檢測方法計(jì)算各個(gè)圖像中車體相對(duì)車位的方位角和距離.設(shè)置了對(duì)比試驗(yàn),與文獻(xiàn)[5]所述的研究方法進(jìn)行比較,并將文獻(xiàn)[5]測量的方位參數(shù)檢測結(jié)果記錄在表1中的第6組.

表1 車體相對(duì)車位的方位參數(shù)統(tǒng)計(jì)表

經(jīng)圖像校正,求解的魚眼鏡頭的內(nèi)參矩陣為

(10)

經(jīng)圖像校正,求解的魚眼鏡頭的畸變矩陣為

(11)

式中:“+”、“-”號(hào)后面的0.2和0.3為閾值.

選取的垂直車位、平行車位和傾斜車位3種車位的尺寸(L1×W1)分別為4.7 m×2.4 m、5.8 m×1.9 m和4.5 m×2.4 m.對(duì)垂直車位、平行車位和傾斜車位均進(jìn)行2組檢測,一組為車體相對(duì)一般車位模型方位參數(shù)檢測試驗(yàn),另一組為車體相對(duì)特殊車位模型方位參數(shù)檢測,共計(jì)6組.為降低偶然因素對(duì)被檢測方位參數(shù)結(jié)果的影響,每組檢測10次,計(jì)算其平均值,然后與其準(zhǔn)確值對(duì)比(車體相對(duì)各車位的方位角準(zhǔn)確值通過傾斜角傳感器測得,距離準(zhǔn)確值通過實(shí)時(shí)近距離測距儀測得),判斷本方法對(duì)車體相對(duì)車位方位參數(shù)檢測的準(zhǔn)確性.試驗(yàn)結(jié)果如表1所示,其中:第1組為垂直車位的車體相對(duì)一般車位模型方位參數(shù)檢測結(jié)果;第2組為垂直車位的車體相對(duì)特殊車位模型方位參數(shù)檢測結(jié)果;第3組為平行車位的車體相對(duì)一般車位模型方位參數(shù)檢測結(jié)果;第4組為平行車位的車體相對(duì)特殊車位模型方位參數(shù)檢測結(jié)果;第5組為傾斜車位的車體相對(duì)一般車位模型方位參數(shù)檢測結(jié)果;第6組為傾斜車位的車體相對(duì)特殊車位模型方位參數(shù)檢測結(jié)果.每組試驗(yàn)的第1、第2行表示不同初始位置條件下的方位參數(shù)檢測結(jié)果,第3行表示對(duì)比試驗(yàn)檢測結(jié)果.

對(duì)比第1組、第3組和第5組檢測數(shù)據(jù),車體相對(duì)一般車位模型方位參數(shù)中,平行車位方位角檢測相對(duì)誤差的絕對(duì)值最大,為9.16%;傾斜車位距離檢測相對(duì)誤差的絕對(duì)值最大,為3.54%;因此車體相對(duì)一般車位模型方位檢測試驗(yàn)中,本研究方法對(duì)垂直車位方位檢測的效果更穩(wěn)定,適用性更好.比較第2組、第4組和第6組檢測數(shù)據(jù),車體相對(duì)特殊車位模型方位參數(shù)中,傾斜車位的方位角檢測相對(duì)誤差的絕對(duì)值最大,為8.52%;平行車位的距離檢測相對(duì)誤差的絕對(duì)值最大,為3.89%;因此車體相對(duì)特殊車位模型方位檢測試驗(yàn)中,本研究方法同樣對(duì)垂直車位和平行車位方位檢測的效果更穩(wěn)定,適用性更好.綜合表1中6組檢測試驗(yàn)的方位參數(shù)結(jié)果,本研究方法檢測車體相對(duì)車位的方位參數(shù)平均值與準(zhǔn)確值存在誤差,且方位角檢測最大相對(duì)誤差的絕對(duì)值為9.16%,距離檢測最大相對(duì)誤差的絕對(duì)值為3.89%.平行車位方位角檢測相對(duì)誤差較大,而傾斜車位距離檢測相對(duì)誤差較大的原因如下:系統(tǒng)在檢測車位方位參數(shù)時(shí),平行車位與車體體系存在1個(gè)角度補(bǔ)償,傾斜車位與車體體系存在1個(gè)距離補(bǔ)償,這將增大數(shù)據(jù)統(tǒng)計(jì)的復(fù)雜度,進(jìn)而提高誤差.

5 結(jié) 論

針對(duì)自動(dòng)泊車系統(tǒng)進(jìn)行入庫操作制定決策規(guī)劃路線時(shí),視覺檢測車體相對(duì)目標(biāo)空車位方位角、距離存在適用性低的問題,設(shè)計(jì)了一種基于近景圖像的車體相對(duì)車位方位參數(shù)檢測方法.它的主要優(yōu)點(diǎn)是利用雙魚眼鏡頭獲取車位線近景圖像,實(shí)現(xiàn)了單一視覺技術(shù)對(duì)目標(biāo)空車位方位的檢測.結(jié)果表明:本研究提出的方法可有效檢測車體相對(duì)車位的方位參數(shù),和其準(zhǔn)確值相比,方位角檢測最大相對(duì)誤差為9.16%,距離檢測最大相對(duì)誤差為3.89%;和文獻(xiàn)[5]所述的研究方法相比,本研究提出的車位方位參數(shù)檢測方法精度更高,提高了車位檢測適應(yīng)性.