一種車載多模式全景融合拼接算法

劉 暢,徐美華,郭愛英

(1.上海大學(xué)機(jī)電工程與自動(dòng)化學(xué)院,上海200444;2.上海大學(xué)新型顯示與系統(tǒng)集成教育部重點(diǎn)實(shí)驗(yàn)室,上海200444)

近年來,隨著計(jì)算機(jī)視覺的發(fā)展,全景圖像被廣泛應(yīng)用于醫(yī)學(xué)成像技術(shù)、遙感圖像技術(shù)、虛擬現(xiàn)實(shí)世界和車載安全等方面[1].在車載安全方面,全景輔助駕駛系統(tǒng)彌補(bǔ)了駕駛員視覺上存在盲區(qū)的不足,市場(chǎng)上也出現(xiàn)了很多全景泊車系統(tǒng).然而,全景輔助系統(tǒng)仍然面臨諸多問題:如何給駕駛員提供方便、全面的視角,拼接圖像的質(zhì)量如何,有無拼接縫和鬼影,拼接速度的快慢等.

在全景拼接算法的發(fā)展過程中,學(xué)者們的主要是針對(duì)拼接算法的運(yùn)算速度和準(zhǔn)確性、構(gòu)建全景圖的視角這兩方面進(jìn)行改進(jìn).在構(gòu)建全景圖的設(shè)計(jì)上,Brown等[2]提出了利用透視變換來自動(dòng)化拼接的方法,此方法是基于Lowe[3-4]提出的尺度不變特征變換(scale-invariant feature transform,SIFT)特征點(diǎn)來完成拼接,該方法提供了完成的全景拼接方案,但是需要大量圖像進(jìn)行匹配,耗時(shí)較長(zhǎng);2008年,Bay等[5]提出了加速穩(wěn)健特征(speeded up robust features,SURF)算法,這是上述SIFT算法的改進(jìn)算法,計(jì)算速度得到提升,為算法在實(shí)時(shí)性系統(tǒng)中的應(yīng)用打下了基礎(chǔ);Joo等[6]則是基于上述SURF特征點(diǎn),將待拼接圖像分為數(shù)組柵格,每組柵格給予近處的特征點(diǎn)更高的權(quán)重,并進(jìn)行一次拼接矩陣的運(yùn)算,提高了拼接算法的準(zhǔn)確性.在視角的呈現(xiàn)上,改進(jìn)方法主要有柱面投影、球面投影以及3D全景模型.李曉輝等[7]使用球面投影的方法完成了25張圖像的拼接,然而球面投影上直線的彎曲度太大,對(duì)駕駛員有一定誤導(dǎo)性;劉冬等[8]對(duì)多個(gè)視角進(jìn)行了曲面建模,實(shí)現(xiàn)的3D車載環(huán)視全景圖更符合人的直觀感受,但是其對(duì)于高于地面的物體存在較為嚴(yán)重的拉伸形變;楊剛等[9]基于參考點(diǎn)的匹配實(shí)現(xiàn)了俯視圖的拼接,由于每一幀圖像不需要重復(fù)計(jì)算匹配矩陣,故該方法拼接速度較快,方便泊車,但是不適用于呈現(xiàn)更廣的視角.

基于上述討論,通過對(duì)柱面投影模型和俯視圖模型的研究和整合,本工作提出了2種模式自動(dòng)切換的全景拼接方案.根據(jù)相鄰幀之間的特征點(diǎn)位置關(guān)系判斷行車方向.如果為前進(jìn)狀態(tài),則判斷為行車過程,系統(tǒng)自動(dòng)切換為柱面投影模型,給駕駛員提供廣闊的視角;如果為后退狀態(tài),則判斷為倒車過程,系統(tǒng)切換為俯視圖模型,準(zhǔn)確呈現(xiàn)地面障礙物以及車道線等信息.另外,將柱面投影的運(yùn)算速度和拼接效果進(jìn)行優(yōu)化,使算法可運(yùn)用到實(shí)時(shí)視頻拼接中.

1 相關(guān)理論

全景拼接算法的框圖如圖1所示.輸入圖像首先需要進(jìn)行畸變校正,去除魚眼攝像頭的徑向畸變;然后采用柱面投影和透視變換2種方法對(duì)畸變后的圖像進(jìn)行視角變換;將得到的圖像進(jìn)行SURF特征點(diǎn)提取和配準(zhǔn),就得到初步的拼接全景圖;最后,對(duì)重疊區(qū)域進(jìn)行圖像融合,就可得到無拼接縫后的完整全景圖.

圖1 全景拼接算法框圖Fig.1 Panoramic stitching algorithm frame

1.1 柱面投影模型

在圖像拼接過程中,如果直接對(duì)具有一定角度拍攝的圖像序列進(jìn)行拼接,則會(huì)破壞實(shí)際景物的結(jié)構(gòu)特征[10].為了解決這一問題,需要對(duì)原始圖像進(jìn)行柱面投影.柱面投影是將空間看作一個(gè)圓柱體,將圖像投影到柱面坐標(biāo)系下.柱面全景圖去除了上方和下方2個(gè)部分,在水平360?方向?yàn)橛脩籼峁┉h(huán)形視覺[11].柱面投影效果如圖2所示.

圖2 柱面投影示意圖Fig.2 Cylindrical projection diagram

對(duì)于投影后的圖像上任意一點(diǎn)Q(x1,y1),反變換到原圖上為P(x,y),焦距f的計(jì)算公式為

式中:θ為相機(jī)的水平視角,是由環(huán)繞一周的圖像數(shù)量和重合度決定的.將坐標(biāo)原點(diǎn)移動(dòng)到圖像中心點(diǎn)后,2個(gè)對(duì)應(yīng)點(diǎn)變?yōu)?由圖2可得P′的坐標(biāo)為

根據(jù)式(2)可得原圖和投影圖之間點(diǎn)的對(duì)應(yīng)關(guān)系,對(duì)于給定焦距f可以生成相應(yīng)的柱面投影圖.

1.2 透視變換模型

對(duì)攝像機(jī)獲取的斜投影圖像進(jìn)行2次投影變換得到垂直視角投影圖像,所用的方法為透視變換[12].透視變換的效果如圖3所示.

圖3 透視變換示意圖Fig.3 Perspective projection diagram

對(duì)于原圖像上的一點(diǎn)(x,y),投影后的圖像上與之相對(duì)應(yīng)的像素點(diǎn)為(x′,y′).2個(gè)點(diǎn)之間存在單應(yīng)性關(guān)系,而這種單應(yīng)性關(guān)系可以表示為

由于單應(yīng)性矩陣H存在8個(gè)自由變量,因此需要至少4組方程才能有解.而每組對(duì)應(yīng)點(diǎn)可以得到2組方程,故需要至少4組對(duì)應(yīng)點(diǎn)才能找到H的解,且4個(gè)點(diǎn)中任意3個(gè)不能在同一條直線上.對(duì)于每組對(duì)應(yīng)點(diǎn),式(3)可以化簡(jiǎn)為

將4對(duì)點(diǎn)坐標(biāo)組合,可得

式中:A為8×8的可逆矩陣.根據(jù)上述關(guān)系,可以求出h即為單應(yīng)性矩陣H.

1.3 基于特征點(diǎn)的圖像拼接

在圖像拼接部分,選取較快的SURF特征點(diǎn)進(jìn)行圖像拼接,并采用隨機(jī)抽樣一致(random sample consensus,RANSAC)算法[13]去除其中的誤匹配.在已經(jīng)配準(zhǔn)的特征點(diǎn)中,令x=[x y]T和x′=[x′y′]T為相鄰2幅圖像I和I′的特征點(diǎn)對(duì).在實(shí)際拼接過程中,特征點(diǎn)對(duì)的匹配關(guān)系可用透視變換的模型來表示.根據(jù)式(3)的單應(yīng)性可知:

式中:rj為單應(yīng)性矩陣H的第j行變量.將1組帶有噪聲的特征點(diǎn)代入上述公式,并將其線性化的方法定義為數(shù)字線性磁帶(digital linear tape,DLT)技術(shù)[14].由03×1=n′×Hn可得

式中:n=[xT1]T.令ai為式(7)中的LHS矩陣的前2行,第i組數(shù)據(jù)的誤差可以表示為‖aih‖.DLT方法最小化所有組數(shù)據(jù)誤差的平方和,即

將ai組合為矩陣A∈R2N×9,式(8)可以表示為

將矩陣A用奇異值分解(singular value decomposition,SVD)方法進(jìn)行分解,h的最優(yōu)解為最小特征值的特征向量.將h重構(gòu)為單應(yīng)性矩陣H,并將H作用于原圖,就可得到拼接后的圖像.

2 多模式全景拼接算法

多模式的全景拼接方案結(jié)合了柱面拼接和俯視圖拼接這2種方法的優(yōu)點(diǎn),旨在根據(jù)車輛的行駛狀況的不同選擇合適的全景圖像的呈現(xiàn)方法,給駕駛員提供更好的視角選擇.多模式全景拼接算法具體的實(shí)現(xiàn)框圖如圖4所示.

圖4 多模式全景拼接算法框圖Fig.4 Frame of multi-mode panoramic stitching algorithm

2.1 畸變校正

圖像的獲取是通過4路魚眼攝像頭來實(shí)現(xiàn)的,2種模式下都需要對(duì)魚眼攝像頭進(jìn)行畸變校正.畸變校正采用9×7大小的棋盤來進(jìn)行的.棋盤網(wǎng)格的角點(diǎn)檢測(cè)[15]結(jié)果如圖5所示.

圖5 角點(diǎn)檢測(cè)結(jié)果Fig.5 Result of corner detection

根據(jù)文獻(xiàn)[16]中的張正友標(biāo)定法可以知道,圖像坐標(biāo)系下的坐標(biāo)與世界坐標(biāo)系下的坐標(biāo)有如下關(guān)系:

式中:A為相機(jī)的內(nèi)參數(shù);[R t]為相機(jī)外參數(shù);m和M分別表示為圖像坐標(biāo)系和世界坐標(biāo)系下的坐標(biāo);s為一個(gè)尺度因子.根據(jù)式(10),可以計(jì)算出相機(jī)的內(nèi)外參數(shù)矩陣的初值.然后利用L-M算法[17]估計(jì)出最大似然參數(shù),此步驟的目的是消除噪聲點(diǎn).當(dāng)計(jì)算出內(nèi)外參數(shù)矩陣后就可以根據(jù)畸變模型的公式計(jì)算出畸變參數(shù),完成畸變校正:

2.2 基于特征點(diǎn)的行車方向判斷

根據(jù)相鄰2幀圖像的特征點(diǎn)的對(duì)比,可以判斷出車輛的行駛方向.特征點(diǎn)的檢測(cè)時(shí)間較長(zhǎng),如果每一幀都進(jìn)行特征點(diǎn)的計(jì)算與匹配,則會(huì)影響拼接算法的實(shí)時(shí)性,因此每相隔30 s進(jìn)行一次特征提取.提取到的特征點(diǎn)一方面用于此處車輛行駛方向的判斷,另一方面用于下面的特征匹配.

相鄰2幀圖像之間有重疊區(qū)域,根據(jù)式(3)可知存在單應(yīng)性矩陣.將單應(yīng)性矩陣分解可以得到

式中:HS表示圖像的旋轉(zhuǎn)平移;HA為一個(gè)上三角矩陣;HP表示圖像形變.在HS中R為旋轉(zhuǎn)量;t為平移量.因此H矩陣中的t即為圖像之間的平移狀況.由于圖像噪聲可能會(huì)導(dǎo)致2幀之間存在平移量,故根據(jù)實(shí)際車速分別計(jì)算出前進(jìn)與后退狀態(tài)下的判斷閾值α、β.令tT=[x y],以小車右邊攝像機(jī)所拍圖像為參考,根據(jù)式(12)可判斷出行車方向:

將小車右邊攝像機(jī)所拍攝的校正后的圖像進(jìn)行對(duì)比判斷.判斷出行車方向后,就對(duì)舵機(jī)發(fā)出控制信號(hào).如果是前進(jìn)方向,則讓舵機(jī)與水平面平行;如果是后退方向,則讓舵機(jī)向下與水平面呈45?夾角.

2.3 視角變換

根據(jù)小車的行駛方向進(jìn)行相應(yīng)的視角變換.前進(jìn)時(shí),為了給駕駛員提供更廣闊的視角,采用柱面拼接的方法;倒車時(shí),為了給駕駛員提供地面障礙物及停車線信息,采用透視變換的方法.在拼接前,先根據(jù)上述柱面投影和透視變換的方法計(jì)算出變換后的特征點(diǎn)與變換前的對(duì)應(yīng)矩陣;而在拼接過程中,只需要根據(jù)對(duì)應(yīng)矩陣就可以找到原圖上對(duì)應(yīng)點(diǎn)的坐標(biāo),這種方法可以提升相鄰幀的運(yùn)算速度,提高實(shí)時(shí)性.通常,得到的坐標(biāo)并非整數(shù),因此使用雙線性插值法計(jì)算該點(diǎn)的像素值.透視變換和柱面投影結(jié)果分別如圖6、7所示.

圖6 透視變換結(jié)果Fig.6 Results of perspective transformation

圖7 柱面投影效果Fig.7 Results of cylindrical transformation

2.4 特征匹配

觀察相鄰2幀圖像,可以看出2幀圖像的對(duì)應(yīng)點(diǎn)集中在重疊區(qū)域所在的半邊,說明相鄰2幀圖像的特征提取和匹配主要在半邊的圖像進(jìn)行,這樣可以縮短拼接所需時(shí)間.特征點(diǎn)提取與匹配如圖8所示.

圖8 特征點(diǎn)匹配結(jié)果Fig.8 Result of features matching

根據(jù)上述DLT算法,可以求出2幀圖像的單應(yīng)性矩陣,然而如果根據(jù)單應(yīng)性矩陣將整幅圖像變換到另一幀圖像上,則會(huì)導(dǎo)致變換后的圖像出現(xiàn)重疊區(qū)域與非重疊區(qū)域比例不一致的情況.文獻(xiàn)[18]將圖像分成不同區(qū)域進(jìn)行處理.簡(jiǎn)化后的上述方法可用于拼接效果的優(yōu)化.簡(jiǎn)化方法為:對(duì)于靠近重疊區(qū)域的三分之一采用單應(yīng)性矩陣H的變換方法,對(duì)于遠(yuǎn)離重疊區(qū)域的三分之一采用相似變換,中間區(qū)域則采用二者過渡的變換矩陣.具體實(shí)現(xiàn)過程:①根據(jù)H計(jì)算左邊三分之一部分各行像素點(diǎn)的位移情況Δx1;②根據(jù)相似變換計(jì)算右邊三分之一,得到每行的位移情況Δx2;③中間三分之一部分各行的位移量是根據(jù)Δx1和Δx2加權(quán)計(jì)算所得,即Δx3=w1Δx1+w2Δx2.由此,可以得到拼接效果更好的全景圖像,2種方法的對(duì)比如圖9、10所示.

圖9 根據(jù)H矩陣拼接結(jié)果Fig.9 Stitching result according to H

圖10 改進(jìn)算法拼接結(jié)果Fig.10 Stitching result of optimized method

由圖9和10對(duì)比可以看出,算法呈現(xiàn)出更好的視角,避免了遠(yuǎn)離重疊區(qū)域一端圖像的拉伸情況.另外,針對(duì)特征檢測(cè)時(shí)間較長(zhǎng)的問題,采取間隔提取特征點(diǎn)的方法,即每隔30 s進(jìn)行一次特征點(diǎn)的提取,并對(duì)單應(yīng)性矩陣進(jìn)行修正,這樣可在保證準(zhǔn)確性的同時(shí)提高算法的實(shí)時(shí)性.

2.5 圖像融合

不同圖像由于存在顏色亮度差異會(huì)出現(xiàn)明顯接縫,需要進(jìn)行融合處理[19].加權(quán)平均融合算法類似于直接求平均的算法,但是其在重疊區(qū)域不是將像素值進(jìn)行簡(jiǎn)單疊加,而是先進(jìn)行權(quán)值運(yùn)算再疊加求平均,這樣可用于圖像融合.設(shè)I為融合后的圖像,I1和I2分別表示為參考圖像和待拼接圖像,則圖像I在(x,y)處的像素值為

式中:w1+w2=1.不加入融合算法和加入融合算法的對(duì)比如圖11所示.

圖11 不加入和加入融合算法對(duì)比圖Fig.11 Comparison images of without and with fusion algorithm

圖11(a)中沒有加入融合算法,可以看出明顯的拼接縫,而(b)中使用融合算法,拼接縫被修正,效果良好.

3 實(shí)驗(yàn)結(jié)果

為了驗(yàn)證多模式算法,本實(shí)驗(yàn)室自行開發(fā)了一套多模式車載全景拼接系統(tǒng)(見圖12).本系統(tǒng)主要包含小車模型、四路魚眼攝像頭、舵機(jī)控制板和PC機(jī)等.輸入設(shè)備為四路魚眼攝像頭,每一個(gè)攝像頭輸入圖像尺寸為640×480(像素).算法處理使用的PC機(jī)配置如下:Inter Core i5-7300HQ@2.50 GHz;8 G內(nèi)存.配置的運(yùn)行環(huán)境為Visual Studio 2017平臺(tái)上基于Opencv3.3,使用C++語言編程實(shí)現(xiàn)本算法.實(shí)驗(yàn)平臺(tái)如圖12所示.

實(shí)驗(yàn)中,小車前進(jìn)時(shí)系統(tǒng)自動(dòng)切換為行車模式,舵機(jī)自動(dòng)調(diào)整角度,與水平面平行,拼接輸出的全景圖如圖13所示.

從圖13可以看出,柱面投影將攝像頭按照后—左—前—右—后的順序拼接成為一幅完整的全景圖,且每幀圖像都較好地保留了原圖的視角,相鄰圖像之間的拼接縫也被處理好了;僅在攝像頭近處存在一些視角盲區(qū),這是由于魚眼相機(jī)的視角所限制的.

圖12 實(shí)驗(yàn)平臺(tái)示意圖Fig.12 Experimental platform diagram

圖13 行車模式全景拼接圖Fig.13 Panoramic stitching image of forward-mode

小車后退時(shí)系統(tǒng)自動(dòng)切換為倒車模式,舵機(jī)自動(dòng)調(diào)整角度,與水平面呈45?夾角,方向向下.拼接輸出的全景圖如圖14所示.

圖14 倒車模式全景拼接圖Fig.14 Panoramic stitching image of backward-mode

圖14的中心區(qū)域用實(shí)驗(yàn)用車的圖像模擬車身位置,完整呈現(xiàn)了車身周圍的俯視圖在圖像邊緣的模糊部分,是由于攝像頭畸變校正所得的圖像邊緣像素點(diǎn)較少.

在實(shí)驗(yàn)中,選取3組柱面拼接所需時(shí)間的數(shù)據(jù)(見表1);選取3組俯視圖拼接所需時(shí)間的數(shù)據(jù)(見表2).

由于柱面投影中最左邊和最右邊2幀圖像都是車背面攝像頭所獲圖像,即柱面投影是將5幀圖像拼接在一起的,因此其圖像配準(zhǔn)的時(shí)間相比俯視圖模式要更長(zhǎng).總之,拼接的時(shí)間可以滿足實(shí)時(shí)性的要求.經(jīng)典柱面投影算法運(yùn)算與改進(jìn)算法性能比較如表3所示.

表1 行車模式全景拼接所需時(shí)間Table 1 Time cost on forward-mode stitching

表2 倒車模式全景拼接所需時(shí)間Table 2 Time cost on backward-mode stitching

表3 經(jīng)典柱面投影算法與改進(jìn)算法性能比較Table 3 Performance comparison of classical cylindrical projection and improved algorithm

根據(jù)柱面投影模型中投影后的點(diǎn)和投影前的點(diǎn)之間存在的對(duì)應(yīng)關(guān)系,可以計(jì)算出投影后的圖像上每一點(diǎn)與投影前圖像上對(duì)應(yīng)點(diǎn)的位置關(guān)系,其中超出原圖范圍的點(diǎn)不予考慮.以上述對(duì)應(yīng)點(diǎn)的位移量建立起與圖像像素?cái)?shù)目一致的位移矩陣,根據(jù)此矩陣就可以找到原圖上對(duì)應(yīng)點(diǎn)的位置,并利用雙線性插值法得到柱面投影圖.此步驟僅在初始化過程中進(jìn)行,而在拼接過程中不需要重復(fù)計(jì)算,這就加快了這部分算法的實(shí)現(xiàn)速度,增強(qiáng)了算法的實(shí)時(shí)性.

從實(shí)驗(yàn)結(jié)果來看,拼接圖完整地呈現(xiàn)了2種視角下的全景圖像,為駕駛員提供了更豐富的路況信息.同時(shí),算法所用的總體時(shí)間也滿足了實(shí)時(shí)性的要求,方便駕駛員及時(shí)做出調(diào)整.

4 結(jié)束語

通過對(duì)全景視角的優(yōu)化問題進(jìn)行研究,本工作提出了一種多模式的全景融合拼接算法.該算法針對(duì)全景駕駛輔助系統(tǒng)在視角上無法完整提供駕駛員所需視角的問題,將柱面投影和透視變換下的俯視圖模型結(jié)合在一起,并根據(jù)實(shí)際行車狀況,選擇合適的模型進(jìn)行全景拼接.另外,對(duì)傳統(tǒng)的基于一個(gè)單應(yīng)性矩陣的拼接做出改進(jìn),優(yōu)化了柱面投影下的全景圖的呈現(xiàn)效果.經(jīng)過實(shí)驗(yàn)證明,該算法也可以滿足駕駛輔助算法的實(shí)時(shí)性要求,具有一定的實(shí)際應(yīng)用價(jià)值.未來工作中將繼續(xù)研究拼接圖像之間的精確匹配,消除由一個(gè)單應(yīng)性矩陣映射所帶來的鬼影現(xiàn)象,同時(shí)還需要進(jìn)一步提高算法的速度和魯棒性.