基于圖像融合的全景泊車輔助系統(tǒng)研究

張平改,魏利勝,周圣文(安徽工程大學(xué)電氣工程學(xué)院,安徽蕪湖 241000)

基于圖像融合的全景泊車輔助系統(tǒng)研究

張平改,魏利勝?,周圣文
(安徽工程大學(xué)電氣工程學(xué)院,安徽蕪湖 241000)

針對(duì)全景泊車輔助系統(tǒng)中圖像融合效果較差的問題,提出一種漸入漸出的圖像融合算法.首先,根據(jù)配準(zhǔn)完成的全景圖像選取出重合區(qū)域,并確定其邊界的坐標(biāo)參數(shù)值;在此基礎(chǔ)上,計(jì)算該區(qū)域中像素點(diǎn)坐標(biāo)到其邊界的最短距離以得出融合算法的權(quán)值,并采用上述權(quán)值進(jìn)行圖像融合,從而得出汽車四周的全景圖像;最后,利用實(shí)例驗(yàn)證了該方法的有效性與可行性.

圖像融合;漸入漸出;重合區(qū)域;泊車輔助

隨著科學(xué)技術(shù)的發(fā)展與生活水平的提高,汽車已經(jīng)走進(jìn)了人們的生活.與此同時(shí),伴隨著汽車數(shù)量的逐年增加,導(dǎo)致交通事故頻發(fā),給事故受害者及其家屬帶來了極大的傷害.為了一定程度上避免交通事故、提高駕駛行車的安全性,泊車輔助系統(tǒng)逐漸被安裝到汽車上.然而,由于配準(zhǔn)后圖像融合效果較差,導(dǎo)致汽車四周全景圖像的視覺效果不佳,使駕駛?cè)藛T不能較好地把握車身四周情況[1-2].因此,如何將配準(zhǔn)后圖像進(jìn)行有效地融合具有重要的研究意義.

自全景可視化問世以來,泊車輔助系統(tǒng)已成為圖像處理領(lǐng)域研究的熱點(diǎn)問題,國內(nèi)外學(xué)者對(duì)其進(jìn)行了大量的探索,并取得了豐碩的研究成果.劉春暉[3]等介紹了2011款新途銳的行車輔助系統(tǒng),通過配置多功能攝像頭系統(tǒng)來采集圖像,并進(jìn)行圖像合成以提供給行車駕駛?cè)藛T;周猛[4]等采用TMS320DM6437處理器與TVP5158視頻解碼器為硬件系統(tǒng),并以圖像矯正、俯視變換與全景拼接算法為軟件核心,實(shí)現(xiàn)汽車四周的全景成像;王旭東[5]等利用采集的圖像進(jìn)行車身景象重構(gòu),并利用雙圓弧路徑規(guī)劃算法與改進(jìn)PID路徑跟蹤算法,以實(shí)現(xiàn)自動(dòng)泊車;程志剛[6]等設(shè)計(jì)一種輔助泊車系統(tǒng)的模糊控制器,并采用遺傳算法對(duì)其參數(shù)進(jìn)行尋優(yōu),從而達(dá)到自動(dòng)泊車目的;張寶龍[7]等利用COMS圖像傳感器獲取圖像信息,并通過雙向FPD-Link串行/解串器進(jìn)行信號(hào)傳輸,以實(shí)現(xiàn)車身四周圖像的全景顯示;程劉勝[8]等設(shè)計(jì)一款礦用無軌膠輪泊車輔助系統(tǒng),并詳細(xì)介紹其工作原理,以提高采礦作業(yè)的安全性;常嘉義[9]等利用運(yùn)動(dòng)的方法檢測(cè)出高于地面的物體,并建立圖像信息的三維模型,以實(shí)現(xiàn)障礙物的檢測(cè);馬世典[10]等在Bootstrap理論的基礎(chǔ)上,構(gòu)建出小樣本的泊車系統(tǒng)精度評(píng)價(jià)函數(shù),以輔助駕駛?cè)藛T進(jìn)行精確泊車;陳爍華[11]等利用Sobel算法以突出物體的邊緣,并采用Hough算法檢測(cè)出其邊緣區(qū)域,使駕駛?cè)藛T更加直觀地把握車身四周情況.

綜上所述,研究人員對(duì)泊車輔助系統(tǒng)進(jìn)行了大量研究,并取得了一定的研究成果,但經(jīng)配準(zhǔn)后圖像融合的效果較差,不能較好滿足視覺的要求.為了解決上述問題,在現(xiàn)有研究的基礎(chǔ)上,提出了一種漸入漸出的圖像融合算法,對(duì)重合區(qū)域的圖像信息進(jìn)行融合,以解決全景圖像視覺效果較差的問題.

1 圖像融合原理

圖像融合是圖像處理領(lǐng)域的一個(gè)重要研究分支,通過將多幅圖像信息按一定規(guī)則進(jìn)行融合,以得到一幅清晰完整的圖像信息,從而有效地改善融合后的圖像視覺效果.傳統(tǒng)的圖像融合是將待融合圖像信息進(jìn)行疊加,并除以其圖像的總數(shù),從而得出重合區(qū)域圖像灰度平均值.該方法權(quán)值大小相對(duì)固定、計(jì)算量相對(duì)較小,然而其融合效果不佳,不同圖像之間的連續(xù)性較差,不利于視覺的觀看效果.

為了克服融合后圖像的不連續(xù)性,現(xiàn)采用一種漸入漸出的圖像融合算法對(duì)配準(zhǔn)后圖像進(jìn)行融合,以改善圖像的視覺效果.漸入漸出圖像融合算法的權(quán)值大小隨著融合像素位置的改變而變化,當(dāng)待融合像素位置在重合區(qū)域邊界上時(shí),與其接近的源圖像權(quán)值大小為1,另外一幅源圖像權(quán)值大小為0;當(dāng)待融合像素位置遠(yuǎn)離該邊界而向另一個(gè)邊界靠近時(shí),上述權(quán)值大小1會(huì)逐漸減小,而權(quán)值大小0會(huì)逐漸增大;當(dāng)待融合像素位于重合區(qū)域的相對(duì)應(yīng)邊界上時(shí),上述權(quán)值大小1會(huì)減小為0,而權(quán)值大小會(huì)增大到1.其融合算法模型原理圖如圖1所示.由圖1可知,四邊形abcd表示待融合圖像1、2的重合區(qū)域,m表示重合區(qū)域上某一像素點(diǎn),l1、l2、l3、l4分別表示點(diǎn)m到重合區(qū)域邊界的垂直距離.如果l1＜l2、l3＜l4,則像素點(diǎn)m到重合區(qū)域的邊界最短距離分別為l1、l3,故可計(jì)算l1、l3分別占其之和的比例以確定其權(quán)值大小.通過上述的圖像漸入漸出融合,像素信息由一幅圖像向另一幅圖像實(shí)現(xiàn)了逐步過渡,從而盡可能地保持融合后圖像的連續(xù)性,以滿足人們的視覺效果.

2 基于漸入漸出的圖像融合算法

漸入漸出圖像融合算法可分為兩大步驟:第一步,待融合圖像重合區(qū)域邊界的確定,為后期的圖像融合作準(zhǔn)備;第二步,對(duì)確定出的重合區(qū)域進(jìn)行圖像信息融合處理,從而得出汽車四周的全景圖像.以汽車前方、左側(cè)圖像進(jìn)行融合算法的推導(dǎo)與計(jì)算,其漸入漸出圖像融合算法示意圖如圖2所示.

2.1 重合區(qū)域的確定

假設(shè)待融合圖像1、圖像2已完全配準(zhǔn),并分別對(duì)其第一行與第一列進(jìn)行掃描以確定第一次出現(xiàn)像素信息點(diǎn)的坐標(biāo),從而得出點(diǎn)a的坐標(biāo)值,即(x1,y1).設(shè)待融合圖像1、圖像2的大小分別為m1×n1、m2× n2,可得關(guān)系式如式(1)、式(2)所示:

從而得出點(diǎn)b、c、d的坐標(biāo)值分別為b(x1,y2)、c(x2,y1)、d(x2,y2),并通過上述的坐標(biāo)值可確定重合區(qū)域的位置.

2.2 漸入漸出融合算法

待融合圖像1、2的重合區(qū)域位置確定后,利用漸入漸出算法對(duì)該區(qū)域像素信息進(jìn)行有效地融合處理.為了方便算法的演示以簡化計(jì)算量,現(xiàn)以點(diǎn)m(x,y)進(jìn)行計(jì)算公式的推導(dǎo),設(shè)點(diǎn)m(x,y)距離線段ab、bc、da、cd的長度分別為l1、l2、l3、l4,則其表達(dá)式分別如式(3)～式(6)所示:

然后,分別將l1與l2、l3與l4進(jìn)行比較以得出點(diǎn)m(x,y)到源圖像1、圖像2的最短距離l5、l6,其表達(dá)式分別如式(7)、式(8)所示:

由點(diǎn)m(x,y)到源圖像1、圖像2的最短距離計(jì)算出圖像融合的權(quán)值大小p、q,其表達(dá)式分別式(9)、式(10)所示:

而待融合圖像1、圖像2分別表示為f1(x,y)、f2(x,y),則融合后圖像為f(x,y),其關(guān)系表達(dá)式如式(11)所示:

從而最終完成重合區(qū)域圖像的清晰融合,以改善圖像的視覺效果.

2.3 圖像融合的評(píng)價(jià)指標(biāo)

通過上述的漸入漸出算法融合后,得到一幅汽車四周的全景圖像,而全景圖像的融合好壞可以直接用肉眼進(jìn)行評(píng)價(jià),以自己的主觀感覺對(duì)融合后圖像質(zhì)量的優(yōu)劣做出評(píng)價(jià).然而這種方法過于簡單,受人們的主觀因素影響較大.為更加客觀評(píng)價(jià)融合后圖像的效果,且全景圖像融合后視覺效果越清晰越好,故選取文獻(xiàn)[12]所列出的融合評(píng)價(jià)指標(biāo)(平均梯度與空間頻率)對(duì)其進(jìn)行評(píng)估,以說明所提出方法的優(yōu)越性.其中,平均梯度反映融合后圖像中微小細(xì)節(jié)的反差能力,當(dāng)平均梯度越大時(shí),圖像的層次感越好,圖像也就越清晰;而空間頻率反映一幅圖像空間域的總體活躍度,它包括空間的行頻率與空間的列頻率,當(dāng)空間頻率越大時(shí),圖像融合質(zhì)量越好,融合評(píng)價(jià)指標(biāo)的關(guān)系表達(dá)式如式(12)～式(15)所示.

平均梯度:

空間行頻率:

空間列頻率:

空間的頻率:

3 實(shí)例驗(yàn)證

為了驗(yàn)證算法的可行性,現(xiàn)通過魚眼鏡頭來采集圖像進(jìn)行融合實(shí)驗(yàn),以仿真出汽車四周圖像的采集效果,其中實(shí)驗(yàn)平臺(tái)為window 7操作系統(tǒng),CPU為3.3 GHZ,內(nèi)存2 G,編程環(huán)境Matlab 7.1,魚眼鏡頭采集圖像如圖3所示.圖3由汽車前后、左右的4個(gè)魚眼鏡頭采集,通過魚眼圖像畸變矯正算法校正與透視變換處理,并對(duì)其邊緣進(jìn)行裁剪以利于后期的全景圖像融合實(shí)驗(yàn),其待融合全景圖像如圖4所示.

由于上述融合算法是在圖像配準(zhǔn)完成的基礎(chǔ)上進(jìn)行的,故利用拼接軟件進(jìn)行位置的移動(dòng),其拼接后待融合圖像如圖5a所示.為了說明所提出方法的優(yōu)越性,現(xiàn)以所提出方法進(jìn)行全景圖像融合實(shí)驗(yàn),并將其與加權(quán)平均法融合后圖像進(jìn)行對(duì)比實(shí)驗(yàn),其全景圖像融合效果對(duì)比圖如圖5b、圖5c所示.從圖5b中可以看出,加權(quán)平均法融合后圖像上存在明顯的融合縫隙,且圖像的重合區(qū)域依稀可見,相鄰圖像之間的連續(xù)性較差,不利于視覺的觀看效果.從圖5c可以看出,融合后圖像的整體連續(xù)性較好,實(shí)現(xiàn)了從一張圖像到另一張圖像的漸變過渡,并有效地避免了融合后圖像的視覺效果不佳的問題,提高了圖像的整體連續(xù)性,改善了全景圖像的視覺效果.

為了進(jìn)一步說明所提出方法的優(yōu)越性,現(xiàn)以上述所列出的融合評(píng)價(jià)指標(biāo)對(duì)全景圖像重合區(qū)域融合效果進(jìn)行評(píng)估,其評(píng)價(jià)指標(biāo)對(duì)比表如表1所示.從表1中可以看出,在4個(gè)全景圖像融合區(qū)域上,所提出方法計(jì)算出的平均梯度與空間頻率都要比加權(quán)平均法計(jì)算出數(shù)值更大,從而有效地說明所提出方法融合后圖像的層次感更強(qiáng)、質(zhì)量更好、清晰度更高.因此,漸入漸出圖像融合算法有利于全景圖像的融合,改善了圖像的視覺效果.

表1 融合算法評(píng)價(jià)指標(biāo)對(duì)比表

4 結(jié)論

由于汽車全景顯示中相鄰圖像融合效果較差,從而在一定程度上影響了人們視覺效果.為了改善圖像的融合效果,提高圖像的清晰程度,本文提出了一種漸入漸出的圖像融合算法,先由配準(zhǔn)完成的全景圖像確定出重合區(qū)域,然后計(jì)算出重合區(qū)域像素信息到源圖像1、2的最短距離,并根據(jù)其之間的關(guān)系得出待融合圖像的權(quán)值大小,從而最終完成汽車四周全景圖像的融合.

[1] E N Malamas,E G M Petrakis,M Zervakis,et al.A survey on industrial vision systems,applications and tools[J].Image and Vision Computing,2003,21(2):171-188.

[2] A Lucchi,K Smith,R Achanta,et al.Supervoxel-based segmentation of mitochondria in EM image stacks with learned shape features[J].IEEE Transactions on Medical Imaging,2012,31(2):474-486.

[3] 劉春暉,張文.2011款途銳駕駛輔助系統(tǒng)解析[J].新車新技術(shù),2013,1(3):24-26.

[4] 周猛,喬瑞萍,王效鵬,等.基于Da Vinci的360度全景泊車影像系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J].電子技術(shù)應(yīng)用,2014,40(10): 20-26.

[5] 王旭東,王春香,楊明,等.一種基于環(huán)視相機(jī)的自動(dòng)泊車方法[J].上海交通大學(xué)學(xué)報(bào),2013,47(7):1 077-1 086.

[6] 程志江.遺傳算法在自動(dòng)泊車輔助系統(tǒng)模糊控制中的應(yīng)用[J].模糊系統(tǒng)與數(shù)學(xué),2010,24(3):160-167.

[7] 張寶龍,楊繼超,李丹.基于CMOS圖像傳感器的車載高清全景成像系統(tǒng)設(shè)計(jì)[J].光學(xué)技術(shù),2015,41(3):247-251.

[8] 程劉勝,呂小強(qiáng),陳亞,等.礦用無軌膠輪車泊車輔助裝置設(shè)計(jì)[J].工礦自動(dòng)化,2014,40(7):19-21.

[9] 常嘉義,秦瑞,李慶,等.基于全景鳥瞰視圖的障礙物檢測(cè)方法研究[J].計(jì)算機(jī)科學(xué),2014,41(11):78-82.

[10]馬世典,江浩斌,吳狄,等.基于Bootstrap方法的自動(dòng)泊車系統(tǒng)精度評(píng)價(jià)研究[J].機(jī)械設(shè)計(jì),2014,31(12):71-74.

[11]陳爍華,馮桑,余剛,等.Sobel-Hough檢測(cè)方法在機(jī)器視覺倒車輔助系統(tǒng)的應(yīng)用研究[J].機(jī)械設(shè)計(jì)與制造,2011,2: 149-151.

[12]高超.圖像融合評(píng)價(jià)方法的研究[J].電子測(cè)量,2011,7:30-33.

Panorama parking assist system based on image fusion

ZHANG Ping-gai,WEI Li-sheng?,ZHOU Sheng-wen
(College of Electrical Engineering,Anhui Polytechnic University,Wuhu 241000,China)

The issue of fade-in-fade-out algorithm for panoramic image fusion of parking assist system was proposed to improve the visual effect of image fusion.The overlap region was determined by according to panoramic image of registration.And the coordinates of the boundary parameter were determine.Based on this,the shortest distance of the pixel coordinates to its borders was derived to determine the weighting of fusion algorithm.And these weights of image fusion were used.Then the panoramic image around the car was given.Finally,the examples were presented to verify the feasibility and effectiveness of the proposed results.

image fusion;fade-in-fade-out;overlap region;parking auxiliary

TH85＋5

A

1672-2477(2015)05-0058-05

2015-08-05

國家自然科學(xué)基金項(xiàng)目資助(61203033、61172131、61271377)

張平改(1990-),男,安徽馬鞍山人,碩士研究生.

魏利勝(1978-),男,安徽巢湖人,副教授,博士.