基于仿復(fù)眼視覺(jué)成像的目標(biāo)信息獲取方法

陳愛(ài)華,何炳蔚,高誠(chéng)輝

(福州大學(xué)機(jī)械工程及自動(dòng)化學(xué)院,福建 福州 350108)

?

基于仿復(fù)眼視覺(jué)成像的目標(biāo)信息獲取方法

陳愛(ài)華,何炳蔚,高誠(chéng)輝

(福州大學(xué)機(jī)械工程及自動(dòng)化學(xué)院,福建 福州 350108)

目標(biāo)信息獲取是視覺(jué)測(cè)量的關(guān)鍵技術(shù),提出了一種基于仿復(fù)眼視覺(jué)成像的目標(biāo)三維信息獲取方法.該方法根據(jù)復(fù)眼視覺(jué)成像原理,采用單攝像機(jī)和平面微透鏡陣列進(jìn)行成像,建立目標(biāo)點(diǎn)和成像點(diǎn)之間的對(duì)應(yīng)幾何關(guān)系,利用歸一化互相關(guān)窗口匹配算法,獲得目標(biāo)的深度信息,從而計(jì)算出其三維坐標(biāo)信息,通過(guò)試驗(yàn)驗(yàn)證了該方法的可行性和正確性.

復(fù)眼; 三維信息獲取; 互相關(guān)匹配; 深度提取

CHEN Ai-hua,HE Bing-wei,GAO Cheng-hui

(School of Mechanical Engineering and Automation,Fuzhou University,Fuzhou,350108,China)

隨著光電技術(shù)的發(fā)展,視覺(jué)技術(shù)已發(fā)展到可以獲取目標(biāo)的三維信息,因其具有非接觸、無(wú)損、實(shí)時(shí)性、結(jié)構(gòu)簡(jiǎn)單等特點(diǎn),故廣泛應(yīng)用于機(jī)器導(dǎo)航、工業(yè)測(cè)量和公共安防監(jiān)控等領(lǐng)域[1-3].通過(guò)視覺(jué)技術(shù)獲取目標(biāo)的三維信息,其主要難點(diǎn)在于如何從二維平面圖像恢復(fù)真實(shí)世界的三維結(jié)構(gòu)信息,或者計(jì)算特定目標(biāo)的深度信息.

立體視覺(jué)技術(shù)通過(guò)兩個(gè)或兩個(gè)以上的圖像獲取目標(biāo)的三維信息,是目前應(yīng)用較廣的獲取方法.然而,傳統(tǒng)的立體視覺(jué)系統(tǒng)需要兩個(gè)或兩個(gè)以上的相機(jī),系統(tǒng)結(jié)構(gòu)較為復(fù)雜龐大,需要精確標(biāo)定多個(gè)不同相機(jī)的內(nèi)部參數(shù)和外部參數(shù),同時(shí)需要考慮圖像特征立體匹配問(wèn)題,僅用兩個(gè)像素點(diǎn)進(jìn)行匹配分析受到瑕疵像素的影響,從而限制了其在許多領(lǐng)域的應(yīng)用.

近年來(lái),LAND,HORISAKI等提出了采用仿復(fù)眼視覺(jué)成像系統(tǒng)來(lái)獲取目標(biāo)三維信息的方法[4-6].這種視覺(jué)系統(tǒng)主要模仿節(jié)肢動(dòng)物復(fù)眼系統(tǒng)來(lái)解決視覺(jué)感知問(wèn)題,其應(yīng)用已成為眾多行業(yè)學(xué)者的研究重點(diǎn)[7-11].它只需要一個(gè)相機(jī)和一個(gè)微透鏡陣列,一次成像可以從多個(gè)視點(diǎn)捕獲同一目標(biāo)的多張圖像,有效地獲取目標(biāo)的三維信息,解決了立體視覺(jué)的測(cè)量問(wèn)題,主要應(yīng)用于工業(yè)測(cè)量、目標(biāo)定位跟蹤、安全監(jiān)控和三維成像等領(lǐng)域[12-15].

本文構(gòu)建了仿復(fù)眼視覺(jué)成像系統(tǒng),分析研究了其成像原理以及目標(biāo)點(diǎn)和成像點(diǎn)之間的對(duì)應(yīng)關(guān)系,利用互相關(guān)圖像匹配算法,計(jì)算各個(gè)目標(biāo)點(diǎn)的深度信息,從而獲取目標(biāo)的三維信息.

1 成像原理

1.1 視覺(jué)成像系統(tǒng)

仿復(fù)眼視覺(jué)系統(tǒng)的結(jié)構(gòu)配置如圖1所示,主要由1個(gè)CCD(Charge-coupled Device)相機(jī)、1個(gè)主透鏡和1個(gè)長(zhǎng)方形微透鏡陣列組成.微透鏡陣列是由一系列微小的單元透鏡組成,單元透鏡間的間距很小,其相對(duì)位置不同,一次成像可以從多個(gè)視點(diǎn)捕獲同一目標(biāo)的多張單元圖像,因此擁有水平方向和垂直方向的視差分析,采用多個(gè)對(duì)應(yīng)像素點(diǎn)的匹配,匹配結(jié)果好,可以精確地獲取目標(biāo)的三維信息.不同于其他視覺(jué)系統(tǒng)[12-14],該視覺(jué)系統(tǒng)將微透鏡陣列安裝在主透鏡和目標(biāo)之間,微透鏡陣列的物理尺寸不會(huì)受到主透鏡大小的限制,可以獲得更寬的基線以提高立體成像性能.此外,與文獻(xiàn)[15]中相機(jī)陣列的解決方案相比,該視覺(jué)系統(tǒng)只需要一個(gè)相機(jī),因此它具有緊湊的系統(tǒng)配置且成本低.

圖1 視覺(jué)系統(tǒng)的配置結(jié)構(gòu)

1.2 成像幾何關(guān)系

圖2表示了視覺(jué)系統(tǒng)中空間目標(biāo)點(diǎn)與相應(yīng)成像點(diǎn)之間的成像幾何關(guān)系[16].假設(shè)每個(gè)微透鏡所獲得的目標(biāo)圖像都成像在同一個(gè)虛擬圖像平面P上且單元圖像互相不重疊,通過(guò)調(diào)整主透鏡的焦距使虛擬圖像平面在相機(jī)中清晰成像.為了便于分析,以一維微透鏡陣列來(lái)分析空間目標(biāo)點(diǎn)與相應(yīng)成像點(diǎn)之間的成像幾何關(guān)系.

圖2 視覺(jué)系統(tǒng)的成像幾何關(guān)系

在圖2中,Xi是目標(biāo)點(diǎn)x通過(guò)第i個(gè)單元透鏡在圖像平面P上所成的像點(diǎn),Xc,i是在CCD相機(jī)成像平面上獲得的相應(yīng)的像點(diǎn).在微透鏡成像過(guò)程中,根據(jù)相似三角形幾何關(guān)系,目標(biāo)點(diǎn)x在圖像平面P上的像點(diǎn)坐標(biāo)Xi為

(1)

同樣,在CCD相機(jī)成像過(guò)程中,可得相應(yīng)的成像坐標(biāo)

(2)

根據(jù)式(1)和式(2)可得

(3)

式中:Dx為單元透鏡在x方向上間距;fc為相機(jī)鏡頭的焦距;fa為單元透鏡的焦距;L為微透鏡聚焦平面P與主透鏡之間的距離;z為目標(biāo)點(diǎn)與微透鏡陣列之間的距離,即為目標(biāo)的實(shí)際深度信息.

同樣可得y方向上的成像坐標(biāo)為

(4)

由式(3)可得,目標(biāo)點(diǎn)在相機(jī)成像平面上第i1個(gè)單元圖像的像點(diǎn)和第i2個(gè)單元圖像的像點(diǎn)之間的距離為

(5)

式中:i1,i2表示相機(jī)成像平面上的單元圖像；由于fa,fc,L和Dx為已知參數(shù),因此通過(guò)比較不同的單元圖像,即可計(jì)算出目標(biāo)點(diǎn)的深度信息z.

2 三維信息獲取方法

2.1 互相關(guān)匹配

根據(jù)式(3),如果已知相機(jī)成像平面上兩個(gè)單元圖像的對(duì)應(yīng)像點(diǎn)坐標(biāo)Xc,i1和Xc,i2,就可以計(jì)算出每個(gè)目標(biāo)點(diǎn)的實(shí)際深度z.但由于受到系統(tǒng)安裝誤差、計(jì)算誤差和零件制造誤差等因素的影響,不同單元圖像中的對(duì)應(yīng)像點(diǎn)難于正確匹配.為了精確地計(jì)算目標(biāo)點(diǎn)的深度,本文采用多幅單元圖像匹配的歸一化互相關(guān)立體匹配算法.

假設(shè)空間目標(biāo)點(diǎn)的深度為z,利用式(3),(5)算出每個(gè)單元圖像中的對(duì)應(yīng)像素點(diǎn).為了確定這些對(duì)應(yīng)像素點(diǎn)是同一目標(biāo)點(diǎn)的投影點(diǎn),本文以每個(gè)單元圖像中的對(duì)應(yīng)像素點(diǎn)為中心,選取(2k+1)×(2k+1)(2k+1)×(2k+1)像素的窗口,根據(jù)式(6)對(duì)相鄰單元圖像中的窗口進(jìn)行歸一化互相關(guān)計(jì)算,獲得相鄰單元圖像(i,j)和(i′,j′)的相關(guān)值為

C(i,j),(i′,j′)=

(6)

式中：m表示所選窗口橫坐標(biāo)像素?cái)?shù)；n表示所選窗口的縱坐標(biāo)的像素?cái)?shù)；I(Xi+m,Yj+n)表示單元圖像中所選窗口內(nèi)相應(yīng)位置的像素值.

計(jì)算縱向方向和橫向方向上相鄰單元圖像的匹配窗口的互相關(guān)值C,將這些互相關(guān)值迭加可得相似性匹配準(zhǔn)則M(z)

(7)

假設(shè)給定z的取值范圍,對(duì)式(7)進(jìn)行重復(fù)計(jì)算,就可以獲得一條相似性匹配準(zhǔn)則M的曲線.M(z)取最大值時(shí)所對(duì)應(yīng)的z值即為目標(biāo)點(diǎn)的實(shí)際深度.

2.2 三維信息獲取

獲取目標(biāo)點(diǎn)的實(shí)際深度z后,根據(jù)式(3)和式(4),計(jì)算出目標(biāo)點(diǎn)的橫向坐標(biāo)x和縱向坐標(biāo)y,獲得目標(biāo)點(diǎn)的三維信息.目標(biāo)點(diǎn)的坐標(biāo)x和y為

(8)

式中:(X0,Y0)為中心單元圖像中對(duì)應(yīng)的像素坐標(biāo)點(diǎn);(dx,dy)為CCD相機(jī)在x和y方向上的像素點(diǎn)間距,為相機(jī)已知參數(shù).

從式(8)可知,深度值z(mì)是目標(biāo)三維信息精確獲取的關(guān)鍵參數(shù).為了評(píng)價(jià)深度值z(mì)提取的有效性和精確性,本文采用深度均方差來(lái)量化,即

(9)

式中:σ為深度z的均方差的量化;z(x,y)為所提取的深度值;d(x,y)為目標(biāo)點(diǎn)的實(shí)際深度值,N為目標(biāo)點(diǎn)的數(shù)量.

3 試驗(yàn)結(jié)果和分析

試驗(yàn)系統(tǒng)設(shè)置如圖3所示,試驗(yàn)系統(tǒng)由微透鏡陣列、主透鏡、CCD相機(jī)和平面目標(biāo)組成,安裝固定在平面光學(xué)平臺(tái)上.試驗(yàn)中使用的參數(shù),如表1所示.

圖3 試驗(yàn)系統(tǒng)設(shè)置

單元微透鏡尺寸Dx×Dy/mm1.68x1.05微透鏡焦距fa/mm5.89微透鏡的數(shù)目/個(gè)19×13單元圖像的像素大小/像素60×40像素相機(jī)的焦距fc/mm35目標(biāo)的實(shí)際深度d(x,y)/mm115主透鏡與聚焦平面P之間的距離L/mm182匹配單元圖像的數(shù)目/個(gè)19×13匹配窗口大小(2k+1)×(2k+1)/像素7×7

通過(guò)試驗(yàn)系統(tǒng)獲得平面目標(biāo)的單元圖像陣列,但每個(gè)單元圖像分辨率較低,圖像質(zhì)量較差,存在噪聲.因此,在深度提取之前采用小波圖像增強(qiáng)算法對(duì)單元圖像陣列進(jìn)行圖像增強(qiáng),以獲得較好的圖像質(zhì)量,提高深度提取精度.實(shí)驗(yàn)獲得的單元圖像陣列和單元圖像如圖4所示.

圖4 單元圖像陣列和放大的單元圖像

根據(jù)所提出的深度提取方法,在中心單元圖像上任選一個(gè)像素點(diǎn)(629,530),可獲得相應(yīng)的相似性準(zhǔn)則曲線M,如圖5所示,M最大值所對(duì)應(yīng)的深度值z(mì)為115mm,與實(shí)際深度相符.

由于歸一化互相關(guān)匹配方法采用窗口匹配,因此單個(gè)目標(biāo)點(diǎn)的深度提取結(jié)果不能反映本文方法的穩(wěn)定性和正確性.為了準(zhǔn)確地評(píng)估提取方法的性能,試驗(yàn)提取了平面目標(biāo)所有像點(diǎn),計(jì)算出深度信息及其均方差,得到平面目標(biāo)的深度均方差為6.06mm,平均深度為116.31mm.圖6表示了單元圖像陣列的深度圖,將這些深度值與實(shí)際深度值進(jìn)行比較,相對(duì)誤差δ≤0.87%占41.5%,0.87%<δ≤2.61%占32.7%,2.61%<δ≤4.35%占11.3%,δ4.35%只占14.5%.從以上試驗(yàn)結(jié)果可知,目標(biāo)的深度信息得到正確提取.從圖6可以看出,平面目標(biāo)中間區(qū)域的深度誤差較大,主要在于中間區(qū)域的紋理比較單一,窗口匹配誤差較大.

圖5 相似性匹配準(zhǔn)則曲線

通過(guò)試驗(yàn)提取的深度信息,計(jì)算出目標(biāo)的橫向坐標(biāo),用于測(cè)量平面目標(biāo)幾何尺寸.如圖7所示,將測(cè)量目標(biāo)安裝在離微透鏡陣列一定距離的位置,測(cè)量目標(biāo)實(shí)際大小為16 mm×16 mm,獲得該目標(biāo)的單元圖像陣列.在中心單元圖像上,采用Harris角點(diǎn)檢測(cè)算法提取目標(biāo)圖像的4個(gè)角點(diǎn)坐標(biāo)(625,495)、(655,495)、(655,525)和(625,525),分別計(jì)算其深度信息,其深度均為126 mm,如圖8所示.通過(guò)試驗(yàn)計(jì)算,可獲取相對(duì)應(yīng)的實(shí)際坐標(biāo)(335.5136,265.7268)、(351.6182,265.7268)、(351.6182,281.8314)和(335.5136,281.8314),測(cè)量目標(biāo)大小為16.1046 mm×16.1046 mm,絕對(duì)誤差為0.1046,相對(duì)誤差為0.65%,獲得較好的測(cè)量結(jié)果.

圖6 平面目標(biāo)的深度圖

圖7 平面測(cè)量目標(biāo)及其單元圖像陣列

圖8 4個(gè)角點(diǎn)的相似性匹配準(zhǔn)則曲線

4 結(jié)論

本文研究了一種基于仿復(fù)眼視覺(jué)成像的目標(biāo)三維信息獲取方法,利用仿復(fù)眼成像原理和歸一化互相關(guān)窗口匹配算法,獲取目標(biāo)的三維坐標(biāo)信息.該方法不需要相機(jī)標(biāo)定,只需單相機(jī)和微透鏡陣列,結(jié)構(gòu)簡(jiǎn)單,操作簡(jiǎn)單方便,測(cè)量精度較高,可用于平面幾何測(cè)量、機(jī)器導(dǎo)航、物體定位、跟蹤監(jiān)測(cè)等.由于受到光學(xué)組件的制造誤差、系統(tǒng)安裝誤差、單元陣列圖像分辨率、微透鏡個(gè)數(shù)以及匹配窗口大小的影響,試驗(yàn)結(jié)果還存在誤差.

[1] MALAMAS E N,PETRAKIS E G M,ZERVAKIS M,et al.A survey on industrial vision systems,applications and tools[J].Image and Vision Computing,2003,21(2):171-188.

[2 ] RANKIN A L,HUERTAS A,MATTIES L H.Stereo vision based terrain mapping for off-road autonomous navigation[C]∥Grant R.Gerhart.Proc.SPIE 7332,Unmanned Systems Technology XI,Orlando:SPIE,2009:10-14.

[3 ] RICHA R,POIGNET P,LIU Chao.Three-dimensional motion tracking for beating heart surgery using a thin-plate spline deformable model[J].Int.J.Robotic Res.2010,29:218-230.

[4] LAND M F.Compound eyes:old and new optical mechanisms[J].Nature,1980,287:681-686.

[5] RYOICHI H,SATORU I,YUSUKE O,et al.Three-dimensional information acquisition using a compound imaging system[J].OPTICAL REVIEW,2007,14(5):347-350.

[6] Park J H,Min S W,Jung S,et al.New stereovision scheme using a camera and a lens array[C]∥Bahram Javidi.Proc.SPIE 4471,Algorithms and Systems for Optical Information Processing V,San Diego:SPIE 2001:73-80.

[7] 陳明君,劉業(yè)勝,李子昂,等.仿生光學(xué)復(fù)眼設(shè)計(jì)及其制造技術(shù)研究新進(jìn)展[J].機(jī)械工程學(xué)報(bào),201l,47(1):16l-168.

CHEN Mingjun,LIU Yesheng,LI Ziang,et al.New research progress in design and manufacture ofartificial optical compound eye[J].Journal of Mechanical Engineering,2011,47(1):16l-168.

[8 ] NAEMURA T,YOSHIDA T,HARASHIMA H.3-D computer graphics based on integral photography[J].Optics Express,2001,8(2):255-262.

[9 ] HONG S H,JAVIDI B.Improved resolution 3D object reconstruction using computational integral imaging with time multiplexing[J].Optics Express,2004,12(19):4579 4588.

[10] PASSALIS G,SGOUROS N,ATHINEOS S,et a1.Enhanced reconstruction of three-dimensional shape and texture from integral photography images[J].Applied Optics,2007,46(22):5311-5320.

[11] JAVIDI B,PONCE D R,HONG S H.Three-dimensional recognition of occluded object by using computational integral imaging[J].0ptics Letters,2006,31(8):1106-1108.

[12] TANIDA J,KUMAGAI T,YAMADA K,et al.Thin observation module by bound optics (TOMBO):Concept and experimental verification[J].Appl.Opt.,2011,40(11):1806-1813.

[13] REN N G,LEVOY M,BREDIF M,et al.Light field photography with a hand-held plenoptic camera[R].Stanford:Comput.Sci.Tech.Rep,2005.

[14] ALDALALI B,LI C,ZHANG L,et al.Micro cameras capable of multiple viewpoint imaging utilizing photoresist microlens arrays[J].Microelectromech.Syst.,2012,21(4):945-952.

[15] LEVOY M.Light fields and computational imaging [J].IEEE Computer,2006,8:46-55.

[16] OKANO F,HOSHINO H,ARAI J,et al.Real-time pickup method for a three-dimensional image based on integral photography[J].Appl.Opt.,1997,36:1598-1603.

Object information acquisition based on artificial compound eye visual imaging

As a critical technology for visual measurement,a 3D object information acquisition method proposed via the artificial compound eye visual imaging.With application of the single camera and plane microlens array,the geometric mapping relationship between the object and imaging points is established.By employing the normalized cross-correlation matching algorithm,the in-depth object information is extracted for 3D coordinate information.To this end,the feasibility and correctness of the proposed method are verified.

compound eye;3D information acquisition;cross-correlation matching;in-depth extraction

國(guó)家自然科學(xué)基金資助項(xiàng)目(F030601)；福建省教育廳產(chǎn)學(xué)研資助項(xiàng)目(JA13033)

陳愛(ài)華(1978-),男,副教授,博士生,E-mail:cah@fzu.edu.cn

TP 391.7

A

1672-5581(2016)01-0001-05