基于光場(chǎng)成像的雙目深度圖像獲取

楊韜, 符文星, 王民鋼, 閆杰

(西北工業(yè)大學(xué) 航天學(xué)院，陜西 西安 710072)

基于光場(chǎng)成像的雙目深度圖像獲取

楊韜, 符文星, 王民鋼, 閆杰

(西北工業(yè)大學(xué) 航天學(xué)院，陜西 西安 710072)

摘要：提出了一種利用Lytro相機(jī)光場(chǎng)圖像進(jìn)行雙目立體測(cè)距的方法，首先對(duì)原始光場(chǎng)圖像進(jìn)行重編碼獲得宏像素水平排列的光場(chǎng)圖像，由重編碼圖像提取出子孔徑圖像陣列并進(jìn)行校正，相當(dāng)于獲得了相機(jī)陣列所拍攝得到的圖像陣列。然后選取其中2個(gè)平行子孔徑圖像構(gòu)成雙目立體測(cè)距系統(tǒng)，通過(guò)matlab標(biāo)定工具箱和OpenCV函數(shù)庫(kù)進(jìn)行聯(lián)合標(biāo)定、立體校正和立體匹配生成深度圖像，對(duì)目標(biāo)物體進(jìn)行距離測(cè)量。實(shí)驗(yàn)結(jié)果表明，該方法的距離測(cè)量在精度范圍之內(nèi)，雙目測(cè)距方法可以應(yīng)用于通過(guò)微透鏡陣列獲得的子孔徑圖像上。

關(guān)鍵詞：深度測(cè)量，光場(chǎng)，立體匹配，子孔徑圖像

光場(chǎng)概念的提出用以描述光線空間傳播的三位輻射特性。1992年,E. Adelson和J. Wang設(shè)計(jì)了全光相機(jī),主要由主鏡頭,微透鏡陣列和成像傳感器組成[1]。2005年,R.Ng等人對(duì)全光相機(jī)進(jìn)行了重新設(shè)計(jì),在常規(guī)相機(jī)基礎(chǔ)上制成手持光場(chǎng)相機(jī)[2]。R.Ng于2010年博士畢業(yè)后成立Lytro光場(chǎng)相機(jī)公司,現(xiàn)已推出Lytro和Lytrolllum 2款針對(duì)不對(duì)需求的消費(fèi)級(jí)相機(jī),這為科研工作者對(duì)光場(chǎng)圖像的應(yīng)用研究帶來(lái)了極大便利。

國(guó)內(nèi)中國(guó)科技大學(xué)的周志良在其博士論文中對(duì)光場(chǎng)的理論,光場(chǎng)相機(jī)設(shè)計(jì)以及數(shù)字重對(duì)焦等進(jìn)行了完整的分析和探討[3]。北京航空航天大學(xué)的袁艷等在光場(chǎng)成像質(zhì)量、微透鏡探測(cè)器配準(zhǔn)等方面進(jìn)行了較為深入的研究[4]。西安光學(xué)機(jī)電研究所的肖相國(guó)對(duì)基于數(shù)字重對(duì)焦的對(duì)焦測(cè)距技術(shù)作了初步研究[5]。目前國(guó)內(nèi)已經(jīng)有越來(lái)越多的科研工作者展開(kāi)了光場(chǎng)成像及其應(yīng)用的相關(guān)研究工作。

由于光場(chǎng)相機(jī)記錄下了光線的三維傳播信息,因而具有還原所記錄圖像場(chǎng)景深度信息的能力。相比較傳統(tǒng)的雙目或相機(jī)陣列,光場(chǎng)相機(jī)由于只具有一個(gè)主鏡頭和成像傳感器,只需要一次曝光就能記錄下場(chǎng)景三維信息,避免了傳統(tǒng)雙目或相機(jī)陣列應(yīng)用于實(shí)時(shí)深度圖像獲取時(shí)的相機(jī)信號(hào)時(shí)間同步問(wèn)題簡(jiǎn)化了立體視覺(jué)系統(tǒng)的結(jié)構(gòu)和信號(hào)處理系統(tǒng)設(shè)計(jì),在無(wú)人航行器導(dǎo)航方面有著較為廣泛的應(yīng)用前景。

1Lytro光場(chǎng)相機(jī)原理分析

根據(jù)Levoy等人的光場(chǎng)渲染理論[6],空間任意光線可以用輻射函數(shù)表示,其攜帶二維位置信息(u,v),以及二維方向信息(θ,φ),光場(chǎng)即空間中所有光線光輻射函數(shù)的總體。并且,光線所攜帶的二維位置信息及二維方向信息所表述的光線空間四維方向信息可以用2個(gè)平行平面進(jìn)行參數(shù)化表示。如圖1所示一束光線通過(guò)透鏡射向傳感器,其在透鏡平面位置為(u,v),在傳感器上位置為(x,y),透鏡傳感器之間的距離為F,可用四維光場(chǎng)函數(shù)LF(x,y,u,v)表示。

圖1　光場(chǎng)的參數(shù)化描述

根據(jù)光場(chǎng)成像函數(shù),從透鏡射向成像平面某一點(diǎn)的圖像輻照度可以用來(lái)自透鏡光線的積分公式表示[2]:

(1)

Lytro光場(chǎng)相機(jī)將微透鏡陣列插入圖像傳感器前端以記錄下光線的(x,y,u,v)四維信息。其記錄的原始圖像如圖2所示。

圖2　Lytro相機(jī)原始圖像

在該相機(jī)中,主透鏡聚焦在微透鏡陣列上,微透鏡到圖像傳感器的距離等于微透鏡的焦距。在圖像縮小的情況下圖像與傳統(tǒng)相機(jī)所攝圖像無(wú)異,但若放大來(lái)看可以看到每個(gè)微透鏡所成的光斑,即宏像素。每個(gè)宏像素的位置確定了光線的(x,y)坐標(biāo)。每個(gè)像素點(diǎn)在宏像素中的相對(duì)位置指示了其對(duì)應(yīng)光線的(u,v)坐標(biāo)。

可以看出單個(gè)微透鏡的尺寸決定了空間采樣分辨率。光場(chǎng)相機(jī)在傳感器像素固定的情況下,以犧牲最終圖像分辨率的方式獲得了光線的方向分辨率。

2光場(chǎng)圖像校正及子孔徑圖像陣列的提取

Lytro相機(jī)具有3 280*3 280分辨率的圖像傳感器,其上約安裝有六邊形蜂巢狀排列的微透鏡陣列,微透鏡陣列尺寸約為330*390,由于安裝時(shí)不能完全保證微透鏡陣列水平平行于圖像傳感器,導(dǎo)致得到的原始圖像宏像素有輕微傾斜角,因此光場(chǎng)相機(jī)原始圖像需要進(jìn)行校正,以保證宏像素水平平行排列,便于后續(xù)的圖像處理。

周文暉等人利用Lytro相機(jī)圖像文件中提供的白圖像提取出了每個(gè)宏像素的圖像中心對(duì)原始圖像進(jìn)行了重編碼,給出了針對(duì)Lytro相機(jī)的數(shù)據(jù)提取、解碼、顏色校正、微透鏡陣列標(biāo)定和校正的完整方案[7]。Jan Kuera編寫(xiě)了Lytro相機(jī)原始文件分析處理軟件[8],利用該軟件可以方便的獲得校正后的光場(chǎng)圖像,校正后每個(gè)宏像素大小為10*10。

如果固定(u,v)的取值,將(1)式簡(jiǎn)單變形為:

(2)

那么(2)式即表示通過(guò)主透鏡(u,v)位置的子孔徑在圖像傳感器上各個(gè)點(diǎn)的輻照度。這樣就可以得到透過(guò)(u,v)位置子孔徑所成圖像。選取不同的(u,v)能得到不同觀察位置子孔徑所得到的圖像陣列。我們選取宏像素亮度較高的中心區(qū)域像素進(jìn)行重排,獲得5*5的子孔徑圖像陣列。由于微透鏡的蜂巢狀排列,因此需要對(duì)圖像進(jìn)行拉伸校正。校正后的光場(chǎng)原始圖像和子孔徑圖像陣列如圖3、圖4所示:

圖3　校正后的宏像素排列　圖4　5*5子孔徑圖像陣列

子孔徑圖像陣列相當(dāng)于5*5的相機(jī)陣列所攝圖像。每幅圖像都可以看作處在不同位置的虛擬相機(jī)拍攝得到。因此其有能力構(gòu)成立體視覺(jué)系統(tǒng),傳統(tǒng)的標(biāo)定和立體匹配方法理論上可以應(yīng)用于子孔徑圖像。

3子孔徑的標(biāo)定和深度信息獲取

3.1子孔徑的標(biāo)定

相機(jī)的標(biāo)定主要通過(guò)參照物圖像確定相機(jī)的內(nèi)外參數(shù),以建立起世界坐標(biāo)系、相機(jī)坐標(biāo)系、圖像坐標(biāo)系之間的轉(zhuǎn)換關(guān)系。需要標(biāo)定的參數(shù)有相機(jī)焦距,主點(diǎn)位置,光軸偏角,畸變系數(shù)等。利用相同標(biāo)定參照物完成左右相機(jī)標(biāo)定后,利用所獲得的內(nèi)外部參數(shù)可以進(jìn)行立體標(biāo)定確定出2個(gè)相機(jī)的旋轉(zhuǎn)角,主點(diǎn)距離等相互之間位置關(guān)系。

相機(jī)標(biāo)定目前比較廣泛使用的是張正友標(biāo)定方法,該方法靈活精確,通過(guò)至少3個(gè)不同位置獲取標(biāo)定物圖像,計(jì)算出攝像機(jī)所有的內(nèi)外參數(shù)。利用基于張正友標(biāo)定方法的Jean-Yves Bouguet Matlab標(biāo)定工具箱,可以快速精確對(duì)相機(jī)進(jìn)行標(biāo)定[9]。由于子孔徑圖像可以看作虛擬相機(jī)拍攝得到,因而選用同行的2個(gè)子孔徑圖像可構(gòu)成雙目系統(tǒng),對(duì)其進(jìn)行標(biāo)定,輸入棋盤(pán)標(biāo)定圖像,選擇角點(diǎn)如圖5所示:

圖5　輸入棋盤(pán)圖像

標(biāo)定所得到的相機(jī)參數(shù)及立體標(biāo)定參數(shù)見(jiàn)表1:

其中需要注意的是,標(biāo)定得到的焦距、主點(diǎn)位置均以像素為單位,相機(jī)距離單位為mm。

表1　標(biāo)定系數(shù)

3.2立體匹配及深度獲取

標(biāo)定工作完成后,結(jié)合標(biāo)定參數(shù)可以通過(guò)OpenCV函數(shù)庫(kù),進(jìn)行立體校正,立體匹配和深度獲取。

立體校正主要為了對(duì)2個(gè)相機(jī)進(jìn)行水平平行校正,使拍攝得到的2幅圖像中,相同元素在同一行像素上,保證后續(xù)立體匹配時(shí)極線搜索的匹配精度。校正后的圖像如圖6所示,橫線用于檢查同一行像素上個(gè)元素的位置。

圖6　立體校正后的左右視圖

立體匹配采用BM算法,該算法通過(guò)滑動(dòng)小窗口(SAD)利用“絕對(duì)誤差累計(jì)”來(lái)查找左右2幅立體校正圖像之間的匹配點(diǎn),生成稀松匹配圖像[10]:

(3)

輸入視差圖和立體校正參數(shù)即可將視差映射到三維世界坐標(biāo)系,獲得測(cè)量深度。

圖7　視差圖

可以看到得到的稀松匹配視差圖區(qū)分出了前景中景和背景圖像,但仍存在一定程度上的誤匹配和信息丟失。選取前中后景物的10個(gè)點(diǎn)輸出距離取去除野點(diǎn)后均值,測(cè)定距離/mm分別為380.18、492.78、688.07。由于無(wú)法知道Lytro相機(jī)主透鏡光學(xué)參數(shù),因而不能準(zhǔn)確測(cè)量物體到相機(jī)主透鏡中心位置,但可以通過(guò)物體間距對(duì)測(cè)量精度進(jìn)行檢驗(yàn)。實(shí)際三物體間距/mm為100、220,前景中景兩物體的距離測(cè)量誤差在11.26%,中景后景物體測(cè)距誤差為11.23%,測(cè)距在精度范圍之內(nèi)。

4結(jié)論

本文分析了光場(chǎng)成像原理,利用Lytro相機(jī)原始圖像經(jīng)重編碼,提取了子孔徑圖像陣列,并選取其中2個(gè)平行子孔徑圖像構(gòu)成雙目立體視覺(jué)系統(tǒng)。通過(guò)標(biāo)定、立體校正、立體匹配生成空間深度圖像,對(duì)于目標(biāo)物體進(jìn)行了距離測(cè)量。實(shí)驗(yàn)結(jié)果表明,該方法測(cè)距在精度范圍之內(nèi),雙目測(cè)距方法可以應(yīng)用于通過(guò)微透鏡陣列獲得的光場(chǎng)圖像之上,但本文只使用的子孔徑圖像陣列中2幅圖像進(jìn)行測(cè)距實(shí)驗(yàn),后續(xù)應(yīng)引入更多幅圖像提高立體匹配及測(cè)距精度。

參考文獻(xiàn)：

[1]Adelson E H, Wang J Y A. Single Lens Stereo with a Plenopticcamera[J]. IEEE Trans on Pattern Analysis and Machine Intelligence, 1992, 14(2): 99-106

[2]Ng R, Levoy M, Brédif M, et al. Light Field Photography with a Hand-Held Plenopticcamera[J]. Computer Science Technical Report CSTR, 2005, 2(11): 1-11

[3]周志良. 光場(chǎng)成像技術(shù)研究[D]. 合肥：中國(guó)科學(xué)技術(shù)大學(xué),2012

Zhou Zhiliang. Reserch on Light Field Imaging Technology[D]. Hefei: University of Science and Technology of China,2012 (in Chinese)

[4]楊凡,袁艷,周志良,等. 光場(chǎng)相機(jī)成像質(zhì)量評(píng)價(jià)方法研究[J]. 現(xiàn)代電子技術(shù),2011,34(6):4-6

Yang Fan, Yuan Yan, Zhou Zhiliang, et al. Study on Imaging Quality Evaluation of Light Field Camera[J]. Modern Electronics Technique, 2011, 34(5): 4-6 (in Chinese)

[5]肖相國(guó),王忠厚,孫傳東,等. 基于光場(chǎng)攝像技術(shù)的對(duì)焦測(cè)距方法的研究[J]. 光子學(xué)報(bào),2008,37(12):2539-2543

Xiao Xiangguo, Wang Zhonghou, Sun Chuandong, et al. A Range Focusing Measurement Technology Based on Light Field Photography[J]. Acta Photonica Sinica, 2008,37(12): 2539-2543 (in Chinese)

[6]聶云峰,相里斌,周志良,等. 光場(chǎng)成像技術(shù)進(jìn)展[J]. 中國(guó)科學(xué)院研究生院學(xué)報(bào),2011,28(5):563-572

Nie Yunfeng, Xiang Libin, Zhou Zhiliang, et al. Advances in Light Field Photography Technique[J]. Journal of the Graduate School of the Chinese Academy of Sciences, 2011, 28(5): 563-572 (in Chinese)

[7]周文暉,林麗莉. Lytro相機(jī)的光場(chǎng)圖像校正與重對(duì)焦方法[J]. 中國(guó)圖象圖形學(xué)報(bào),2014,19(7):1006-1011

Zhou Wenhui, Lin Lili. Light Field Image Rectification and Refocus Method for Lytrocamera[J]. Journal of Image and Graphics, 2014, 19(7):1006-1011 (in Chinese)

[8]Jan Ku?era. LYTRO Meltdown. http://optics.miloush.net/lytro/Default.aspx

[9]Jean-Yves Bouguet. Calibration Matlab Toolbox. http://www.vision.caltech.edu/bouguetj/

[10] Gary Bradski, Adrian Kaebler. Learning OpenCV[M]. O′ Reilly, Sebastopol,CA, 2009

《西北工業(yè)大學(xué)學(xué)報(bào)》第33卷第4期(2015年8月)有1篇論文被

Ei Compendex(計(jì)算機(jī)工程索引)數(shù)據(jù)庫(kù)收錄了

11個(gè)2006年以后的Ei主題詞

被Ei Compendex數(shù)據(jù)庫(kù)收錄了11個(gè)2006年以后的Ei主題詞的《西北工業(yè)大學(xué)學(xué)報(bào)》第33卷第4期的1篇的Ei編號(hào)是20153801281550，其第1作者是王科雷，其11個(gè)2006年以后的Ei主題詞(出現(xiàn)年份)是：(1)analysis of variance(ANOVA)(2006),(2)angle of attack(2006),(3)drag coefficient(2006),(4)flow fields(2006),(5)flow separation(2006),(6)lift drag ratio(2009)，(7)micro air vehicles(MAV)(2009)，(8)multiobjective optimization(2006)，(9)reliability analysis(2006)，(10)Reynolds equation(2006),(11)turbulence models(2006)。

Binocular Stereo Depth Map Acquisition

Based on Light Field Images

Yang Tao, Fu Wenxing, Wang Mingang, Yan Jie

(College of Astronautics, Northwestern Polytechnical University, Xi’an 710072,China)

Abstract:We propose a binocular stereo depth measurement method based on light field images. Firstly, the original light field image was recoded to make the macro pixel horizontal. After recoding we obtained and rectified the subaperture images, which were similar to the image array acquired from the camera array. Then we chose two horizontal subaperture images to constitute the binocular stereo distance measurement system.Through matlab toolbox and OpenCV, the calibration, stereo rectification, stereo matching were completed to create the depth map. The experimental results and their analysis showpreliminarily that the precision of distance measurement is in the theoretical range and that the method of binocular distance measurement can be used on the subaperture images obtained from light field images.

Key words:calibration, computer software,computer vision,experiments, image acquisition, image processing,mapping, MATLAB, measurement errors,navigation, pixels; depth measuring,light field,stereo matching,subaperture images

中圖分類號(hào)：TP391.41

文獻(xiàn)標(biāo)志碼：A

文章編號(hào):1000-2758(2015)05-0727-05

作者簡(jiǎn)介：楊韜(1989—),西北工業(yè)大學(xué)博士研究生,主要從事導(dǎo)航、制導(dǎo)與控制的研究。

收稿日期：2015-03-12