基于頻域的像素光場(chǎng)圖像重聚焦算法

王　宇,張　旭,2,3,屠大維,2（.上海大學(xué)機(jī)電工程與自動(dòng)化學(xué)院,上海 200072；2.上海大學(xué)上海市智能制造及機(jī)器人重點(diǎn)實(shí)驗(yàn)室,上海 200072；3.上海大學(xué)機(jī)械系統(tǒng)與振動(dòng)國(guó)家重點(diǎn)實(shí)驗(yàn)室,上海 200240）

基于頻域的像素光場(chǎng)圖像重聚焦算法

王宇1,張旭1,2,3,屠大維1,2
（1.上海大學(xué)機(jī)電工程與自動(dòng)化學(xué)院,上海 200072；2.上海大學(xué)上海市智能制造及機(jī)器人重點(diǎn)實(shí)驗(yàn)室,上海 200072；3.上海大學(xué)機(jī)械系統(tǒng)與振動(dòng)國(guó)家重點(diǎn)實(shí)驗(yàn)室,上海 200240）

提出一種基于像素光場(chǎng)的頻域重聚焦算法。首先建立四維光場(chǎng)與像素光場(chǎng)的關(guān)系模型,然后基于傅里葉變換,建立了像素光場(chǎng)的重聚焦方法,并分析了傅里葉切片的作用和重采樣的方法。在實(shí)驗(yàn)中,對(duì)比積分投影法,分析兩種不同方法對(duì)同一場(chǎng)景的重聚焦效果,評(píng)價(jià)了兩種方法的計(jì)算效率。實(shí)驗(yàn)結(jié)果表明,基于頻域的傅里葉切片法在結(jié)果上等效于積分投影法,但是計(jì)算負(fù)擔(dān)更小。

像素光場(chǎng)；重聚焦；傅里葉切片

引 言

光場(chǎng)有別于傳統(tǒng)的二維圖像,是對(duì)場(chǎng)景空間中既包含位置信息、又包含方向信息的所有光線的四維光輻射場(chǎng)的參數(shù)化的表示［1］。傳統(tǒng)相機(jī)對(duì)拍照的要求高,尤其是面對(duì)高速運(yùn)動(dòng)或是多目標(biāo)場(chǎng)景拍攝時(shí),經(jīng)常出現(xiàn)離焦等現(xiàn)象。如抓拍高速運(yùn)動(dòng)物體,要減少高速運(yùn)動(dòng)的物體造成的運(yùn)動(dòng)模糊,如果減少曝光時(shí)間,則圖像過暗；若增大孔徑,則景深過小,造成背景模糊［2］。當(dāng)面對(duì)多目標(biāo)場(chǎng)景,除聚焦點(diǎn)之外的物體則難以成像清晰。與之相對(duì)的,光場(chǎng)成像技術(shù)通過先拍攝后聚焦的技術(shù)提供了解決這些問題的新途徑。它可以記錄場(chǎng)景中自由光線傳播的四維位置和方向信息,比傳統(tǒng)的相機(jī)記錄的內(nèi)容更加豐富,增加了兩維方向信息［1］；通過數(shù)字重聚焦技術(shù),還可以在拍攝之后重新選擇焦點(diǎn)或是全景深融合,解決離焦或背景模糊等問題［3-4］。

光場(chǎng)圖像信息在存儲(chǔ)時(shí)有別于傳統(tǒng)的二維圖像:普通二維圖像存儲(chǔ)為RGB二維矩陣；光場(chǎng)圖像為了在保留位置信息的前提下,增加方向信息,用四維光場(chǎng)模型（其中位置坐標(biāo)兩維,方向坐標(biāo)兩維）來(lái)表示。如圖1所示,光線L（u,v,s,t）在空間中沿直線傳播［5］。根據(jù)Levoy的光場(chǎng)渲染理論［6］,空間中攜帶強(qiáng)度和方向信息的任意光線,都可以用兩個(gè)平行平面來(lái)進(jìn)行參數(shù)化表示。因此,光場(chǎng)中的每條光線都可以用L（u,v,s,t）表示,其中,［u,v］代表位置信息,［s,t］代表方向信息［7］。圖1中d為兩個(gè)平面間的距離,模型化距離為1,而在實(shí)際進(jìn)行光場(chǎng)變換的過程中,d會(huì)隨著焦點(diǎn)的改變而改變。

作為光場(chǎng)成像中的核心技術(shù)之一,數(shù)字重聚焦的方法有很多,主要可以分為基于空間域的積分投影［8-9］和基于傅里葉切片定理的信號(hào)處理的方法（以下簡(jiǎn)稱傅里葉切片定理）［4-10］兩大類?；诳臻g域的投影積分法,主要是對(duì)光線沿光路的投影積分。鑒于光場(chǎng)數(shù)據(jù)是四維的,因此,計(jì)算相對(duì)比較繁瑣；相較于前者,基于頻域的信號(hào)處理的方法為我們提供了一個(gè)全新的關(guān)于光場(chǎng)圖像的處理視角［11］,使得關(guān)于光場(chǎng)重聚焦的推導(dǎo)過程更加嚴(yán)密,同時(shí),這種完全不同的算法在數(shù)字重聚焦的計(jì)算方面更加快捷［4-12］。無(wú)論是在計(jì)算性還是理論性,基于傅里葉切片定理的信號(hào)處理的方法,都是優(yōu)于空間域的計(jì)算方法。

本文將頻域處理方法用在光場(chǎng)成像數(shù)字重聚焦算法中,建立像素光場(chǎng)模型,提出一種基于像素光場(chǎng)的傅里葉切片方法,并給出推導(dǎo)過程。從計(jì)算簡(jiǎn)便性和理論優(yōu)越性方面,與空間域積分投影法進(jìn)行比較分析,實(shí)驗(yàn)證明傅里葉切片法的優(yōu)勢(shì)。

圖1　光場(chǎng)的參數(shù)化Fig.1　The parameters of the light field

1　傅里葉切片法

無(wú)論是積分投影法還是傅里葉切片法,都是基于光場(chǎng)理論。光場(chǎng)理論基于光場(chǎng)渲染理論,即當(dāng)已知某平面位置的光場(chǎng)信息,則該光場(chǎng)在移動(dòng)一定距離后,光場(chǎng)信息發(fā)生轉(zhuǎn)變,聚焦點(diǎn)也隨之變化［6］。如圖2所示,A、B、C三個(gè)物體具有不同的深度,傳統(tǒng)相機(jī)的聚焦面只能在一定深度,如圖2所示的物體理想位置。此時(shí),A清晰成像,B和C則模糊。同量,當(dāng)聚焦面移動(dòng)到其他位置,亦會(huì)導(dǎo)致其它物體離焦而不清晰。光場(chǎng)成像理論則不同,依靠在主透鏡和CCD之間添加的微透鏡陣列,圖3所示,光線穿過微透鏡陣列到達(dá)CCD,與二者的交點(diǎn)分別為［Mpx,Mpy］,［Ipx,Ipy］,位置信息已經(jīng)記錄；對(duì)于同一條光線,將二者對(duì)應(yīng)坐標(biāo)相減,可得到偏移量,即光線的方向信息,這樣,不僅記錄了場(chǎng)景光線的位置信息,同時(shí)可以記錄其方向信息［13］。經(jīng)過數(shù)學(xué)變換,可以有效還原場(chǎng)景的三維信息。

圖2　成像示意圖Fig.2　The schematic diagram of imaging

圖3　透鏡陣列空間復(fù)用原理Fig.3　The principal of spatial multiplexing

1.1像素光場(chǎng)模型

當(dāng)光場(chǎng)從一個(gè)平面?zhèn)鬟f到另一個(gè)共軸的平行平面時(shí),它的位置坐標(biāo)［u,v］可以表示為

式中:［u,v］表示透鏡陣列所在的平面位置；［s,t］表示光場(chǎng)的方向信息。3D場(chǎng)景中的光線通過空間和光學(xué)器件到達(dá)傳感器。這些光學(xué)器件需要經(jīng)過仔細(xì)挑選,并按照期望的光學(xué)流程布置,才能合理編碼可利用的視覺信息。光場(chǎng)能夠記錄光線,利用了微透鏡陣列空間復(fù)用原理［15］。

一條光線與兩平面分別相交于O和Od,這兩個(gè)平面的距離d=1,直線OO′與兩平面垂直。因此,第一個(gè)平面上的O點(diǎn)就表示位置信息［u,v］T,而向量O′Od表示方向信息［s,t］T。由此可得,光線OOd可以表示為［u,v,s,t］T。

在理想成像面處放置透鏡陣列,在透鏡陣列1倍焦距（微透鏡陣列的焦距）處放置CCD感光器件,如圖3所示。根據(jù)高斯成像原理,1倍焦距處的成像是平行入射光線所致。CCD上對(duì)應(yīng)同一個(gè)小透鏡,不同的像素來(lái)源于不同方向的光線。因此CCD的像素位置光與其小透鏡中心位置的偏移量為［px,py］T,相當(dāng)于光線的方向。

首先將相機(jī)獲得的光場(chǎng)信息轉(zhuǎn)化為標(biāo)準(zhǔn)的光場(chǎng)描述?？紤]到像素尺寸大小pw,微透鏡焦距fm,則光場(chǎng)的方向描述［s,t］T可由下式得到

光場(chǎng)位置描述［u,v］T可由透鏡中心的像素坐標(biāo)（［gridx,gridy］T）轉(zhuǎn)換得到

由此可得到標(biāo)準(zhǔn)光場(chǎng)描述

其中,相機(jī)已給出像素尺寸大小和透鏡陣列的焦距。

1.2傅里葉切片法原理

基于頻域的傅里葉切片法,提出一種全新的快速的光場(chǎng)圖像數(shù)字重聚焦算法。傅里葉中心切片定理最早是由Bracewell在無(wú)線電航天領(lǐng)域提出的,其表述為二維函數(shù)的傅里葉頻譜的一維切片,即為其二維函數(shù)的正交投影積分的傅里葉變換。因?yàn)樵陬l域空間的起點(diǎn),函數(shù)的信號(hào)值是直流量,不隨時(shí)間變化［16-17］,因此,旋轉(zhuǎn)或者剪切等操作,是不會(huì)產(chǎn)生任何影響。為了將二維空間延伸至四維空間,同時(shí)方便操作,需要引入切片算子B。

根據(jù)式（1）,對(duì)當(dāng)前透鏡陣列所在平面的光場(chǎng)進(jìn)行變換,改變成像平面的位置,該位置變量由距離d決定。將式（4）代入式（1）可得

由式（4）可知

式（4）的比例因子、像素大小和微透鏡焦距只是一個(gè)常量,只是描述的光場(chǎng)坐標(biāo)系和像素坐標(biāo)系的變換,因此在傅里葉切片法中將不強(qiáng)調(diào)像素坐標(biāo)和實(shí)際坐標(biāo)的變換。因此,光場(chǎng)變換只需要對(duì)（gridx, gridy,px,py）進(jìn)行四維傅里葉變換。由式（5）和式（6）可得

其中

即為切片算子。由上述推論不難看出,切片算子B是方便我們選取理想深度d處的二維傅里葉切片。然后進(jìn)行數(shù)字重聚焦。首先進(jìn)行四維傅里葉變換

式中:E為傅里葉頻譜函數(shù)；ξ4為四維傅里葉變換。對(duì)傅里葉變換后的像素坐標(biāo)進(jìn)行光場(chǎng)變換,即選取二維傅里葉切片,變換的方法為

根據(jù)切片算子B,在四維光場(chǎng)中選擇適當(dāng)?shù)亩S切片。然后利用4階插值,每個(gè)透鏡都對(duì)同一點(diǎn)進(jìn)行重采樣；然后,直接忽略到傅里葉變換下（px′,py′）坐標(biāo)對(duì)應(yīng)的數(shù)據(jù),即將其設(shè)置為0,得到二維圖像頻譜為

之后進(jìn)行二維傅里葉反變換

得到二維圖像表達(dá)式

在實(shí)際的求和運(yùn)算中,忽略像素和微透鏡焦距等常量,直接對(duì)同一個(gè)透鏡的所有像素（px,py）進(jìn)行求和即可。

1.3算法復(fù)雜度分析

整個(gè)傅里葉切片算法中,主要分為預(yù)處理（傅里葉變換）、重聚焦和后處理（傅里葉反變換）。主要的過程是:

（1）預(yù)處理。對(duì)得到的光場(chǎng)圖像,首先進(jìn)行建模,轉(zhuǎn)化為像素光場(chǎng)模型；然后通過快速傅里葉變換計(jì)算其四維傅里葉變換。這一步計(jì)算復(fù)雜度為O（n4log2n）。

（2）數(shù)字重聚焦。對(duì)于在光場(chǎng)內(nèi)的任一期望的焦平面在d處的重聚焦都是可以完成的。利用式（9）、式（10）對(duì)經(jīng)過傅里葉變換的E（gridx,gridy,px,py）提取傅里葉切片,對(duì)應(yīng)到像素光場(chǎng),求所有微透鏡對(duì)同一點(diǎn)的重采樣,然后直接忽略傅里葉變換下坐標(biāo)px′與py′對(duì)應(yīng)的數(shù)據(jù),將其直接設(shè)為0。這樣,四維數(shù)據(jù)簡(jiǎn)化為兩維,這一步的計(jì)算復(fù)雜度為O（n2）。

（3）計(jì)算二維傅里葉切片的反變換,對(duì)每個(gè)透鏡下的像素求和,即可得到理想深度d下的重聚焦圖片。這一步的計(jì)算復(fù)雜度為O（n2log2n）。

作為解決同一問題的不同方法,基于空間域的積分投影法和基于頻域的傅里葉切片法,都可以完成數(shù)字重聚焦的工作。圖4為兩種不同的重聚焦算法的示意圖。圖5（a）、（b）分別為空間域和頻域同時(shí)在d=—7處的聚焦效果圖對(duì)比。圖5（c）為二者相減得到的像素差的偽彩色圖。其中,圖像的存儲(chǔ)數(shù)據(jù)類型為無(wú)符號(hào)16位（uint 16）,范圍是0～65 535。偽彩色圖的數(shù)值范圍為［0,65］,與數(shù)據(jù)相差三個(gè)數(shù)量級(jí),誤差率小于65/65 535≤1×10—3,即0.1%,近似相等。

因其看待問題的角度不同,因而在算法的具體實(shí)現(xiàn)上,二者的繁易程度會(huì)有差別。積分投影法的計(jì)算復(fù)雜度主要集中在積分投影部分。由于正反傅里葉變換是公式化的,因此,傅里葉切片法的計(jì)算復(fù)雜程度主要取決于兩側(cè)的投影積分和二維傅里葉切片。由圖中可以看出,頻域內(nèi)的計(jì)算復(fù)雜度為O（n2）,空間域內(nèi)的為O（n4）。顯然,傅里葉切片法要比積分投影法快捷許多。

圖4　兩種不同重聚焦算法示意圖Fig.4　Schematic ofthe two different algorithms

圖5　空間域和頻域效果圖和偽彩色圖Fig.5　Effects of the two ways and pseudo-color map

如圖6所示,對(duì)同一深度連續(xù)聚焦21次的時(shí)間對(duì)比。可以看出,這就驗(yàn)證了上述理論的正確性,傅里葉切片法比前者有更快的運(yùn)行速度。

圖6　兩種方法的時(shí)間對(duì)比Fig.6　Comparison of time consuming of the two methods

2　數(shù)字重聚焦

不同于空間域的算法,基于頻域的傅里葉切片法,首先對(duì)四維光場(chǎng)進(jìn)行預(yù)處理,然后傅里葉變換,在頻域完成數(shù)字重聚焦后,再將圖像由頻域反變回空間域。RGB三通道分別進(jìn)行傅里葉變換,然后對(duì)每個(gè)透鏡進(jìn)行重采樣來(lái)進(jìn)行光場(chǎng)重聚焦:首先尋找二維切片的坐標(biāo)（px′,py′）,然后利用立方插值,通過二維切片坐標(biāo),根據(jù)新的焦點(diǎn),對(duì)光場(chǎng)圖像進(jìn)行重采樣［18］,即數(shù)字重聚焦；最后,非數(shù)字?jǐn)?shù)據(jù)全部置零,經(jīng)傅里葉反變換,即可得到新的焦點(diǎn)下的重聚焦圖像。其中,圖7為像素光場(chǎng)raw圖像,圖8為重聚焦圖像。圖8（a）是焦點(diǎn)在前方（靠近鏡頭處）,圖8（b）是焦點(diǎn)在后方（遠(yuǎn)離鏡頭處）,圖8（c）為近景聚焦,圖8（d）為遠(yuǎn)景聚焦。

圖7　像素光場(chǎng)raw圖像Fig.7　Raw picture in the pixelated light field

圖8　重聚焦對(duì)比圖Fig.8　Comparison of 2D slice refocus

3　結(jié) 論

本文提出基于像素光場(chǎng)的傅里葉切片算法實(shí)現(xiàn)光場(chǎng)重聚焦?；诠鈭?chǎng)空間復(fù)用的原理推導(dǎo)出標(biāo)準(zhǔn)光場(chǎng)與像素光場(chǎng)的關(guān)系,并將空間變換轉(zhuǎn)化到像素光場(chǎng)上。根據(jù)傅里葉變換原理推導(dǎo)出在頻域的光場(chǎng)重聚焦等效方法。通過理論分析,兩者是等效的,且時(shí)間復(fù)雜度上頻率的傅里葉切片方法更小。實(shí)驗(yàn)表明,與空間域相比在達(dá)到同樣效果的前提下,同樣可以完成光場(chǎng)重聚焦的功能,而且具有更快的運(yùn)行速度,在處理大數(shù)據(jù)的情況下優(yōu)勢(shì)明顯。

［1］ ALEXANDER GERSHUN.The light field［J］.Journal of Mathematics and Physics,1939（18）:51-151.

［2］ 聶云峰,相里斌,周志良.光場(chǎng)成像技術(shù)進(jìn)展［J］.中國(guó)科學(xué)院研究生院學(xué)報(bào),2011,28（5）:564-572.

［3］ NG R,LEVOY M,BRéDIF M,et al.Light field photography with a hand-held plenoptic camera［R］.［S.l.］:Stanford Tech Report CSTR,2005:1-11.

［4］ NG R.Digital light field photography［D］.California:Stanford University,2006:187.

［5］ ADELSON E H,WANG J Y A.Single lens stereo with a plenoptic camera［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence,1992,14（2）:99-106.

［6］ LEVOY M,HANRAHAN P.Light field rendering［C］//Proceedings of SIGGRAPH.New York:ACM Press,1996:31-42.

［7］ LEVOY M,ZHANG Z,MCDOWALL I.Recording and controlling the 4D light field in a microscope using microlens arrays［J］. Journal of Microscop,2009,235（2）:144-162.

［8］ NG R.Fourier slice photography［C］//Proceedings of SIGGRAPH.New York:ACM Press,2005:735-744.

［9］ CASTLEMAN H R.Digital image processing［M］.Englewood Cliffs,New Jersey:Prentice Hall,1979.

［10］ LEVOY M.Light fields and computational imaging［J］.Computer,2006,39（8）:46-55.

［11］ DURAND F,HOLZSCHUCH N,SOLER C,et al.A frequency analysis of light transport［J］.ACM Transactions on Graphics,2005, 24（3）:1115-1126.

［12］ 周志良.光場(chǎng)成像技術(shù)研究［D］.北京:中國(guó)科學(xué)技術(shù)大學(xué),2012:114.

［13］ CHEN W C,BOUGUET J Y,CHU M H,et al.Light field mapping:effcient representation and hardware rendering of surface light field［C］//Proceeding of SIGGRAPH.New York:ACM Press,2002:447-456.

［14］ 張旭,李晨.微透鏡陣列式光場(chǎng)成像模型及其標(biāo)定方法［J］.光學(xué)學(xué)報(bào),2014,34（12）:95-107.

［15］ ZHANG X,LI C.Model of light field imaging and its application in refocus and all-focus［J］.Advanced Materials Research,2014, 1039:266-273.

［16］ BRACEWELL R.The Fourier transform and its applications［M］.New York:McGraw-Hill,1965.

［17］ LEVOY M.Volume rendering using the fourier projection-slice theorem［C］//Proceedings of graphics interface.Vancouver:Canadian Information Processing Society,1992,61-69.

［18］ DANSEREAU D G,PIZARRO O,WILLIAMS S B.Decoding,calibration and rectification for lenselet-based plenoptic cameras［C］// Proceeding of computer vision and pattern recognition（CVPR）.Portland,OR:IEEE,2013:1027-1034.

（編輯:張 磊）

Refocus of the pixel light field image in the frequency domain

WANG Yu1,ZHANG Xu1,2,3,TU Dawei1,2
（1.School of Mechatronic Engineering and Automation,Shanghai University,Shanghai 200072,China；2.Shanghai Key Laboratory of Intelligent Manufacturing and Robotics,Shanghai University,Shanghai 200072,China；3.State Key Laboratory of Mechanical System and Vibration,Shanghai University,Shanghai 200240,China）

This paper provides a refocus algorithm of the pixel light field in the frequency domain.It needs to pixelate the 4D light field data at first,then establishes the way of refocus in the Fourier transform and analyses the effect of Fourier slice and procedure of resample. Comparing with the method of integral projection in the experiment,the refocus results about the same scene of the two different ways are explained and the efficiency of each is evaluated. The experimental results show that the Fourier slice has a better computational performance which can achieve the same as the result with integral projection.

pixel light field；refocus；Fourier slice

TP 391

A

10.3969/j.issn.1005-5630.2016.02.006

1005-5630（2016）02-0121-07

2015-05-26

國(guó)家自然科學(xué)基金資助項(xiàng)目（51205244）

王宇（1987—）男,碩士,主要從事圖像處理方面的研究。E-mail:541340151@qq.com

張旭（1982—）男,博士,主要從事信息和計(jì)算機(jī)視覺方面的研究。E-mail:xuzhang@shu.edu.cn