三維場(chǎng)景的光場(chǎng)成像仿真*

劉嚴(yán)羊碩， 潘晉孝， 潘毅華， 劉　賓

(1. 中北大學(xué) 理學(xué)院， 山西 太原 030051； 2. 中北大學(xué) 電子測(cè)試技術(shù)國(guó)家重點(diǎn)實(shí)驗(yàn)室， 山西 太原 030051； 3. 中北大學(xué) 信息探測(cè)與處理山西省重點(diǎn)實(shí)驗(yàn)室， 山西 太原 030051)

Gershun在1936年提出光場(chǎng)的概念， 定義其為光輻射在空間各個(gè)位置向各個(gè)方向的傳播[1]. 之后， 光場(chǎng)理論又得到了不同程度的改進(jìn). 直至1996年Levoy提出光場(chǎng)渲染理論(light field rendering, LFR)利用四維光場(chǎng)函數(shù)來描述光場(chǎng)， 并通過兩個(gè)相互平行的平面對(duì)四維光場(chǎng)進(jìn)行參數(shù)化表示， 光場(chǎng)理論才得到了完善[2]. 光場(chǎng)信息在實(shí)現(xiàn)重聚焦， 深度估計(jì)及光譜成像等方面都有廣泛的應(yīng)用[3-7].

目前獲取光場(chǎng)信息的方式主要有微透鏡陣列、 相機(jī)陣列及掩膜方式. 微透鏡陣列方式是將微透鏡陣列放置于一次像面處， 探測(cè)器平行于微透鏡陣列放置于微透鏡陣列焦距處， 利用探測(cè)器記錄位置信息， 利用微透鏡陣列記錄方向信息來獲取四維光場(chǎng)信息[8-10]. 相機(jī)陣列是通過在空間排布多個(gè)相機(jī)得到一系列不同視角圖片的光場(chǎng)獲取方式[11-14]. 掩膜光場(chǎng)成像模型是在透鏡及探測(cè)器之間放置一片擁有特殊編碼的掩膜， 通過這種不同位置透視率不同的掩膜來對(duì)入射光進(jìn)行強(qiáng)度調(diào)制[15]. 這3種方式較為常用的是微透鏡陣列方式及相機(jī)陣列方式. 雖然相機(jī)陣列相比于微透鏡陣列可以拍攝更為豐富的角度， 處理上也更為直觀簡(jiǎn)便， 但是微透鏡陣列質(zhì)量輕， 體積小， 造價(jià)低廉且利于集成化， 例如Lytro在內(nèi)的很多手持光場(chǎng)相機(jī)均是利用微透鏡陣列制造而成[16].

為了光場(chǎng)成像算法研究獲取第一手?jǐn)?shù)據(jù)， 減小硬件投資造成的成本問題， 同時(shí)可以靈活改變系統(tǒng)參數(shù)， 指導(dǎo)系統(tǒng)設(shè)計(jì)， 本文提出了一種基于微透鏡陣列的光場(chǎng)相機(jī)仿真方法. 該方法以Levoy的光場(chǎng)渲染理論為基礎(chǔ)， 通過將二維圖像以金字塔方式逐層向后推移擴(kuò)展有效面來設(shè)置不同物距的圖像， 再通過光路追跡及遮擋判斷計(jì)算每一物點(diǎn)對(duì)應(yīng)在探測(cè)器上的位置坐標(biāo)， 得到光場(chǎng)圖像.

1　光場(chǎng)成像基本原理

1.1　微透鏡陣列光場(chǎng)采樣原理

傳統(tǒng)成像方式所成的像僅能反映出光的強(qiáng)度及位置信息， 而不能反映出光的方向信息， 這是因?yàn)槊恳粋€(gè)像元上所獲得的光線能量均是來源于所有方向的光能量疊加而成， 這一成像過程中損失了光線的方向信息.

與傳統(tǒng)成像方式不同， 將微透鏡陣列放置于主透鏡像面處， 將探測(cè)器放置于微透鏡后記錄來自不同方向的光. 根據(jù)光場(chǎng)采樣理論， 探測(cè)器所接收到的光是四維光場(chǎng)的重采樣， 能夠記錄光線的方向信息， 如圖 1 所示， 單個(gè)微透鏡接收來自主透鏡所有方向的光在探測(cè)器上形成一個(gè)宏像素. 宏像素下包含很多像元， 每一個(gè)像元對(duì)應(yīng)于主透鏡分塊后的一個(gè)子孔徑， 經(jīng)過不同的子孔徑入射來的光代表不同的方向， 一個(gè)宏像素下的不同像元記錄了來自不同子孔徑的光， 相當(dāng)于記錄了光線的方向信息.

對(duì)于單個(gè)子孔徑來說， 物體經(jīng)同一子孔徑打在微透鏡陣列的光會(huì)在其對(duì)應(yīng)宏像素的相同位置處成像， 如圖 2 所示. 利用這一規(guī)律， 給光場(chǎng)圖像的解碼提供了理論依據(jù)， 解碼相當(dāng)于將每一子孔徑所成的像展示出來. 子孔徑相當(dāng)于光圈減小后的主透鏡， 其景深增加， 但信噪比降低.

圖 1　基于微透鏡陣列的光場(chǎng)采樣Fig.1　Light field sampling based on microlens array

圖 2　單個(gè)子孔徑成像光路Fig.2　Optical path of single sub-aperture imaging

每一個(gè)宏像素與一個(gè)微透鏡的大小近似相等， 由圖2可知， 一個(gè)宏像素下的像元個(gè)數(shù)決定主透鏡所分的子孔徑塊數(shù)， 而子孔徑塊數(shù)決定可以分辨光場(chǎng)的方向數(shù). 因此一個(gè)宏像素下的像元個(gè)數(shù)決定方向分辨率， 而微透鏡的個(gè)數(shù)決定空間分辨率.

1.2　數(shù)字重聚焦

由于所采集到的光場(chǎng)為多個(gè)物距上平面組成的三維場(chǎng)景， 故需要對(duì)其進(jìn)行數(shù)字對(duì)焦. 數(shù)字對(duì)焦就是將所采集到的光場(chǎng)重新投影到新的像平面進(jìn)行積分. 重聚焦示意圖如圖 3 所示.

圖 3　數(shù)字重聚焦Fig.3　Digital refocusing

主透鏡與微透鏡距離為l， 主透鏡與聚焦面距離為l′， 定義兩者的關(guān)系為

l′=αl.

(1)

重聚焦就是將主透鏡與聚焦面間光場(chǎng)的方向進(jìn)行積分， 如式(2)所示

(2)

(3)

(4)

(5)

將式(4)帶入式(5)可得

(6)

式(6)即為對(duì)焦至重聚焦面的成像公式.

2　光場(chǎng)成像模型

2.1　物空間模型構(gòu)建

為了構(gòu)建出三維成像模型， 實(shí)驗(yàn)通過將一幅二維圖像以金字塔結(jié)構(gòu)提取圖像的有效區(qū)域并逐層向后推移， 達(dá)到近似構(gòu)建出三維場(chǎng)景的效果. 以擴(kuò)展為8個(gè)離散面為例， 其物空間模型如圖 4 所示.

圖 4　物空間模型Fig.4　Object space model

圖 5　遮擋模型Fig.5　Occlusion model

這種金字塔模式的物體建立方式可任意調(diào)整兩個(gè)物面之間的間距以及物體的物距， 理論上可以排列出無窮多個(gè)物面達(dá)到近似建立三維場(chǎng)景的效果.

在對(duì)每一物距上的平面進(jìn)行光場(chǎng)成像時(shí)， 由于光線沿直線傳播， 前景會(huì)對(duì)后景有部分遮擋， 因此圖像中每一個(gè)像素點(diǎn)發(fā)出的光在打到主透鏡之前要進(jìn)行遮擋判斷， 如圖 5 所示.

由于進(jìn)入不同子孔徑的光的方向不同， 遮擋的范圍也不同， 所以在成像過程中， 要對(duì)每一個(gè)子孔徑進(jìn)行遮擋判斷. 在圖5中， 由于A物面遮擋了部分的B物面， 針對(duì)于所選擇的子孔徑來說，B物面上的陰影區(qū)域所發(fā)出的光無法進(jìn)入該子孔徑， 故在成像時(shí)， 陰影部分的像素點(diǎn)不會(huì)進(jìn)入光場(chǎng)成像系統(tǒng). 在仿真過程中， 每一個(gè)子孔徑的光線近似從子孔徑的中心進(jìn)入. 假設(shè)B面物點(diǎn)的坐標(biāo)為(x1,y1,z1)，A面物點(diǎn)的坐標(biāo)為(x2,y2,z2)子孔徑的坐標(biāo)為(x3,y3,z3)， 則B面物點(diǎn)與子孔徑間的直線方程為

(7)

這條光線在經(jīng)過A物面所在物距z2時(shí)， 其空間位置為

(8)

(9)

此時(shí)判斷(x2′,y2′,z2)是否在A物面上， 若不在A物面上， 則該B面物點(diǎn)可以進(jìn)入光場(chǎng)成像系統(tǒng)； 若在A物面上， 則該B面物點(diǎn)被遮擋， 無法成像.

2.2　數(shù)值孔徑匹配

在主透鏡成像過程中， 物點(diǎn)與像點(diǎn)遵循高斯成像公式

(10)

圖 6　光場(chǎng)成像模型Fig.6　Light field photography model

式中：u為物距；v為像距；f為主透鏡焦距. 微透鏡陣列放置于像面處， 探測(cè)器位于微透鏡陣列后方， 如圖 6 所示.

圖 6 中為一個(gè)主透鏡被分為5塊子孔徑的光場(chǎng)成像模型， 設(shè)主透鏡孔徑大小為D， 像距為a， 微透鏡大小為d， 微透鏡焦距為f. 由于像距相比于微透鏡的大小無窮大， 故來自主透鏡的光對(duì)于微透鏡來說近似于來自無窮遠(yuǎn)的平行光， 因而探測(cè)面應(yīng)位于微透鏡后f處. 為了使每一個(gè)微透鏡后的宏像素間既不發(fā)生重疊， 又要最大程度利用探測(cè)器像元數(shù)， 每一個(gè)宏像素應(yīng)與相鄰宏像素相切， 對(duì)應(yīng)到互相相切的微透鏡陣列， 宏像素的大小應(yīng)為d， 根據(jù)相似三角形定理得到

(11)

2.3　離焦物面成像

在實(shí)際拍攝物體時(shí)， 物面所成像的位置往往不在微透鏡陣列所在像面， 根據(jù)式(10)， 不同的物距對(duì)應(yīng)有不同的像距. 因此每一物面像素經(jīng)子孔徑打在微透鏡陣列處往往是一個(gè)光斑， 物面離焦量越大， 在微透鏡上所成光斑也越大. 圖 7 所示為一個(gè)離焦物點(diǎn)經(jīng)一個(gè)子孔徑在微透鏡上所成的光斑示意圖 .

圖 7　離焦物點(diǎn)光場(chǎng)成像Fig.7　Optical field imaging of defocused point

圖 7 中：z1為物距；z2為像距；z為主透鏡及微透鏡間的距離， 設(shè)子孔徑大小為duv， 光斑大小為h， 主透鏡焦距為F， 則根據(jù)相似三角形定理， 光斑大小的表達(dá)式為

(12)

根據(jù)式(10)可得

(13)

根據(jù)圖 7 所示， 光斑打在若干微透鏡上， 由于此光斑來自于同一子孔徑， 其在探測(cè)器上的像元的位置近似為每個(gè)微透鏡下宏像素的相同位置， 根據(jù)光斑在每個(gè)微透鏡上的權(quán)重來分配每個(gè)宏像素下對(duì)應(yīng)像元上的能量. 同時(shí)， 由于不同物點(diǎn)發(fā)出的光可能經(jīng)過同一子孔徑打在同一微透鏡上， 因而每一個(gè)像元所包含的能量不僅僅來源于一個(gè)物點(diǎn). 所以仿真時(shí)針對(duì)每一個(gè)像元統(tǒng)計(jì)打在此像元上的光線條數(shù)， 用總能量除以總光線條數(shù)即可得到此像元下的灰度值.

3　仿真實(shí)驗(yàn)結(jié)果與分析

3.1　仿真實(shí)驗(yàn)結(jié)果

表 1　相機(jī)參數(shù)

為了驗(yàn)證本文所提出仿真方案的正確性， 以一幅二維圖像為例進(jìn)行仿真. 本實(shí)驗(yàn)是在CPU主頻為3.4 GHz， 內(nèi)存為8 G的計(jì)算機(jī)中matlab2014a仿真環(huán)境下進(jìn)行的. 實(shí)驗(yàn)所用圖像如圖 8 所示， 為256×256， 8bit/pixel.

對(duì)圖 8 進(jìn)行本文提出的方式進(jìn)行光場(chǎng)成像仿真， 將二維圖像擴(kuò)展為40個(gè)面， 初始物距為420 mm， 離焦距離為15 mm， 其余面利用金字塔推面模式擴(kuò)展離散物面有效區(qū)域大小并向后挪動(dòng)物面， 步進(jìn)為1 mm， 最終得到由40個(gè)物面構(gòu)成的光場(chǎng)圖， 如圖 9 所示. 根據(jù)數(shù)值孔徑匹配所設(shè)置的相機(jī)參數(shù)如表 1 所示.

圖 8　原始圖像Fig.8　Original image

圖 9　實(shí)驗(yàn)所得光場(chǎng)圖Fig.9　Light field image in the experiment

根據(jù)仿真實(shí)驗(yàn)所得到的光場(chǎng)圖(圖 9)可以看出， 圖像中有很多灰度值漸變的小方格組成， 每一個(gè)小方格代表一個(gè)宏像素， 宏像素下灰度值的不同代表每一子孔徑觀測(cè)到的視角的不同. 圖像中間部分離焦距離最小， 在整幅光場(chǎng)圖像中最為清晰， 而自圖像中心向外擴(kuò)的部分隨著離焦距離的增加， 圖像越來越模糊.

為了測(cè)試實(shí)驗(yàn)?zāi)Ｐ图肮鈭?chǎng)圖像的正確性， 根據(jù)式(6)通過調(diào)整α值對(duì)光場(chǎng)圖像進(jìn)行不同物面的重聚焦處理， 其仿真結(jié)果如圖 10 所示.

圖 10　不同物面的重聚焦結(jié)果Fig.10　The results of refocusing on different object plane

3.2　結(jié)果分析

本文所建立的三維模型是將二維圖像以金字塔模型進(jìn)行有效面擴(kuò)展及推面處理， 由圖9可以看出， 在距離主透鏡最近的部分， 即原始圖像的中心部分， 由于較小的離焦量， 在光場(chǎng)圖像中能夠辨別出圖像中的圖案. 而圖像越靠近四周， 離焦量越大， 在光場(chǎng)圖中越模糊. 這是因?yàn)殡x焦量大的物面像素相比于離焦量小的物面像素經(jīng)子孔徑打在微透鏡陣列上的數(shù)目多， 其所包含的信息分配的宏像素多， 因而呈現(xiàn)出模糊感， 且這種模糊程度隨離焦量的變大而加劇.

通過調(diào)整α值進(jìn)行重聚焦處理， 可以得到不同物距的重聚焦結(jié)果. 由式(1)可知， 隨著α值的減小， 重聚焦平面對(duì)應(yīng)的像距也隨之減小. 根據(jù)式(10)可知， 當(dāng)重聚焦平面對(duì)應(yīng)的像距減小時(shí)， 其對(duì)應(yīng)的物距逐漸增大， 在圖10中表現(xiàn)為清晰部分隨著α值的減小逐漸向圖像四周擴(kuò)展， 而中心部分相對(duì)四周部分物距小， 逐漸變得模糊. 這種現(xiàn)象與所建立的三維場(chǎng)景相符.

4　結(jié)　論

提出一種有效獲得三維場(chǎng)景光場(chǎng)數(shù)據(jù)的仿真方法， 利用金字塔模式對(duì)二維圖像進(jìn)行有效面擴(kuò)展及物面推移處理. 在光場(chǎng)成像過程中判斷前景對(duì)后景的遮擋以及離焦圖像在成像過程中的近似處理得到三維光場(chǎng)圖像. 為了驗(yàn)證本文所提出的三維場(chǎng)景建立方法以及所得到的光場(chǎng)圖像的正確性， 通過調(diào)整α值對(duì)圖像進(jìn)行不同物距上的重聚焦處理. 仿真結(jié)果表明了本文所提出的三維場(chǎng)景模型的正確性， 對(duì)于以后在三維場(chǎng)景下進(jìn)行光譜成像實(shí)驗(yàn)、 深度估計(jì)及其他光場(chǎng)成像實(shí)驗(yàn)的數(shù)據(jù)獲取有一定的參考價(jià)值.

參考文獻(xiàn)：

[1]Gershun A. The Light Field[J]. Studies in Applied Mathematics, 1936, 18(1-4)： 51-151.

[2]Levoy M, Hanrahan P. Light field rendering[C]. Conference on Computer Graphics and Interactive Techniques. ACM, 1996： 31-42.

[3]Zhang C, Hou G, Sun Z, et al. Efficient auto-refocusing of iris images for light-field cameras[C]. IEEE International Joint Conference on Biometrics. IEEE, 2014： 1-7.

[4]Ikeoka H, Murata T, Okuwaki M, et al. Depth estimation for automotive with tilted optics imaging[C]. IEEE International Conference on Image Processing. IEEE, 2015： 3852-3856.

[5]Garbe C, Baker H, J?hne B. Light-field camera design for high-accuracy depth estimation[C]. SPIE Optical Metrology. 2015： 952803.

[6]Zhou Z, Xiangli B. Snapshot Multispectral Imaging Using a Plenoptic Camera with an Axial Dispersion Lens[M]. 2014.

[7]Raghavendra R, Busch C. Presentation attack detection on visible spectrum iris recognition by exploring inherent characteristics of Light Field Camera[C]. IEEE International Joint Conference on Biometrics. IEEE, 2014： 1-8.

[8]Ng R, Levoy M, Brédif M, et al. Light field photography with a hand-held plenoptic camera[J]. Computer Science Technical Report CSTR, 2005, 2(11)： 1-11.

[9]Favaro P. A split-sensor light field camera for extended depth of field and superresolution[C]. SPIE Photonics Europe. International Society for Optics and Photonics, 2012： 843602-843609.

[10]Park H, Park M K, Kim M, et al. Light-field camera using fast switchable micro-lens array for simultaneous 2D/3D image acquisition[C]. Lasers and Electro-Optics Pacific Rim. IEEE, 2015： 1-2.

[11]Bae S J, Kim J W, Park S, et al. Camera array type plenoptic moving picture acquisition system[C]. The Workshop on Information Optics. 2016： 1-3.

[12]Ghasemi A, Scholefield A, Vetterli M. On the accuracy of point localisation in a circular camera-array[C]. Image Processing (ICIP), 2015 IEEE International Conference on. IEEE, 2015： 981-985.

[13]Ciurea F, Lelescu D, Chatterjee P, et al. Adaptive Geometric Calibration Correction for Camera Array[C]. Is&t International Symposium on Electronic Imaging, 2016.

[14]Birklbauer C, Bimber O. Panorama light-field imaging[J]. Computer Graphics Forum. 2014, 33(2)： 43-52.

[15]Park B, Kirmani G A, Raskar R, et al. Apparatus and method for processing light field data using a mask with an attenuation pattern： U.S. Patent 9,143,678[P]. 2015-9-22.

[16]Georgiev T, Yu Z, Goma S. Lytro camera technology： theory, algorithms, performance analysis[J]. Proceedings of SPIE - The International Society for Optical Engineering, 2013, 8667(15)： 86671-86681.