一種微透鏡光場相機的子孔徑圖像提取方法

賈 琦，王安紅，武迎春，魏計林

(太原科技大學 應用科學學院，太原 030024)

傳統(tǒng)相機在拍攝真實場景時往往不能獲取場景多個視點的信息，而新型的微透鏡光場相機[1]和相機陣列卻可以得到場景更多的信息，例如場景的多視點信息，場景的深度信息等。相比于相機陣列，微透鏡光場相機又有著無法比擬的便攜性和快速性。但是，由于國內外光場相機對相關技術的保密和軟件程序的不開源等問題，使得使用者無法自主獲得需要的數據，例如子孔徑圖像的獲取，深度信息的恢復，前后景的重聚焦等。因此，本文對微透鏡光場相機成像系統(tǒng)中涉及的關鍵技術做了研究，特別對子孔徑圖像進行了系統(tǒng)地研究，結合光場的定義，研究闡述了子孔徑圖像的成像原理[3]。此外，本文采用了一個光場能量函數，并且從光學、物理學以及幾何光學的角度給出了采用光場相機的四維參數化表示，四維光場獲取方式。其次，本文還利用了數字圖像處理的方法對光場相機的微透鏡中心像素進行了標定，并對標定后圖像的像素進行了提取和重排，最終實現了對光場相機子孔徑圖像的提取，為后續(xù)場景深度的恢復，三維場景的重建等奠定了基礎。

1 光場相機基本理論

1.1 光場的定義

光場[2]的實質就是空間中全部光的具體的傳播方向的集合，是攜帶著場景物體光學信息的。如圖1所示，光場可以看作為光線的一個五維函數：L(x,y,z,θ,φ)，其中(x,y,z)代表該點空間三維坐標，(θ,φ)分別代表該點處光線的仰角和方位角。

1.2 光場的四維參數化表示

將光場五維函數降到四維，場景內一條光線同時包含了二維位置信息(u,v)和二維方向信息(θ,φ)，即光場的四維參數化表示。根據 Levoy 的光場渲染理論可以推出，空間中的任意光線都可以采用兩個平行平面的雙平面參數方法參數化表示所捕捉的光場，這些光線同時攜帶了強度和方向信息。若用(u,v)和(s,t)分別表示這條光線與兩個平面交點的坐標，在(u,v,s,t)四維坐標空間中，每一條光線可表示為L(u,v,s,t)，其位置和方向信息可以由分別(u,v)和(s, t)來決定。其中，L(u,v,s,t)所對應的是場景內的一個點發(fā)射出的光線。把探測器面上每個點所接收到的來自主透鏡面的全部光線進行積分，這樣就整個像面(s,t)處的光照度就可表示為：

I(x,y)=?L(u,v,s,t)dudv

(1)

圖1 空間任意點的 5D 坐標表示

Fig.1 5D coordinate of arbitary special point

1.3 基于微透鏡光場相機的四維光場獲取

由 Levoy 的光場渲染理論可知，光場可以被兩個平行平面的雙平面參數方法進行參數化表示， 這些光線同時攜帶了二維位置信息(u,v)和二維方向信息(θ,φ).

圖2 光場相機的四維參數化表示

Fig.2 4D parameteriazation of light-filed camera

圖3 光場相機的內部結構圖

Fig.3 Interal structure oflight-filed camera

微透鏡陣列光場相機的內部結構[5]如圖3所示，從主透鏡面穿出的光線經過每個微透鏡后投影到探測器平面形成一個子圖像,子圖像中每一點對應于主透鏡面發(fā)出的一條光線。每幅子圖像都可以看作是一個宏像素,那么每個宏像素的位置就分別對應拍攝場景的一個位置坐標(s，t)；而宏像素內的每一點則分別對應場景內被拍攝物體在該位置的方向坐標(u，v)，將這些宏像素整體組合來看，鏡頭孔徑上每一點和每一個微透鏡后的子圖像共同記錄了光場。

2 光場相機原圖像與子孔徑圖像

2.1 光場相機原圖像

由于微透鏡光場相機拍攝的原圖像格式無法直接被電腦讀取轉換成我們熟悉的常規(guī)圖像，所以利用matlab光場相機擴展包提取并恢復出了一幅微透鏡光場相機原圖像，如圖4所示：

圖4 光場相機原圖像

Fig.4 The original graph of light-filed camera

將其放大為圖5，可以看到，光場圖像由許多微透鏡覆蓋下的子圖像組成的，每幅微透鏡圖像邊緣的黑色區(qū)域是微透鏡未覆蓋CCD的區(qū)域。

圖5 光場相機原圖像放大后的圖像

Fig.5 Theenlarged diagram of the original graph of light-filed camera

為了更加直觀，我們將放大圖簡化，如圖6所示，其中六邊形區(qū)域表示光線通過微透鏡在CCD上的成像部分，黑色區(qū)域代表未成像的區(qū)域。

圖6 光場相機原圖像放大后圖像的簡圖

Fig.6 The schematic enlarged diagram of the original graph of light-filed camera

2.2 光場相機子孔徑圖像

由公式(1)可知，主鏡頭孔徑和微透鏡陣列的尺寸將決定四維光場中各個變量的取值范圍。對公式(1)中 (u,v)的積分坐標和范圍進行限定，就可以在一個小范圍的成像視角中成像。所得到的圖像是場景拍攝目標通過主鏡頭某個子孔徑范圍下所成的像，得到以下公式[4]：

(2)

在光場相機采集的光場數據中，其主透鏡下的同一個子孔徑在CCD上的成像對應于光場相機中所有微透鏡單元成像區(qū)域的相同坐標。從上圖7可推出，光場相機得到的子孔徑圖像就相當于光場相機主鏡頭光圈減小后成的像[7]。同理，該像也等同于微透鏡陣列的像元陣列成的像。因此，我們可以得出，子孔徑圖像具有非常大的景深范圍和微小的視差關系，而且它的信噪比也相對低一些。通過四維空間來觀察二維空間，子孔徑圖像就等價于實際光場在水平維度上的切片[9]。

圖7 子孔徑圖像的提取原理

Fig.7 The extraction diagram of sub-aperture graph

3 子孔徑圖像的提取

3.1 利用峰值檢測法標定微透鏡圖像中心點

傳統(tǒng)基于邊緣檢測和幾何方法的微透鏡中心標定不可用的原因在于，實際應用中，微透鏡成像存在漸暈效應，每個微透鏡由于生產技術水平不同，其尺寸并不是完全相同，也不一定完全是水平于CCD平面的，這樣就導致了微透鏡邊緣模糊且微透鏡圖像的幾何中心不一定是微透鏡圖像的成像中心。對此，我們采用了基于光照度的峰值檢測法，由微透鏡成像原理可知，光線通過微透鏡時會產生匯聚作用，而通過微透鏡中心點的光線會沿直線傳播，所以微透鏡成像中心點的亮度是最高的。因此，通過拍攝白圖像的方法來檢測每個微透鏡圖像的亮度最高的點來求得微透鏡圖像中心點的方法是可行的。

標定步驟如下：

1)首先利用多個光場原始數據提取出多幅光場白圖像，并且把每一張白圖像都加入到高斯濾波器中進行去噪處理。

2)將去噪后的多幅白圖像進行求均值處理得出一幅均值白圖像。

3)最后根據透鏡中心點匯聚光最強的原理，找出基礎白圖像的中心坐標。

在進行了上述一系列工作后，我們便能夠很好地找出白圖像中的中心坐標，這是后續(xù)進行子孔徑圖像提取的基礎工作。中心坐標標定的正確與否直接關系到子孔徑圖像提取的準確性。因此在公式(1)的基礎上得出了最終的結果[3]，如圖8所示：

圖8 峰值檢測法標定微透鏡中心點

Fig.8 Micro-lens central points calibrated by peak-value inspection

3.2 子孔徑圖像的提取

本文中光場數據主要由Lytro光場相機獲得。Lytro光場相機由六邊形微透鏡陣列組成，分辨率為3280×3280.其中空間分辨率為296×296,其角度分辨率為12×12.采用微透鏡陣列可以將獲取的光線分成許多細小的部分，這些被分化后的光線經過傳感器陣列就可以將每個微透鏡產生的焦點形成焦點平面。

由圖5可以發(fā)現，微透鏡圖像的亮度是由中心向四周由亮變暗的，圖像的邊緣部分由于光線的匯聚作用強而導致接收的光線較少，因此我們只取圖像中心區(qū)域亮度較高的部分[7]。例如，我們以微透鏡圖像中心點為中心取一個7×7像素的圖像區(qū)域：

圖9 提取微透鏡圖像的明亮區(qū)域

Fig.9 The bright area of micro-lens graph

將提取出的圖像按原有微透鏡排列次序排好，并標出中心點(圖10(a)中藍色方塊)，將微透鏡圖像所有相同位置的像素全部提出(圖10(a)中紅色，黃色紫色方塊)并進行重排列操作，即可得到所需視點的子孔徑圖像(最下方的提取像素重組圖)，由圖10(b)所示：

(a)需要提取的不同視點子孔徑圖像的像素位置

(b)將提取的相應位置的像素點進行重新排列，得到所需的子孔徑圖像

圖10 子孔徑圖像提取示意圖

Fig.10 The extraction schematic of sub-aperture graph

3.3 實驗結果

為了更加直觀的看到獲得到的子孔徑圖像是否具有視差效果，本文隨機抽取了兩張子孔徑圖并放大。左圖為Lytro相機第二行第二列的子孔徑圖像，右圖為第二行第六列的子孔徑圖像。

圖11 兩幅子孔徑圖像的對比圖

Fig.11 The constract of two sub=aperture graphs

將這兩幅圖進行對比，可以看出其中存在微小的視差，證明了本文方法的可行[8]。

4 結束語

提出一種基于光場相機的子孔徑圖像提取方法。在預處理圖像后，采用峰值檢測法對光場相機原圖像中的微透鏡圖像進行中心標定，將中心點附近的明亮區(qū)域提取出來，得到一個n×n的微透鏡圖像，將其中相同位置的像素點進行提取并重新排列組合成子孔徑圖像。實驗結果表明，我們方法在提取子孔徑圖像方面不僅定位精準，運算速度快，而且得到的子孔徑圖像具有明顯可見的視差。接下來需要做的工作是運用提取的子孔徑圖像計算拍攝場景的深度信息、重建拍攝場景的三維環(huán)境。

參考文獻：

[1] 徐晶. 基于微透鏡陣列的集成成像和光場成像研究[D]. 合肥：中國科學技術大學, 2011.

[2] 周志良. 光場成像技術研究[D]. 合肥：中國科學技術大學, 2012.

[3] 張旭, 李晨. 微透鏡陣列式光場成像模型及其標定方法[J]. 光學學報, 2014, 34(12):95-107.

[4] 趙興榮. 基于光場相機深度信息獲取技術的研究[D]. 太原：中北大學, 2014.

[5] 劉朝霞. 人人都是大師 光場相機技術淺析[J]. 新潮電子, 2014(8):92-93.

[6] REN N, LEVOY M, BREDIF M, et al. Light Field Photography with a Hand-Held Plenopic Camera[J]. 2005，2(11)1-11.

[7] 楊凡, 袁艷, 周志良,等. 光場相機成像質量評價方法研究[J]. 現代電子技術, 2011, 34(6):4-6.

[8] 袁艷, 周宇, 胡煌華,等. 光場相機中微透鏡陣列與探測器配準誤差分析[J]. 光子學報, 2010, 39(1):123-126.

[9] SHI L, HASSANIEH H, DAVIS A, et al. Light Field Reconstruction Using Sparsity in the Continuous Fourier Domain[J]. Acm Transactions on Graphics, 2014, 34(1):1-13.