基于Lytro相機(jī)的全聚焦成像

張煥智

（四川大學(xué)計(jì)算機(jī)學(xué)院，成都 610065）

0 引言

光線作為人們感知真實(shí)世界的重要媒介，光線攜帶著目標(biāo)豐富的三維環(huán)境信息。與傳統(tǒng)相機(jī)的二維投影成像方式不同，傳統(tǒng)相機(jī)的成像通過在每個(gè)像素處對(duì)光線進(jìn)行角度積分來(lái)記錄光線的強(qiáng)度信息。而光場(chǎng)相機(jī)成像通過改變傳統(tǒng)相機(jī)內(nèi)部的光學(xué)部件結(jié)構(gòu)，在圖像傳感器與主透鏡之間增加了一個(gè)微透鏡陣列，從而改變了光線的采集方式，產(chǎn)生了與傳統(tǒng)相機(jī)完全不同的成像效果，使得光場(chǎng)相機(jī)不僅能記錄光線的強(qiáng)度信息，而且能夠記錄光線的方向信息。由于光場(chǎng)相機(jī)的這種特性，這為光場(chǎng)相機(jī)在后期的數(shù)字圖像處理及其相應(yīng)的應(yīng)用提供了便利，如利用光場(chǎng)相機(jī)可以實(shí)現(xiàn)圖像的重聚焦、深度估計(jì)、視角變換、全聚焦圖像等應(yīng)用。光場(chǎng)相機(jī)可以在單次相機(jī)曝光之后獲取到目標(biāo)的多張具有一定視差的圖像，通過相應(yīng)的數(shù)字圖像處理技術(shù)可以計(jì)算出目標(biāo)任意深度的重聚焦圖像，這是光場(chǎng)相機(jī)與傳統(tǒng)相機(jī)最大的區(qū)別。由于不受傳統(tǒng)相機(jī)獲取多張聚焦圖像需要多次拍照的限制，這使得基于光場(chǎng)相機(jī)的數(shù)字重聚焦的全聚焦成像成為了可能，這為后期更深入的研究提供了便利。

2012年，一種新型的手持消費(fèi)級(jí)相機(jī)Lytro獲得了許多人的關(guān)注（如圖1），這是由斯坦福的Ren Ng團(tuán)隊(duì)設(shè)計(jì)的，并在2014年發(fā)布了第二代光場(chǎng)相機(jī)Lytro Illum（如圖2）。由于這兩款相機(jī)具有商業(yè)性質(zhì)，所以相機(jī)內(nèi)部的信息是封閉的。Tordor Georgive等人[1]對(duì)Lytro相機(jī)的基本成像原理做了詳細(xì)的介紹，并對(duì)Lytro相機(jī)的結(jié)構(gòu)、理論和算法做了分析，針對(duì)Lytro相機(jī)的局限性給出解決方案。2013年，Donald G.Dansereau等人[2]對(duì)Lytro相機(jī)獲取的原始光場(chǎng)數(shù)據(jù)進(jìn)行了解碼、校準(zhǔn)、顏色校正等操作，完成了對(duì)原始光場(chǎng)數(shù)據(jù)的處理，這為光場(chǎng)相機(jī)的研究者提供了便利。對(duì)采集的原始光場(chǎng)數(shù)據(jù)的處理也是基于Donald G.Dansereau等人開發(fā)的基于MATLAB的Light Field Toolbox v0.4進(jìn)行的。

圖1 第一代光場(chǎng)相機(jī)（Lytro）

圖2 第二代光場(chǎng)相機(jī)（Lytro Illum）

本文基于光場(chǎng)相機(jī)的成像特性，由于光場(chǎng)相機(jī)存在方向分辨率和空間分辨率的折衷問題，相機(jī)的圖像傳感器大小是一定的，這意味著要獲取目標(biāo)的多個(gè)方向信息（方向分辨率），那么相應(yīng)的圖像分辨率（空間分辨率）就會(huì)減低，這樣光場(chǎng)相機(jī)最終的圖像清晰度較低。為了獲得清晰度較好的圖像，需要對(duì)光場(chǎng)相機(jī)獲取的圖像進(jìn)行全聚焦成像，即擴(kuò)展圖像的景深，使的成像范圍的目標(biāo)都處于聚焦?fàn)顟B(tài)（清晰）。為了獲取質(zhì)量較好的全聚焦圖像，本文提出了一種基于空域的全聚焦圖像生成算法，該算法有效的實(shí)現(xiàn)了光場(chǎng)相機(jī)原始圖像到全聚焦圖像的處理，生成了較好地全聚焦圖像質(zhì)量。

1 光場(chǎng)理論

1.1 光場(chǎng)

光場(chǎng)（Light Field）描述的是光線在自由空間中的分布。這樣可以從我們的世界中捕獲更豐富的信息。描述光線分布的早期模型最早由A.Gershun等人[3]于1936年提出的，用于描述光在三維空間中的傳輸時(shí)的輻射照度的變化屬性。1991年，E.Adelson和J.Bergen等人[4]根據(jù)人眼對(duì)外部光線的視覺感知對(duì)光場(chǎng)進(jìn)一步的完善，E.Adelson等人對(duì)光場(chǎng)利用形式化的語(yǔ)言進(jìn)行描述，提出了全光函數(shù)理論，并根據(jù)全光函數(shù)的理論，用七維函數(shù)來(lái)表征空間分布的幾何光線，該模型被稱為全光函數(shù)（Plenoptic Function）。全光函數(shù)可表示為L(zhǎng)(x,y,z,θ,φ,λ,t) ，其七個(gè)變量分別表示：x,y,z表示光線中一點(diǎn)的三維空間坐標(biāo)，θ,φ表示光線的傳播方向，λ表示光線的波長(zhǎng)，t表示時(shí)間。1995年，Leonard Mc?Millan等人[5]將全光函數(shù)將維到五維L(x,y,z,θ,φ)，該函數(shù)不包含波長(zhǎng)和時(shí)間兩個(gè)維度的信息，即只考慮光線在自由空間中的傳輸，其波長(zhǎng)一般不會(huì)發(fā)生變化。更進(jìn)一步，1996年，美國(guó)斯坦福的M.Levoy等人[6]在忽略光線在傳輸過程中衰減的情況下，將五維的全光函數(shù)降到四維全光函數(shù)，并提出了對(duì)四維光場(chǎng)進(jìn)行參數(shù)化表針的雙平面模型，提出雙平面模型表示光場(chǎng)的合理性和實(shí)用性在于，現(xiàn)實(shí)中絕大部分的成像系統(tǒng)都可以簡(jiǎn)化為兩個(gè)相互平行的平面，如傳統(tǒng)的成像系統(tǒng)中的主透鏡平面和圖像傳感器平面。

1.2 光場(chǎng)的參數(shù)化

根據(jù)M.Levoy的光場(chǎng)渲染理論，對(duì)四維光場(chǎng)進(jìn)行參數(shù)化表示，如圖3所示，LF(x,y,u,v)表示光場(chǎng)的一個(gè)采樣，其中各變量分別表示：L表示光線的強(qiáng)度，(u,v)表示光線和鏡頭平面的交點(diǎn)，(x,y)表示光線和圖像傳感器平面的交點(diǎn)。鏡頭平面上的坐標(biāo)(u,v)表示光線的傳輸方向，而圖像傳感器平面上每個(gè)坐標(biāo)(x,y)則記錄了光線的分布位置，F(xiàn)表示鏡頭和圖像傳感器之間的距離。

圖3 光場(chǎng)四維信息的參數(shù)化表示

傳統(tǒng)成像系統(tǒng)所采集到的光場(chǎng)強(qiáng)度可以利用光場(chǎng)的雙平面參數(shù)化表示如圖4所示，光場(chǎng)的能量函數(shù)可以表示為：

其中，(u,v)表示鏡頭出瞳面上的坐標(biāo)。通常情況下，為了近似求解快速的分析問題，可以忽略前面的系數(shù)即將公式（1）簡(jiǎn)化為：

由此可見，傳統(tǒng)成像系統(tǒng)所采集到的光場(chǎng)只能反映其光場(chǎng)強(qiáng)度和位置之間的關(guān)系，不能反映其方向信息()

u,v。

圖4 傳統(tǒng)成像系統(tǒng)采集的光場(chǎng)分布

1.3 基于微透鏡陣列的光場(chǎng)采樣

通過在傳統(tǒng)成像系統(tǒng)中的適當(dāng)位置加入微透鏡陣列，可以改變其成像方式，如圖5所示光場(chǎng)相機(jī)原理圖[7]。在主透鏡和圖像傳感器之間的適當(dāng)位置放置一塊微透鏡陣列，這樣來(lái)自目標(biāo)某個(gè)位置上的光線通過主透鏡的折射會(huì)聚焦微透鏡陣列上的某一塊微透鏡上，然后通過微透鏡發(fā)散光線，最終記錄在圖像傳感器的相應(yīng)的位置。經(jīng)過微透鏡的光線發(fā)散后記錄在圖像傳感器上，相應(yīng)覆蓋的這塊區(qū)域就是宏像素，宏像素中包含的每一個(gè)像素叫做像元，每一個(gè)像元記錄了目標(biāo)某一位置的一個(gè)方向信息。在理想情況下，如果微透鏡陣列中的微透鏡單元的數(shù)量為M1×M2，每個(gè)微透鏡單元覆蓋的像元數(shù)量為N1×N2，那么圖像傳感器中的像元數(shù)量應(yīng)為

圖5 光場(chǎng)相機(jī)原理圖

2 全聚焦算法原理

2.1 光場(chǎng)相機(jī)重聚焦原理

在光場(chǎng)成像系統(tǒng)中，通過光場(chǎng)的參數(shù)化，四維光場(chǎng)就可以被記錄下來(lái)。我們就可以通過對(duì)采集到的數(shù)據(jù)進(jìn)行計(jì)算來(lái)改變光場(chǎng)的投影平面，這就是光場(chǎng)的數(shù)字重聚焦技術(shù)（Digital Refocusing），即通過光場(chǎng)成像原理，將采集到的光場(chǎng)數(shù)據(jù)重新投影到新的成像平面上進(jìn)行積分。通過數(shù)字重聚焦技術(shù)，讓圖像聚焦在不同的焦平面上，如圖6所示是光場(chǎng)成像的數(shù)字重聚焦原理[9]。

圖6 數(shù)字重聚焦原理圖

其中，α=F'/F，令Bα是一個(gè)4×4矩陣，可得：

將Bα代入（3）可得：

將公式（4）代入（2）可得：

所以：

EαF即是四維光場(chǎng)獲得的重聚焦能量大小。

2.2 全聚焦圖像生成算法

當(dāng)相機(jī)聚焦在不同的成像平面上的時(shí)候，處于聚焦平面上的圖像是清晰可見的，而不再聚焦平面上的圖像處于散焦?fàn)顟B(tài)。處于散焦的圖像是由于圖像中目標(biāo)的輪廓不明顯，輪廓邊緣灰度變化不強(qiáng)烈，層次感不強(qiáng)造成的。相反，處于聚焦?fàn)顟B(tài)的圖像的輪廓邊緣灰度變化比較明顯，灰度變化比較強(qiáng)烈，層次感分明，所以圖像就顯示的較為清晰。

對(duì)于聚焦平面的圖像，由于處于聚焦?fàn)顟B(tài)，圖像較為清晰，圖像的輪廓邊緣灰度變化比較明顯，在圖像處理中使用梯度的變化去衡量。由于圖像是一個(gè)二維函數(shù)，令其為f(x,y)，那么圖像f(x,y)在點(diǎn)(x,y)處的x方向和y方向的梯度可以表示如下：

結(jié)合圖像f(x,y)在點(diǎn)(x,y)處的x方向和y方向的梯度，圖像f(x,y)在點(diǎn)(x,y)處的梯度可以表示如下：

通過公式（8）計(jì)算機(jī)一張灰度圖像的所有灰度值，由于圖像的梯度值可以反映邊緣比較銳利的清晰度，并且梯度值較大，相應(yīng)的圖像邊緣則反映的比較銳化。通過計(jì)算所有重聚焦圖像的梯度，選擇所有重聚焦圖像中圖像f(x,y)在點(diǎn)(x,y)梯度值最大的像素作為最后的全聚焦圖像該像點(diǎn)的像素，可以計(jì)算出最終的全聚焦圖像，整個(gè)算法的處理過程如圖7所示。

圖7 算法處理流程圖

3 實(shí)驗(yàn)結(jié)果與分析

為了驗(yàn)證上述算法的可行性和正確性，實(shí)驗(yàn)在MATLAB R2017a平臺(tái)上實(shí)現(xiàn)，計(jì)算機(jī)硬件配置如下：CPU是AMD A6-3400 1.4GHz，內(nèi)存為8GB，操作系統(tǒng)是Windows7 x64，硬盤容量為500GB。根據(jù)如圖7所示的流程圖，用MATLAB為主要的編程實(shí)現(xiàn)各部分的功能，最終實(shí)現(xiàn)光場(chǎng)相機(jī)的全聚焦圖像。

采集數(shù)據(jù)使用的是第二代光場(chǎng)相機(jī)是Lytro Illum，相機(jī)具有541×434個(gè)微透鏡，輸入的光場(chǎng)原始數(shù)據(jù)是用Lytro Illum拍攝的光場(chǎng)圖像，分辨率是7728×5368，文件格式為L(zhǎng)FR，數(shù)據(jù)來(lái)自公開的新光場(chǎng)相機(jī)數(shù)據(jù)集[10]。光場(chǎng)數(shù)據(jù)的提取使用了G.Dansereau在文獻(xiàn)[2]中介紹的方法，經(jīng)過對(duì)光場(chǎng)數(shù)據(jù)的提取、解碼、校準(zhǔn)等操作可以獲取光場(chǎng)相機(jī)的原始圖像，如圖8所示（分辨率為7728×5368），可見原始成像的效果并不理想。為了將圖像傳感器上的原始色彩還原為人眼視覺可接受色彩信息，得到效果較好的光場(chǎng)圖像，需要對(duì)原始圖像進(jìn)行去馬賽克（Demosaic）、色彩校正等操作，結(jié)果如圖9所示（分辨率為7728×5368），可見經(jīng)過處理后的圖像比原始圖像更好的色彩信息。

經(jīng)過前面對(duì)光場(chǎng)數(shù)據(jù)的處理過程后，可到了質(zhì)量較好的圖像。根據(jù)重聚焦公式（5）對(duì)獲取到的光場(chǎng)數(shù)據(jù)進(jìn)行重新聚焦在不同的焦平面上。實(shí)驗(yàn)的α的取值范圍(0.8，1.7)，步長(zhǎng)為0.05，通過重聚焦算法可以獲取到聚焦在不同焦平面上的圖像，對(duì)于給定的α，可以得到一張重聚焦圖像，如圖10-13所示，給出了分別聚焦在聚焦參數(shù)α為0.85、1.00、1.30、1.60時(shí)的圖像（分辨率為625×434）。然后，通過公式（8）計(jì)算每張重聚焦圖像的梯度值，對(duì)于彩色圖像，在三通道中分別計(jì)算其梯度值，最后將三通道的梯度值進(jìn)行平均作為衡量圖像清晰度的線索。最后，將梯度值最大對(duì)應(yīng)的重聚焦圖像的像素融合到最終的全聚焦圖像中，如圖所示。實(shí)驗(yàn)表明本文算法能夠融合得到光場(chǎng)圖像的全聚焦圖像，在一定程度上提高了目標(biāo)圖像的清晰度。

從聚焦在不同的深度上的圖像可以看出，處于聚焦深度上的圖像是清晰可見的，而處于聚焦深度附近的圖像由于光場(chǎng)相機(jī)的景深作用也是清晰可見的，但遠(yuǎn)離聚焦深度的圖像就顯得模糊不清了。如圖10-13所示，圖中給出了聚焦在不同深度的重聚焦圖像，聚焦參數(shù)α分別為 0.85、1.00、1.30、1.60，隨著聚焦參數(shù)α的變大，圖像就聚焦到深度更深的位置。當(dāng)聚焦參數(shù)α為0.85的時(shí)候，重聚焦到前面的人物，所以前面的人物就顯得清晰可見，而深度較大的人物就模糊不清，圖中綠色線框表示處于聚焦的圖像，紅色線框表示處于散焦的圖像；當(dāng)聚焦參數(shù)α為1.00的時(shí)候，重聚焦到第二個(gè)人物，所以第二個(gè)人物及附近的人物就顯得清晰可見，而深度較大的人物就模糊不清。值得一提的是，此時(shí)圖像重聚焦參數(shù)α為1.00，圖像聚焦在原始圖像聚焦的深度上；當(dāng)聚焦參數(shù)α為1.30的時(shí)候，重聚焦到靠后的人物，處于圖像深度較淺的人物由于離焦開始變得模糊了，處于聚焦深度的圖像此時(shí)清晰可見；當(dāng)聚焦參數(shù)α為1.60的時(shí)候，重聚焦到最后面的人物，所以前面的人物就由于離焦變得非常模糊，而后面的人物由于聚焦顯得清晰可見。而圖14是最后融合后的全聚焦圖像，由于全聚焦圖像提取了所有重聚焦序列圖像中的清晰度最大的圖像，所以圖像中的所有人物都處于聚焦?fàn)顟B(tài)，因此均清晰可見。

4 結(jié)語(yǔ)

光場(chǎng)相機(jī)作為一種新型的相機(jī)，由于光場(chǎng)相機(jī)在傳統(tǒng)相機(jī)的圖像傳感器前面加入了微透鏡陣列，這使得光場(chǎng)相機(jī)與傳統(tǒng)相機(jī)相比具有不同的成像特性，光場(chǎng)相機(jī)可以對(duì)光場(chǎng)重新采樣實(shí)現(xiàn)圖像的數(shù)字重聚焦。本文首先根據(jù)光場(chǎng)相機(jī)特殊的成像特性，對(duì)原始光場(chǎng)數(shù)據(jù)進(jìn)行解碼、標(biāo)定、去馬賽克、顏色校正等操作，而后通過數(shù)字重聚焦的原理實(shí)現(xiàn)光場(chǎng)圖像的數(shù)字重聚焦，生成了一系列的重聚焦圖像序列。然后利用圖像梯度作為線索來(lái)反映圖像的聚焦?fàn)顟B(tài)，將梯度值較大的圖像的序號(hào)保存。最后融合這些梯度值最大的像素作為最終的全聚焦圖像。實(shí)驗(yàn)表明，本文提出的算法的正確性和有效性，對(duì)光場(chǎng)相機(jī)圖像的圖像清晰度具有較好的提升。

雖然本文的全聚焦算法可以提升光場(chǎng)圖像的成像質(zhì)量，但由于光場(chǎng)相機(jī)固有的光學(xué)物理結(jié)構(gòu)，使的光產(chǎn)相機(jī)成像的分辨率不是很高，文中Lytro Illum相機(jī)拍攝的原始圖的分辨率較高是因?yàn)橄鄼C(jī)內(nèi)置了相應(yīng)的圖像處理算法，提升圖像的分辨率。但是由于Lytro Illum是一款商業(yè)相機(jī)，所以并沒有公開相應(yīng)的分辨率提升算法。接下來(lái)，可以通過對(duì)光場(chǎng)相機(jī)更加深入的研究，從而實(shí)現(xiàn)光場(chǎng)相機(jī)的高分辨率全聚焦成像。

圖8 原始圖像

圖9 經(jīng)過色彩校正的原始大小圖像

圖10 α=0.85

圖11 α=1.00

圖12 α=1.30

圖13 α=1.60

圖14 全聚焦圖像