合成孔徑光場(chǎng)成像抗混疊渲染研究

楊凱

（四川大學(xué)計(jì)算機(jī)學(xué)院，成都 610065）

0 引言

近年來，雖然微型相機(jī)（如智能手機(jī)相機(jī)）越來越受到人們的喜愛，但是對(duì)于專業(yè)攝影師而言，依然青睞于數(shù)碼單反相機(jī)生成的美學(xué)照片。由于采用了大光圈鏡頭和大型圖像傳感器，數(shù)碼單反相機(jī)能拍攝出淺景深和高信噪比的照片。然而大光圈數(shù)碼單反相機(jī)在價(jià)格昂貴制造工藝難度高，可以通過合成孔徑光場(chǎng)成像[1]，利用相機(jī)陣列來模擬大光圈光學(xué)設(shè)備拍攝圖像。隨著硬件設(shè)備的發(fā)展，光場(chǎng)成像作為計(jì)算機(jī)視覺的一個(gè)重要分支，近年來也越來越受到研究人員的關(guān)注。早在1936 年，Gershun 等人[2]就提出“光場(chǎng)”（Light Field）這一概念，表征光線在現(xiàn)實(shí)空間中的性質(zhì)。到1991 年，E.Adelson 和J.Bergen[3]提出全光函數(shù)這一概念，用一個(gè)7 維函數(shù)p(x,y,z,θ,φ,λ,t)來表示空間中的幾何光線分布，其中，x，y，z表示光線的三維空間中的坐標(biāo)，θ,φ表示光線的傳播方向，λ表示光的波長(zhǎng)，t表示時(shí)間。該七維函數(shù)可以表示任意時(shí)間任意光線的傳播特性，但是難以捕獲。1996 年，Levoy[4]和Gortler[5]等人提出雙平面模型，如圖1 所示，來簡(jiǎn)化七維全光函數(shù)，用于記錄光線在空間中的角度信息和位置信息，u，v表示相機(jī)平面，s，t表示成像平面。

圖1 雙平面模型

在此模型的基礎(chǔ)上，斯坦福大學(xué)研究人員設(shè)計(jì)了光場(chǎng)顯微鏡[6-7]、微透鏡光場(chǎng)相機(jī)[8-9]、光場(chǎng)相機(jī)陣列[10-11]；Ng 設(shè)計(jì)研發(fā)出第一款商用級(jí)光場(chǎng)相機(jī)Lytro[12]，即Plenoptic1.0，利用傅立葉變換實(shí)現(xiàn)在頻域中快速重聚焦，能夠?qū)崿F(xiàn)先拍照后聚焦。但是考慮到角度分辨率和空間分辨率的折中，光場(chǎng)相機(jī)的分辨率往往不高，一般采用超分辨技術(shù)處理最后的重聚焦圖片，例如在Lytro 相機(jī)中，CCD 的像素為11M，但實(shí)際有效分辨率只有0.7M，但最后得到的圖片分辨率為3M 左右[13]。

1 光場(chǎng)渲染

1.1 合成孔徑成像分析

對(duì)于傳統(tǒng)相機(jī)，光線通過主透鏡后匯聚在傳感器上，對(duì)于焦平面上的點(diǎn)將聚焦于一個(gè)像素點(diǎn)上，而不在焦平面上的點(diǎn)將形成混淆圓，相鄰像素間互相干擾，形成不清晰的像。而對(duì)于合成孔徑成像而言，通過多個(gè)相機(jī)設(shè)備模擬一個(gè)大孔徑光學(xué)設(shè)備，如圖2，各個(gè)小的相機(jī)將記錄不同角度的光線，通過計(jì)算成像，我們可以利用多個(gè)小的相機(jī)來模擬大孔徑光學(xué)設(shè)備的聚焦模糊成像效果，這個(gè)過程既是重聚焦過程。透鏡成像模型與相機(jī)陣列成像模型如圖2 所示。

圖2

1.2 合成孔徑重聚焦理論分析

通過計(jì)算成像，我們將利用相機(jī)陣列來模擬一個(gè)大孔徑光學(xué)設(shè)備，當(dāng)我們指定一個(gè)聚焦平面時(shí)，在該聚焦平面的物點(diǎn)將清晰成像，而不在該平面的物點(diǎn)將模糊。具體的做法是將每個(gè)相機(jī)得到的圖像通過反投影到聚焦平面，然后再求平均。這種反投影其實(shí)就是單應(yīng)變換[14]，如圖3 所示。Π0表示指定的聚焦平面，為了得到合成孔徑光場(chǎng)照片，需要將相機(jī)拍攝得到的照片反投影到Π0。在Π0上的點(diǎn)通過反投影投后會(huì)在同一位置成像（如點(diǎn)P），而原本不在該平面上的點(diǎn)通過反投影后，將會(huì)在不同位置成像（如點(diǎn)Q）。

圖3 單應(yīng)變換

對(duì)于給定的相機(jī)陣列有N+1 個(gè)相機(jī)，記為C0,C1,…,CN，假定C0是中心相機(jī)；Ii表示相機(jī)Ci拍攝得到的圖像，Hi表示將圖像Ii投影到聚焦平面的單應(yīng)變換，得到重聚焦合成孔徑圖像公示（1）如下：

其中ISA表示重聚焦的合成孔徑圖像，表示將Ii投影到聚焦平面。圖4 表顯示了由兩個(gè)相機(jī)拍攝得到圖像，通過單應(yīng)變換得到的合成孔徑圖像，聚焦平面為棋盤格所在平面?？梢钥闯?，棋盤格所在平面的物點(diǎn)清晰城成像，而不在聚焦平面上的點(diǎn)出現(xiàn)模糊。

圖4 通過單應(yīng)實(shí)現(xiàn)重聚焦。頂部?jī)蓮堈掌怯蓛蓚€(gè)相機(jī)從不同角度拍攝而得；中間兩張對(duì)應(yīng)著頂部照片的單應(yīng)變換后的視圖；下左為中間兩張照片累加求平均得到，可以看出非聚焦區(qū)域出現(xiàn)明顯的邊緣信息重復(fù)出現(xiàn)；下右是通過88 個(gè)相機(jī)反投影后求平均得到，可以看出聚焦平面（棋盤格平面）清晰成像，而其他區(qū)域已經(jīng)完全模糊。

圖4

2 混疊分析

上文中已經(jīng)提到，合成孔徑重聚焦的過程就是各個(gè)相機(jī)圖像投影再求平均的過程，對(duì)于不在指定聚焦平面上的點(diǎn)，投影后將會(huì)在聚焦平面上不同位置重復(fù)出現(xiàn)，如圖3 中的點(diǎn)Q。通過相機(jī)陣列來模擬大孔徑光學(xué)設(shè)備，可以考慮為各個(gè)相機(jī)在不同的角度域上的采樣，相機(jī)陣列系統(tǒng)捕獲的光場(chǎng)信號(hào)是離散的，這種情況是由于角度欠采樣所致[15]。

如圖5 所示，V 表示相機(jī)平面，V0表示參考相機(jī)，主光軸為相機(jī)陣列虛擬合成孔徑的主光軸（即圖5 中的A）。Vx均勻分布在V0和Va間組成相機(jī)整列。T 表示圖像平面，考慮光學(xué)無(wú)窮遠(yuǎn)處的像點(diǎn)P 成像在焦平面，f 表示焦距。若P 處無(wú)實(shí)際物體，則由P 后任意距離△Z的區(qū)域Dregion表面光線匯集而成。Sx表示采樣率，Sx=1/△Z，△Z表示采樣相機(jī)間距。

在該雙平面模型中，Dregion由Va和決定，當(dāng)目標(biāo)平面符合朗伯體假設(shè)時(shí)，對(duì)于任意相機(jī)Vx，點(diǎn)P 對(duì)應(yīng)的成像點(diǎn)tx將在間采樣得到。當(dāng)采樣相機(jī)個(gè)數(shù)大于間像素個(gè)數(shù)時(shí)，將不存在由角度采樣率而導(dǎo)致的混疊[16]，如圖5 右上所示。

3 抗混疊渲染

對(duì)于圖5 中，可以將相機(jī)陣列中的各個(gè)相機(jī)考慮為不同角度域上的采樣，稀疏排列的相機(jī)必然導(dǎo)致角度欠采樣，這也是合成孔徑成像重聚焦出現(xiàn)混疊的原因。但是現(xiàn)實(shí)中，出于成本和設(shè)計(jì)上的考慮，致密的相機(jī)陣列是不可取的，對(duì)于未能捕獲的光線，可以考慮采用插值計(jì)算來求得，以增加角度采樣率。如圖6 所示，對(duì)于合成的每條光線，利用附近的16 條光線插值計(jì)算求出[17]。

圖5 雙平面模型混疊分析

圖6 插值計(jì)算合成虛擬光線

通過插值計(jì)算合成新的視圖[18-20]，以增加角度分辨率。但是這種方法需要考慮合成新視圖所帶來的計(jì)算開銷。Chai 等人[15]和Lin 等人[21]對(duì)角度采樣率大小進(jìn)行了研究，總結(jié)出相鄰視圖的最大視差必須小于一個(gè)像素，渲染出的圖像才不會(huì)出現(xiàn)混疊。因此通過插值計(jì)算得到新的視圖不僅將面臨計(jì)算量和新視圖數(shù)量間的折中，并且對(duì)于新視圖而言，貢獻(xiàn)像素的視差越小，得到的插值點(diǎn)越準(zhǔn)確。

文獻(xiàn)[22-25]提出的方法通過將成像點(diǎn)進(jìn)行擴(kuò)散，計(jì)算得到對(duì)應(yīng)的混淆圓CoC（Circles of Confusion），按照深度信息進(jìn)行融合，得到最后的抗混疊渲染圖像。根據(jù)凸透鏡成像模型，如圖7 所示。未能在像平面（也就是聚焦平面）清晰成像的點(diǎn)p，將在圖像Ω上形成混淆圓（CoC），我們用φ(p)表示該混淆圓，

圖7 混淆圓CoC

φ(p)的直徑由如下公式（2）計(jì)算得出[25]：

其中，D(p)表示點(diǎn)p 到凸透鏡的距離，f 表示凸透鏡焦距，φ(A)表示凸透鏡的直徑，F(xiàn)=f/φ(A)。

該類方法最后將按照深度信息進(jìn)行融合，深度排序過程成本很高，也需要在計(jì)算量和渲染質(zhì)量上折中。

由于混疊現(xiàn)象會(huì)隨著角度采樣率的增加而減弱[16]，混疊現(xiàn)象具有對(duì)角度采樣率敏感這一特性。肖等人[16]提出隨機(jī)變換孔徑來檢測(cè)混疊區(qū)域，利用同一個(gè)相機(jī)陣列中不同的相機(jī)組合，將得到多組光場(chǎng)數(shù)據(jù)。對(duì)每一組光場(chǎng)數(shù)據(jù)通過重聚焦得到含有混疊信息的圖像。由于混疊對(duì)角度采樣率敏感，不同角度采樣率得到的重聚焦圖像的混疊區(qū)域存在明顯差異。再檢測(cè)像素點(diǎn)間的變化得到混疊區(qū)域，將混疊區(qū)域通過降采樣以消除混疊，雙線性插值計(jì)算以提高分辨率，如圖8 所示。

圖8 中，第一行代表相機(jī)陣列，白色格子代表有效相機(jī)；第二行為變換孔徑成像結(jié)果，圓形表示混疊點(diǎn)，方框表示非混疊點(diǎn)；第三、四行分別表示第二行左圖、右圖中選取點(diǎn)的差異對(duì)比，可以看出非混疊點(diǎn)在不同變換孔徑中幾乎不變，而混疊點(diǎn)則出現(xiàn)明顯變換。

圖8

4 結(jié)語(yǔ)

本文對(duì)合成孔徑成像原理進(jìn)行了分析，介紹了通過單應(yīng)變換實(shí)現(xiàn)光場(chǎng)重聚焦，從透鏡成像模型關(guān)聯(lián)到合成孔徑成像模型，分析其中出現(xiàn)混疊的原因。介紹了三種抗混疊渲染方法，分別是合成新視圖、模擬成像點(diǎn)的混淆圓和考慮混疊區(qū)域特性。在清楚了解到各類方法的缺陷后，才能夠針對(duì)性的提出優(yōu)化方案，探索時(shí)間開銷更小、成像質(zhì)量更高的解決方法。