光場成像系統(tǒng)仿真分析與深度標(biāo)定研究

于成帥, 周 騖, 蔡小舒

（上海理工大學(xué) 能源與動(dòng)力工程學(xué)院，上海 200093）

相比于傳統(tǒng)成像而言，光場成像能采集整個(gè)空間的光輻射分布，經(jīng)過相位變換和投影積分能得到不同空間位置的圖像，能對光輻射直接進(jìn)行誤差校正，達(dá)到去除幾何像差的目的，能計(jì)算出物體的三維結(jié)構(gòu)。光場的概念最早由Gershun 于1936 年提出，用于表征整個(gè)空間光線的輻射傳輸特性[1]。麻省理工學(xué)院的Adelson 教授于1991 年將光場表示成7 維的全光函數(shù)，并將該概念引入視覺與感知研究，首次提出全光相機(jī)模型[2]。Levoy于1996 年將光場簡化成光線與2 個(gè)平面相交的模型，用4 維參數(shù)表示光線的分布[3]。

光場采集方法主要分為兩類：多相機(jī)組合和單相機(jī)改造。斯坦福大學(xué)的Wilburn 等設(shè)計(jì)了幾種不同配置的攝像機(jī)陣列，每個(gè)相機(jī)分別位于不同的視角方向，對應(yīng)光場的一個(gè)方向采樣，相機(jī)中的探測器像元經(jīng)過鏡頭投影到外部空間后對應(yīng)光場的位置采樣，通過嚴(yán)格控制各相機(jī)的同步時(shí)間精度和相對位置精度，能獲得高質(zhì)量的合成圖像[4]。但是，由于相機(jī)陣列體積較大、費(fèi)用較高、相機(jī)同步控制較復(fù)雜等原因，目前只處于實(shí)驗(yàn)室研究和商業(yè)開發(fā)階段。斯坦福大學(xué)的Ng 于2005 年在Adelson 提出的全光相機(jī)模型的基礎(chǔ)上進(jìn)行了改進(jìn)，首次研制出了手持式光場相機(jī)，利用數(shù)字重聚焦理論實(shí)現(xiàn)了先拍照后聚焦[5]。但是，該光場相機(jī)的空間分辨率和角度分辨率嚴(yán)重地受到微透鏡單元數(shù)量的限制。Andrew 于2009 年基于光場相機(jī)的方向分辨率冗余性提出了聚焦型光場相機(jī)模型[6]，該光場相機(jī)的空間分辨率和角度分辨率與微透鏡單元的數(shù)量無關(guān)，只與微透鏡陣列與傳感器的距離有關(guān)，改變這個(gè)距離可以調(diào)整角度分辨率和空間分辨率。因此，依據(jù)微透鏡陣列與探測器之間距離的取值范圍可以將光場相機(jī)分成3 種類型[7]：非聚焦（傳統(tǒng)）光場相機(jī)、聚焦開普勒型光場相機(jī)和聚焦伽利略型光場相機(jī)。

在顆粒測量方面，普通相機(jī)或者顯微鏡只能得到顆粒的二維信息，無法得到顆粒的三維信息。光場相機(jī)能將普通相機(jī)丟失的方向信息記錄下來，從而實(shí)現(xiàn)單曝光記錄整個(gè)光場的四維信息，通過處理顆粒表面的光場信號(hào)可以測得顆粒的深度或表面三維信息。光場圖像的深度信息一般可以通過比較一系列重聚焦圖片的清晰度得到[8]。尹曉艮等[9]使用光場數(shù)字重聚焦技術(shù)結(jié)合DFF（depth-from-focus）算法實(shí)現(xiàn)物體的三維重建。宋祥磊等[10]提出了光場顯微粒子圖像測速技術(shù)（light field micro-PIV），開展了微尺度流場重建實(shí)驗(yàn)研究。劉慧芳等[11]采用基于光場成像理論模型的深度標(biāo)定方法，實(shí)現(xiàn)了光場PTV 方法的顆粒三維速度測量。

本文采用仿真模擬比較了3 種類型光場相機(jī)的優(yōu)缺點(diǎn)，分析了微透鏡陣列與傳感器距離b對系統(tǒng)景深、焦深以及光圈的影響。綜合考慮實(shí)際條件和測量對象，搭建了聚焦伽利略型光場相機(jī)。其中，b=0.6fm，fm為微透鏡單元的焦距。對該相機(jī)進(jìn)行了深度標(biāo)定實(shí)驗(yàn)，并采用仿真系統(tǒng)模擬了實(shí)際的深度標(biāo)定實(shí)驗(yàn)，進(jìn)行對比分析，結(jié)果表明，影響深度標(biāo)定實(shí)驗(yàn)準(zhǔn)確性的因素為原圖清晰度、采樣步長、重采樣倍數(shù)以及擬合方法等。

1 成像原理

1.1 深度標(biāo)定原理

圖1 光場相機(jī)深度標(biāo)定原理圖Fig.1 Principle diagram of the light field camera depth calibration

伽利略型光場相機(jī)成像原理如圖1 所示。對于內(nèi)部參數(shù)（f,fm,n,b）一定的系統(tǒng)，軸上理想物點(diǎn)為A，對應(yīng)的理想像點(diǎn)為A′。軸上其他物點(diǎn)B經(jīng)過主鏡頭，對應(yīng)像點(diǎn)為B′，微透鏡陣列對該虛擬像點(diǎn)B′進(jìn)行二次成像，理想聚焦點(diǎn)將不會(huì)落在相機(jī)傳感器上，反而會(huì)在傳感器上形成彌散圓，使圖像變得模糊。圖1 中l(wèi)為理想物距，L為主鏡頭理想像距，l′為重聚焦物距，L′為主鏡頭重聚焦像距，a為微透鏡陣列物距，b為微透鏡陣列與傳感器距離，a′為重聚焦后微透鏡陣列的物距，b′為重聚焦后微透鏡陣列與傳感器距離，n為主鏡頭主平面到微透鏡陣列的距離，m為主鏡頭與光闌的距離，t為光闌與微透鏡陣列的距離，f為主鏡頭焦距，fm為微透鏡單元的焦距，d為微透鏡單元孔徑，c為光闌孔徑。根據(jù)重聚焦理論，光線到達(dá)傳感器沿著原來的方向繼續(xù)傳播將會(huì)聚焦在傳感器后面某個(gè)位置，因此，該位置對應(yīng)的重聚焦圖片將會(huì)是最清晰的。對于某一重聚焦系數(shù)α，有如下關(guān)系式：

經(jīng)過代數(shù)整理后可得

其中，

式中，c1，c2和c3均為系統(tǒng)常數(shù)。

在系統(tǒng)內(nèi)部參數(shù)b，n，f，fm不變的情況下，不同的重聚焦系數(shù)α對應(yīng)不同的像面5′，對應(yīng)不同的主鏡頭成像虛擬面3′，對應(yīng)不同的物面0′。因此，只需要找到每個(gè)位置對應(yīng)的最優(yōu)重聚焦系數(shù)[11]，就能求出c1，c2和c3，進(jìn)而根據(jù)式（2）求出重聚焦系數(shù)所對應(yīng)的實(shí)際深度l′。式（2）同樣適用于聚焦型開普勒光場相機(jī)和傳統(tǒng)光場相機(jī)。

1.2 系統(tǒng)景深與焦深計(jì)算

根據(jù)式（2）還可以計(jì)算重聚焦系數(shù)與景深、焦深的關(guān)系。只要物點(diǎn)經(jīng)過系統(tǒng)所形成的像點(diǎn)的彌散斑小于像素的寬度，就認(rèn)為像仍然是清晰的，對應(yīng)的物方成像范圍稱作景深[4]。像面的允許變化范圍即焦深，其計(jì)算式為[7]

式中：Δx為系統(tǒng)焦深；p為像素尺寸。

對于不同的系統(tǒng)，即b的值不同，其將擁有不同的焦深，且焦深與b成正比。而對于同一個(gè)系統(tǒng)，即b為固定內(nèi)參時(shí)，其將對應(yīng)一定的焦深。將焦深轉(zhuǎn)換為該系統(tǒng)允許清晰成像的重聚焦系數(shù)，就能得到對應(yīng)的景深。所以，景深Δl的計(jì)算式為

其中，

在參數(shù)p，d，f，fm不變的情況下，不同的b決定了主鏡頭主平面到微透鏡陣列的距離n，b與景深Δl之間存在一一對應(yīng)的關(guān)系。當(dāng)鏡頭與光場傳感器（微透鏡陣列與傳感器的組合）確定的情況下，可以根據(jù)式（3）和式（6）計(jì)算不同b對應(yīng)的系統(tǒng)焦深和景深。

2 3 種類型光場相機(jī)比較研究

為了搭建一套可用于微顆粒表面形貌測量的光場相機(jī)成像系統(tǒng)，使用光學(xué)仿真軟件Zemax 對光場相機(jī)的3 種類型分別進(jìn)行模擬，比較它們的優(yōu)缺點(diǎn)，最終選擇其中1 種類型進(jìn)行實(shí)驗(yàn)研究。

2.1 仿真系統(tǒng)的搭建

仿真系統(tǒng)主要包括主鏡頭、光闌、微透鏡陣列和探測器。主鏡頭的主要參數(shù)為波長、視場、焦距以及F#（焦距/入瞳直徑）。光闌的主要參數(shù)為孔徑。微透鏡陣列的主要參數(shù)為微透鏡單元的數(shù)量、孔徑和F#。探測器的主要參數(shù)為像素?cái)?shù)和像素尺寸。仿真系統(tǒng)的參數(shù)與實(shí)驗(yàn)系統(tǒng)相關(guān)參數(shù)保持一致，系統(tǒng)各元件主要參數(shù)如表1 所示。

光闌與微透鏡陣列之間的距離滿足關(guān)系式：

表1 系統(tǒng)元件參數(shù)Tab.1 Table of the system element parameters

光闌孔徑代表著系統(tǒng)的出瞳直徑，由如下公式計(jì)算：

為了比較3 種光場相機(jī)的成像特點(diǎn)，在設(shè)計(jì)不同光場相機(jī)成像系統(tǒng)時(shí)，假設(shè)主鏡頭與光場傳感器參數(shù)固定，即在p，d，f，fm不變的前提下，保持主鏡頭與光闌的距離m不變，物距不變，像距L也不變，將光場相機(jī)的微透鏡陣列與探測器之間的距離b作為變量，其他系統(tǒng)參數(shù)按照式（8）和式（9）進(jìn)行計(jì)算，共仿真了9 套成像系統(tǒng)，系統(tǒng)參數(shù)如表2 所示。

根據(jù)式（3），（6）和（9）分別計(jì)算不同b對應(yīng)的系統(tǒng)景深、焦深和光圈直徑，并繪制出曲線，如圖2 所示。

由圖2 可知，聚焦型光場相機(jī)的焦深隨著b的增加而增加，光圈隨著b的增加而減小，但是，伽利略型光場相機(jī)的景深隨著b的增加而增加，開普勒型光場相機(jī)的景深隨著b的增加而減小。傳統(tǒng)光場相機(jī)的景深相對較大。9 套系統(tǒng)計(jì)算得到的結(jié)果如表2 所示。

表2 仿真系統(tǒng)參數(shù)表Tab.2 Table of the simulation system parameters

圖2 系統(tǒng)景深、焦深、光圈大小與b 的關(guān)系曲線圖Fig.2 Relationship between b and the system depth of field, focal depth and aperture size

在Zemax 零件設(shè)計(jì)器中通過腳本文件自定義四邊形非完全填充型微透鏡陣列，采用混合模式建立以上9 套成像系統(tǒng)，圖3 為仿真軟件建立的四邊形非完全填充型微透鏡陣列外觀圖和系統(tǒng)輪廓圖。

圖3 仿真系統(tǒng)輪廓圖Fig.3 Outline of the simulation system

2.2 仿真結(jié)果

仿真與實(shí)驗(yàn)標(biāo)定圖如圖4 所示。對每個(gè)成像系統(tǒng)，利用Zemax 幾何位圖分析功能[12]將圖4（b）以相同大小放置在與鏡頭相同距離的位置，得到一張包含分辨率信息的原始光場圖，如圖5 所示。再用一張白色圖片得到一張包含微透鏡中心坐標(biāo)信息的白板圖，用于仿真標(biāo)定實(shí)驗(yàn)。

圖4 仿真與實(shí)驗(yàn)標(biāo)定板圖Fig.4 Simulation and experimental calibration charts

2.3 分 析

對于傳統(tǒng)光場相機(jī)而言，空間分辨率等于微透鏡單元的數(shù)量，角度分辨率等于每個(gè)微透鏡單元下覆蓋的像元數(shù)，即空間分辨率和角度分辨率完全取決于微透鏡單元的數(shù)量和尺寸。但是，當(dāng)微透鏡單元的尺寸很小時(shí)，每個(gè)微透鏡單元所形成的子圖像就會(huì)因?yàn)檫吘壭?yīng)產(chǎn)生噪聲和不可信的結(jié)果。為了克服邊緣效應(yīng)，每個(gè)微透鏡單元下的像素?cái)?shù)相對要多一點(diǎn)，這樣就無法得到較高的空間分辨率，限制了傳統(tǒng)光場相機(jī)的功能[13]。而且由于微透鏡單元的衍射效應(yīng)，要求子孔徑經(jīng)過微透鏡單元產(chǎn)生的艾里斑直徑不超過像素的寬度[4]，也間接限制了傳統(tǒng)光場相機(jī)的用途。

對于聚焦型光場相機(jī)，原始光場圖片經(jīng)過渲染得到的空間分辨率等于傳感器分辨率乘以b/a，角度分辨率等于a/b，將圖4 中（a）～（d）以及（f）～（i）放大能看到小男孩的鼻子被越來越多的微透鏡單元成像。由于b的取值范圍要滿足式

渲染圖像的分辨率將隨著a的減小而增加。聚焦型光場相機(jī)的空間分辨率和角度分辨率之間的平衡關(guān)系與微透鏡數(shù)量無關(guān)，因此，可以采用相對大尺寸的微透鏡單元克服邊緣效應(yīng)。

景深將對光場相機(jī)的深度分辨能力產(chǎn)生影響。景深越大，系統(tǒng)越難以分辨微小的物體；景深越小，將越能提高系統(tǒng)的深度分辨率。經(jīng)過綜合考慮，根據(jù)測量要求和實(shí)際條件，選擇b=0.6fm的聚焦型伽利略光場相機(jī)。

圖5 不同系統(tǒng)仿真結(jié)果圖Fig.5 Simulation results by different systems

3 實(shí)驗(yàn)系統(tǒng)搭建與深度標(biāo)定分析

3.1 光場相機(jī)的搭建

根據(jù)表3 搭建了變倍的聚焦伽利略型光場相機(jī)，如圖6 所示。主鏡頭型號(hào)為索雷博的TRS254-040-A 的三膠合透鏡，焦距為40.6 mm；型號(hào)為SM1NR1 的可伸縮鏡筒，實(shí)測行程52.8 mm；型號(hào)為SM1D12C 的可調(diào)光圈，可調(diào)范圍為1～12 mm；型號(hào)為MLA150-7AR-M 的四邊形非完全填充型微透鏡陣列，邊長為150 μm，焦距為5.5 mm，材料為Silica；相機(jī)采用的是IDS 生產(chǎn)的型號(hào)為UI-1242LE-C 的板式相機(jī)，像元尺寸為5.3 μm，分辨率為1 280×1 024。

表3 搭建的光場相機(jī)參數(shù)表Tab.3 Table of detail parameters of the self-built light field camera

相機(jī)的光闌處于主鏡頭與微透鏡陣列之間，即系統(tǒng)的出瞳就是該光闌，并且保持光闌、微透鏡陣列以及探測器之間的距離不變。隨著主鏡頭與光闌之間距離的變化，也就是像距發(fā)生變化，對應(yīng)的物距隨之發(fā)生變化，但是，主鏡頭的一次成像面相對微透鏡陣列的位置不變。

3.2 深度標(biāo)定實(shí)驗(yàn)

3.2.1 仿真分析

圖6 光場相機(jī)外觀與內(nèi)部結(jié)構(gòu)圖Fig.6 Appearance and internal structure of the self-built light field camera

在Zemax 混合模式下，建立與實(shí)際系統(tǒng)參數(shù)一致的仿真系統(tǒng)。采用圖4 中（a），（b），（c）3 種不同參數(shù)的標(biāo)定板按照不同的實(shí)驗(yàn)方案進(jìn)行深度標(biāo)定實(shí)驗(yàn)，標(biāo)定板參數(shù)如表4 所示，實(shí)驗(yàn)方案參數(shù)如表5 所示。其中，系統(tǒng)的空間分辨率為3.3 lp/mm，標(biāo)定板的空間分辨率要小于系統(tǒng)的空間分辨率。對每組原始光場圖片進(jìn)行重聚焦處理[14]，得到每組重聚焦圖片的清晰度與重聚焦系數(shù)的關(guān)系曲線，仿真曲線如圖7 所示。最終得到最優(yōu)重聚焦系數(shù)與深度位置的關(guān)系曲線，仿真數(shù)據(jù)如圖8所示。對圖7 中的仿真曲線進(jìn)行8 次多項(xiàng)式擬合，得到圖7 中的擬合曲線，以此得到深度標(biāo)定結(jié)果，如圖8 中的清晰度擬合得仿真數(shù)據(jù)所示。對圖8 中的清晰度擬合得仿真數(shù)據(jù)進(jìn)行3 階多項(xiàng)式擬合，得到圖8 中的三階多項(xiàng)式擬合曲線；對圖8 中的清晰度擬合得仿真數(shù)據(jù)根據(jù)式（2）擬合，得到圖8 中的理論公式擬合曲線。圖8 中（a），（c），（e）的重聚焦圖片在生成過程中在空間分辨率上進(jìn)行了4 倍的重采樣，圖8 中（b），（d），（f）的重聚焦圖片在生成過程中沒有進(jìn)行空間分辨率上的重采樣。

表4 仿真標(biāo)定板參數(shù)與實(shí)驗(yàn)參數(shù)Tab.4 Simulation calibration board parameters and experimental parameters

對圖8 的（a），（c），（e）進(jìn)行比較，（a）和（e）的結(jié)果更加符合理論公式，說明圖片的清晰度是主要影響因素之一。對比每張標(biāo)定圖片得到的仿真數(shù)據(jù)結(jié)果，發(fā)現(xiàn)（a），（c），（e）分別優(yōu)于（b），（d），（f），說明在生成重聚焦圖片的過程中空間分辨率重采樣倍數(shù)也是主要影響因素之一。其中，（b），（d），（f）的仿真數(shù)據(jù)出現(xiàn)很大的跳躍，這是由于在生成重聚焦圖片的過程中沒有進(jìn)行插值運(yùn)算，導(dǎo)致生成的重聚焦圖片的分辨率等于宏像素單元數(shù)，而且系統(tǒng)存在一定的景深，在此范圍內(nèi)移動(dòng)標(biāo)定板得到的原始光場圖將沒有明顯的變化，導(dǎo)致每組最清晰的重聚焦圖片對應(yīng)的最優(yōu)重聚焦系數(shù)都是一樣的。對比圖8 中的仿真數(shù)據(jù)與清晰度擬合得仿真數(shù)據(jù)，發(fā)現(xiàn)對每組清晰度重聚焦系數(shù)曲線的擬合也是影響標(biāo)定結(jié)果準(zhǔn)確性的因素之一。此外，重聚焦系數(shù)步長越小，圖8 中的曲線越光滑，標(biāo)定結(jié)果也會(huì)越準(zhǔn)確。位置采樣步長不能太小，否則會(huì)造成相鄰兩張?jiān)脊鈭鰣D片重聚焦圖片清晰度變化不明顯，就會(huì)造成2 個(gè)位置具有相同的最優(yōu)重聚焦系數(shù)，從而影響最終的深度標(biāo)定曲線。

表5 仿真實(shí)驗(yàn)參數(shù)Tab.5 Simulation experiment parameters

圖7 某一深度位置重聚焦系數(shù)與清晰度的關(guān)系曲線圖Fig.7 Relationship between the refocusing coefficient and the clarity

圖8 仿真系統(tǒng)深度標(biāo)定結(jié)果圖Fig.8 Depth calibration diagram of the simulation system

3.2.2 實(shí)驗(yàn)研究

對實(shí)驗(yàn)系統(tǒng)也采用3 種不同參數(shù)的標(biāo)定板進(jìn)行深度標(biāo)定，圖4 中（a），（c），（d）標(biāo)定板參數(shù)如表6 所示，3 種實(shí)驗(yàn)方案的參數(shù)如表7 所示。3 組實(shí)驗(yàn)結(jié)果如圖9 所示。其中，圖9（a）和（c）與理論公式擬合結(jié)果很吻合。對于圖9（b）中出現(xiàn)的階躍曲線，是由于采樣步長過小，實(shí)驗(yàn)中使用的位移平臺(tái)精度不夠高，以及實(shí)驗(yàn)中經(jīng)過標(biāo)定板的光線被漫反射板過濾而導(dǎo)致棋盤格的清晰度較低等綜合因素造成的。

表6 實(shí)驗(yàn)標(biāo)定板參數(shù)表Tab.6 Experimental calibration board parameters

表7 物理實(shí)驗(yàn)參數(shù)表Tab.7 Physical experiment parameters

綜上所述，該深度標(biāo)定方法的影響因素主要包括原圖的清晰度、重聚焦圖片空間分辨率重采樣倍數(shù)、清晰度重聚焦系數(shù)曲線擬合、采樣步長及重聚焦步長等。在使用該方法時(shí)，標(biāo)定板的空間分辨率應(yīng)小于光場相機(jī)的最大空間分辨率，并且邊緣梯度要較大。在移動(dòng)標(biāo)定板采樣的過程中間隔不小于景深。在生成重聚焦圖片的過程中使用較小的重聚焦系數(shù)步長以及進(jìn)行空間分辨率上的重采樣。在處理每組重聚焦圖片清晰度與重聚焦系數(shù)的關(guān)系中采用高階多項(xiàng)式擬合。

4 結(jié)束語

搭建一套可用于微顆粒表面形貌測量的光場相機(jī)成像系統(tǒng)，使用光學(xué)軟件Zemax 對3 種光場相機(jī)分別進(jìn)行仿真，改變微透鏡陣列與探測器之間的距離，得到了9 張仿真圖。通過微透鏡中心坐標(biāo)的標(biāo)定得出傳統(tǒng)型光場相機(jī)的空間分辨率和角度分辨率。對于聚焦型光場相機(jī)，空間分辨率與角度分辨率僅與微透鏡單元的a和b有關(guān)，與微透鏡單元的數(shù)量無關(guān)。因此，可以使用相對大尺寸的微透鏡單元克服邊緣效應(yīng)，增加相機(jī)傳感器的像元利用率。得出微透鏡單元與傳感器之間的距離b與系統(tǒng)景深、焦深和光圈直徑的關(guān)系曲線。綜合考慮實(shí)際條件和測量對象，選擇搭建b=0.6fm的聚焦新伽利略光場相機(jī)。

圖9 實(shí)際系統(tǒng)深度標(biāo)定曲線圖Fig.9 Depth calibration curve of the actual system

對搭建的這套光場相機(jī)進(jìn)行深度標(biāo)定，得到實(shí)驗(yàn)條件下的深度標(biāo)定曲線。采用仿真手段研究影響深度標(biāo)定方法準(zhǔn)確性的因素，結(jié)果表明，原圖清晰度、采樣步長、重聚焦步長、重采樣倍數(shù)以及擬合方法都對最終得到的深度標(biāo)定曲線產(chǎn)生影響，并通過改進(jìn)實(shí)驗(yàn)驗(yàn)證了仿真的結(jié)論。為下一步進(jìn)行顆粒三維表面的深度重構(gòu)奠定了基礎(chǔ)。

[][]