基于四維光場(chǎng)數(shù)據(jù)的深度估計(jì)算法

陳佃文， 邱　鈞， 劉　暢， 趙松年

(1. 北京信息科技大學(xué) 應(yīng)用數(shù)學(xué)研究所， 北京 100101； 2. 北京大學(xué) 數(shù)學(xué)科學(xué)學(xué)院， 北京 100871；3. 中國科學(xué)院大氣物理研究所， 北京 100029)

?

基于四維光場(chǎng)數(shù)據(jù)的深度估計(jì)算法

陳佃文1， 邱鈞1， 劉暢2， 趙松年3

(1. 北京信息科技大學(xué) 應(yīng)用數(shù)學(xué)研究所， 北京 100101； 2. 北京大學(xué) 數(shù)學(xué)科學(xué)學(xué)院， 北京 100871；3. 中國科學(xué)院大氣物理研究所， 北京 100029)

摘要:基于光場(chǎng)數(shù)據(jù)的四維結(jié)構(gòu)信息， 提出一種具有像素級(jí)精度的深度估計(jì)算法， 為三維表面重構(gòu)提供精確的深度信息. 首先， 由光場(chǎng)數(shù)據(jù)中視差與視點(diǎn)位移的等比關(guān)系， 給出基于光場(chǎng)數(shù)據(jù)的區(qū)域匹配算法， 得到初步視差圖. 其次， 基于區(qū)域匹配的誤差來源建立新的置信函數(shù)， 對(duì)誤匹配像素進(jìn)行分類并優(yōu)化， 得到高精度的深度圖. 采用公開的HCI標(biāo)準(zhǔn)光場(chǎng)數(shù)據(jù)和實(shí)拍的光場(chǎng)數(shù)據(jù)進(jìn)行了算法驗(yàn)證和成像精度評(píng)測(cè). 結(jié)果表明， 與已有的算法相比， 新算法具有更好的計(jì)算精度， 在平滑區(qū)域和邊緣遮擋區(qū)域有較好效果.

關(guān)鍵詞:深度估計(jì)； 光場(chǎng)； 視差圖； 區(qū)域匹配

0引言

光場(chǎng)是空間中光線輻照度信息的集合， 是對(duì)場(chǎng)景發(fā)出的光線的形式化描述. 最初被提出來用于形式化描述光線信息的七維全光函數(shù)L(x,y,z,θ,φ,λ,t)， 描述了空間中任意波長(zhǎng)的光線在任意時(shí)刻的輻照度信息[1]. Levoy， Gortler等人提出了光場(chǎng)的雙平面參數(shù)化表征[2-3]， 即四維光場(chǎng)L(x,y,u,v). 基于四維光場(chǎng)的理論， Ng和Levoy等人設(shè)計(jì)出基于微透鏡陣列采集系統(tǒng)的手持相機(jī)[4]， 實(shí)現(xiàn)了單次曝光下的四維光場(chǎng)數(shù)據(jù)采集和重聚焦成像. 四維光場(chǎng)數(shù)據(jù)包含光線的空間和角度信息， 可用于場(chǎng)景的深度信息獲取與三維重構(gòu).

由光場(chǎng)數(shù)據(jù)獲取場(chǎng)景的深度信息可以通過物點(diǎn)的視差計(jì)算得到， 或者由聚焦堆棧獲取. 物點(diǎn)的視差獲取方法主要分為兩類：一類基于多視點(diǎn)像素匹配， 該方法將四維光場(chǎng)重排得到一組不同視點(diǎn)下的二維圖像， 通過像素匹配獲取任意物點(diǎn)在所有視點(diǎn)下的視差信息[5-7]； 另一類基于極線圖(EpipolarImages)的性質(zhì)， 物點(diǎn)對(duì)應(yīng)的像素在極線圖呈直線狀分布， 計(jì)算梯度方向[8-9]或者尺度變換求極值[10]得到極線圖中直線的斜率， 進(jìn)而獲取視差. 由聚焦堆棧中獲取深度的基本思想是， 物點(diǎn)清晰成像時(shí)對(duì)應(yīng)的聚焦堆棧為該物點(diǎn)的深度信息[11-12].

本文在四維光場(chǎng)數(shù)據(jù)中， 利用區(qū)域匹配方法， 計(jì)算出相鄰視點(diǎn)圖像之間的視差圖(Disparity Map)， 在此基礎(chǔ)上， 利用一種新的置信函數(shù)將獲取的視差圖中的誤差分類， 并對(duì)每種誤差采用相應(yīng)的優(yōu)化準(zhǔn)則進(jìn)行優(yōu)化， 精確地計(jì)算出每個(gè)像點(diǎn)對(duì)應(yīng)的物體的深度信息. 同時(shí)對(duì)本文提出的算法進(jìn)行了測(cè)試， 并給出相應(yīng)的實(shí)驗(yàn)結(jié)果和分析.

1四維光場(chǎng)數(shù)據(jù)中視差與深度的關(guān)系

與普通相機(jī)的結(jié)構(gòu)不同， 基于微透鏡陣列的光場(chǎng)相機(jī)在主透鏡(Main Lens)和探測(cè)器(Sensor)之間放置微透鏡陣列(Microlens Array)， 如圖 1 所示. 主透鏡平面和探測(cè)器平面關(guān)于微透鏡共軛， 使得一個(gè)探測(cè)器單元對(duì)應(yīng)四維光場(chǎng)的一條光線. 因此探測(cè)器記錄了由主透鏡平面和微透鏡陣列平面參數(shù)化的光場(chǎng)數(shù)據(jù)， 實(shí)現(xiàn)了四維光場(chǎng)數(shù)據(jù)的采集.

考察光場(chǎng)相機(jī)中視差與深度的關(guān)系. 在圖 2 中，u1,u2為(u,v)平面上的視點(diǎn)，B為視點(diǎn)距離，A1為物點(diǎn)A對(duì)應(yīng)的像點(diǎn)，s為物點(diǎn)A在視點(diǎn)u1,u2下在(x,y)平面上的視差.F為(x,y)平面到(u,v)平面之間的距離，F(xiàn)1為像點(diǎn)A1到(u,v)平面的距離.

圖 1　基于微透鏡列的光場(chǎng)相機(jī)結(jié)構(gòu)示意圖Fig.1　Diagram of light field camera with microlens array

圖 2　四維光場(chǎng)中視差與深度的關(guān)系示意圖Fig.2　Diagram of the relationship between disparity and depth in 4D light field

由圖 2 可知， 物點(diǎn)A在視點(diǎn)u1,u2下的視差s與視點(diǎn)距離B滿足

(1)

主透鏡焦距為f， 物點(diǎn)A的深度為Z， 主透鏡的聚焦深度為Z0， 高斯成像公式為

(2)

(3)

由式(1)～式(3)得視差和深度的關(guān)系式

(4)

由式(4)可知， 視差與視點(diǎn)位移成等比關(guān)系. 在四維光場(chǎng)數(shù)據(jù)中， 令B為相鄰視點(diǎn)之間的距離(光場(chǎng)采樣的視點(diǎn)間隔)，s為物點(diǎn)x在相鄰視點(diǎn)下的視差. 兩個(gè)視點(diǎn)的距離為kB(k=1,2,…)時(shí)， 物點(diǎn)x對(duì)應(yīng)的視差為ks(k=1,2,…).

2深度估計(jì)

在光場(chǎng)數(shù)據(jù)中， 利用視差與視點(diǎn)位移的等比關(guān)系建立區(qū)域匹配算法， 得到相鄰視差的初步視差圖. 對(duì)初步視差圖中的誤匹配像素， 基于區(qū)域匹配的誤差來源建立新的置信函數(shù)， 對(duì)誤匹配像素進(jìn)行分類， 優(yōu)化視差圖得到高精度的深度圖.

2.1初步視差的獲取

以中心視點(diǎn)圖像L(x,y,u0,v0)為參照， 利用區(qū)域匹配算法獲取L(x,y,u0,v0)對(duì)應(yīng)的視差圖s(x,y).

在四維光場(chǎng)L(x,y,u,v)中， 基于視差與視點(diǎn)位移的等比關(guān)系， 建立視差s(x,y)的目標(biāo)函數(shù)

(5)

式中：(u0,v0)為中心視點(diǎn)位置； (ui,vj)為任意視點(diǎn)位置， Δui=ui-u0， Δvj=vj-v0；E(s)為中心視圖像素(x,y)在視差為s時(shí)與所有視點(diǎn)圖像中對(duì)應(yīng)像素的差異累加和的度量函數(shù).

由于圖像區(qū)域的像素值相近， 以及噪聲等因素， 單個(gè)像素點(diǎn)作為匹配基元的匹配方法魯棒性較差. 本文采用以目標(biāo)像素點(diǎn)為中心的矩形區(qū)域來代替單個(gè)像素點(diǎn)作為匹配基元， 提高匹配方法的魯棒性. 采用區(qū)域匹配方法， 視差s(x,y)的目標(biāo)函數(shù)為

(6)

(7)

2.2置信函數(shù)與視差優(yōu)化

由式(7)獲取的初步視差圖， 在平滑區(qū)域和遮擋區(qū)域存在誤匹配. 其原因是， 平滑區(qū)域和遮擋區(qū)域在匹配過程中， 其目標(biāo)函數(shù)中存在較多與最小值相等或相近的函數(shù)值， 誤匹配概率較大. 本文建立關(guān)于視差的置信函數(shù)， 旨在標(biāo)識(shí)出誤匹配區(qū)域， 進(jìn)而設(shè)置閾值對(duì)其進(jìn)行分類. 在此基礎(chǔ)上， 對(duì)平滑區(qū)域， 采用TV-L1模型進(jìn)行平滑處理； 對(duì)遮擋區(qū)域， 采用二次匹配的方法獲取精確的視差.

建立關(guān)于視差圖s(x,y)的置信函數(shù)， 來刻畫區(qū)域匹配結(jié)果的置信度. 定義如下

(8)

(9)

式中：label(x,y)為像素(x,y)的分類標(biāo)簽， 0為準(zhǔn)確匹配區(qū)域， 1為平滑區(qū)域， 2為遮擋區(qū)域.

對(duì)于平滑區(qū)域， 本文采用TV-L1模型進(jìn)行優(yōu)化

(10)

式中：μ(x,y)是優(yōu)化后的估計(jì)視差圖；TV(μ)為視差圖μ(x,y)的全變分.

對(duì)于遮擋區(qū)域， 本文通過視點(diǎn)平移和遮擋的關(guān)系， 篩選出可用于遮擋區(qū)域深度計(jì)算的視點(diǎn). 計(jì)算遮擋區(qū)域在該組視點(diǎn)下關(guān)于視差的目標(biāo)函數(shù)， 獲取視差.

圖 3 給出了該分類優(yōu)化方法對(duì)初步視差圖的優(yōu)化結(jié)果， 調(diào)整參數(shù)和閾值選取為

圖 3　視差圖的優(yōu)化Fig.3　Optimization of disparity map

2.3深度計(jì)算

基于優(yōu)化得到的視差圖μ(x,y)， 利用式(4)計(jì)算得到場(chǎng)景的深度圖

(11)

3實(shí)驗(yàn)結(jié)果

本文算法驗(yàn)證與數(shù)據(jù)實(shí)驗(yàn)設(shè)計(jì)如下：第一組實(shí)驗(yàn)采用Heidelberg Collaboratory for Image Processing (HCI) 公開的標(biāo)準(zhǔn)光場(chǎng)數(shù)據(jù)[13]， 給出了相關(guān)算法的誤差比較與分析. 第二組實(shí)驗(yàn)采用相機(jī)實(shí)拍， 利用三軸平移臺(tái)獲取實(shí)測(cè)光場(chǎng)數(shù)據(jù)， 給出實(shí)際場(chǎng)景的深度估計(jì)和三維點(diǎn)云圖.

3.1 HCI光場(chǎng)數(shù)據(jù)試驗(yàn)

本文的算法測(cè)試和精度比較采用了12組HCI基準(zhǔn)光場(chǎng)數(shù)據(jù)， 其中7組為模擬光場(chǎng)數(shù)據(jù)， 利用計(jì)算機(jī)模擬合成， 5組為實(shí)測(cè)光場(chǎng)數(shù)據(jù)， 通過相機(jī)實(shí)拍獲取. 該基準(zhǔn)光場(chǎng)數(shù)據(jù)對(duì)全球科研機(jī)構(gòu)與人員開放， 用于相關(guān)算法的測(cè)試. 詳細(xì)描述參閱文獻(xiàn)[13]. 實(shí)驗(yàn)結(jié)果及誤差分析如圖 4 所示.

圖 4　HCI模擬光場(chǎng)數(shù)據(jù)實(shí)驗(yàn)結(jié)果Fig.4　Results for some synthetic light fields of HCI datasets

圖 4 給出2組HCI模擬光場(chǎng)數(shù)據(jù)的試驗(yàn)結(jié)果. 誤差圖中， 當(dāng)估計(jì)視差的相對(duì)誤差小于0.05時(shí)為白色， 大于0.05時(shí)為黑色. 在深度連續(xù)變化區(qū)域， 本文提出的算法具有較高的計(jì)算精度， 對(duì)邊緣遮擋區(qū)域也有較好的深度估計(jì)結(jié)果.

圖 5 中為2組HCI實(shí)測(cè)光場(chǎng)數(shù)據(jù)的實(shí)驗(yàn)結(jié)果. HCI通過單相機(jī)多次采集圖像的方式獲取實(shí)測(cè)光場(chǎng)數(shù)據(jù)[13]. 可以看出， 對(duì)于實(shí)際場(chǎng)景， 本文算法具有很好的深度分辨能力.

表 1 中在三方面給出HCI光場(chǎng)數(shù)據(jù)實(shí)驗(yàn)的結(jié)果分析， 包括平均絕對(duì)誤差(Mean Absolute Error， MAE)， 平均平方誤差(Mean Squared Error ， MSE )和誤匹配像素的百分比(Percentage of Bad Matching Pixels ， BMP). 結(jié)果表明， 利用本文提出的算法估計(jì)的視差圖， 具有明顯誤差的像素所占比例較少.

圖 5　HCI實(shí)測(cè)光場(chǎng)數(shù)據(jù)實(shí)驗(yàn)結(jié)果Fig.5　Results for some real light fields of HCI datasets

LFMAEMSEBMP/%(>0.1)BMP/%(>0.05)buddha0.04720.00693.0329.68buddha20.03780.00616.4114.36horses0.03550.00954.8310.80medieval0.05890.01097.8948.41monasRoom0.02230.00494.179.86papiloon0.05650.015812.2831.74stillLife0.03630.01894.219.61couple0.04740.00342.3142.67cube0.03200.00713.879.06maria0.02730.00120.5911.09pyramide0.02670.00393.147.17statu0.04220.00357.2230.66average0.03920.00774.9921.26

表 2 中給出了本文提出的算法與已有的算法在計(jì)算精度方面的比較結(jié)果. HCI官方網(wǎng)站給出了已有算法在平均平方誤差(MSE )意義下計(jì)算精度的定量分析. 其中EPI_L(G/S/C)類型的算法是利用極線圖的結(jié)構(gòu)計(jì)算深度信息； ST_AV_L(G/S)是基于立體視覺， 利用所有的視點(diǎn)計(jì)算深度的方法； ST_CH_L(G/S)類型的方法是利用穿過中心視點(diǎn)的水平和豎直方向上的視點(diǎn)進(jìn)行深度估計(jì). 由表2中的數(shù)據(jù)可知， 本文提出算法的結(jié)果在平均平方誤差方面(MSE)優(yōu)于HCI官方網(wǎng)站公布的已有算法的結(jié)果.

表 2　算法精度

通過上述實(shí)驗(yàn)結(jié)果及誤差分析可知， 采用二次匹配和分類優(yōu)化方法有效降低了平滑區(qū)域和邊緣遮擋區(qū)域的深度估計(jì)誤差. 與已有的算法相比， 新算法具有更好的計(jì)算精度.

3.2實(shí)測(cè)光場(chǎng)數(shù)據(jù)實(shí)驗(yàn)

本文設(shè)計(jì)了光場(chǎng)數(shù)據(jù)采集的過程. 采用SONY NEX-5C相機(jī)， 固定于精度為1 μm的GCM-125302AM三軸平移臺(tái)上. 以Δcam=500 μm為視點(diǎn)間隔， 采集同一平面內(nèi)9×9視點(diǎn)陣列中每個(gè)視點(diǎn)位置下的二維圖像， 獲取四維光場(chǎng)數(shù)據(jù). 同時(shí)給出該實(shí)際場(chǎng)景的深度估計(jì)結(jié)果和三維點(diǎn)云圖.

實(shí)驗(yàn)過程中， 相機(jī)獲取的單幅圖像初始分辨率為4 592×3 056. 本文采用包含物體信息的圖像中心區(qū)域用于計(jì)算， 其中單幅Dog圖像的分辨率為1 500×1 200， 單幅Flower圖像的分辨率為1 600×1 400， 單幅Fairies圖像的分辨率為2 000×1 600.

圖 6 中給出了本文實(shí)際采集的光場(chǎng)數(shù)據(jù)的實(shí)驗(yàn)結(jié)果. 結(jié)果表明， 本文提出的算法對(duì)平滑區(qū)域和邊緣區(qū)域具有很好的深度估計(jì)效果， 利用計(jì)算出的深度信息， 可以實(shí)現(xiàn)較為精確的窄視角下三維表面重構(gòu).

圖 6　實(shí)測(cè)光場(chǎng)數(shù)據(jù)實(shí)驗(yàn)結(jié)果Fig.6　Results for some light fields of measured dataset

4結(jié)語

本文利用四維光場(chǎng)數(shù)據(jù)對(duì)場(chǎng)景進(jìn)行估計(jì)深度， 提出一種具有像素級(jí)精度的深度估計(jì)方法. 該方法利用光場(chǎng)數(shù)據(jù)中視差與視點(diǎn)位移的等比關(guān)系， 以區(qū)域匹配方法為基礎(chǔ)， 與四維光場(chǎng)的結(jié)構(gòu)特點(diǎn)結(jié)合起來， 精確地計(jì)算出相鄰視圖之間的視差圖. 此外， 本文基于區(qū)域匹配的誤差來源建立新的置信函數(shù)， 對(duì)誤匹配像素進(jìn)行分類， 優(yōu)化提高深度計(jì)算精度. 本文方法可進(jìn)一步用于光場(chǎng)相機(jī)的深度信息獲取， 以及為三維場(chǎng)景重構(gòu)提供精確的深度信息.

參考文獻(xiàn):

[1]AdelsonE H, Bergen J R. The plenoptic function and the elements of early vision[J]. Computational Models of Visual Processing, 1991: 3-20.

[2]Levoy M,Hanrahan P. Light field rendering[J]. In Siggraph 96, 1996：31-42.

[3]Gortler S J, Grzeszczuk R, Szeliski R, et al. The lumigraph[J]. In Siggraph 96,1996：43-54.

[4]Ren N, Levoy M, Bredif M, et al. Light field photography with a hand-held plenoptic camera[J]. Stanford Tech Report CTSR, 2005(2)：1-10.

[5]BishopTE,FavaroP.Plenopticdepthestimationfrommultiplealiasedviews[C].IEEE12thInternationalConferenceonComputerVisionWorkshops, 2009：1622-1629.

[6]AtanassovK,GomaS,RamachandraV,etal.Content-baseddepthestimationinfocusedplenopticcamera[J].SPIE-IS&TElectronicImaging, 2009, 7864, 78640G：1-10.

[7]OhashiK,TakahashiK,FujiiT.Jointestimationofhighresolutionimagesanddepthmapsfromlightfieldcameras[J].StereoscopicDisplays&ApplicationsXXV, 2014, 9011(12)：2978-2982.

[8]WannerS,GoldlueckeB.Globallyconsistentdepthlabelingof4Dlightfields[C].IEEEConferenceonComputerVisionandPatternRecognition(CVPR), 2012, 4：1-8.

[9]LukeJP,RosaF,Marichal-HernandezJG,etal.Depthfromlightfieldsanalyzing4Dlocalstructure[J].JournalofDisplayTechnology,IEEE, 2013, 11(11)：900-907.

[10]TosicI,BerknerK.Lightfieldscale-depthspacetransformfordensedepthestimation[C]. 2014IEEEConferenceonComputerVisionandPatternRecognitionWorkshops(CVPRW), 2014：441-448.

[11]肖相國, 王忠厚, 孫傳東, 等. 基于光場(chǎng)攝像技術(shù)的對(duì)焦測(cè)距方法的研究[J].光子學(xué)報(bào), 2009, 37(12)： 2539-2543.

XiaoXiangguo,WangZhonghou,SunChuandong,etal.Arangefocusingmeasurementtechnologybasedonlightfieldphotography[J].ActaPhotonicaSinica, 2009, 37(12)：2539-2543. (inChinese)

[12]楊德剛, 肖照林, 楊恒, 等. 基于光場(chǎng)分析的多線索融合深度估計(jì)方法[J]. 計(jì)算機(jī)學(xué)報(bào), 2014, 37(97)：1-15.

YangDegang,XiaoZhaolin,YangHeng,etal.Depthestimationfromlightfieldanalysisbasedmultiplecuesfusion[J].ChineseJournalofComputers, 2014, 37(97)：1-15. (inChinese)

[13]WannerS,MeisterS,GoldlueckeB.Datasetsandbenchmarksfordenselysampled4Dlightfields[J].Vision,ModellingandVisualization(VMV), 2013: 225-226.

文章編號(hào)：1673-3193(2016)04-0395-06

收稿日期：2015-12-31

基金項(xiàng)目：國家自然科學(xué)基金資助項(xiàng)目(61271425，61372150)

作者簡(jiǎn)介：陳佃文(1987-)， 男， 碩士生， 主要從事圖像重建的研究.

中圖分類號(hào):TP391

文獻(xiàn)標(biāo)識(shí)碼:A

doi:10.3969/j.issn.1673-3193.2016.04.014

A Depth Estimation Algorithm Using 4D Light Field Data

CHEN Dian-wen1, QIU Jun1, LIU Chang2, ZHAO Song-nian3

(1. Institute of Applied Mathematics, Beijing Information Science & Technology University, Beijing 100101, China;2. School of Mathematical Sciences, Peking University, Beijing 100871, China;3. Institute of Atmospheric Physics, Chinese Academy of Sciences, Beijing 100029, China)

Abstract:A depth estimation algorithm was proposed based on the four-dimensional structure information of the light field data, which has pixel-level precision and provides the accurate depth information for 3D surface reconstruction. First, the area-based matching algorithm based on the light field data was presented according to the proportional relationship between the disparity and the transposition of the viewpoints in light field data.The preliminary disparity map can be achieved. Then a confidence function was proposed based on the roots of the matching error to classify and optimize the pixels with matching error.The depth map with high accuracy can be achieved. The publicly benchmark simulated light field datasets from HCI and real light field datasets were used to verify the proposed algorithm and evaluate the accuracy of the disparity map. The results show that the proposed algorithm has better accuracy than the existing algorithms, especially in the smooth and occlusions regions.

Key words:depth estimation; light field; disparity map; area-based matching