四維光場數(shù)據(jù)中基于極平面圖的深度估計方法*

王曉鵬， 王忠義， 許玉龍， 鄭文鳳

(1.河南中醫(yī)藥大學 信息技術學院，河南 鄭州 450046;2.河南中醫(yī)藥大學 信息化辦公室，河南 鄭州 450046)

圖像中的深度信息能夠有效反映物體的三維幾何特征，可用于圖像的超分辨率重建和三維重構[1].傳統(tǒng)深度估計利用多個攝像機拍攝的二維圖像來獲得[2].隨著光場相機的出現(xiàn)，一次拍攝就能獲得深度信息.4D光場是一種描述場景視覺的有效方法.與傳統(tǒng)2D圖像相比，它不僅存儲了每個圖像點的累積強度，還存儲了每個光線方向上的強度值[3].所以，利用4D光場數(shù)據(jù)中光線的空間和角度信息，可以提取圖像場景中的深度信息.利用光場數(shù)據(jù)獲取深度信息通常用基于極平面圖(epipolar plane image，EPI)[4]和基于像素匹配來估計[5].其中，基于EPI的估計方法具有較高的估計精度和時間效率.

本文提出一種利用4D光場數(shù)據(jù)的EPI結(jié)構信息實現(xiàn)高精度深度估計的方法.首先，對4D光場結(jié)構進行分析，給出深度信息與視差之間的關系式.然后，在外極平面圖像上，計算切片域中每個點的視差估計以及可信度估計，可信度估計用來表示視差估計的準確性.最后，使用全局優(yōu)化標簽機制，以求解一個最小化函數(shù)的形式來整合垂直和水平切片上的視差估計，獲得全局一致性視差圖，進而得到全局深度圖.在HCI標準光場數(shù)據(jù)集上的仿真結(jié)果證明了該方法的有效性.

1 四維光場模型

1.1 四維光場結(jié)構

4D光場可通過與圖像平面并行視點的針孔視點來描述.2D平面包含視點的焦點，通過坐標(s,t)參數(shù)化該焦點，同時通過坐標(x,y)參數(shù)化圖像平面Ω.4D光場或光強度是一種映射：

L:Ω×Π→R,(x,y,s,t)а(x,y,s,t).

該映射描述了分配給經(jīng)過(x,y)∈Ω和(s,t)∈Π光線的光強值.

考慮光場結(jié)構中經(jīng)過光場的2D 切片，固定圖像平面中常量y*的水平線，且約束光場到一個(x,s)切片Σy*,t*.將這種情況下的映射結(jié)果稱為極平面圖.在(s*,t*)針孔視點的光場幾何結(jié)構視圖如圖1所示，外極平面圖像的生成過程如圖2所示.其中，Sy*,t*表示為：

Sy*,t*∶Σy*,t*→R,(s,t)→Sy*,t*(x,s)∶=L(x,y*,s,t*).

3D空間的點映射到Σy*,t*中的一條線上，該線的斜率與它的深度相關.假如在場景中的對象是朗伯型的，這意味著光場強度不能根據(jù)該直線變化.因此，計算深度相當于計算外極平面圖像水平線的斜率[6].該方法可用于深度重建.

1.2 視差與深度的關系

空間靜態(tài)場景中的一點，經(jīng)過兩個不同的視點投影到二維平面，其在投影平面上的兩個像點坐標會有一定的偏移，將這個偏移量稱作視差[7].圖3給出了空間中一點在相鄰視點坐標u1和u2下的視差示意圖.

由成像模型可知，主透鏡平面和微透鏡陣列平面正方向相同.令F1表示像點A1與主透鏡平面間的距離，F(xiàn)表示微透鏡陣列面與主透鏡面間的距離.那么，相鄰視點間的視差d、相鄰視點間的距離B與F1和F的關系表示如下：

d/B=-(F-F1)/F1.

(2)

令f表示主透鏡的焦距，Z0表示聚焦面到主透鏡面的距離，Z表示點A到主透鏡面的距離，即空間場景的深度信息.根據(jù)成像原理可得：1/F+1/Z0=1/f,1/F1+1/Z=1/f.那么，可得到成像中的視差d與深度Z的關系，表示為：d/B=F/Z-F/Z0.

2 基于極平面圖的視差估計

2.1 局部視差估計

首先考慮如何估計外極平面圖像Sy*,t*上點(x,s)處直線的局部方向，其中固定y*和t*.該步驟是計算切片域中每個點的視差估計dy*,t*(x,y)以及可信度估計ry*,t*(x,s)∈[0,1]，可信度估計用來衡量局部視差估計的準確性[8].隨后，兩種局部估計將用于獲取全局一致性視差圖.為了獲取局部視差圖，需要估計切片上的直線方向.通過外極平面圖像S=Sy*,t*的結(jié)構張量J完成該計算：

式中，Gσ表示在外尺度σ上的高斯平滑操作，Sx,Sy表示在內(nèi)尺度ρ上S的梯度分量.然后通過下式計算局部水平線的方向：

當移動兩個視圖時，用視差dy*,t*=f/Z=Δx/Δs=tanφ描述場景中像素點的平移量.另外，將結(jié)構張量的連續(xù)性作為一個可信度指標，用來表示φ估計的置信度，表示為：

式中，ry*,t*是在[0,1]范圍內(nèi)的值，其值越大，表示該計算結(jié)果的可信度越高.

2.2 構建視圖視差

對所有極平面圖，分別在水平和垂直切片上獲取視差估計dy*,t*、dx*,s*和可信度ry*,t*、rx*,s*.然后，對每幅視圖(s*,t*)，合并這些估計值為一幅一致性視差圖u:Ω→R.

從建模角度看，一種整合垂直和水平切片估計更有效的方法是在Ω域使用全局優(yōu)化標簽機制.其中，最小化函數(shù)形式為：

根據(jù)可信度ry*,t*和rx*,s*為dy*,t*和dx*,s*加權，那么ρ(u,x,y)表示如下：

本文使用文獻[9]描述的方法來求解式(1)的最優(yōu)解.

3 仿真及分析

采用標準HCI數(shù)據(jù)集中大小為9×9×768×768×3的buddha和monas Room光場圖像作為實驗對象，其中的9×9表示角度采樣，768×768表示空間采樣，3表示顏色通道.深度圖用灰度圖表示，灰度值越小則對應的視差值或深度值越小.

圖4和圖5分別給出了buddha和 monas Room光場圖像的原圖、準確深度圖和提出方法估計出的深度圖.可以看出，估計出的深度圖和準確深度圖基本一致，這證明了提出方法的有效性.

為了進一步表示深度估計方法的性能，定義均方誤差(mean squared error，MSE )來表示深度估計的準確性[10]，表示如下：

式中，RS為準確的深度信息，D為估計出的深度信息，(x,s)為像素坐標.

表1 各種方法深度估計的MSE

將提出的方法與兩種現(xiàn)有的基于EPI的深度估計方法進行比較，分別為文獻[11]提出的基于稀疏線性和EPI結(jié)構張量的深度估計，同時其利用顏色一致性約束來避免錯誤估計.文獻[12]利用EPI獲取深度曲線，并利用馬爾科夫隨機場平滑深度圖，實現(xiàn)深度估計.比較結(jié)果如表1所示，可以看出，提出的方法具有最低的MSE，這說明了其深度估計精度最高.

4 結(jié)束語

圖像的三維重構需要精確的深度信息，為此提出了一種利用4D光場數(shù)據(jù)的EPI結(jié)構信息實現(xiàn)高精度深度估計的方法.根據(jù)深度與視差的關系，將深度估計變換為視差估計.根據(jù)EPI結(jié)構信息，在外極平面圖像上計算切片域中每個點的局部視差估計，并通過可信度來表示視差估計的準確性.使用全局優(yōu)化標簽機制將局部視差估計整合成一個全局一致性視差圖，最終得到全局深度圖.在兩個標準光場數(shù)據(jù)上的實驗證明了提出方法的可行性和有效性.

參考文獻

[1] 張作昌. 基于多基線近景攝影測量技術的館藏銅鼓三維重建[J]. 湘潭大學自然科學學報, 2017, 39(1): 119-122.

[2] 陳正兵. 基于深度圖像的室內(nèi)三維平面分割方法研究[J]. 電子設計工程, 2016, 24(24): 158-160.

[3] 張馳, 劉菲, 侯廣琦,等. 光場成像技術及其在計算機視覺中的應用[J]. 中國圖象圖形學報, 2016, 21(3): 263-281.

[4] LV H, GU K, ZHANG Y, et al. Light field depth estimation exploiting linear structure in EPI[C]// IEEE International Conference on Multimedia & Expo Workshops. IEEE, 2015:1-6.

[5] 高雋, 王麗娟, 張旭東,等. 光場深度估計方法的對比研究[J]. 模式識別與人工智能, 2016, 29(9): 769-779.

[6] TAO M, SU J C, WANG T C, et al. Depth estimation and specular removal for glossy surfaces using point and line consistency with light-field cameras[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2016,38(6):1155.

[7] 陳佃文. 基于4D光場數(shù)據(jù)的深度信息獲取[D].北京：北京信息科技大學, 2016: 17-18.

[8] 陳佃文, 邱鈞, 劉暢,等. 基于四維光場數(shù)據(jù)的深度估計算法[J]. 中北大學學報(自然科學版), 2016, 37(4): 395-400.

[9] POCK T, CREMERS D, BISCHOF H, et al. Global solutions of variational models with convex regularization [J]. Siam Journal on Imaging Sciences, 2010, 3(4): 1122-1145.

[10] 王劉彭,易年余. 線性有限元誤差的L～2范數(shù)估計及其應用[J]. 湘潭大學自然科學學報, 2018, 40(1): 19-23.

[11] LI J, LI Z N. Continuous depth map reconstruction from light fields[C]// IEEE International Conference on Multimedia and Expo. IEEE, 2013: 1-6.

[12] CHEN C, LIN H, YU Z, et al. Light field stereo matching using bilateral statistics of surface cameras[C]// IEEE Conference on Computer Vision and Pattern Recognition. IEEE, 2014: 1518-1525.