光場相機(jī)三維重建研究進(jìn)展與展望

劉玉軒，張 力，艾海濱，許 彪，孫鈺珊，樊仲藜

（中國測繪科學(xué)研究院攝影測量與遙感研究所，北京 100036）

1 引言

三維重建一直是攝影測量和計算機(jī)視覺的一個基本且重要的問題［1，2］.相比于二維圖像，三維模型包含了更加豐富的幾何、形狀和結(jié)構(gòu)信息，為場景理解與交互提供了更多可能.具體地，三維重建技術(shù)是讓計算機(jī)感知周圍的三維環(huán)境結(jié)構(gòu)、物體的形狀以及物體之間的相對位置等.隨著傳感器技術(shù)的飛速發(fā)展，三維重建數(shù)據(jù)呈現(xiàn)爆炸式增長，三維重建技術(shù)也開始更多地走進(jìn)人們?nèi)粘Ｉ畹姆椒矫婷?，如自動駕駛［3］、虛擬現(xiàn)實(shí)［4］、增強(qiáng)現(xiàn)實(shí)［5］、機(jī)器人［6］、文物保護(hù)［7］、人臉識別［8］和醫(yī)療健康［9］等.

目前，研究人員在三維重建領(lǐng)域已經(jīng)進(jìn)行了諸多研究.根據(jù)所用傳感器的不同，主要可分為基于傳統(tǒng)影像的三維重建、基于激光點(diǎn)云的三維重建以及基于RGB-D 相機(jī)的三維重建.基于傳統(tǒng)影像和激光點(diǎn)云的三維重建在理論和實(shí)踐中都相對成熟，比如基于傳統(tǒng)影像的PTAM（Parallel Tracking And Mapping）［10］、Mono-SLAM［11］、ORB-SLAM［12］、ORB-SLAM2［13］和 ORBSLAM3［14］，以及基于激光點(diǎn)云的Cartographer［15］、LOAM（Lidar Odometry And Mapping）［16］、Lio-mapping［17］、hdl_graph_slam［18］、Fast-lio［19］和SuMa++［20］等.基 于RGB-D 相機(jī)的三維重建雖然起步稍晚，但也取得許多優(yōu)秀的成果，比如DVO［21］、KinectFusion［22］、ElasticFusion［23］和BundleFusion［24］、RobustFusion［25］等.盡管這些傳感器在室內(nèi)三維重建中得到越來越廣泛的應(yīng)用，但仍存在一些局限.基于激光點(diǎn)云的三維重建雖然重建精度較高，但是重建出來的三維模型沒有紋理信息.單目傳感器捕捉真實(shí)世界的二維影像，要實(shí)現(xiàn)三維重建必須對場景進(jìn)行多次拍攝構(gòu)建立體，但由于無法恢復(fù)場景的真實(shí)尺度，因此得到的只是相對尺度的三維模型.大多數(shù)的RGB-D 相機(jī)在自然光環(huán)境下表現(xiàn)較差，而且量程有限，隨著量程的增加，精度會大幅度降低.

近年來，光場相機(jī)取得了較大的發(fā)展，已經(jīng)可以做到與傳統(tǒng)工業(yè)相機(jī)差不多的大小，甚至直接集成入手機(jī)［26～30］.與傳統(tǒng)相機(jī)相比，光場相機(jī)不僅捕獲空間點(diǎn)所有方向光線的累積強(qiáng)度，而且記錄了到達(dá)某一空間點(diǎn)各個方向光線的強(qiáng)度大小，因此通過一次拍攝獲取到多個視角的信息.利用這些多視角信息，可以進(jìn)行影像重聚焦、增大影像的景深以及評估場景的深度，且不易受外界環(huán)境的影響，為三維重建提供了新的可靠數(shù)據(jù)源.圖1（a）給出了單張光場影像的深度估計結(jié)果［31］，圖1（b）則給出了利用多次拍攝光場影像恢復(fù)的包含絕對尺度的大場景半稠密三維模型［32］.

圖1 光場三維重建示例

高精度的光場相機(jī)三維重建不僅促進(jìn)了傳統(tǒng)三維技術(shù)的發(fā)展，而且推動了與光場相關(guān)領(lǐng)域技術(shù)的進(jìn)步，比如光場超分重建［33，34］、光場顯著性檢測［35］、光場分割［36］、光場分類與識別［37］和光場拼接［38］等.然而，由于光場相機(jī)的內(nèi)部結(jié)構(gòu)以及光場數(shù)據(jù)本身的特殊性，基于光場相機(jī)的三維重建依然存在較多問題［39，40］.首先，光場相機(jī)的內(nèi)部結(jié)構(gòu)完全不同于傳統(tǒng)相機(jī)，導(dǎo)致其投影模型和相機(jī)畸變模型有別于傳統(tǒng)相機(jī).其次，因?yàn)楣鈭鱿鄼C(jī)同時捕捉了空間中光線的方向和位置，所以一個空間點(diǎn)會在原始光場數(shù)據(jù)中成像多次，給光場相機(jī)的標(biāo)定帶來了難度.最后，單次拍攝的光場數(shù)據(jù)，多視角的子孔徑圖像間的基線較短，傳統(tǒng)的多視匹配算法應(yīng)用于單次拍攝光場數(shù)據(jù)時效果較差.

針對以上問題，國內(nèi)外在光場技術(shù)方面已經(jīng)有了較多研究，本文對目前與光場三維重建相關(guān)的研究現(xiàn)狀和算法，進(jìn)行了梳理和總結(jié)，以期為后續(xù)研究人員提供參考和幫助.

2 光場的定義及采集

2.1 光場的概念及二平面表示

光場的概念最早是由Gershun 于1936 年提出［41］，它描述了空間中任意一點(diǎn)在任意方向光線的輻射亮度.為了描述光場，Adelson和Bergaen于1991年提出了全光函數(shù)［42］.全光函數(shù)包含了光線在空間中的所有基本特性，共7 個維度：光線穿過某一點(diǎn)的坐標(biāo)(Vx，Vy，Vz)、光線的方向(θ，φ)、光線的波長λ和到達(dá)某一點(diǎn)的時間t，可以被定義為

在大多數(shù)情況下，處理圖像時并不關(guān)心獲取影像時的絕對時間t.而且，單色傳感器僅捕捉在一個較小的波段范圍內(nèi)的光線.在這種情況下，光線獨(dú)立于波長λ，因此式（1）中的七維函數(shù)可以減少為五維P(Vx，Vy，Vz，θ，φ).對于RGB 彩色傳感器，可以把3 個波段認(rèn)為是3個分開的全光函數(shù).

全光函數(shù)將光場描述為在空間和時間上連續(xù)的函數(shù)，但是捕獲到的光場僅是整個光場中固定在光線傳感器所在區(qū)域的部分.雖然有多種方式可以用來表示采集到的光場數(shù)據(jù)，但其中最簡單也最常用的方法是二平面法（Two Plane Parameterization，TPP）［43］.一方面是因?yàn)楦拍钌系暮唵?，另一個更重要的原因是它與目前大多數(shù)的光場采集設(shè)備具有很好的兼容性［44］.光場采集設(shè)備的主鏡頭和傳感器是平行的平面，而且圖像傳感器上的像素是規(guī)則排列的，更容易利用TPP 表示光場.圖2給出了TPP 的示意圖.假設(shè)四維光場中一條光線同時穿過2個平行的平面Ω和Π，并且與兩平面的交叉點(diǎn)分別為(u，v) ∈Ω和(s，t) ∈Π，則光場L可表示為

利用光線與2 個平行平面的交點(diǎn)可以定義所有光線.圖2 中L1、L2和L3是從三維空間中一點(diǎn)O(Vx，Vy，Vz)出的三條光線.假如反射是朗伯體反射，因?yàn)槭菑耐稽c(diǎn)射出，則L1、L2和L3的亮度值相等.

圖2 光場的二平面表示

2.2 光場的采集

傳統(tǒng)相機(jī)通過疊加各個方向到達(dá)同一像素的光線，獲得物方點(diǎn)在傳感器平面上的二維投影.光場獲取設(shè)備或方法量測每條光線的位置和方向信息，避免了不同方向光線的積分疊加，從而捕獲了每條光線的信息并恢復(fù)了設(shè)備內(nèi)的光場.根據(jù)構(gòu)造的不同，當(dāng)前的光場獲取設(shè)備主要分為4 類：多傳感器捕獲［29，45～49］、時序捕獲［50～52］、基于掩模［53，54］和基于微透鏡陣列（Micro-Lens Array，MLA）［26，38，55～58］的光場相機(jī).圖3 給出了幾種不同類型光場相機(jī)的示意圖.表1 給出了當(dāng)前的主要光場獲取方法.

表1 光場獲取方法小結(jié)

圖3 四種典型的光場相機(jī)

多傳感器光場相機(jī)利用分布在平面或球面上的相機(jī)陣列同時捕獲來自不同視角的光場信息，相機(jī)的位置和拍攝的影像分別對應(yīng)于TPP 中的(u，v)和(s，t).Yang等［45］于2002年利用8×8的視頻相機(jī)捕捉了動態(tài)的光場.同年，斯坦福大學(xué)的Wilburn等［46］利用6個CMOS圖像傳感器來同步記錄視頻數(shù)據(jù)獲得光場.隨后，Wilburn 等［47］構(gòu)建了如圖3（a）所示的相機(jī)陣列來捕捉光場.Zhang 和Chen［48］利用6×8 的相機(jī)陣列來記錄光場，以合成虛擬視角影像，同時通過改變相機(jī)位置獲得了更好的效果.這些多傳感器光場相機(jī)體積巨大，為此，Venkataraman 等［29］設(shè)計了一個微型的光場相機(jī)PiCam.PiCam 包含4×4 的相機(jī)陣列，每個相機(jī)可以捕捉1 000×750 像素的影像，而且整個相機(jī)機(jī)身很小，可以集成到手機(jī).Lin 等［49］設(shè)計了包含5×5 相機(jī)陣列的光場顯微鏡，專門用于微小場景的拍攝.

與多傳感器方法相比，時序捕獲方法使用單個圖像傳感器通過多次曝光捕獲不同視角的多個光場樣本，典型的方法是使用安裝在機(jī)械機(jī)架上的傳感器來測量不同位置的光場，如圖3（b）所示.斯坦福大學(xué)的計算圖形實(shí)驗(yàn)室分別利用機(jī)械臂和Lego Mindstorms 機(jī)械臂［50］按照設(shè)計好的路徑和位置操作一個傳統(tǒng)相機(jī)捕獲光場.Kim 等［51］按照相同的思路設(shè)計了一組僅有一個方向自由度的光場相機(jī)，用于室外環(huán)境的光場捕捉.Liang 等［52］利用可編碼的光圈通過多次曝光來捕捉光場.通過將光圈編碼到不透明的紙縫或者液晶陣列中，允許相機(jī)記錄不同視角的光線亮度，多次曝光并合成不同視角記錄的光線信息獲得場景的光場.

基于掩模的光場相機(jī)通過在主透鏡和傳感器之間插入可編碼的掩模來捕捉光場，如圖3（c）所示.Veeraraghavan 等［53］將這種方法稱為“Dappled Photography”，相比于直接記錄各個方向的光線，利用掩膜對進(jìn)入相機(jī)的光線進(jìn)行光學(xué)調(diào)制，后通過傅里葉變換進(jìn)行光場的重構(gòu).得益于學(xué)習(xí)技術(shù)的發(fā)展，Marwah 等［54］提出一種基于衰減掩膜的光場相機(jī)，利用超完備字典技術(shù)從二維投影影像中恢復(fù)出光場.

基于微透鏡陣列的光場相機(jī)是在主透鏡和傳感器之間放置一個微透鏡陣列，將經(jīng)主透鏡后各個方向匯聚的光線重新打散，達(dá)到記錄四維光場的目的.此時，傳感器記錄的是通過微透鏡的單個方向光線的強(qiáng)度，而不是所有方向光線強(qiáng)度的總和.Adelson 和Wang［55］于1992 年設(shè)計了一種新型的單鏡頭光場相機(jī)，可以捕捉5×5 視角的影像.Ng 等［26］通過將一個296×296 的微透鏡陣列安裝在主鏡頭和傳感器之間，設(shè)計了一種手持式光場相機(jī)，可以捕捉11×11 個視角的影像.如圖4（a）所示，標(biāo)準(zhǔn)型光場相機(jī)每一個微透鏡位置記錄一個空間點(diǎn)信息，而且微透鏡的焦距fM等于微透鏡陣列和傳感器之間的距離B，商業(yè)相機(jī)Lytro 和Lytro Illum均屬于這個范疇［56］.通過調(diào)整微透鏡陣列與主透鏡和傳感器的位置，Lumsdaine 和Georgiev［57］提出了聚焦型光場相機(jī).圖4 給出了不同模式下聚焦型光場相機(jī)主透鏡、微透鏡、傳感器之間的距離關(guān)系.如圖4（b）所示，如果微透鏡陣列安裝在主透鏡焦平面之前，即fM＜B，這種設(shè)計被稱為開普勒模式；如圖4（c）所示，如果微透鏡陣列安裝在主透鏡焦平面后方，即fM＞B，這種設(shè)計被稱為伽利略模式.目前，聚焦型的光場相機(jī)設(shè)計已經(jīng)被應(yīng)用到工業(yè)光場相機(jī)Raytrix［28］.

圖4 基于微透鏡陣列光場相機(jī)內(nèi)部結(jié)構(gòu)示意圖

總的來說，多傳感器光場相機(jī)不需要像基于微透鏡陣列的光場相機(jī)的特殊光學(xué)元器件，但是在同步拍攝、相機(jī)標(biāo)定和圖像畸變校正方面存在較大的挑戰(zhàn)，而且相機(jī)陣列的位置受限于相機(jī)的大小.基于時間序列光場相機(jī)的方向分辨率則更多是受限于控制它的機(jī)械臂的精度，理論上可獲得更高的方向分辨率.除此之外，只需對一個相機(jī)進(jìn)行標(biāo)定.但是基于時間序列的光場相機(jī)對裝置的精密性要求較高，而且光場數(shù)據(jù)不是一次拍攝獲得，因此更適用于靜態(tài)場景.對于基于掩膜的光場相機(jī)，由于掩膜的透光率無法達(dá)到100%，該方式獲取的光場數(shù)據(jù)信噪比較低，目前研究較少.基于微透鏡陣列的光場相機(jī)體積較小，且能保證同時成像，但利用二維的影像同時記錄四維的空間和方向信息，導(dǎo)致空間和角度維度的分辨率權(quán)衡問題.除此以外，研究人員仍在研制新型光場相機(jī)，比如在Nature Photonics刊登了Shehzad 等［59］提出的石墨烯光場相機(jī)，在主鏡頭后利用多層以石墨烯為材料的傳感器來接收不同深度物體的光線，在不損失空間分辨率的情況下，記錄了光場.

3 光場相機(jī)標(biāo)定

相機(jī)標(biāo)定指是建立空間中一點(diǎn)與其在影像中對應(yīng)像素之間的幾何關(guān)系.不同類型光場相機(jī)內(nèi)部構(gòu)造不同，一般情況下需采用不同的標(biāo)定方法.多傳感器光場相機(jī)和基于時間序列的光場相機(jī)可被視為特殊的多視相機(jī)陣列，因此可采用傳統(tǒng)相機(jī)陣列的標(biāo)定方法.在傳統(tǒng)的多視幾何標(biāo)定方法中，多個在不同姿態(tài)下的相機(jī)被定義為一組無約束的光線，被稱為廣義相機(jī)模型（Generalized Camera Model，GCM）.Pless 等［60］對利用GCM 標(biāo)定時存在的問題進(jìn)行了詳細(xì)的討論.因此，本文主要關(guān)注基于MLA的光場相機(jī)的標(biāo)定.

基于MLA 的光場相機(jī)因在傳統(tǒng)相機(jī)的傳感器前方添加了微透鏡陣列，導(dǎo)致其投影模型和畸變模型有別于傳統(tǒng)相機(jī).而且，光場影像中空間信息和方向信息緊密地耦合在一起，一個物方點(diǎn)會在傳感器上多次成像.因此，傳統(tǒng)標(biāo)定算法不適用于基于MLA的光場相機(jī)，標(biāo)定的難度主要在于恢復(fù)光線在相機(jī)內(nèi)部的傳播路徑，包括構(gòu)建相機(jī)投影模型和構(gòu)建相機(jī)畸變模型，并找到光場影像中像素與光線的對應(yīng)關(guān)系.目前，大多將光場相機(jī)的主鏡頭和微透鏡陣列的成像模型分別看作薄透鏡模型和針孔模型，以此構(gòu)建完整投影模型，忽略MLA的畸變，在此基礎(chǔ)上，采用二維的棋盤格標(biāo)定板作為物方標(biāo)定物來確定物方和像方的對應(yīng)關(guān)系.

除此之外，基于MLA 的光場相機(jī)記錄的光場影像是按一個個微透鏡圖像排列的，由于微透鏡之間的距離不固定且會存在旋轉(zhuǎn)和平移，導(dǎo)致微透鏡圖像排列不規(guī)則.而且，微透鏡陣列是按六邊形進(jìn)行排列，以增加傳感器的利用率，因此得到的每個微透鏡圖像也為六邊形.為便于后續(xù)標(biāo)定處理，部分方法首先將原始光場影像解碼為一組等基線的傳統(tǒng)多視影像，并在此基礎(chǔ)上進(jìn)行相機(jī)標(biāo)定；另一類方法則直接在原始光場影像上進(jìn)行標(biāo)定.依據(jù)標(biāo)定時是否采用原始光場影像，標(biāo)定方法可大致分為兩類：基于解碼后光場影像的標(biāo)定方法和基于原始光場影像的標(biāo)定方法.

3.1 基于解碼后光場影像的標(biāo)定方法

為簡便地處理原始光場影像，可首先將影像數(shù)據(jù)解碼為一組不同視角的傳統(tǒng)二維的子孔徑圖像.目前常用解碼的方法有2種.

一種是Dansereau 等［61］提出的基于微透鏡下覆蓋像素數(shù)目和相鄰微透鏡之間的幾何關(guān)系進(jìn)行解碼，進(jìn)而提取子孔徑圖像.如圖5（a）所示，原始光場影像進(jìn)行去除馬賽克和利用白圖像消除衍射影像后，得到的光場數(shù)據(jù)微透鏡圖像之間的間距不是整數(shù)，且存在旋轉(zhuǎn).首先對圖像進(jìn)行重采樣、旋轉(zhuǎn)和縮放操作使所有微透鏡圖像中心能夠位于像素的中心，結(jié)果如圖5（b）所示.下一步，根據(jù)每個微透鏡下的像素數(shù)目，把所有像素歸類為一個個包含相同像素數(shù)、重疊的微透鏡圖像，如圖5（c）和圖5（d）所示.其中，(k，l)表示微透鏡在微透鏡陣列中的坐標(biāo)位置，(i，j)表示每個微透鏡圖像內(nèi)部像素的坐標(biāo).上述操作的像素都是在六邊形的像素上完成.圖5（e）和圖5（f）則表示把六邊形的像素轉(zhuǎn)化為傳統(tǒng)的方形像素以及把長方形像素進(jìn)一步重采樣為正方形像素的過程.至此，得到了解碼后的光場數(shù)據(jù)L(i，j，k，l).

圖5 基于微透鏡幾何關(guān)系的原始光場影像解碼過程

另一種是Bok 等［62］提出的利用三角構(gòu)網(wǎng)的方法提取子孔徑圖像.如圖6（a）所示，每個微透鏡下距離中心位置相同距離點(diǎn)連接起來構(gòu)成的三角網(wǎng)，其中紅點(diǎn)為每個微透鏡圖像中心；圖6（b）中綠點(diǎn)為目標(biāo)點(diǎn)像素，每一個綠點(diǎn)都位于對應(yīng)三角網(wǎng)內(nèi)部，根據(jù)三個角點(diǎn)像素值進(jìn)行三角網(wǎng)插值可得其像素值.無論哪種解碼方法，都需事先找到每個微透鏡圖像的中心像素，目前通用的做法是利用光場相機(jī)的白圖像.由于衍射現(xiàn)象，在白圖像中，每個微透鏡圖像中最亮的點(diǎn)就是微透鏡的中心.

圖6 基于三角構(gòu)網(wǎng)方法的原始光場影像解碼[62]

在完成原始光場影像解碼的基礎(chǔ)上，Dansereau等［61］提出一種包含15個參數(shù)的標(biāo)準(zhǔn)型光場相機(jī)標(biāo)定方法.通過構(gòu)建每個像素與對應(yīng)光線之間的幾何關(guān)系，并采用分步求解的方法，完成了標(biāo)定參數(shù)的求解.分步求解過程中，首先基于解碼得到的子孔徑圖像利用傳統(tǒng)標(biāo)定方法得到外方位元素；然后在不考慮畸變的情況下，采用一種線性的方法進(jìn)行求解，得到所有參數(shù)的初值；最后在考慮畸變的情況下，對初始評估結(jié)果進(jìn)行非線性優(yōu)化.但是求解出的標(biāo)定參數(shù)沒有特定的物理現(xiàn)實(shí)意義.Zhang 等［63］進(jìn)一步發(fā)現(xiàn)Dansereau 等［61］構(gòu)建的影像模型中存在參數(shù)冗余，提出一種僅包含6個參數(shù)的多投影中心標(biāo)定方法MPC（Multi-Projection-Center）.類比傳統(tǒng)GCM 方法，他們推演了光場影像解碼出的四維光場與物方三維結(jié)構(gòu)的幾何投影關(guān)系，實(shí)現(xiàn)相機(jī)內(nèi)部和物方世界的MPC 坐標(biāo)的線性轉(zhuǎn)換.此外，針對該投影模型，他們還提出一種內(nèi)外方位元素的初始估計方法，通過最小化重投影誤差進(jìn)行非線性優(yōu)化.與Dansereau 等［61］的方法相比，MPC 具有更少的參數(shù)冗余，可同時應(yīng)用于標(biāo)準(zhǔn)型和聚焦型光場相機(jī).

不同于直接構(gòu)建物方空間點(diǎn)和像方角點(diǎn)的投影模型，研究人員也通過深度和核線平面影像（Epipolar Plane Image，EPI）等信息間接完成光場相機(jī)的標(biāo)定.Ji等［64］利用光束法平差確定子孔徑影像所對應(yīng)視角在主透鏡上的位置，完成了光場相機(jī)標(biāo)定.他們首先找到中心子孔徑圖像在主透鏡上的位置作為參考，其次基于主透鏡的焦距估計空間點(diǎn)在不同子孔徑圖像下得到虛擬像點(diǎn)，最后利用光束法平差求解子孔徑圖像視角在主透鏡上的位置，但該方法的精度受限于方向分辨率的大小.Pertuz等［65］通過構(gòu)建深度與重聚焦參數(shù)之間的對應(yīng)關(guān)系完成了光場相機(jī)的標(biāo)定.對應(yīng)關(guān)系的建立是基于對光場相機(jī)成像過程的一階光學(xué)分析推導(dǎo)得到.針對建立的幾何模型，提出了一種模型參數(shù)求解方法.該方法無需了解光場相機(jī)的內(nèi)部參數(shù)，僅需利用傳統(tǒng)的棋盤格影像，但該方法只適用于標(biāo)準(zhǔn)型光場相機(jī).Zhou 等［66］通過推演EPI 中線的方向和截距與其對應(yīng)空間點(diǎn)的三維坐標(biāo)的投影關(guān)系，提出了一種基于核線空間的4 參數(shù)幾何標(biāo)定模型.具體地，EPI 中線的方向?qū)?yīng)于物方點(diǎn)的深度，水平和垂直方向的截距分別對應(yīng)于物方點(diǎn)的x和y坐標(biāo).該方法利用了更少的參數(shù)，但其精度依賴EPI中線的檢測精度.

雖然以上方法可以取得相對較好的標(biāo)定精度，但無論是直接法還是間接法，均未考慮微透鏡的畸變，造成一定的精度損失.而且，構(gòu)建的投影模型相對簡單，沒有考慮具有不同MLA 結(jié)構(gòu)的光場相機(jī)，比如多焦點(diǎn)MLA 光場相機(jī)包含幾種不同排列的微透鏡陣列，因此針對不同類型光場相機(jī)構(gòu)建需設(shè)計更全面的投影模型以及畸變模型.

3.2 基于原始光場影像的標(biāo)定方法

如圖7（a）和圖7（b）所示，對于棋盤格標(biāo)定板的原始光場影像，根據(jù)每個微透鏡圖像像素的組成，可將標(biāo)定板的微透鏡圖像分為3 類：包含線特征的微透鏡圖像、包含點(diǎn)特征的微透鏡圖像和背景類微透鏡圖像.一些研究人員直接利用原始光場影像的點(diǎn)、線特征來完成相機(jī)標(biāo)定.在幾何校正后從原始影像中提取的子孔徑圖像的質(zhì)量要優(yōu)于在解碼后光場圖像上按照等間距提取的子孔徑圖像［62］.

由于微透鏡圖像較小，比如lytro Illum 為15×15 像素，傳統(tǒng)的角點(diǎn)檢測算法應(yīng)用于微透鏡圖像時，精度較差.為此，Liu 等［67，68］提出一種基于原始光場影像角點(diǎn)特征的標(biāo)定方法.首先，采用2 組模板影像，若待檢測點(diǎn)周圍的像素分布與模板影像一致，則判定為角點(diǎn)特征，如圖7（c）所示.在此基礎(chǔ)上，他們將光場相機(jī)的固有參數(shù)分為與傳統(tǒng)相機(jī)一致的內(nèi)參數(shù)和光場相機(jī)特有的內(nèi)參數(shù)兩類，首先對這兩部分內(nèi)參數(shù)進(jìn)行分步求解，再通過最小化重投影誤差對初始估計做進(jìn)一步優(yōu)化.

圖7 光場相機(jī)拍攝的原始標(biāo)定板影像以及提取的點(diǎn)、線特征

如圖8所示，當(dāng)相機(jī)與標(biāo)定板存在較大的姿態(tài)變化時，出現(xiàn)大量錯誤檢測和漏檢的情況.除此之外，由于優(yōu)化方法對初始估計不敏感，分步求解難以提高最終精度.針對以上問題，Liu 等［69］提出一種新的基于角點(diǎn)特征的標(biāo)定方法.首先在原始圖像上找到包含角點(diǎn)特征的區(qū)域，并提出一種圓形邊界策略在這些微透鏡圖像上檢測角點(diǎn)特征；然后基于中心子孔徑圖像，利用常規(guī)標(biāo)定方法計算初始外參數(shù)，并根據(jù)角點(diǎn)及其對應(yīng)中心的幾何關(guān)系，采用線性方法計算初始內(nèi)參數(shù)；最后，所有的初始估計都通過非線性優(yōu)化得到進(jìn)一步的細(xì)化.由于提高了角點(diǎn)的檢測精度，Liu 等［69］的方法獲得了更好的標(biāo)定結(jié)果.針對多焦點(diǎn)聚焦型光場相機(jī)標(biāo)定，Nousias 等［70］同樣提出一種基于角點(diǎn)特征的方法.首先，基于聚焦程度區(qū)分不同類型微透鏡，并將其按照標(biāo)定板上角點(diǎn)特征所對應(yīng)點(diǎn)順序進(jìn)行排列；其次，通過尋找包含角點(diǎn)特征的微透鏡影像中近似沙漏形狀兩條線的交點(diǎn)確定角點(diǎn)特征的位置；最后，構(gòu)建空間點(diǎn)與對應(yīng)角點(diǎn)特征的幾何關(guān)系，實(shí)現(xiàn)多焦距光場相機(jī)的標(biāo)定.

圖8 標(biāo)定板光場影像角點(diǎn)特征檢測失敗示例[67]

考慮到微透鏡影像中包含大量的線性特征，Bok等［62］利用從原始光場圖像上直接提取的線特征，提出一種基于原始光場影像線特征的標(biāo)定方法，實(shí)現(xiàn)了光場相機(jī)標(biāo)定.該方法從微透鏡圖像中利用模板匹配提取直線特征，如圖7（d）所示，構(gòu)建物方與像方的幾何投影關(guān)系并進(jìn)行標(biāo)定參數(shù)求解.如圖9 所示，從一個物方點(diǎn)PC射出的光線首先穿過主透鏡后匯聚于一個虛擬像點(diǎn)PV，PV通過微透鏡后投射到傳感器上，得到PC在一個微透鏡（中心為pc）下的像點(diǎn)p(x，y)；其次，利用得到的幾何投影關(guān)系計算出初始的內(nèi)方位參數(shù)和外方位參數(shù)；最后，通過最小化所提取直線上離微透鏡中心最近一點(diǎn)對應(yīng)的光線與空間中直線之間的距離來進(jìn)行非線性優(yōu)化.

圖9 標(biāo)準(zhǔn)光場相機(jī)投影模型

由于原始光場影像上的線特征較多，算法具有較好的穩(wěn)定性.但在投影過程中由于非線性項(xiàng)的存在，空間中的直線投影到微透鏡影像上時并不是一條嚴(yán)格的直線，因此非線性優(yōu)化時所選取點(diǎn)對應(yīng)的光線并不會與空間中的線相交，這會直接影響到標(biāo)定的精度.此外，微透鏡影像中線的檢測精度也受限于線檢測過程中所選取模板個數(shù)的多少.未來可考慮利用點(diǎn)、線特征結(jié)合的方法，首先利用大量的線特征提供初值，然后利用角點(diǎn)特征在非線性優(yōu)化過程中具有的優(yōu)勢，實(shí)現(xiàn)光場相機(jī)的準(zhǔn)確標(biāo)定.

3.3 典型光場標(biāo)定方法對比實(shí)驗(yàn)分析

本文選定了5種具有代表性的光場相機(jī)標(biāo)定算法，包 括：先解碼 后標(biāo)定 的方法Dansereau 等［61］（記 作DPW），MPC［63］，以及Bok 等［62］、Liu 等［67］和Liu 等［69］提出的基于原始光場影像的標(biāo)定方法，分別記作BJW，SCC 和LFC.實(shí)驗(yàn)數(shù)據(jù)選用了Dansereau 等［61］提供的5組標(biāo)準(zhǔn)測試數(shù)據(jù)A、B、C、D 和E（http：//dgd.vision/Tools/LFToolbox/），每組數(shù)據(jù)中包含多張不同姿態(tài)、不同位置拍攝的棋盤格標(biāo)定板影像.格網(wǎng)的大小也不全相同，其中數(shù)據(jù)集A 和B、C 和D、E 的格網(wǎng)大小分別為3.61 mm、7.22 mm、35.1 mm.由于原始光場影像上的線特征和點(diǎn)特征只有在相機(jī)拍攝失焦的情況下才存在，因此5 組數(shù)據(jù)中只有部分?jǐn)?shù)據(jù)可以用于評估基于原始光場影像的標(biāo)定方法.具體地，A 組數(shù)據(jù)中第1、2、4、5、6 幅共5 張影像，B 組數(shù)據(jù)中第1～5、15～18 幅共9 張影像，D 中第1～15 幅共15 張影像，數(shù)據(jù)集C 和D 中影 像均在聚焦情況下拍攝，因此均不能使用.每幅圖像的大小為3 280×3 280像素，微透鏡圖像的半徑為5像素，考慮到位于邊緣視角的子孔徑圖像會存在比較大的缺陷，僅評價位于內(nèi)部視角7×7子孔徑圖像的像方的投影誤差（Re-Projection Error，RPE）和物方投影誤差（Ray Re-Projection Error，R_RPE）.具體實(shí)驗(yàn)過程中，DPW、BJW、SCC 和LFC 利用了原作者提供的最新開源代碼，而MPC則直接利用了作者原文中提供的結(jié)果.

表2給出了5種光場標(biāo)定方法的對比實(shí)驗(yàn)結(jié)果.從結(jié)果看出，在數(shù)據(jù)集A和B上，DPW 和MPC取得了顯著優(yōu)于BJW、SCC 和LFC 的結(jié)果，而在數(shù)據(jù)集E 上，BJW 與DPW 和MPC 的精度在同一水平，LFC 的重投影誤差最小.這可能是因?yàn)樵跀?shù)據(jù)集A 和B 中，基于原始光場影像的標(biāo)定方法能夠利用的有效影像數(shù)目明顯少于先解碼后標(biāo)定的方法，而在數(shù)據(jù)集E上，兩類方法能夠利用的影像數(shù)目相差不多，因此兩類標(biāo)定方法的精度相差不多.

表2 幾種典型光場標(biāo)定算法在Dansereau等[61]提供的5組測試數(shù)據(jù)集上的標(biāo)定結(jié)果

同類方法內(nèi)，MPC 總體上取得了略優(yōu)于DPW 的結(jié)果，而且由于MPC 的標(biāo)定參數(shù)個數(shù)不到DPW 的一半，因此MPC 的標(biāo)定速度更快.相較于BJW 和LFC，SSC 表現(xiàn)不穩(wěn)定，在數(shù)據(jù)集B 上取得了優(yōu)于BJW 和LFC 的結(jié)果，但在數(shù)據(jù)集E 上大幅差于BJW 和LFC，甚至在數(shù)據(jù)集A 上標(biāo)定失敗.這是由于SSC 的角點(diǎn)檢測方法魯棒性較差.當(dāng)標(biāo)定板所在的世界坐標(biāo)系與相機(jī)坐標(biāo)系之間的姿態(tài)變換較大時，SSC 角點(diǎn)檢測失敗，進(jìn)而導(dǎo)致標(biāo)定失敗，在數(shù)據(jù)集A 上就是這種情況，這也反襯出同樣基于原始光場影像角點(diǎn)特征的LFC 的角點(diǎn)檢測算法對不同影像姿態(tài)具有較好的抗性.除此之外，LFC 的總體表現(xiàn)優(yōu)于BJW，這是因?yàn)樽罱K的優(yōu)化結(jié)果主要取決于非線性優(yōu)化過程，而空間中的直線投影于二維影像上的過程是非線性的，因此影像上得到的并非嚴(yán)格意義的直線，只是因?yàn)槲⑼哥R影像較小，可近似看作直線，因此BJW 的表現(xiàn)會差于LFC.需要注意的是，較小的殘差輸出僅表明在自身算法的優(yōu)化過程中有較好的收斂，但也可能出現(xiàn)過擬合現(xiàn)象.而且，不同算法的標(biāo)定參數(shù)不同，尤其是基于原始光場影像的直線或者角點(diǎn)特征本身以及數(shù)目不同，也會影響到殘差計算過程中的公平性.因此，本節(jié)僅是對不同光場相機(jī)標(biāo)定方法的初步評估，若要更全面地評估不同方法，需構(gòu)建更多包含不同條件的數(shù)據(jù)集，并利用標(biāo)定的相機(jī)參數(shù)計算影像深度，并與真實(shí)值進(jìn)行比較.

4 光場影像三維深度信息恢復(fù)

光場固有地包含多視角信息，可據(jù)此估計場景的深度，但光場結(jié)構(gòu)的特殊性給三維深度信息的恢復(fù)帶來了挑戰(zhàn)，研究人員在這方面做了大量工作.根據(jù)光線的不同排列方式，光場有3種可視化表達(dá)：多視子孔徑圖像，角度域影像［71］和EPI［72］.具體地，如果將通過主透鏡上同一位置、不同空間位置的光線按空間順序排列在一起得到一個視角的子孔徑圖像，而不同視角子孔徑圖像排列在一起，組成多視角子孔徑圖像，如圖10（a）所示；如果將一個空間點(diǎn)各個視角光線按視角順序排列在一起，可以得到該空間點(diǎn)的角度域影像，如圖10（b）所示；在多視角影像中，如果沿某個方向選擇多視角影像并進(jìn)行前后排列，并沿相同方向取切面，則該切面影像即EPI，如圖10（c）所示.基于不同表達(dá)形式，當(dāng)前光場三維深度信息恢復(fù)方法分為基于多視匹配［73～75］、基于角度域影像［76～82］和基于EPI［83～89］的光場三維深度恢復(fù).此外，得益于深度學(xué)習(xí)技術(shù)的發(fā)展，研究人員也提出諸多基于光場不同可視化表達(dá)的利用深度學(xué)習(xí)進(jìn)行光場三維信息恢復(fù)的方法［90～93］.

圖10 光場的三種可視化表達(dá)[40]

4.1 基于多視影像的光場三維深度恢復(fù)

針對多視角子孔徑圖像，可利用傳統(tǒng)多視的方法來恢復(fù)場景的三維信息，但由于不同子孔徑圖像之間的基線較短，傳統(tǒng)的多視角匹配算法性能不佳.為此，Heber 等［73］指出從光場數(shù)據(jù)提取的子孔徑圖像與在主動波前采樣設(shè)置中捕獲的圖像相似，可以通過測量子孔徑圖像上圖像點(diǎn)旋轉(zhuǎn)密集場的變分模型來計算深度.Yu 等［74］提出一種線輔助的光場三角構(gòu)網(wǎng)和立體匹配算法.首先將雙線性子空間映射到線約束，然后再應(yīng)用到有約束的Delaunay 三角構(gòu)網(wǎng)，減少了構(gòu)網(wǎng)的誤差.在此基礎(chǔ)上，提出一種線輔助的圖割算法，不同視角子孔徑圖像的線約束下完成匹配，提高了立體匹配的可靠性，但是該算法沒有考慮遮擋存在的情況.Jeon 等［75］基于多視的思路提出一種光場深度估計算法.首先利用頻域的亞像素偏移，設(shè)計了絕對差和梯度差兩種數(shù)據(jù)代價，提高了窄基線子孔徑圖像的匹配精度，并進(jìn)一步采用多標(biāo)簽優(yōu)化模型和迭代優(yōu)化模型對初始深度圖進(jìn)行優(yōu)化，但是該方法存在邊緣過度平滑的問題.

4.2 基于角度域影像塊的光場三維深度恢復(fù)

通過重聚焦原始光場圖像，可得到一系列具有不同焦距的影像，當(dāng)聚焦到正確的深度時，角度域影像內(nèi)的像素會顯示出一致性.Tao等［76］提出利用散焦和像素一致性相結(jié)合的方法計算深度.他們把角度域影像內(nèi)像素的方差值作為像素一致性線索，并把重聚焦圖像的梯度值作為散焦的線索，然后基于置信度的馬爾可夫隨機(jī)場模型將這兩種線索結(jié)合起來估計三維深度.在此研究的基礎(chǔ)上，Tao等［77］又增加了陰影信息作為正則化，并利用中心孔徑圖像改進(jìn)了原始的散焦和像素一致性線索.具體地，以重聚焦圖像和中心視角圖像的平均強(qiáng)度差作為散焦線索，以包含不同視角的像素塊與中心視角像素的差值之和作為像素一致性線索，得到更為準(zhǔn)確的深度信息.在未遮擋區(qū)域，上述方法取得了比較好的結(jié)果，但對于被遮擋像素，如圖11 所示，角度域影像內(nèi)不同視角像素的一致性被破壞，引起估計誤差.

圖11 在遮擋情況下角度域影像的像素組成

Wang 等［78，79］研究發(fā)現(xiàn)，只存在單一遮擋物時，在遮擋區(qū)域分割被遮擋視角和未被遮擋視角的直線與空間域中的遮擋邊緣具有相同的方向，基于此提出了遮擋自適應(yīng)的深度估計算法.首先設(shè)計了三種遮擋像素檢測算子找到被遮擋像素，進(jìn)而對被遮擋和未被遮擋像素分開處理.具體地，在遮擋區(qū)域，僅利用一部分未被遮擋的視角評估深度，提高被遮擋像素的深度評估精度，但該方法僅能應(yīng)用于存在一個遮擋物的情況.Chen等［80］提出一種基于顏色和空間的雙邊一致性度量（Bilateral Consistency Metric，BCM），提高了在遮擋區(qū)域深度估計的可靠性.BCM 計算了角度域影像中每個視角被遮擋的可能性大小，以此找到不同深度下未被遮擋的視角，并計算代價量.基于不同深度下代價量的變化曲線，確定深度值的可靠性，提高了深度估計的魯棒性.BCM 雖然在遮擋區(qū)域表現(xiàn)較好，但不能應(yīng)用于方向分辨率較低（比如5×5以下）的光場影像，且對噪聲比較敏感.針對存在遮擋和噪聲的復(fù)雜場景，Williem 等［81］提出了角熵（Angular Entropy，AE）和自適應(yīng)散焦（Adaptive Defocus，AD）兩種數(shù)據(jù)代價.AE 統(tǒng)計大部分像素亮度的概率，計算不同深度下角度域影像的信息熵，熵值時對應(yīng)的深度為正確深度.AD 僅測量整個角度域影像中一部分子區(qū)域的散焦響應(yīng)，增強(qiáng)了對遮擋的抵抗性.除此之外，AE 和AD 都添加了額外的顏色相似性約束，獲得了較好的深度估計效果.在AE 和AD 的基礎(chǔ)上，Williem 等［31］進(jìn)一步提出了約束角熵代價（Constrained Angular Entropy，CAE）和約束自適應(yīng)散焦代價（Constrained Adaptive Defocus，CAD）.CAE 基于顏色相似性對每個像素進(jìn)行加權(quán)，而不是賦予所有像素相同的權(quán)重，這使得遮擋像素的貢獻(xiàn)更小，更好地抑制了噪聲.CAD 沒有在選定的子區(qū)域上添加顏色約束，而是將該約束放置在所有子區(qū)域并計算最小代價，降低了遮擋的影響.最后，利用馬爾科夫隨機(jī)場模型（Markov Random Field，MRF）對兩種度量進(jìn)行綜合，進(jìn)一步提高了對遮擋和噪聲的魯棒性，從而提高了在復(fù)雜場景下的估計精度.圖12給出了BCM和綜合利用AE和AD方法在有無噪聲情況下恢復(fù)得到的深度結(jié)果圖對比.可以看出，噪聲對BCM 方法的影響較大，而后者對噪聲具有較好的抵抗性.

圖12 在無噪聲和有噪聲情況下深度估計結(jié)果對比

4.3 基于EPI的光場三維深度恢復(fù)

EPI中線的方向?qū)?yīng)于圖像的深度，可通過分析線結(jié)構(gòu)的方向估計深度.Wanner 等［82］使用結(jié)構(gòu)張量計算EPI中線的方向并評估其可靠性，然后使用變分法優(yōu)化初始深度值，得到亞像素級的精度.該方法從一定的深度范圍內(nèi)直接尋找正確的深度值，而不用將深度范圍離散化處理，可得到連續(xù)的深度圖，而且速度較快，但該方法容易受到噪聲和遮擋的影響.Li 等［83］在Wanner等［82］的基礎(chǔ)上，增加了顏色一致性約束，提高了結(jié)構(gòu)張量在EPI 上深度估計的可靠性.基于初始估計深度對整幅圖像進(jìn)行分割，并采用稀疏線性系統(tǒng)，在不同區(qū)域使用兩個不同的相似性矩陣，對初始評估結(jié)果進(jìn)行優(yōu)化，提高了精度和效率，但依然沒有考慮遮擋.Zhang等［84］使用EPI中線上像素的強(qiáng)度、梯度和空間一致性來找到最佳角度，并利用雙線性內(nèi)插提高初始評估角度的連續(xù)性.在此基礎(chǔ)上，計算每個像素的置信度，找到評估結(jié)果不可靠的像素，基于圖像本身的結(jié)構(gòu)，將周圍可靠像素的深度擴(kuò)展到不可靠像素，完成整幅圖像的深度評估，但是該方法僅能應(yīng)用于具有較大方向分辨率的光場影像.Suzuki 等［85］針對大視差范圍光場數(shù)據(jù)，提出對EPI 進(jìn)行斜切處理來提高評估精度.他們發(fā)現(xiàn)，結(jié)構(gòu)張量在EPI中線的方向接近垂直時評估精度較高，首先對EPI進(jìn)行不同程度的斜切處理并計算置信度，然后通過濾波將高置信度的結(jié)果集成到最終的視差圖中，提高了在大視差情況下的評估精度，但該算法未考慮遮擋.Zhang 等［86］提出了一種基于EPI 的旋轉(zhuǎn)平行四邊形算法SPO（Spinning Parallelogram Operator）.SPO 首先通過計算EPI中平行于目標(biāo)線兩側(cè)平行四邊形區(qū)域的最大加權(quán)直方圖距離來尋找單方向EPI上的最優(yōu)方向；然后提出一種可靠的深度置信度評估算法，對水平和垂直方向的評估結(jié)果進(jìn)行聚合；最后利用邊緣保持濾波算法進(jìn)一步優(yōu)化評估結(jié)果.雖然SPO 沒有對遮擋和噪聲進(jìn)行明確的處理，但對遮擋和噪聲都有較好的抵抗性.

圖13 是一張國際棋盤格光場影像［80］.場景中存在復(fù)雜的遮擋關(guān)系，該種情況下提取的EPI中線結(jié)構(gòu)被破壞（如圖中紅色和黃色框選區(qū)域），導(dǎo)致無法正確提取影像的深度.

圖13 EPI在遮擋下的表現(xiàn)[80]

Sheng 等［87］在SPO［86］的基礎(chǔ)上，利用多方向的EPI上的有用信息，提高了在遮擋區(qū)域的深度估計精度.首先提取多方向的EPI并評估深度，然后利用多次評估的深度值計算兩個遮擋線索，找出被遮擋像素.對處于遮擋邊緣的像素點(diǎn)，僅利用與遮擋邊界方向相同的EPI的評估結(jié)果，減少了遮擋的影響.Schilling 等［88］提出一種綜合利用深度和遮擋的深度評估模型.具體地，在評估過程中，動態(tài)更新已評估像素的深度，以此對待評估像素的各視角信息進(jìn)行判斷，找出未被遮擋視角，計算代價量.在此基礎(chǔ)上，利用周圍信息進(jìn)行局部優(yōu)化.雖然該算法并未進(jìn)行全局優(yōu)化，但是在邊緣和弱紋理區(qū)域均表現(xiàn)較好.

4.4 基于深度學(xué)習(xí)的光場三維深度恢復(fù)

深度學(xué)習(xí)算法已經(jīng)在圖像處理、目標(biāo)檢測、自動駕駛等領(lǐng)域取得了前所未有的成果.針對光場影像三維深度信息恢復(fù)這一問題，研究人員采用深度學(xué)習(xí)領(lǐng)域前沿算法開展研究，探索深度學(xué)習(xí)技術(shù)在光場三維重建中的應(yīng)用潛力.Shin 等［89］提出一種基于全卷積神經(jīng)網(wǎng)絡(luò)的光場深度估計方法EPINET.首先，利用光場幾何特性設(shè)計一種端到端的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)；其次，構(gòu)建水平、垂直以及左右對角線多流網(wǎng)絡(luò)；最后，使用16 個光場合成圖像，對光場特定數(shù)據(jù)進(jìn)行增強(qiáng)，并從這16個合成光場圖像中隨機(jī)抽取23×23 的灰度圖像塊進(jìn)行訓(xùn)練.該算法不僅在合成光場數(shù)據(jù)的各項(xiàng)指標(biāo)上均表現(xiàn)較好，而且算法的可靠性在一小部分真實(shí)光場數(shù)據(jù)上也得到了驗(yàn)證.為了更充分利用光場影像中有效的多視角信息以及剔除無用信息，Tsai 等［90］提出一種基于新的神經(jīng)卷積網(wǎng)絡(luò)光場深度估計算法.首先通過構(gòu)建視圖選擇模塊生成一幅注意力圖，找出每個視角信息的潛在重要性大小，然后利用光場不同視角信息的對稱性增強(qiáng)注意力圖的對稱性，提高了深度估計的準(zhǔn)確性，獲得了較好的結(jié)果.不同尺度和方向的EPI 可能會影響最終的深度估計精度.為此，Zhou 等［91］設(shè)計了一種基于EPI的尺度和方向自感知學(xué)習(xí)方法來估計深度.具體地，以每個像素的多向EPI 塊為輸入，設(shè)計了兩種自適應(yīng)尺度選擇和方向融合的網(wǎng)絡(luò)結(jié)構(gòu)，一種是尺度自感知結(jié)構(gòu)，另一種是用于融合多方向特征的共享權(quán)重網(wǎng)絡(luò)，提高了深度估計的準(zhǔn)確性.Wang 等［92］針對光場深度估計，提出一種基于對極幾何和圖像分割的卷積神經(jīng)網(wǎng)絡(luò).首先利用對極幾何來估計初始視差圖，然后將多方向EPI 作為輸入數(shù)據(jù)，根據(jù)不同方向EPI 的視差選擇卷積塊，同時利用圖像分割結(jié)果獲得中心視角子孔徑圖像的邊緣信息，通過將兩個部分的輸出串聯(lián)起來，得到最終的深度圖.

4.5 不同方法對比與分析

不同的數(shù)據(jù)形式在深度估計中有其自身的優(yōu)勢.傳統(tǒng)多視影像可以方便地利用周圍信息，但由于影像間基線很短，易出現(xiàn)誤匹配，造成錯誤深度估計.角度域影像能有效地利用光場重聚焦的特點(diǎn)，且易于去除遮擋的影響，但難以利用周圍信息.EPI 將視差固定在一個維度，利于提高深度估計的準(zhǔn)確性，但當(dāng)前基于EPI的方法僅利用了線上或者線周圍一方面信息，降低了深度估計精度.基于深度學(xué)習(xí)的方法在部分合成數(shù)據(jù)上取得了較好的結(jié)果，但訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)需要非常大的數(shù)據(jù)集，目前還只有很少一部分包含深度真值的真實(shí)光場數(shù)據(jù)可用于學(xué)習(xí)，因此基于深度學(xué)習(xí)的方法還難以應(yīng)用于真實(shí)光場數(shù)據(jù)的深度估計.

為評估不同方法的性能，本文選用了基于多視的Jeon 等［75］提出的方法（記作MVP），基于角度域圖像的Wang 等［78］提出的方法（記作OV）和CAE［31］以及基于EPI 的SPO［86］4 種典型方法進(jìn)行對比實(shí)驗(yàn)分析，其中CAE和OV對遮擋進(jìn)行了針對性的處理.算法的實(shí)現(xiàn)利用了原作者提供的代碼，參數(shù)按照作者的建議進(jìn)行設(shè)置.實(shí)驗(yàn)數(shù)據(jù)利用了帶有真實(shí)深度值的合成光場數(shù)據(jù)和真實(shí)光場數(shù)據(jù).合成數(shù)據(jù)是由Wanner等［93］提供的光場數(shù)據(jù)深度估計算法標(biāo)準(zhǔn)測試數(shù)據(jù)集中的“Buddha”“Mona”“Stilllife”和“Papillon”數(shù)據(jù)，便于進(jìn)行定量評價；真實(shí)數(shù)據(jù)采用了瑞士洛桑理工學(xué)院（école Polytechnique Fédérale de Lausanne，EPFL）提供的Lytro Illum 相機(jī)拍攝的光場影像［94］.

對于所有的算法，將最大和最小視差范圍等分為81個深度標(biāo)簽以確保對于每種算法的每個深度標(biāo)簽的步長是一致的.對于合成光場數(shù)據(jù)，最大和最小視差的輸入是根據(jù)真值確定的；對于真實(shí)光場數(shù)據(jù)，最大和最小視差的輸入分別取1 和-1.考慮到上述每種方法采用了不同的優(yōu)化方法，首先比較了未經(jīng)優(yōu)化的深度估計結(jié)果（Local），以測試每個成本量的區(qū)分能力；然后在應(yīng)用每種算法自身優(yōu)化方法的情況下，對優(yōu)化后的結(jié)果（Optimized）進(jìn)行了比較.為了實(shí)現(xiàn)定量評估，采用100倍的均方根誤差RMSE作為標(biāo)準(zhǔn).

其中，N是待評估深度圖的大小，GΤ 和d分別是真值和計算出來的深度.同時，對被遮擋區(qū)域單獨(dú)評價，用RMSEOCC表示其精度.被遮擋區(qū)域根據(jù)真值計算得到，具體地，如果真值深度圖上某個像素在x和y方向上梯度值和的絕對值大于0.01，則認(rèn)為該點(diǎn)是被遮擋.

表3 分別給出了幾種算法在優(yōu)化前（Local）和優(yōu)化后（Optimized）的定量對比實(shí)驗(yàn)結(jié)果，為方便查看，每組數(shù)據(jù)的最優(yōu)結(jié)果用加粗標(biāo)出.MVP 在優(yōu)化前和優(yōu)化后均表現(xiàn)不佳.OV 整體表現(xiàn)相對平均，在遮擋區(qū)域則表現(xiàn)不穩(wěn)定，在部分?jǐn)?shù)據(jù)上取得了比較好的結(jié)果，比如在“Mona”數(shù)據(jù)優(yōu)化后深度圖的RMSEOCC值為6.457，表現(xiàn)最好，但在“Buddha”數(shù)據(jù)上優(yōu)化后深度圖的RMSEOCC值為13.238，表現(xiàn)最差.整體上，CAE 在優(yōu)化前表現(xiàn)最好，在四組數(shù)據(jù)上均取得了最好的結(jié)果，但其在優(yōu)化后提升有限，僅從0.559 提升到0.429；在遮擋區(qū)域，在“Buddha”“Mona”和“Stilllife”數(shù)據(jù)上則出現(xiàn)了優(yōu)化后變差的情況，導(dǎo)致其平均RMSEOCC從5.883 變大為7.208.SPO 在優(yōu)化前均表現(xiàn)較差，但SPO 在優(yōu)化后有明顯提升，比如SPO 優(yōu)化前RMSE 和RMSEOCC的均值分別為3.491 和8.717，優(yōu)化后分別提升到0.372 和5.426，在整體和被遮擋區(qū)域精度均最高.

表3 幾種典型光場深度估計算法在Wanner等[93]提供的合成數(shù)據(jù)集上的定量實(shí)驗(yàn)結(jié)果

圖14展示了幾種算法在合成數(shù)據(jù)上評估的深度圖對比實(shí)驗(yàn)結(jié)果.可以看出，MVP和SPO的深度圖在優(yōu)化前均存在大量被錯誤估計的深度噪點(diǎn)，這也是它們在定量結(jié)果上表現(xiàn)較差的主要原因.OV和CAE在優(yōu)化前噪聲較少，但OV在邊緣出現(xiàn)了明顯的錯誤，CAE則整體表現(xiàn)較好.優(yōu)化后，MVP 在平坦區(qū)域表現(xiàn)良好，但存在邊緣過度平滑的情況；OV 在表面和邊緣恢復(fù)方面表現(xiàn)都比較平均；SPO 和CAE 在細(xì)紋理結(jié)構(gòu)和紋理不連續(xù)區(qū)域都表現(xiàn)較好，同時在紋理匱乏區(qū)域均表現(xiàn)較好.

圖14 合成光場數(shù)據(jù)上評估的深度圖對比實(shí)驗(yàn)結(jié)果

圖15 展示了幾種算法在Lytro Illum 拍攝影像上評估的初始深度圖對比結(jié)果.數(shù)據(jù)中不僅包含具有挑戰(zhàn)性的場景，例如遮擋、細(xì)結(jié)構(gòu)和紋理匱乏區(qū)域，而且還存在大量的噪聲和失真的情況.從結(jié)果可以看出，MVP 在優(yōu)化前表現(xiàn)較好，但優(yōu)化后存在過度平滑的問題，且在弱紋理區(qū)域出現(xiàn)大片連續(xù)區(qū)域的錯誤深度估計.OV 受影像噪聲影響較大，優(yōu)化前存在較多噪聲，優(yōu)化后得到較大程度的提升.CAE 在遮擋邊界處表現(xiàn)良好，噪聲較少，但在細(xì)結(jié)構(gòu)和低紋理區(qū)域容易出錯.SPO 雖然在優(yōu)化前的深度圖中也存在較多噪點(diǎn)，但考慮到在合成數(shù)據(jù)中同樣存在噪點(diǎn)，因此受光場影像質(zhì)量影響不大；而且在優(yōu)化后的深度圖上，SPO在保持物體形狀、恢復(fù)弱紋理表面和保持細(xì)結(jié)構(gòu)方面表現(xiàn)最佳.

圖15 真實(shí)光場數(shù)據(jù)上可視化對比實(shí)驗(yàn)結(jié)果

5 開放獲取的光場數(shù)據(jù)和算法

大量的公開光場相機(jī)數(shù)據(jù)以及光場影像處理算法，促進(jìn)了光場領(lǐng)域的發(fā)展.本文對目前的公開資源進(jìn)行了總結(jié).表4 列出了目前開源的光場數(shù)據(jù)，包含合成光場影像、多傳感器光場影像、基于時間序列的光場影像以及標(biāo)準(zhǔn)型/聚焦型光場影像.斯坦福大學(xué)計算圖形實(shí)驗(yàn)室在光場研究領(lǐng)域非?；钴S，先后公布了利用相機(jī)陣列、Lego gantry、gantry、光場顯微鏡、Lytro Illum 拍攝的光場影像，用以深度估計和多次拍攝光場影像的重建性能測試［50，95］.麻省理工學(xué)院的Wetzstein［96］、海德堡大學(xué)的Wanner等［93］和Honauer等［97］發(fā)布了包含真值的合成數(shù)據(jù)集，用于測試深度估計算法.洛桑理工學(xué)院的Rerabek 等［94］、羅馬大學(xué)的Paudyal 等［98］和慕尼黑工業(yè)大學(xué)的Hazirbas 等［99］發(fā)布了包含不同場景類別和不同數(shù)目的Lytro Illum 光場影像數(shù)據(jù)集.慕尼黑工業(yè)大學(xué)的Zeller 等［100］公布了利用雙目相機(jī)和Raytrix R5 同步拍攝的數(shù)據(jù)，用以對比單目、雙目和光場相機(jī)在三維重建上的不同表現(xiàn).法國國家信息與自動化研究所（Institut National de Recherche en Informatique et en Automatique，INRIA）先后發(fā)布了Lytro、Lytro Illum、Raytrix R8以及合成光場影像數(shù)據(jù)集［101］，用以測試深度估計算法、場景識別以及標(biāo)準(zhǔn)型光場相機(jī)和聚焦型光場相機(jī)的數(shù)據(jù)聯(lián)合處理問題.瑞典中部大學(xué)的Ahmad等［102］發(fā)布了同時包含Lytro Illum 和Raytrix R29影像的數(shù)據(jù)集，用于測試標(biāo)準(zhǔn)型和聚焦型光場影像的匹配結(jié)果.英國的貝德福特大學(xué)的Hahne等［103］公布了自主研發(fā)光場相機(jī)拍攝的光場數(shù)據(jù).

表4 公開的光場數(shù)據(jù)小結(jié)

表5列出了目前與光場三維重建相關(guān)的開源算法，包括光場相機(jī)的標(biāo)定和光場影像三維深度恢復(fù)兩個方面.其中大部分是國外機(jī)構(gòu)開源，另外也有部分國內(nèi)機(jī)構(gòu)如海軍航空大學(xué)、西北工業(yè)大學(xué)和臺灣大學(xué)等，大大促進(jìn)了該領(lǐng)域的發(fā)展.

表5 與光場三維重建相關(guān)的開源算法小結(jié)

6 總結(jié)

光場相機(jī)作為一種新型相機(jī)，能夠通過單次拍攝同時采集空間和方向信息，為三維重建提供了新的數(shù)據(jù)源.目前，光場相機(jī)的三維重建研究處于探索階段，一些基本問題還尚未被解決.為挖掘光場相機(jī)的應(yīng)用潛力，本文對國內(nèi)外圍繞光場相機(jī)的三維重建展開的諸多研究工作進(jìn)行了梳理和總結(jié)，并指出了目前存在的主要問題和未來可能的研究方向.

（1）當(dāng)前的光場相機(jī)多為國外生產(chǎn)，迫切需要研制自主可控的國產(chǎn)光場相機(jī).由于空間分辨率和方向分辨率的相互矛盾，相機(jī)參數(shù)的制定過程中應(yīng)根據(jù)應(yīng)用進(jìn)行專業(yè)化設(shè)計，在提高方向分辨率的同時，保證空間分辨率不會明顯下降，并提高拍照速度.

（2）新型光場相機(jī)的出現(xiàn)必然會給相機(jī)標(biāo)定引入新的問題，而準(zhǔn)確有效地完成相機(jī)標(biāo)定是進(jìn)行下一步工作的基礎(chǔ).為得到準(zhǔn)確通用的標(biāo)定模型，構(gòu)建投影模型時需考慮不同內(nèi)部設(shè)計的光場相機(jī)并兼顧不同鏡頭的相機(jī)畸變.同時，在標(biāo)定完成后，需構(gòu)建大量不同條件的光場影像數(shù)據(jù)集，對標(biāo)定算法進(jìn)行全面而深入的評估.

（3）光場影像固有地包含多視角信息，可用以評估影像的深度.雖然部分深度估計算法在大多數(shù)區(qū)域都能取得較好的效果，但在遮擋的區(qū)域表現(xiàn)較差.為了去除遮擋的影響，其中一個極端是構(gòu)建同時考慮所有視角遮擋和深度的完全遮擋評估模型，但該方法效率較低.另一個極端是，利用某種策略預(yù)先估計被遮擋視角，并利用剩下未被遮擋的視角來評估深度.目前大部分的方法都是基于第二種策略，該類方法難以保證剔除的視角都是被遮擋的視角，被錯誤剔除的視角信息就損失了，在后續(xù)的優(yōu)化過程中，這些被錯誤剔除的信息也沒有被應(yīng)用到.因此，在評估過程以及優(yōu)化過程，從整體和局部同時考慮遮擋是未來的主要研究方向.此外，基于學(xué)習(xí)的三維深度恢復(fù)方法表現(xiàn)出巨大的潛力.

總體來說，光場相機(jī)給三維重建提供新的思路的同時，也引入了諸多問題.如何準(zhǔn)確地恢復(fù)相機(jī)內(nèi)部的光場，實(shí)現(xiàn)場景的精細(xì)化三維重建在未來的一段時間依然會是研究的熱點(diǎn)問題，還需要更進(jìn)一步地深入研究.