基于成像一致性檢測(cè)的光場(chǎng)圖像快速深度估計(jì)方法

徐翎豐

摘要：光場(chǎng)相機(jī)可以通過(guò)單次成像同時(shí)記錄場(chǎng)景中光線的強(qiáng)度和角度信息，這使其在深度估計(jì)中具有獨(dú)特優(yōu)勢(shì)。但目前的深度估計(jì)方法普遍存在計(jì)算量大、耗時(shí)長(zhǎng)的問(wèn)題，使得深度估計(jì)方法的實(shí)時(shí)性較差，限制了深度估計(jì)的使用場(chǎng)景。針對(duì)這一問(wèn)題，本文從成本量函數(shù)和優(yōu)化方法兩方面進(jìn)行了改進(jìn)。實(shí)驗(yàn)結(jié)果表明，本文方法在提高了深度估計(jì)精度的同時(shí)減少了計(jì)算耗時(shí)，提高了算法的實(shí)時(shí)性。

關(guān)鍵詞：深度估計(jì);成像一致性檢測(cè);數(shù)字重聚焦;光場(chǎng)

中圖分類(lèi)號(hào)：TP18? ? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1009-3044（2019）20-0233-02

開(kāi)放科學(xué)（資源服務(wù)）標(biāo)識(shí)碼（OSID）：

Abstract：The light field camera can simultaneously record the intensity and angle information of the light in the scene by one exposure， which makes it have a unique advantage in depth estimation. However， the current depth estimation method generally has a large computational complexity and a long time-consuming problem， which makes the depth estimation method have poor real-time performance and limits the usage scenarios of the depth estimation. In response to this problem， this paper improves by constructing a new cost function. Firstly， digital refocusing is performed by using the original image of the light field to obtain the light field images of different depth planes. Then， the image photo-consistency detection is performed on the light field image of each depth layer， and the cost function is constructed， and adaptively acquired by the principle of minimum cost. The optimal cost at each point is obtained from the initial depth map.Finally， the fast weighted median filter is used to optimize the final depth map. The experimental results show that the proposed method reduces the computation time while ensuring the accuracy of depth estimation and improves the real-time performance of the algorithm.

Key words： depth estimation; photo-consistency detection; digital refocus; light field

當(dāng)前，快速、高精度三維重建和三維成像已經(jīng)成為市場(chǎng)的一大需求。三維技術(shù)的核心——深度估計(jì)也逐漸成為研究熱點(diǎn)。傳統(tǒng)的深度估計(jì)設(shè)備主要是傳統(tǒng)相機(jī)或是相機(jī)陣列，前者單次拍攝所獲取的圖像信息量低，后者便攜性較差。光場(chǎng)相機(jī)的出現(xiàn)解決了這一問(wèn)題。光場(chǎng)相機(jī)是當(dāng)今一種新興的相機(jī)種類(lèi)，在傳統(tǒng)的相機(jī)透鏡后加入微透鏡陣列使得它可以通過(guò)單次成像同時(shí)記錄場(chǎng)景中光線的強(qiáng)度和角度信息。

目前，利用光場(chǎng)圖像進(jìn)行深度估計(jì)的方法主要基于立體匹配的方法、基于極平面圖像（EPI）的方法以及基于重聚焦的方法?；诹Ⅲw匹配的方法中比較有代表性的是Jeon等人[1]的方法。他們較好地解決了光場(chǎng)相機(jī)的窄基線問(wèn)題，但算法依然會(huì)受場(chǎng)景中的陰影、紋理和弱紋理區(qū)域影響?；谥鼐劢沟纳疃裙烙?jì)方法中較有代表性的是Tao等人[2]的方法，他們用馬爾可夫隨機(jī)場(chǎng)將匹配和散焦兩種線索融合以進(jìn)行深度估計(jì)，但其全局優(yōu)化方法不僅增加了計(jì)算時(shí)間，而且使得深度估計(jì)結(jié)果過(guò)于平滑。之后，Ying等人[3]對(duì)這一不足進(jìn)行了進(jìn)一步改進(jìn)，提升了算法對(duì)復(fù)雜遮擋區(qū)域的計(jì)算效果，但遮擋處理也使得該算法計(jì)算復(fù)雜、計(jì)算耗時(shí)長(zhǎng)。針對(duì)以上方法中計(jì)算復(fù)雜、耗時(shí)長(zhǎng)的問(wèn)題，本文提出了一種基于成像一致性檢測(cè)的快速深度估計(jì)方法。

1算法原理

1.1 數(shù)字重聚焦

本文參考文獻(xiàn)[4]中的方法進(jìn)行數(shù)字重聚焦，重聚焦公式如下：

式中，[Lα]為重聚焦之后的光場(chǎng)圖像;[L]為重聚焦之前的光場(chǎng)圖像;[α]為重聚焦參數(shù)，是重聚焦后深度與重聚焦之前深度之比;[s，t]為空間坐標(biāo);[u，v]為角度坐標(biāo)。計(jì)算點(diǎn)在每個(gè)深度圖像中的匹配代價(jià)值，則匹配代價(jià)值最小的重聚焦圖像所對(duì)應(yīng)的深度值即為該點(diǎn)的深度值。

1.2 匹配代價(jià)構(gòu)建

當(dāng)聚焦到某點(diǎn)的正確深度時(shí)，圖像中一個(gè)宏像素中所有像素對(duì)應(yīng)空間中的同一個(gè)點(diǎn)，即像素值一致性強(qiáng)。利用這一特性，本文構(gòu)建如下匹配代價(jià)函數(shù)：

式中，[Cα（s，t）]為深度為[α]的重聚焦圖像中空間坐標(biāo)為[s，t]的點(diǎn)的匹配代價(jià)值;[N]為宏像素[P]內(nèi)的點(diǎn)的數(shù)量;[Iu，v]為宏像素[P]內(nèi)角度坐標(biāo)為[u，v]的點(diǎn);[I]為宏像素[P]中像素的平均值。

1.3 初始深度估計(jì)

經(jīng)過(guò)計(jì)算，能夠得到圖像中每個(gè)點(diǎn)在各個(gè)深度面的匹配代價(jià)值，之后采用最小代價(jià)原則，自適應(yīng)地選取最佳深度值：

1.4 初始深度優(yōu)化

由于局部算法運(yùn)算時(shí)取的是局部的最優(yōu)解，但局部最優(yōu)解往往不是全局最優(yōu)解，這導(dǎo)致

初始深度圖中存在噪聲點(diǎn)，因此需要對(duì)其進(jìn)行優(yōu)化，將局部結(jié)果進(jìn)行擴(kuò)散。目前較為常用的方法是用圖割算法進(jìn)行全局優(yōu)化，但這種方法存在著計(jì)算耗時(shí)長(zhǎng)和易受原圖像中邊緣信息干擾的缺點(diǎn)。因此，本文采用文獻(xiàn)[5]中的加權(quán)中值濾波來(lái)優(yōu)化初始深度圖。

2 實(shí)驗(yàn)結(jié)果與分析

2.1 實(shí)驗(yàn)平臺(tái)

本文實(shí)驗(yàn)所使用設(shè)備為PC，主要配置如下：CPU為IntelCorei5-6500，主頻為3.20GHz，4核;RAM為8GB，操作系統(tǒng)為Windows10，64位;使用Matlab與C++混合編程，Matlab版本為R2014b。

2.2 實(shí)驗(yàn)數(shù)據(jù)

為證明本文方法的有效性，本文選取HCI數(shù)據(jù)集中的光場(chǎng)圖像進(jìn)行深度估計(jì)。HCI數(shù)據(jù)集是采用Blender軟件渲染得到的光場(chǎng)數(shù)據(jù)，空間分辨率為512×512像素，角度分辨率為9×9，提供子孔徑圖像、相機(jī)參數(shù)和深度真值（GroundTruth），可以對(duì)算法效果進(jìn)行全方位評(píng)估。

2.3 實(shí)驗(yàn)設(shè)計(jì)

算法選取方面，本文選取了文獻(xiàn) [1] 、文獻(xiàn) [2] 和文獻(xiàn) [3] 的方法參與對(duì)比。其中，文獻(xiàn)[1]的方法能夠代表傳統(tǒng)的立體匹配方法;文獻(xiàn)[2]的方法能夠代表傳統(tǒng)的重聚焦方法;文獻(xiàn)[3]是在文獻(xiàn)[2]計(jì)算框架的基礎(chǔ)上增加了對(duì)復(fù)雜遮擋場(chǎng)景的處理，其適應(yīng)性更佳。

參數(shù)設(shè)置方面，為了控制變量，本文中參與對(duì)比的所有算法的深度等級(jí)/最大視差都設(shè)置為101級(jí)。

2.4 結(jié)果對(duì)比

本文對(duì)比選取的指標(biāo)為均方誤差（MSE×100），計(jì)算公式如下：

式中，[I]為光場(chǎng)圖像[L]中的一點(diǎn)，[D（I）]為點(diǎn)[I]處的深度值;[gt（I）]為點(diǎn)[I]處的深度真值;[|L|]為圖像[L]中的像素總數(shù)。

表1給出了各種方法深度結(jié)果的均方誤差值以及算法平均耗時(shí)，可以看出，本文方法在多數(shù)場(chǎng)景中可以得到最優(yōu)結(jié)果，在計(jì)算效率和計(jì)算精度兩方面均明顯優(yōu)于其他方法。

3 結(jié)論

針對(duì)目前光場(chǎng)影像深度估計(jì)方法計(jì)算復(fù)雜、耗時(shí)長(zhǎng)的問(wèn)題，本文提出了一種快速的光場(chǎng)影像深度估計(jì)方法。首先利用光場(chǎng)原始圖像進(jìn)行數(shù)字重聚焦，得到不同深度面的光場(chǎng)圖像;之后對(duì)每一深度層的光場(chǎng)圖像進(jìn)行成像一致性檢測(cè)，構(gòu)建成本量函數(shù)，并利用最小成本原則自適應(yīng)地獲取每個(gè)點(diǎn)處的最佳成本量，得到初始深度圖;最后通過(guò)快速加權(quán)中值濾波進(jìn)行優(yōu)化，得到最終深度圖。經(jīng)實(shí)驗(yàn)結(jié)果證明，本文算法能夠同時(shí)提高算法的計(jì)算效率和計(jì)算精度。下一步工作中，我們將著力于進(jìn)一步提升算法對(duì)復(fù)雜場(chǎng)景的深度估計(jì)精度。

參考文獻(xiàn)：

[1] Jeon H G， Park J， Choe G， et al. Accurate Depth Map Estimation from a Lenslet Light Field Camera [C]. Proceedings of the 2015 IEEE Conferenceon Computer Vision and Pattern Recognition. Boston， USA： [IEEE]， 2015.

[2] Tao M W， Hadap S， Malik J， et al. Depth from combining defocus and correspondence using light-field cameras[C]. Proceedings of the IEEE International Conference on Computer Vision （ICCV）. Sydney， Austrilia： [IEEE]， 2013.

【通聯(lián)編輯：唐一東】