壓縮光場重建與深度估計(jì)

劉曉旻，馬治邦，王前程，杜夢珠，朱云飛，馬鳳英，梁二軍

(鄭州大學(xué) 物理工程學(xué)院，河南 鄭州 450001)

引言

光場是空間中每一個(gè)點(diǎn)和每一個(gè)方向輻射函數(shù)的總和[1]，光場圖像蘊(yùn)含了物方全部的三維信息，可用在重聚焦[2]、超分辨[3]、深度估計(jì)[4]、顯著性檢測[5]、以及三維重建[6]等領(lǐng)域。目前獲取光場的途徑主要有3種：相機(jī)陣列[7]或者單個(gè)相機(jī)進(jìn)行移動(dòng)[1]、微透鏡陣列法[2]以及掩膜法[8]獲取光場。相機(jī)陣列成本高，體積龐大，限制了它的應(yīng)用，單個(gè)相機(jī)移動(dòng)采集光場僅限靜態(tài)場景。微透鏡陣列法采集光場雖然光場采集設(shè)備輕便，但該方法采集的光場的空間分辨率(光場子圖像大小)和角度分辨率(光場視角個(gè)數(shù))存在制約，不能得到和傳感器分辨率一樣的光場子圖像。掩膜法是將掩膜加入到成像系統(tǒng)中，對光線進(jìn)行調(diào)制，再通過重建算法恢復(fù)出光場數(shù)據(jù)，這種方法可以解決光場空間分辨率與角度分辨率制約問題，恢復(fù)出的光場子圖像大小和采集到的光場圖像大小一致。目前研究光場重建主要有Ashok、Babacan等人分別用光學(xué)編碼方法采集壓縮光場[9-10]，常雷等人分析掩膜光場成像的特點(diǎn)并仿真驗(yàn)證[11]，劉永春等人仿真驗(yàn)證基于掩膜的光場采集與重建[12]。覃亞麗利用低秩矩陣分解完成光場稀疏采樣和重建[13]。光場的深度估計(jì)是指將采集的光場通過一系列計(jì)算獲取場景的深度信息，是當(dāng)今國內(nèi)外研究熱點(diǎn)之一。目前研究光場深度估計(jì)的主要有：Wanner和Kim等人利用對極平面圖(EPI)通過計(jì)算優(yōu)化得到最終深度圖[4,14]，但EPI計(jì)算深度計(jì)算量大，容易受噪聲影響。Chen、Heber、Jeon等通過求解不同微透鏡所對應(yīng)子圖像間的匹配關(guān)系來獲取深度信息[15-17]，對匹配噪聲難以抑制。Tao和Wang等人利用圖像的散焦信息為基礎(chǔ)，融合圖像其他信息后得到最終深度圖[18-19]，其深度估計(jì)結(jié)果邊緣效果不理想。

綜上所述，為了有效降低光場采集、處理和傳輸?shù)臄?shù)據(jù)量，提高深度估計(jì)結(jié)果邊緣處的準(zhǔn)確性，本文利用壓縮感知原理仿真重建了壓縮光場，同時(shí)在文獻(xiàn)[19]的基礎(chǔ)上提出了一種新的融合場景多種信息的深度估計(jì)算法，并實(shí)現(xiàn)對仿真重建出的光場的深度估計(jì)。通過K-SVD算法訓(xùn)練學(xué)習(xí)獲取光場過完備字典，使得光場可以稀疏表示。然后利用壓縮感知重建算法仿真重建出5×5視角光場。獲取光場數(shù)據(jù)后，實(shí)現(xiàn)光場的重聚焦，對于存在遮擋區(qū)域，采用方差較小的部分代替整個(gè)角度像素塊，計(jì)算聚焦不同深度處的角度像素塊的均值和方差之和的最小值作為初始深度，最大值和次最大值的比值作為置信度。然后計(jì)算中心視角圖像邊緣信息，最后通過融合初始深度、置信度、邊緣信息得到最終深度。實(shí)驗(yàn)通過壓縮感知原理仿真實(shí)現(xiàn)了多視角光場重建，并且對仿真重建光場和公開光場數(shù)據(jù)進(jìn)行了深度估計(jì)，實(shí)驗(yàn)結(jié)果表明，本文的深度估計(jì)算法在場景邊緣處的深度估計(jì)結(jié)果邊界清晰，層次分明。

1 壓縮感知原理

壓縮感知是一種新的采樣理論[20]，突破了奈奎斯特采樣定律的限制，在采樣頻率低于信號(hào)最高頻率的2倍時(shí)，也能精確重建信號(hào)，只要滿足：1)原始信號(hào)可以在稀疏基下稀疏表示；2) 稀疏基Ψ與測量矩陣Φ滿足約束等距性(RIP)就能夠高概率地重構(gòu)原始信號(hào)。信號(hào)f(f∈Rn)壓縮感知理論采樣過程可表示為

y=Φf

(1)

式中：Φ(Φ∈Rm×n(m<

f=Ψα

(2)

那么壓縮感知的測量公式可表示為

y=ΦΨα=Θα

(3)

1.1 光場稀疏表示

由于光場的復(fù)雜性，光場不能由單一完備基來稀疏表示。本文選擇過完備字典作為稀疏基Ψ，提高復(fù)雜光場稀疏表示的通用性。通過采集多組光場樣本數(shù)據(jù)作為光場樣本集，將光場樣本集隨機(jī)分成多個(gè)p×q光場碎片，再利用K-SVD[21]算法訓(xùn)練學(xué)習(xí)獲取這個(gè)稀疏基Ψn×d(n

圖1 部分光場過完備字典可視化Fig.1 Part of visualization over-complete light field dictionary

1.2 光場測量矩陣設(shè)計(jì)

測量矩陣Φ將完整光場值傳遞到測量值y，完成信號(hào)的線性測量和降維，即在采集光場圖像時(shí)實(shí)現(xiàn)數(shù)據(jù)壓縮。測量矩陣Φ與稀疏基Ψ共同構(gòu)成傳感矩陣Θ，重建原始信號(hào)時(shí)需要傳感矩陣能夠高概率地滿足約束等距性[21]。測量矩陣Φ與稀疏基Ψ之間高度不相干，則傳感矩陣Θ滿足k階約束等矩性。為了最大程度地滿足Φ與Ψ的不相干性，更好重建5×5視角的4D光場圖像，對測量矩陣進(jìn)行改進(jìn)，我們所用測量矩陣仍是隨機(jī)矩陣，但不直接生成等同圖像空間分辨率為808×808像素的隨機(jī)矩陣(如圖2所示)，而是每次只生成等同分割塊大小8×8像素的隨機(jī)矩陣，之后用多次生成的8×8像素大小隨機(jī)矩陣組合成大小為808×808像素的矩陣作為測量矩陣(如圖3所示)。這樣的測量矩陣具有更高的隨機(jī)性，且與冗余字典能滿足約束等距性(RIP)。

圖2 隨機(jī)測量矩陣Fig.2 Random measurement matrix

圖3 優(yōu)化隨機(jī)測量矩陣Fig.3 Optimization of random

1.3 光場重建算法

當(dāng)傳感矩陣滿足階約束等距性時(shí)，用l1最小化代替l0最小化，稀疏重建模型[20]可以表示為

mina‖α‖1s.t.y=Θα

(4)

采用LASSO(least absolute shrinkage and selection operator)模型來求解。引入噪聲約束參數(shù)λ更準(zhǔn)確描述，拉格朗日方程表示約束項(xiàng)形式為

mina‖y-Θα‖2+λ‖α‖1

(5)

采用交替方向乘子ADMM[22](alternating direction method of multipliers)算法求出稀疏向量α，再由過完備字典Ψ與稀疏向量求出原始光場。

重建時(shí)，需要將采集的二維光場圖像，即測量值y轉(zhuǎn)變?yōu)镹×1數(shù)組進(jìn)行計(jì)算。計(jì)算時(shí)數(shù)據(jù)量大，為了提高計(jì)算效率，采用滑動(dòng)分塊法重建光場，滑動(dòng)模塊大小為8×8像素。

2 光場深度估計(jì)原理

光場成像中，可以通過計(jì)算像點(diǎn)角度像素塊[19]特征來表征場景中的深度信息。通過數(shù)字重聚焦原理[23]獲得不同深度聚焦序列圖像。計(jì)算不同深度聚焦圖像角度像素塊的均值和方差來表征匹配線索和散焦線索。為使初始深度估計(jì)準(zhǔn)確，用匹配線索和散焦線索之和的最小值來表示初始深度。用匹配線索和散焦線索之和的最大值和次最大值比值表示置信度[19]。通過融合場景初始深度、置信度、中心視角圖像邊緣信息來獲取最終深度。

2.1 初始深度和置信度

當(dāng)重聚焦到α處時(shí)。遮擋區(qū)域被遮擋物分割成2個(gè)區(qū)域，方差小的區(qū)域用i表示，匹配線索用Cα(x,y)表示、散焦線索用Dα(x,y)表示，則有：

Cα(x,y)=Vα,i(x,y)

(6)

Dα(x,y)=(Iα,i(x,y)-L(0,0,x,y))2

(7)

式中Vα,i(x,y)、Iα,i(x,y)分別表示聚焦在α處時(shí)，角度像素片的方差和均值。

初始深度用Z(x,y)表示，置信度用W(x,y)來表示，有關(guān)系式：

Hα(x,y)=Cα(x,y)+Dα(x,y)

(8)

Z(x,y)=argminαHα(x,y)

(9)

W(x,y)=Hα(x,y)/Hα2(x,y)

(10)

2.2 最終深度計(jì)算

本文在最終深度的計(jì)算過程中融合圖像邊緣信息來增加場景邊緣處深度估計(jì)準(zhǔn)確性,其最終深度的計(jì)算是利用馬爾卡夫隨機(jī)場來傳播，定義能量函數(shù)為

(11)

Eunary部分的計(jì)算類似于Tao[24]里面(MRF propagation)表示初始深度Z(x,y)與置信圖W(x,y)之間運(yùn)算，表征著該點(diǎn)深度估計(jì)可靠性。

中心視角圖像相鄰像素之間灰度變化可表示為▽i(p,q)，有關(guān)系式：

(12)

式中：W(p)表示初始深度響應(yīng)；p,q表示兩相鄰像素；分子部分表示相鄰像素初始深度的變化；分母部分表示圖像邊緣信息。初始深度和場景中邊緣信息融合可以增加場景中邊緣處深度估計(jì)效果，使邊緣更明顯，深度結(jié)果更準(zhǔn)確。

3 實(shí)驗(yàn)結(jié)果

實(shí)驗(yàn)設(shè)備有：北京卓立漢光微米級(jí)三維平移臺(tái)2個(gè)，維視工業(yè)相機(jī)MV-VEM200SC 1個(gè)。實(shí)驗(yàn)數(shù)據(jù)處理使用Intel(R) Core i7-3770 計(jì)算機(jī)，參數(shù)為CPU3.40 GHz、內(nèi)存16.0 GB、Windows7 64位，處理軟件為MATLAB2016b和vs2010。

圖4 實(shí)驗(yàn)流程圖Fig.4 Experimental flow chart

3.1 壓縮光場仿真重建

利用三維平移臺(tái)采集5×5視角真實(shí)光場數(shù)據(jù)組成原始光場數(shù)據(jù)，每個(gè)光場子圖像大小為808×808像素，如圖5所示。然后用MATLAB生成808×808像素周期排列的測量矩陣。將采集到的光場子圖像與相應(yīng)的測量矩陣點(diǎn)乘再相加，得到仿真的壓縮傳感測量值y。然后利用上述的重建算法重建出5×5視角的光場圖像，公式(5)中正則化參數(shù)取2，仿真重建結(jié)果如圖6所示，局部放大圖像為90×90像素。

圖5 原始光場圖Fig.5 Origin light field images

圖6 仿真重建光場圖像Fig.6 Reconstruction light field images

通過圖5和圖6可以看出，仿真重建出的光場具有視差。但由于平移臺(tái)精度以及實(shí)驗(yàn)操作時(shí)的精度不能達(dá)到亞像素級(jí)，所以造成重建光場清晰度有所下降，但是平滑效果好。

3.2 公開光場數(shù)據(jù)深度估計(jì)結(jié)果

為驗(yàn)證本文深度估計(jì)算法的準(zhǔn)確性，用HCI大學(xué)光場數(shù)據(jù)“monasRoom”進(jìn)行深度估計(jì)，分別用本文方法、Wang方法[19]、Tao方法[24]和Mousnier方法[25]進(jìn)行深度估計(jì)，結(jié)果如圖7所示。從深度估計(jì)結(jié)果可以看出，與其他方法相比，本文方法的深度估計(jì)結(jié)果更好。在最終深度計(jì)算時(shí)，融合了圖像的邊緣信息，所以在場景邊緣處深度估計(jì)結(jié)果更準(zhǔn)確。

圖7 “monasRoom”深度估計(jì)結(jié)果Fig.7 Results of “monasRoom” depth estimation

在文獻(xiàn)[19]的基礎(chǔ)上，提出了融合初始深度、置信度、邊緣信息的深度估計(jì)算法，用邊緣信息代替文獻(xiàn)[19]深度正則化中遮擋預(yù)測的計(jì)算，在不影響計(jì)算精度的前提下，降低了時(shí)間開銷。分別用本文和文獻(xiàn)[19]對HCI大學(xué)的光場數(shù)據(jù)以及合成光場數(shù)據(jù)進(jìn)行深度估計(jì)，其深度估計(jì)的結(jié)果與基準(zhǔn)深度圖做對比，用均方誤差(mean squared error，MSE)作為誤差評(píng)價(jià)標(biāo)準(zhǔn)，實(shí)驗(yàn)結(jié)果如表1所示。MSE定義為

(13)

表1 時(shí)間開銷與MSE對比Table 1 Comparison of time cost and MSE

從表1中時(shí)間復(fù)雜度對比中可看到：利用邊緣信息替代遮擋線索優(yōu)化初始深度圖，降低了程序運(yùn)行的時(shí)間開銷，同時(shí)能夠獲取高精度的深度圖。

3.3 原始光場和仿真重建光場深度估計(jì)結(jié)果

用本文的深度估計(jì)方法分別對采集的原始光場、仿真重建出的光場進(jìn)行深度估計(jì)，實(shí)驗(yàn)結(jié)果如圖8所示。從圖8可以看出，重建光場深度估計(jì)結(jié)果分層沒有原始光場深度估計(jì)結(jié)果明顯，原因在于重建光場的視差比原始光場有所減少。

圖8 深度估計(jì)結(jié)果Fig.8 Results of depth estimation

為了驗(yàn)證重建光場深度估計(jì)準(zhǔn)確度，用本文的深度估計(jì)方法分別對“monasRoom”和仿真重建的“monasRoom”進(jìn)行深度估計(jì)，實(shí)驗(yàn)結(jié)果如圖9所示。通過與基準(zhǔn)深度對比，可以看出原始光場和仿真重建光場的準(zhǔn)確性。

圖9 深度估計(jì)結(jié)果Fig.9 Results of depth estimation

4 結(jié)論

文中采用壓縮感知原理仿真實(shí)現(xiàn)多視角光場重建，通過融合光場的初始深度、置信度、邊緣信息實(shí)現(xiàn)光場深度估計(jì)，系統(tǒng)地完成了從仿真壓縮光場采樣獲取光場數(shù)據(jù)，到重建光場，最后得到深度估計(jì)結(jié)果的整個(gè)過程。實(shí)驗(yàn)結(jié)果表明仿真重建光場可以用于深度估計(jì)。深度估計(jì)結(jié)果表明本文方法在場景邊緣處有更好效果，邊緣輪廓清晰，分層明顯。實(shí)驗(yàn)驗(yàn)證了單個(gè)相機(jī)單次曝光便可重建出一組5×5視角的光場圖像，將光場圖像的采樣率降低為4%。為降低光場采集、處理和傳輸?shù)臄?shù)據(jù)量，提高邊緣處深度估計(jì)結(jié)果的準(zhǔn)確度提供了實(shí)驗(yàn)依據(jù)。為后續(xù)搭建更準(zhǔn)確的物理平臺(tái)，實(shí)現(xiàn)測量矩陣調(diào)制真實(shí)入射光線，提高重建光場的精度，為采集、重建、深度估計(jì)一體化奠定了實(shí)驗(yàn)基礎(chǔ)，可用在三維重建、三維顯示等領(lǐng)域。