光場(chǎng)重聚焦成像的散焦機(jī)理及聚焦評(píng)價(jià)函數(shù)*

劉賓 潘毅華 閆文敏

1) (中北大學(xué)信息與通信工程學(xué)院,太原 030051)

2) (瞬態(tài)沖擊技術(shù)重點(diǎn)實(shí)驗(yàn)室,北京 102202)

光場(chǎng)成像技術(shù)可以通過場(chǎng)景的光場(chǎng)信息實(shí)現(xiàn)場(chǎng)景全聚焦圖像合成和背景目標(biāo)的去遮擋重聚焦等應(yīng)用,其中如何有效評(píng)價(jià)圖像中的聚焦區(qū)域是進(jìn)行上述應(yīng)用的前提.但是,傳統(tǒng)成像系統(tǒng)離焦物體的點(diǎn)擴(kuò)散特性與光場(chǎng)重聚焦圖像中離焦特性存在本質(zhì)差異,因此基于離焦物點(diǎn)擴(kuò)散特性的評(píng)價(jià)標(biāo)準(zhǔn)無法適用光場(chǎng)重聚焦圖像的聚焦度評(píng)價(jià).針對(duì)上述問題,本文從光場(chǎng)成像重聚焦的原理出發(fā),分析離焦目標(biāo)圖像的虛化特征,設(shè)計(jì)光場(chǎng)重聚焦圖像的聚焦度評(píng)價(jià)函數(shù),在此基礎(chǔ)上研究了聚焦區(qū)域的精細(xì)化分割方法.光場(chǎng)重聚焦實(shí)驗(yàn)和去前景遮擋重聚焦實(shí)驗(yàn)表明了本文方法在光場(chǎng)重聚焦圖像聚焦度評(píng)價(jià)中的有效性.

1 引 言

目前,光場(chǎng)成像中前景目標(biāo)的標(biāo)記通?；趫?chǎng)景深度分布信息,但是利用場(chǎng)景光場(chǎng)數(shù)據(jù)對(duì)深度分布進(jìn)行估計(jì)需要繁瑣的計(jì)算過程,并且當(dāng)場(chǎng)景復(fù)雜時(shí)深度分布的計(jì)算存在較大誤差,影響重建質(zhì)量[4].另一方面,人們考慮利用聚焦和散焦區(qū)域的圖像的清晰度紋理銳度特征對(duì)離焦區(qū)域進(jìn)行判決[5-10].但是現(xiàn)有空域和頻域的清晰度評(píng)價(jià)函數(shù)均以傳統(tǒng)成像系統(tǒng)散焦模型為基礎(chǔ),即散焦函數(shù)建模時(shí)遵循彌散斑擴(kuò)散規(guī)律[11-15].然而光場(chǎng)重聚焦成像過程中離焦目標(biāo)的虛化是由多視角圖像錯(cuò)位疊加而成,過程中場(chǎng)景的紋理和邊緣信息在一定程度上得到保留,宏觀上表現(xiàn)為模糊的區(qū)域,其中仍然包含大量的高頻信息[16,17].而傳統(tǒng)成像模型基于彌散斑擴(kuò)散機(jī)理的建模規(guī)律與數(shù)字重聚焦過程存在較大差異,因此現(xiàn)有評(píng)價(jià)方式不能夠很好地適用.

鑒于此,本文從光場(chǎng)重聚焦計(jì)算成像的基本原理出發(fā),分析離焦物體虛化的本質(zhì),提出適用于計(jì)算重聚焦的聚焦度判別方法,并將本文算法應(yīng)用到復(fù)雜場(chǎng)景的去遮擋聚焦重建中,結(jié)果表明本文算法能夠有效標(biāo)記和分離虛化偽影信息,保證場(chǎng)景中局部被遮擋目標(biāo)的高質(zhì)量聚焦重建.

2 光場(chǎng)表征及光場(chǎng)重聚焦原理

光場(chǎng)是對(duì)空間光輻射方向和強(qiáng)度信息的參數(shù)化表示,它反映了光輻射強(qiáng)度的分布位置與傳播方向的映射關(guān)系.根據(jù) 光場(chǎng)渲染理論,其被簡(jiǎn)化為四維光場(chǎng)函數(shù) L(u,v,s,t) ,其中u,v和s,t分別表示輻射光線與空間兩平面交點(diǎn)坐標(biāo),從而可以通過空間兩點(diǎn)來描述輻射場(chǎng)中的任意一條光線[18,19],如圖1所示.

圖1 光場(chǎng)的雙平面表示方法示意圖Fig.1.Schematic diagram of biplane representation of light field.

若將傳統(tǒng)成像系統(tǒng)的光瞳平面和探測(cè)器平面對(duì)應(yīng)到雙平面模型中兩個(gè)相互平行的平面,可以認(rèn)為探測(cè)器平面上的任一點(diǎn)s,t的探測(cè)數(shù)值是經(jīng)過光瞳平面的不同方向光輻射的積分.可見傳統(tǒng)成像系統(tǒng)無法對(duì)光輻射的方向和位置進(jìn)行區(qū)分,但是如果將相機(jī)按照一定的規(guī)律進(jìn)行移動(dòng)形成虛擬相機(jī)陣列,從多個(gè)視角對(duì)同一場(chǎng)景進(jìn)行成像,便可以有效獲取場(chǎng)景輻射的光場(chǎng)信息.

以視點(diǎn)的一維運(yùn)動(dòng)構(gòu)成的 1×N 虛擬相機(jī)陣列為例進(jìn)行詳細(xì)分析,相機(jī)在移動(dòng)過程中光軸相互平行,且均垂直于視點(diǎn)組成的空間平面,移動(dòng)步進(jìn)表示為B.

如圖2所示,場(chǎng)景中物點(diǎn)M距相機(jī)陣列距離為z,Re為參考視點(diǎn),f為相機(jī)焦距,對(duì)于視點(diǎn)n和Re來說,其光心與M的連線與成像平面相交,交點(diǎn)為M在成像平面上的投影點(diǎn),分別距圖像左端的距離為 Sn與 Sr,根據(jù)三角幾何關(guān)系：

總之，在高中物理教學(xué)中進(jìn)行合理的問題設(shè)計(jì)可以啟發(fā)學(xué)生的智慧，鍛煉學(xué)生的思維，讓學(xué)生更好的認(rèn)識(shí)物理規(guī)律，掌握物理知識(shí)本質(zhì)，并能培養(yǎng)學(xué)生的科學(xué)態(tài)度與責(zé)任，運(yùn)用物理知識(shí)更好的為人類服務(wù)的意識(shí).

其中,Sr-Sn為M點(diǎn)在n與 Re視點(diǎn)對(duì)應(yīng)圖像中的視差,表示為 Δd ,則可得

重聚焦過程中,為保證重建圖像對(duì)應(yīng)特定深度目標(biāo)的清晰度,需要消除各視點(diǎn)對(duì)應(yīng)圖像中目標(biāo)物的視差.假設(shè)M點(diǎn)為重聚焦所在物面,則各視點(diǎn)對(duì)應(yīng)圖像的去視差結(jié)果表示為

其中 ΔBn表示視點(diǎn)n與參考視點(diǎn)間的距離,τ=f/z 為調(diào)焦系數(shù),In,z表示為相機(jī)n對(duì)焦至深度z下的圖像,s表示所有物點(diǎn)在原始圖像的位置,s′表示經(jīng)變換的物點(diǎn)所在的新位置.

可以通過調(diào)整 τ 值的大小對(duì)焦至不同深度z對(duì)應(yīng)的目標(biāo).將去視差后的多視點(diǎn)圖像進(jìn)行求和平均,得到對(duì)焦至M點(diǎn)所在物面的重聚焦圖像.

將(4)式進(jìn)行二維擴(kuò)展可以獲得二維虛擬相機(jī)陣列各視點(diǎn)對(duì)應(yīng)圖像的去視差結(jié)果,表示為

圖2 多視點(diǎn)合成孔徑成像系統(tǒng)示意圖Fig.2.Schematic diagram of a multiview synthetic aperture imaging system.

3 重聚焦圖像離焦目標(biāo)特征及聚焦評(píng)價(jià)函數(shù)

由第2節(jié)分析可知,光場(chǎng)重聚焦過程是通過調(diào)節(jié)調(diào)焦系數(shù)實(shí)現(xiàn)場(chǎng)景中指定深度物面的重建過程.過程中多視點(diǎn)獲取的圖像序列按照(5)式進(jìn)行線性平移獲取去視差圖像序列,所謂的去視差是針對(duì)特定深度聚焦面目標(biāo)而言,而離焦面目標(biāo)經(jīng)過平移變換后仍然存在一定視差.最終將經(jīng)過去視差的圖像序列進(jìn)行疊加平均,聚焦面目標(biāo)得到增強(qiáng)而非聚焦面目標(biāo)均會(huì)產(chǎn)生虛化.

但是該過程表現(xiàn)的虛化與傳統(tǒng)成像系統(tǒng)的離焦過程存在較大差異,傳統(tǒng)成像系統(tǒng)中偏離聚焦平面的物點(diǎn)表現(xiàn)為一定尺寸的彌散斑,場(chǎng)景中離焦目標(biāo)物點(diǎn)所成的像彼此重疊從而導(dǎo)致圖像變得模糊.而數(shù)字聚焦過程中偏離聚焦平面的目標(biāo)在任意視點(diǎn)的圖像中若表現(xiàn)為清晰的邊緣或紋理時(shí),由于視差的存在導(dǎo)致疊加后的圖像對(duì)應(yīng)區(qū)域的結(jié)構(gòu)紋理或邊緣信息仍然有突出的表現(xiàn).

圖3 重聚焦至場(chǎng)景不同深度時(shí)離焦目標(biāo)的虛化特征 (a) 重聚焦至前景(花為聚焦目標(biāo)物); (b) 重聚焦至后景(畫報(bào)為聚焦目標(biāo)物)Fig.3.The blurring characteristics of defocused target when refocusing to different depth of the scene：(a) Refocus to the foreground (flower is the focus object; (b) refocus to the background (pictorial is the focus object).

如圖3所示,重聚焦到不同物面時(shí),離焦目標(biāo)區(qū)域邊緣和紋理結(jié)構(gòu)信息仍然保留.離焦面區(qū)域在宏觀方面表現(xiàn)為虛化,但是從細(xì)節(jié)方面可以看出：原始場(chǎng)景中的目標(biāo)邊緣或紋理信息仍然被較好地保留.并且場(chǎng)景中前景目標(biāo)虛化造成的模糊疊加在聚焦物面上,形成虛化偽影.因此采用傳統(tǒng)成像系統(tǒng)的聚焦評(píng)價(jià)函數(shù)無法有效適用.

鑒于上述問題,本文從光場(chǎng)重聚焦的原理出發(fā),分析重聚焦計(jì)算造成離焦目標(biāo)虛化的特征.可以看出：離焦面上的物點(diǎn)在多視圖像序列對(duì)應(yīng)位置處的像素值由于視差的存在表現(xiàn)出較大差異,而聚焦面上的物點(diǎn)由于視差完全消除而表現(xiàn)出較好的一致性.因此,本文以指定聚焦因子情況下重聚焦圖像像素值與多視點(diǎn)去視差后圖像序列對(duì)應(yīng)位置處的像素值的差異程度作為聚焦度評(píng)價(jià)的依據(jù),構(gòu)造評(píng)價(jià)函數(shù)為

(6)式為重聚焦圖像在 (s,t) 位置處的聚焦度評(píng)價(jià)函數(shù),其中 Sz(s,t) 為重聚焦圖像,In,z(s,t) 為各視點(diǎn)按照聚焦因子去視差后的圖像,N表示視點(diǎn)數(shù)量.可以看出函數(shù) C(s,t) 越小,聚焦效果越好.根據(jù)這一規(guī)則,設(shè)置合適閾值對(duì)重聚焦圖像進(jìn)行遍歷,確定像素的聚焦度并進(jìn)行分類.

4 聚焦區(qū)域的精細(xì)化分割

遍歷重聚焦圖像對(duì)像素聚焦程度進(jìn)行判別并標(biāo)記,初步判定可將其劃分為聚焦、離焦和不確定三種類型.但是,基于上述分類結(jié)果無法實(shí)現(xiàn)聚焦區(qū)域和非聚焦區(qū)域的分割和提取.因此,本文采用的自然圖像分割算法[20,21]對(duì)初始分類圖像進(jìn)行精細(xì)化處理,以實(shí)現(xiàn)最終聚焦區(qū)域提取.該方法以顏色的局部平滑性假設(shè)為前提,將圖像表示為前景F和背景B的組合.假設(shè)圖像像素為前景的概率 α ,圖像可以表示為

其中i表示像素坐標(biāo),則

其中,wjj是以j為中心的窗口,ε 為正則項(xiàng).計(jì)算獲得關(guān)于 α 的二次代價(jià)函數(shù)

其中L為一個(gè)拉普拉斯摳圖矩陣,表達(dá)式為

δ為克羅內(nèi)克符號(hào)函數(shù),μk和 σk為k所在窗口的像素大小均值及方差,通過求解獲取全局最優(yōu)的 α 值.按照上述圖像分割方法,將初始標(biāo)記的圖像作為輸入,便可得到精細(xì)化分割的結(jié)果.

5 實(shí)驗(yàn)與結(jié)果分析

本文實(shí)驗(yàn)選用Stanford大學(xué)相機(jī)陣列拍攝的室內(nèi)場(chǎng)景數(shù)據(jù)集,場(chǎng)景由盆栽、CD盒、儲(chǔ)物瓶和海報(bào)組成,盆栽作為場(chǎng)景的前景目標(biāo),CD和海報(bào)在多視點(diǎn)均被前景目標(biāo)部分遮擋.數(shù)據(jù)集由105個(gè)視點(diǎn)圖像組成,視點(diǎn)排列為5行21列,單視點(diǎn)圖像分辨率為515×650.

實(shí)驗(yàn)一針對(duì)前景盆栽目標(biāo)進(jìn)行重聚焦重建,分別采用傳統(tǒng)聚焦度判別算法和本文算法對(duì)重建圖像聚焦區(qū)域進(jìn)行標(biāo)記.并以標(biāo)記圖像為基礎(chǔ)輸入信息,對(duì)其進(jìn)行精細(xì)化處理,實(shí)現(xiàn)前景目標(biāo)的分割.

圖4 (a)和圖4 (b)中白色區(qū)域表示聚焦區(qū)域,黑色區(qū)域?yàn)殡x焦區(qū)域,保持原色的區(qū)域?yàn)椴淮_定區(qū)域.可以看出,采用傳統(tǒng)像素級(jí)聚焦度判別算法時(shí),由于重聚焦過程離焦物體的邊緣和紋理信息對(duì)聚焦度判別形成干擾,聚焦度評(píng)價(jià)誤判嚴(yán)重,如場(chǎng)景中CD盒邊緣、畫報(bào)邊緣和儲(chǔ)物瓶印刷圖案等區(qū)域均出現(xiàn)誤判，如圖4 (a)示.以此結(jié)果為基礎(chǔ)輸入精細(xì)化處理過程,造成聚焦和離焦目標(biāo)無法有效區(qū)分,精細(xì)化處理過程中無法實(shí)現(xiàn)前景目標(biāo)的分割，如圖4 (c)所示.采用本文方法能夠有效克服背景目標(biāo)邊緣和紋理信息等造成的誤判問題,聚焦度判決誤差小，如圖4 (d)所示.雖然部分前景目標(biāo)被歸屬為不確定區(qū)域,但是可以通過精細(xì)化處理后得到較好的擴(kuò)充,最終實(shí)現(xiàn)前景目標(biāo)的分割.

實(shí)驗(yàn)二利用本文提出的重聚焦判決方法,首先獲取場(chǎng)景的前景目標(biāo)并進(jìn)行標(biāo)記,進(jìn)而調(diào)整聚焦因子將重聚焦平面向后景推移,并且對(duì)前景射線進(jìn)行篩選剔除,進(jìn)而實(shí)現(xiàn)后景目標(biāo)的去遮擋聚焦重建.

場(chǎng)景中盆栽為前景目標(biāo),其對(duì)后景CD盒造成一定的遮擋,圖5(a)為參考視點(diǎn)圖像,圖5(b)為沒有布設(shè)盆栽的場(chǎng)景參考視點(diǎn)圖像.利用多視點(diǎn)采集場(chǎng)景的光場(chǎng)信息進(jìn)行重聚焦成像,調(diào)整聚焦因子使系統(tǒng)重聚焦至CD盒所在物面,如圖5(c)所示,重聚焦圖像中前景目標(biāo)雖然在一定程度上得到虛化,但是仍然會(huì)疊加到聚焦目標(biāo)上,形成虛化偽影,嚴(yán)重影響圖像重建的質(zhì)量.如圖5(d)若采用本文方法對(duì)場(chǎng)景前景目標(biāo)進(jìn)行標(biāo)記和提取,并在重建過程中剔除目標(biāo)輻射光線的影響,則重聚焦結(jié)果可以有效消除前景的虛化偽影,提升重聚焦質(zhì)量.

圖像結(jié)果的質(zhì)量評(píng)價(jià)可以采用峰值信噪比(peak signal to noise ratio,PSNR)和平均結(jié)構(gòu)相似度(mean structural similarity index measure,MSSIM)對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行定量評(píng)價(jià),其中PSNR值越高,表明重建結(jié)果與原圖更為接近,MSSIM范圍為0-1,其值越接近1,表明重建圖像與原始圖像更為接近.可以看出經(jīng)過本文方法去遮擋重建后的質(zhì)量相比直接重聚焦重建圖像在信噪比和結(jié)構(gòu)相似度方面均有很大改善.

6 結(jié) 論

針對(duì)光場(chǎng)重聚焦圖像散焦區(qū)域的特征進(jìn)行分析,在與傳統(tǒng)成像模型離焦模型對(duì)比的基礎(chǔ)上,從光場(chǎng)重聚焦的原理出發(fā),提出重建圖像聚焦度判決函數(shù),并進(jìn)一步研究了重聚焦圖像聚焦區(qū)域的精細(xì)化分割算法.

理論分析和實(shí)驗(yàn)結(jié)果表明,本文將重建圖像聚焦度判決回歸到去視差圖像序列的像素值偏差的評(píng)價(jià)方法是有效的.相對(duì)于傳統(tǒng)的聚焦度判決方法,本文方法可以有效地克服場(chǎng)景目標(biāo)邊緣和紋理信息在離焦區(qū)域的影響,對(duì)光場(chǎng)重聚焦圖像的聚焦度判決具有更好的適應(yīng)性.同時(shí)利用本文方法對(duì)場(chǎng)景中前景目標(biāo)進(jìn)行標(biāo)記和篩選,在場(chǎng)景后景目標(biāo)重聚焦過程可以有效克服前景虛化疊加在聚焦物上的偽影,提升了重建質(zhì)量.并且本文方法無需復(fù)雜的計(jì)算過程,具有較高的效率.