非透明光場(chǎng)超分辨率方法在火焰上的性能分析

單 良,趙騰飛,洪 波,孔 明

(1.中國(guó)計(jì)量大學(xué) 信息工程學(xué)院 浙江省電磁波信息技術(shù)與計(jì)量檢測(cè)重點(diǎn)實(shí)驗(yàn)室,浙江 杭州 310018;2.中國(guó)計(jì)量大學(xué) 計(jì)量測(cè)試工程學(xué)院,浙江 杭州 310018)

光場(chǎng)成像技術(shù)已被廣泛應(yīng)用于粒子圖像測(cè)速[1]、運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)[2]、距離測(cè)量[3]、三維重建[4-7]等工業(yè)科研領(lǐng)域。在火焰測(cè)溫和燃燒診斷領(lǐng)域[8],單光場(chǎng)相機(jī)可以利用火焰光場(chǎng)信息實(shí)時(shí)反演三維溫度場(chǎng),克服了多相機(jī)測(cè)溫系統(tǒng)結(jié)構(gòu)復(fù)雜,同步觸發(fā)難等問(wèn)題。東南大學(xué)的許傳龍教授等[9-14]耦合了光場(chǎng)成像和火焰輻射傳輸模型,建立了基于光場(chǎng)分層成像技術(shù)的火焰溫度場(chǎng)測(cè)量系統(tǒng),還重建了不同火焰的三維溫度場(chǎng)分布;哈爾濱工業(yè)大學(xué)的袁遠(yuǎn)教授等[15-16]對(duì)火焰輻射傳輸過(guò)程中各類參與介質(zhì)的光場(chǎng)成像模型進(jìn)行了研究;齊宏教授等[17-18]主要研究了火焰內(nèi)部輻射傳輸和光場(chǎng)成像模型,實(shí)現(xiàn)了火焰的三維溫度場(chǎng)重建。本課題組在火焰輻射光場(chǎng)成像模型和溫度場(chǎng)三維重建也進(jìn)行了持續(xù)的研究和探索[19-20]:結(jié)合光場(chǎng)重聚焦技術(shù)和光學(xué)分層法,實(shí)現(xiàn)了火焰的三維溫度場(chǎng)分層重建,提出多曝光時(shí)間的圖像融合測(cè)溫方法和基于阻尼最小二乘QR分解和列文伯格馬夸爾特算法(damping least squares QR decomposition-Levenberg-Marquardt with boundary constraint,LSQR-LMBC)的光場(chǎng)火焰三維溫度場(chǎng)重建。

在對(duì)光場(chǎng)圖像進(jìn)行三維重建時(shí),由于受到光場(chǎng)相機(jī)本身結(jié)構(gòu)的限制,獲取的光場(chǎng)圖像分辨率不高,以致影響了三維重建的精度。因此,光場(chǎng)圖像的超分辨率重建也是目前許多研究人員關(guān)注的熱點(diǎn)。Lim等[21]通過(guò)數(shù)學(xué)方法解釋了四維光場(chǎng)的角度數(shù)據(jù)如何包含空間信息,并根據(jù)角度數(shù)據(jù)提供的冗余信息增強(qiáng)空間分辨率。Alain等[22]將不適定的超分辨率問(wèn)題轉(zhuǎn)換為基于稀疏先驗(yàn)的優(yōu)化問(wèn)題,通過(guò)在光場(chǎng)5D塊匹配濾波(light field block-matching and 5D filtering,LFBM5D)和反投影之間迭代,實(shí)現(xiàn)超分辨率光場(chǎng)圖像的目標(biāo)。Rossi等[23]采用類似多幀的超分辨率方法,并與圖正則化(graph based regularization,GB)器耦合,避免了代價(jià)高昂的視差估計(jì)步驟。近年來(lái),基于學(xué)習(xí)的方法成為超分辨率光場(chǎng)圖像的主要研究方向。Yoon等[24]首先提出基于卷積神經(jīng)網(wǎng)絡(luò)的光場(chǎng)超分辨率算法(light field convolutional neural network,LFCNN),通過(guò)級(jí)聯(lián)空間超分辨率網(wǎng)絡(luò)和角度超分辨率網(wǎng)絡(luò),先增強(qiáng)每個(gè)子孔徑圖像的空間分辨率,再利用相鄰視圖之間的信息生成新穎視圖。Farrugia等[25]表明光場(chǎng)補(bǔ)丁塊存在于低維子空間中,并通過(guò)嶺回歸(ridge regression,RR)學(xué)習(xí)降維子空間之間的映射,該方法也被擴(kuò)展于角度超分辨率。這些光場(chǎng)超分辨率方法在進(jìn)行性能評(píng)估時(shí),常會(huì)與經(jīng)典的雙三次插值方法(bicubic interpolation,BIC)[26]和基于卷積神經(jīng)網(wǎng)絡(luò)的單圖像超分辨率方法(very deep convolutional network,VDSR)[27]進(jìn)行對(duì)比。

非透明場(chǎng)景在成像時(shí),圖像傳感器上的像素值僅與其表面發(fā)出的光線有關(guān)。對(duì)于半透明自發(fā)光火焰,將其視作一個(gè)個(gè)微元體組成的模型,每一個(gè)微元體發(fā)出輻射光線并穿過(guò)其他微元體進(jìn)入到光場(chǎng)相機(jī)中,在傳輸過(guò)程中發(fā)生吸收、發(fā)射和散射,圖像傳感器接收到的輻射光線不僅與火焰表面微元體有關(guān),也與火焰內(nèi)部微元體有關(guān)?，F(xiàn)有光場(chǎng)超分辨率算法應(yīng)用在火焰介質(zhì)上的效果如何需要進(jìn)一步實(shí)驗(yàn)和分析。

本文采集三種不同類型火焰的光場(chǎng)圖像,選取具有代表性的超分辨率算法:LFBM5D,GB,RR,LFCNN,BIC和VDSR進(jìn)行超分辨率重建,從重建精度、視圖一致性、視覺(jué)感知和光場(chǎng)極線平面圖(epipolar plane image,EPI)[28]多個(gè)維度評(píng)估重建性能,并和公共數(shù)據(jù)集EPFL中的非透明光場(chǎng)圖像的處理結(jié)果進(jìn)行比較,探討火焰半透明介質(zhì)的光場(chǎng)超分辨率重建的可行性和改進(jìn)方向。

1 超分辨率重建和評(píng)價(jià)方法

1.1 重建方法

LFBM5D稀疏編碼算法的核心思想是利用光場(chǎng)角度和空間維度上的冗余,以及自然圖像中出現(xiàn)的自相似性。算法中使用了硬閾值,硬閾值算法簡(jiǎn)單,但是適應(yīng)性較差、去噪效果不佳。這個(gè)方法適合于寬基線和低放大倍數(shù)的光場(chǎng)。

基于圖正則化的方法GB使用不同光場(chǎng)視圖中的信息來(lái)增強(qiáng)整個(gè)光場(chǎng)的空間分辨率。特別是,將多幀范式與強(qiáng)制光場(chǎng)結(jié)構(gòu)的圖正則化器耦合,避免了昂貴且具有挑戰(zhàn)性的視差估計(jì)步驟。其超分辨率結(jié)果可以有效提升中央視圖的重建精度,但側(cè)視圖的重建質(zhì)量還有待加強(qiáng)。

基于線性子空間投影的方法RR允許在光場(chǎng)的所有子孔徑圖像中以一致的方式增加不同視圖的空間分辨率。該方法優(yōu)點(diǎn)在于不需要大量的樣本進(jìn)行訓(xùn)練,但是對(duì)不同的數(shù)據(jù)集需要專門的訓(xùn)練。另外在投影到線性子空間的過(guò)程中,可能存在部分信息丟失。

基于卷積神經(jīng)網(wǎng)絡(luò)的方法LFCNN的空間超分辨率網(wǎng)絡(luò)僅由三個(gè)卷積層組成,重建結(jié)果相比雙線性插值和雙三次插值都有所提高,同時(shí)驗(yàn)證了超分辨率后的光場(chǎng)圖像可以有效提升深度估計(jì)時(shí)的精度。

雙三次插值方法BIC是一種單圖像的超分辨率方法,僅對(duì)每個(gè)子孔徑圖像單獨(dú)放大,無(wú)法利用視圖間的角度信息。通過(guò)兩個(gè)多項(xiàng)式插值三次函數(shù),計(jì)算得到目標(biāo)圖像的對(duì)應(yīng)像素點(diǎn)的值。相比于雙線性插值,可以得到更接近高分辨率圖像的放大效果和更平滑的圖像邊緣,但也導(dǎo)致了運(yùn)算量的急劇增加。

基于神經(jīng)網(wǎng)絡(luò)的單圖像超分辨率方法VDSR結(jié)合殘差塊構(gòu)建了非常深的神經(jīng)網(wǎng)絡(luò)。超分辨率的結(jié)果顯示,VDSR方法的輪廓清晰生動(dòng),在去噪和壓縮偽影去除上有較好的效果。

1.2 評(píng)價(jià)方法

在圖像的超分辨率重建領(lǐng)域,峰值信噪比(peak signal to noise ratio,PSNR)和結(jié)構(gòu)相似性指數(shù)(structural similarity index measure,SSIM)[29]常用作重建質(zhì)量的測(cè)量方法,PSNR的數(shù)值越大,則表示重建精度越好,SSIM是一個(gè)0到1之間的數(shù),越大表示輸出圖像和無(wú)失真圖像的差距越小。相比于傳統(tǒng)圖像,光場(chǎng)圖像可以認(rèn)為是從空間的不同角度對(duì)同一場(chǎng)景進(jìn)行捕捉得到的圖像,光場(chǎng)圖像的多視角圖像間包含著視差信息,由視差信息可以求得場(chǎng)景的3D點(diǎn)云。子孔徑圖像間重建精度的標(biāo)準(zhǔn)差越小,說(shuō)明光場(chǎng)的整體重建質(zhì)量越高[22]。光場(chǎng)圖像相對(duì)于傳統(tǒng)圖像的主要優(yōu)勢(shì)之一是可以獲得對(duì)極平面圖像EPI,它是具有恒定角度(垂直分辨率)和空間方向(水平分辨率)的2D切片。由于EPI僅由具有各種斜率的線組成,因此它使圖像處理和優(yōu)化易于處理。為此,本文將從重建精度、視圖一致性、光場(chǎng)EPI和視覺(jué)感知四個(gè)維度進(jìn)行超分辨率重建分析。

2 實(shí)驗(yàn)與分析

2.1 光場(chǎng)圖像的采集和預(yù)處理

火焰光場(chǎng)圖像使用Lytro Illum光場(chǎng)相機(jī)拍攝所得,火焰的光場(chǎng)圖像如圖1,圖1中(a)為火焰光場(chǎng)的多視角圖,其中(U,V)為角度坐標(biāo),(x,y)為空間坐標(biāo)。(b)為采集火焰的中心視角圖。

圖1 火焰光場(chǎng)圖像Figure 1 Light field image of flame

由Lytro Illum拍攝的光場(chǎng)圖像的空間分辨率為434×625,角度分辨率為15×15,考慮到光場(chǎng)相機(jī)的實(shí)際圖像在邊緣角度處存在漸暈效果,僅選用中間的9×9的視角圖。

在調(diào)用超分辨率方法前,對(duì)于LFBM5D方法,僅調(diào)整其中的角度分辨率參數(shù)為9×9。對(duì)于涉及多個(gè)參數(shù)的GB方法,選擇翹曲模式為“SQ”,能量函數(shù)的權(quán)重分別為1.0、0.2和0.005 5。對(duì)于RR方法,使用基礎(chǔ)的主成分分析(principal component analysis,PCA)算法和從作者提供數(shù)據(jù)集學(xué)習(xí)的轉(zhuǎn)換矩陣。對(duì)于LFCNN方法,使用原文的訓(xùn)練數(shù)據(jù)集,并使用K折交叉驗(yàn)證策略來(lái)訓(xùn)練。對(duì)于單圖像VDSR,使用原文訓(xùn)練的網(wǎng)絡(luò)。

2.2 重建精度

圖像的重建精度主要通過(guò)峰值信噪比PSNR和結(jié)構(gòu)相似性指數(shù)SSIM兩個(gè)指標(biāo)進(jìn)行評(píng)價(jià)。

火焰光場(chǎng)圖像都是大面積單一的黑色背景,這樣的特征會(huì)導(dǎo)致重建精度的結(jié)果虛高,從而影響對(duì)重建效果的判斷。為了減少背景的影響,通過(guò)火焰輪廓的水平和垂直方向切線來(lái)框選火焰主體,裁剪掉邊框外的背景部分。由于針對(duì)同一類型火焰一組圖片的重建精度效果相當(dāng),因此從每種類型的火焰中各選出一幅作為重建精度展示。表1中列出酒精_01、蠟燭_01和礦物油_01超分辨率重建后的定量評(píng)價(jià),其中黑色加粗代表評(píng)價(jià)指標(biāo)最優(yōu),下劃線代表評(píng)價(jià)指標(biāo)次優(yōu)。

表1 火焰光場(chǎng)在六種超分辨率方法下的PSNR和SSIMTable 1 PSNR and SSIM of flame light field using six super resolution methods

從表1可以看到,對(duì)于酒精火焰光場(chǎng)和礦物油火焰光場(chǎng),GB方法的重建精度都最高,這得益于其加入了圖正則化器,能夠從不同視圖中獲取信息。LFCNN方法表現(xiàn)也不錯(cuò),通過(guò)卷積神經(jīng)網(wǎng)絡(luò)直接學(xué)習(xí)了低分辨率光場(chǎng)圖像到高分辨率光場(chǎng)圖像的映射,利用了不同視圖間的有效信息,而不用考慮火焰輻射和光場(chǎng)成像模型。BIC方法雖然沒(méi)有加入各種光場(chǎng)先驗(yàn)信息,但在酒精火焰重建上僅次于GB方法,由此可見(jiàn),大部分光場(chǎng)超分辨率方法不能有效提取火焰光場(chǎng)中的冗余信息。RR方法也利用了視圖間的冗余信息,并通過(guò)多元嶺回歸學(xué)習(xí)低分辨率到高分辨率的映射,但是由于PCA降維過(guò)程會(huì)丟失一些信息,最終結(jié)果還具有提升空間。VDSR方法表現(xiàn)中等,因?yàn)樵摲椒ㄖ粚?duì)每個(gè)子孔徑圖像單獨(dú)進(jìn)行超分辨率重建,如果加入視圖間的冗余信息應(yīng)該能有更好的效果。LFBM5D的重建精度和以上五種方法有明顯差距,這是由于該方法主要適用于寬基線數(shù)據(jù),而Lytro光場(chǎng)相機(jī)拍攝的光場(chǎng)圖像基線非常窄,使得該方法在進(jìn)行稀疏編碼和反投影操作時(shí)性能受限。

對(duì)于蠟燭火焰光場(chǎng),由于出現(xiàn)了過(guò)曝情況,內(nèi)焰和外焰已經(jīng)無(wú)法區(qū)分,失去了半透明的特性,在不同方法的處理效果上將和非透明光場(chǎng)進(jìn)行比較。

從光場(chǎng)公共數(shù)據(jù)集EPFL上選取了三幅非透明場(chǎng)景的光場(chǎng)圖像來(lái)和火焰光場(chǎng)的重建效果進(jìn)行對(duì)比。為了和火焰光場(chǎng)圖像的分辨率保持一致,將空間分辨率和角度分辨率分別調(diào)整為434×625和9×9,其中心視角圖如圖2。

圖2 EPFL非透明光場(chǎng)的中心視角圖Figure 2 Central views of the selected non transparent light field images of EPFL

圖3展示了不同類型火焰光場(chǎng)和EPFL非透明光場(chǎng)在六種選定的超分辨率方法下重建精度的對(duì)比。

圖3 火焰與EPFL非透明光場(chǎng)的重建精度對(duì)比Figure 3 Comparison of reconstruction accuracy of flame and EPFL non transparent light field

從圖3中可以看出,半透明狀態(tài)的火焰酒精_01和礦物油_01由于場(chǎng)景簡(jiǎn)單,在不同超分辨率方法下的重建精度都高于EPFL非透明光場(chǎng)。過(guò)曝的火焰蠟燭_01雖然場(chǎng)景也十分簡(jiǎn)單,但是內(nèi)焰與外焰已經(jīng)無(wú)法區(qū)分,不再符合燃燒的特征,其重建精度介于半透明火焰和EPFL非透明光場(chǎng)之間。另外,半透明火焰的場(chǎng)景間沒(méi)有遮擋,內(nèi)外焰結(jié)構(gòu)分明,對(duì)于通過(guò)光場(chǎng)結(jié)構(gòu)特性進(jìn)行超分辨率的方法,特別是GB,可以有效找到待重建點(diǎn)在不同視圖上的正確投影位置,這也使得GB在半透明火焰上的重建精度高于基于學(xué)習(xí)的方法。過(guò)曝的火焰在基于學(xué)習(xí)的VDSR和LFCNN上都有不錯(cuò)的效果,這和EPFL非透明光場(chǎng)的重建結(jié)果是一致的,也說(shuō)明半透明火焰的特征與非透明光場(chǎng)的特征存在差異,想要通過(guò)學(xué)習(xí)的方法提高半透明火焰光場(chǎng)的分辨率,應(yīng)該創(chuàng)建對(duì)應(yīng)的火焰光場(chǎng)數(shù)據(jù)集。

2.3 視圖一致性評(píng)估

對(duì)于視圖一致性的評(píng)估應(yīng)當(dāng)回歸到光場(chǎng)多視角圖像中,當(dāng)每一個(gè)子孔徑圖像的重建精度相近時(shí),才能保證其中包含的視差信息得到保留。為此,對(duì)每幅光場(chǎng)所有視圖的PSNR值計(jì)算了標(biāo)準(zhǔn)差(standard deviation,SD),標(biāo)準(zhǔn)差越大說(shuō)明重建精度的離散程度越大,視圖一致性越差。同時(shí)為了更直觀的表現(xiàn)視圖一致性,將每一個(gè)子孔徑圖像的PSNR映射到色塊矩陣中,每個(gè)色塊代表一個(gè)視圖。圖4的(a)、(b)和(c)分別為半透明火焰光場(chǎng)的酒精_01、過(guò)曝火焰蠟燭_01和EPFL非透明光場(chǎng)的Danger_de_Mort的色塊矩陣圖。視圖一致性主要表現(xiàn)在邊緣視角和中心視角位置,為了便于展示,從中選取了角度分辨率為1,3,5,7,9的色塊,這一操作并不影響評(píng)估結(jié)果。

圖4 色塊矩陣圖Figure 4 Color block matrix

從方差的結(jié)果可以看出,半透明火焰酒精_01在不同超分辨率方法下的視圖一致性均好于過(guò)曝的火焰蠟燭_01和EPFL非透明光場(chǎng)的Danger_de_Mort。半透明介質(zhì)在光場(chǎng)成像時(shí),內(nèi)部光線雖然被外部光線遮擋,但是內(nèi)外光線形成一束疊加的光線投影到光場(chǎng)圖像上,介質(zhì)的內(nèi)外信息都被采集到了。非透明場(chǎng)景因?yàn)榇嬖谡趽鯁?wèn)題,在光場(chǎng)成像時(shí)被遮擋的點(diǎn)只能投影到一部分視圖上,對(duì)于整個(gè)光場(chǎng)來(lái)說(shuō),采集的信息是殘缺的,因此在超分辨率重建時(shí)不同視圖重建精度的離散程度比較大。從色塊矩陣中可以看出,重建質(zhì)量最高的視圖位置與場(chǎng)景中明亮的位置對(duì)應(yīng)。光場(chǎng)多視角圖可以理解為從不同視角拍攝的圖像,自然越是靠近明亮位置的視角成像質(zhì)量越好。

2.4 光場(chǎng)EPI

場(chǎng)景中的點(diǎn)在EPI圖像上表現(xiàn)為一條斜線,這條斜線的斜率與場(chǎng)景點(diǎn)的深度有關(guān)。以礦物油_02和Color_Chart_1為例,紅色標(biāo)線為選取的EPI圖像的空間坐標(biāo)位置,從不同視角提取該行像素,然后沿著角度坐標(biāo)堆疊,即可得到EPI圖像(圖5)。

圖5 不同超分辨率方法下的EPI對(duì)比Figure 5 EPI comparison of different super resolution methods

從重建后的EPI上可以看出,火焰光場(chǎng)和非透明光場(chǎng)在不同超分辨率方法下表現(xiàn)基本相同,都是在LFBM5D方法和RR方法上產(chǎn)生了偽影,在GB方法上效果較好,在LFCNN和VDSR方法上效果次之,在BIC方法上較為模糊。

2.5 視覺(jué)感知評(píng)估

相比于客觀的數(shù)值計(jì)算,人眼的主觀感受也是評(píng)價(jià)圖像重建好壞的一個(gè)要素。通過(guò)人眼觀察可以直觀感受重建后的圖像在哪些方面表現(xiàn)較好,在哪些方面變現(xiàn)較差。在視覺(jué)感知評(píng)估中,從半透明火焰光場(chǎng)和EPFL非透明光場(chǎng)中分別選取了礦物油_01和Danger_de_Mort圖像,并放大局部細(xì)節(jié)。具體如圖6。

圖6 不同超分辨率方法下中心視圖的視覺(jué)比較Figure 6 Visual comparison of center view under different super-resolution methods

可以看到,在礦物油_01上,LFBM5D在內(nèi)焰邊緣產(chǎn)生了一些偽影,GB在外焰到內(nèi)焰的過(guò)渡上存在不自然現(xiàn)象,RR方法則在內(nèi)焰邊緣較為模糊,LFCNN與VDSR方法相差不大,表現(xiàn)都十分不錯(cuò)。這說(shuō)明基于學(xué)習(xí)的方法在端到端的學(xué)習(xí)過(guò)程中沒(méi)有引入過(guò)多冗余信息,保持了較好的視覺(jué)感知效果。

在Danger_de_Mort圖像上,LFBM5D和RR方法產(chǎn)生了偽影,GB的視覺(jué)效果在BIC和LFCNN之間,基于學(xué)習(xí)的LFCNN和VDSR方法均優(yōu)于其他方法。

從視覺(jué)感知的結(jié)果來(lái)看,火焰光場(chǎng)在現(xiàn)有光場(chǎng)超分辨率方法下與非透明光場(chǎng)重建效果相近。

3 結(jié) 論

在本文中,將現(xiàn)有光場(chǎng)超分辨率方法應(yīng)用在火焰這種半透明自發(fā)光介質(zhì)上,結(jié)果顯示,火焰光場(chǎng)的重建精度值明顯高于非透明光場(chǎng),這主要是由于火焰結(jié)構(gòu)相對(duì)于非透明光場(chǎng)結(jié)構(gòu)簡(jiǎn)單且場(chǎng)景單一。對(duì)于半透明火焰光場(chǎng),GB方法針對(duì)光場(chǎng)結(jié)構(gòu)構(gòu)造約束項(xiàng),能適應(yīng)不同類型的光場(chǎng),重建精度最高;在視圖一致性上,半透明火焰在光場(chǎng)成像時(shí),隨著視角的變化,內(nèi)焰和外焰的不同組合疊加著投影到傳感器上,非透明物體光場(chǎng)成像時(shí)只與表面的反射光線有關(guān),且場(chǎng)景間的遮擋僅在部分視角上成像,因此半透明火焰光場(chǎng)的超分辨率離散程度也低于非透明光場(chǎng);在視覺(jué)感知和光場(chǎng)EPI上,火焰光場(chǎng)與非透明光場(chǎng)重建效果較為相同,都在BIC方法上較為模糊,在LFBM5D和RR方法上產(chǎn)生了偽影。

未來(lái)在基于火焰的光場(chǎng)超分辨率研究上,應(yīng)當(dāng)從火焰的輻射模型和光場(chǎng)成像模型入手,耦合內(nèi)外焰與傳感器每個(gè)像素的關(guān)系,同時(shí)利用光場(chǎng)結(jié)構(gòu)的獨(dú)特性,從不同視圖中提取冗余信息。對(duì)于卷積神經(jīng)網(wǎng)絡(luò)等基于學(xué)習(xí)的方法,主要是創(chuàng)建大量的火焰光場(chǎng)數(shù)據(jù)集,從端到端學(xué)習(xí)低分辨率和高分辨率之間的映射。