利用邊緣相似度的光場圖像質(zhì)量評價

田 鈺 曾煥強(qiáng) 邢 露 符 穎 蔡燦輝

(華僑大學(xué)信息科學(xué)與工程學(xué)院，廈門市移動多媒體通信重點實驗室，福建廈門 361021)

1 引言

與傳統(tǒng)成像不同，光場成像突破了簡單將三維場景投影在二維平面的局限性，通過記錄光輻射在傳播過程中的四維位置和方向信息，實現(xiàn)了多視角成像、三維重建、全對焦成像、深度估計等多種成像應(yīng)用。然而，在獲取、處理、壓縮、存儲、傳輸和渲染的過程中，光場圖像(Light Field Image，LF image)會產(chǎn)生圖像失真效應(yīng)，從而影響光場圖像處理與分析系統(tǒng)性能。因此，構(gòu)建一個能夠快速準(zhǔn)確地反應(yīng)人眼對于光場圖像質(zhì)量的主觀感知度的光場圖像客觀質(zhì)量評價模型至關(guān)重要。

隨著信息化時代的到來，數(shù)字圖像處理技術(shù)得到了飛速的發(fā)展并廣泛應(yīng)用于生活中，圖像質(zhì)量評價[1](Image Quality Assessment，IQA)能夠直觀反映出圖像質(zhì)量的好壞，因此成為圖像處理領(lǐng)域不可或缺的部分。圖像質(zhì)量評估主要分為兩大類：主觀質(zhì)量評價和客觀質(zhì)量評價。人類作為圖像的最終接受體，主觀質(zhì)量評價需要在特定的測試環(huán)境、測試設(shè)備、測試時間和距離下，要求一群測試人員觀看一組測試數(shù)據(jù)并依照自己的直觀感受對其進(jìn)行打分，從而得到最終的主觀感知分?jǐn)?shù)。雖然主觀質(zhì)量評價能夠真實地反映出人類視覺系統(tǒng)特性(Human Visual System，HVS)，但在實際應(yīng)用中耗時費力，不易實現(xiàn)[2]。而客觀質(zhì)量評價則是根據(jù)人類視覺感知系統(tǒng)特性建立一個與主觀感知吻合的數(shù)學(xué)模型，利用該模型判斷圖像質(zhì)量，得到一個客觀質(zhì)量分?jǐn)?shù)?？紤]到實用性，本文旨在于研究針對光場圖像的客觀圖像質(zhì)量評價方法。

峰值信噪比(Peak Signal-to-Noise Ratio，PSNR)和均方誤差(Mean Square Error，MSE)是最經(jīng)典的質(zhì)量評價算法，然而它們僅僅考慮逐個像素間的差異，而未考慮像素間的相關(guān)性。為此，研究人員在設(shè)計圖像質(zhì)量評價算法過程中進(jìn)一步考慮了人類視覺系統(tǒng)。由于人眼對圖像中的結(jié)構(gòu)信息較為敏感，Wang[3]等人提出了結(jié)構(gòu)相似性算法(Structure Similarity，SSIM)。隨后，在SSIM的模型框架上，引入了多尺度計算，提出了多尺度下的結(jié)構(gòu)相似性算法(Multiscale SSIM，MSSIM)[4]。梯度包含著很多視覺信息，利用梯度信息能夠反映出圖像結(jié)構(gòu)和對比度的變化，Liu[5]等人提出了基于梯度相似性算法(Gradient Similarity，GSIM)，Xue[6]等人根據(jù)圖像梯度局部質(zhì)量圖的變化延伸到圖像整體進(jìn)行質(zhì)量預(yù)測，提出了梯度幅值相似性偏差(Gradient Magnitude Similarity Deviation，GMSD)。Zhang[7]等人基于人類視覺系統(tǒng)(HVS)主要根據(jù)其低層特征理解圖像的特點，提出了一種新的全參考IQA特征相似度(Feature Similarity，F(xiàn)SIM)指標(biāo)?？紤]到人類視覺的近閾值和超閾值特性，Chandler[8]提出了一種基于人類視覺的近閾值和超閾值特性來量化自然圖像視覺保真度的有效算法(Visual Signal-to-Noise Ratio，VSNR)。該算法包括利用基于小波的模型檢查失真的對比閾值、基于感知對比度的低級視覺特性和全局優(yōu)先級的中級視覺特性。

盡管在過去幾十年中，學(xué)術(shù)界已經(jīng)提出和發(fā)展了各種IQA算法模型，但它們被用于評估自然圖像、屏幕圖像、多曝光圖像等。由于不同的圖像類型具有不同的特征，因此它們并不適合直接評估光場圖像。目前針對光場圖像質(zhì)量評價方法研究也涉及較少。為此，本文提出了一個面向光場圖像的質(zhì)量評價方法，分別從空域和頻域兩個方面計算光場圖像邊緣相似度，進(jìn)而融合得到一個邊緣相似度圖。具體地，在空域上，提取參考光場圖像和失真光場圖像的梯度幅值并計算其空域邊緣相似性；在頻域上，采用Gabor濾波器分別提取參考光場圖像和失真光場圖像邊緣信息并計算頻域邊緣相似性。接著采用基于頻域邊緣強(qiáng)度的池化策略對邊緣相似度圖進(jìn)行權(quán)重計算從而得到圖像質(zhì)量評價分?jǐn)?shù)值。實驗結(jié)果表明，本文所提方法能夠較好地描述人眼對于光場圖像質(zhì)量的主觀感知度。

2 利用邊緣相似度的光場圖像質(zhì)量評價方法

根據(jù)光場采集方式的不同，光場圖像可分為微透鏡光場圖像和子孔徑光場圖像。本文研究主要針對于微透鏡光場圖像的質(zhì)量評價。

圖1 光場圖像及其局部放大圖Fig.1 LF image and its partial enlarged region

圖2 利用邊緣相似度的光場圖像質(zhì)量評價方法流程圖Fig.2 Flowchart of LF image quality assessment model using edge similarity

圖1為微透鏡光場圖像及其局部放大的示意圖，其中(a)和(c)分別為參考光場圖像和HEVC壓縮后的光場圖像，(b)和(d)為各自對應(yīng)的局部放大圖。如圖1(a)所示，微透鏡圖像從宏觀上來看與常規(guī)圖像沒有太大區(qū)別，但從它的局部放大圖(b)中，我們可以看到光場圖像由許多微透鏡單元組成，而且每個微透鏡所對應(yīng)的宏像素均覆蓋了若干個探測器像元。對比參考光場圖像和失真光場圖像的局部放大圖，即(b)和(d)，我們可以發(fā)現(xiàn)失真光場圖像結(jié)構(gòu)邊緣信息丟失較為嚴(yán)重。因此，考慮到人類視覺系統(tǒng)對邊緣信息相對敏感的特性，我們結(jié)合光場圖像的特點，提出了基于邊緣相似度的光場圖像質(zhì)量評價算法。具體算法流程如圖2所示，相應(yīng)算法細(xì)節(jié)將在以下小節(jié)詳細(xì)介紹。

2.1 空域邊緣相似度

本文所提算法分別從空域和頻域提取邊緣信息來有效的評估光場圖像質(zhì)量。

在空域處，由于人眼對圖像局部結(jié)構(gòu)信息較為敏感，而梯度能夠較好的反應(yīng)圖像局部結(jié)構(gòu)變化。因此，本文首先利用水平和垂直方向濾波器模板分別對參考圖像和失真圖像進(jìn)行卷積，從而得到了水平和垂直方向上的梯度圖，通過梯度圖計算各自的梯度幅值圖，即為空域邊緣圖，最后結(jié)合失真圖像和參考圖像的空域邊緣圖得到空域邊緣相似度圖。

為了減少計算復(fù)雜度，本文算法采用的濾波器水平方向模板hx和垂直方向模板hy的如下：

(1)

其中，x和y分別表示水平和垂直方向。

對于給定的參考光場圖像r和失真光場圖像d，Ix和Iy分別為圖像與梯度算子hx和hy卷積所得水平與垂直方向上的梯度圖，即：

Ixr=r?hxIyr=r?hy

(2)

Ixd=d?hxIyd=d?hy

(3)

空域邊緣圖Gr和Gd計算如下：

(4)

(5)

因此，空域邊緣相似度圖計算如下：

(6)

其中，T1=1000為通過實驗所得的穩(wěn)定系數(shù)，目的在于保證Grads的穩(wěn)定性。

2.2 頻域邊緣相似度

絕大多數(shù)哺乳動物的視覺皮層簡單細(xì)胞的二維感知域模型可以被二維Gabor函數(shù)很好地擬合，在提取圖像局部特性和頻域信息方面具有良好的特性[9-10]。因此對于頻域邊緣信息的提取，我們首先構(gòu)建給定波長和角度的偶Gabor濾波器Even和奇Gabor濾波器Odd：

(7)

(8)

其中，σ為方差，λ為波長。

其次，利用偶Gabor濾波器和奇Gabor濾波器分別對參考圖像和失真圖像進(jìn)行分解，得到參考圖像幅值Eimr和Oimr，以及失真圖像幅值Eimd和Oimd。計算公式如下所示：

Eimr(x,y)=Even?r(x,y)

(9)

Eimr(x,y)=Odd?r(x,y)

(10)

Eimd(x,y)=Even?d(x,y)

(11)

Eimd(x,y)=Odd?d(x,y)

(12)

則對應(yīng)的參考光場圖像和失真光場圖像頻域邊緣圖如下所示：

(13)

(14)

在得到參考光場圖像和失真光場圖像的頻域邊緣圖Aimr(x,y)和Aimd(x,y)后，計算它們之間的頻域相似度圖Gabors：

(15)

其中，T2=10為通過實驗所得的穩(wěn)定系數(shù)，目的在于保證Gabors的穩(wěn)定性。

2.3 基于頻域邊緣強(qiáng)度的池化策略

為了更加合理、準(zhǔn)確地描述光場圖像邊緣相似度，我們?nèi)诤峡沼蜻吘壪嗨贫菺rads和頻域邊緣相似度Gabors得到邊緣信息相似度：

Gs(x,y)=[Grads(x,y)]α·[Gabors(x,y)]β

(16)

α和β分別是用于調(diào)節(jié)空域上邊緣信息和頻域上邊緣信息重要性的兩個參數(shù)。對于圖像而言，我們假設(shè)在空域上的邊緣信息和頻域上的邊緣信息重要性相同，因此本文算法將α和β均設(shè)置為1[11]。

如上所述，在得到邊緣相似度圖后，本文算法通過對邊緣信息相似度圖采用基于頻域邊緣強(qiáng)度的池化策略進(jìn)行權(quán)重計算得到最終的評價分?jǐn)?shù)。計算公式為：

(17)

其中Wmap(x,y)=max{Aimr(x,y),Aimd(x,y)}為頻域邊緣強(qiáng)度，M，N為光場圖片的寬和高。

3 實驗結(jié)果和分析

為了證明本文所提算法的有效性，我們使用已公開的SMART[12]通用數(shù)據(jù)庫進(jìn)行驗證。該數(shù)據(jù)庫總共包含16張參考圖像和256張失真圖片。其中，256張失真圖像由4種失真類型的4個失真等級組成。這4種失真類型分別由以下四種常見的壓縮方法引入：JPEG壓縮(JPEG)、JPEG2000壓縮(J2K)、HEVC幀內(nèi)編碼壓縮以及稀疏集和視差編碼(Sparse Set and Disparity Coding，SSDC)[13]。圖3為SMART數(shù)據(jù)庫下16張參考圖像。由于目前沒有專門用于評價光場圖像質(zhì)量的客觀算法，因此本文將所提算法與一些經(jīng)典的圖像質(zhì)量評價算法做比較，其中包括SSIM[3]，MSSIM[4]，GMSD[5]，PSNR，GSS[11]，F(xiàn)SIM[7]，SCDM[14]，VSNR[8]。為了檢驗算法性能的優(yōu)劣，需將主觀實驗得到的主觀分?jǐn)?shù)與客觀算法評估結(jié)果進(jìn)行比較。然而客觀分?jǐn)?shù)和主觀分?jǐn)?shù)之間的關(guān)系是復(fù)雜且非線性的，因此，在進(jìn)行比較之前需使用回歸函數(shù)將每個算法的預(yù)測分?jǐn)?shù)非線性的映射到與主觀平均意見值相同的同一尺度上。通常采用5參數(shù)的Logistic[15]非線性回歸函數(shù)：

(18)

其中，o表示客觀算法的預(yù)測質(zhì)量分?jǐn)?shù)，a1、a2、a3、a4、a5為進(jìn)行擬合優(yōu)化的參數(shù)。

圖3 SMART光場圖像質(zhì)量評價數(shù)據(jù)庫Fig.3 SMART LF image quality assessment database

評價指標(biāo)失真類型PSNRSSIMMSSIMGMSDFSIMGSSSCMDVSNRProposedPLCCJPEG0.62650.47030.41810.65200.60430.46610.64280.28670.6975J2K0.80020.74180.72190.83010.74560.55110.74490.57520.8056HEVC0.77760.70420.57550.74730.65040.46300.76800.67730.8045SSDC0.65110.68060.59440.61550.69450.45400.58910.49490.7221Overall0.66250.64270.56460.62250.55800.38760.61170.35560.7244SROCCJPEG0.61190.47390.47340.63360.64390.51040.65300.29350.7243J2K0.81380.76310.76430.84810.83140.62710.81550.63590.8239HEVC0.81970.77370.74710.77480.81760.49060.79930.74470.8167SSDC0.72460.70970.70790.69640.68320.55820.64050.57390.7524Overall0.70530.63340.51140.52260.51330.45850.53020.56130.7537KROCCJPEG0.42560.32740.32840.44150.45040.34030.46730.21430.5179J2K0.61810.57140.56050.64680.62800.43250.60620.45140.6329HEVC0.61310.56450.53080.55850.59920.33730.46730.53080.6012SSDC0.50990.53870.53470.50100.50400.39090.44150.38690.5605Overall0.50170.44990.35760.36750.35120.31010.36410.38570.5538RMSEJPEG1.04871.18701.22181.01981.07161.18991.03031.28850.9637J2K1.28811.43831.48401.19591.42921.78951.43081.75431.2706HEVC1.79212.02372.33101.89402.16512.52641.82552.09711.6929SSDC1.23691.19391.31051.28421.17251.45201.31691.41611.1274Overall1.59811.63451.76091.66981.77051.96681.68781.99411.4708

擬合后通常采用Pearson線性相關(guān)系數(shù)(Linear Pearson Correlation Coefficient，PLCC)、Kendall秩相關(guān)系數(shù)(Kendall Tau Rank Correlation Coefficient，KROCC)、Spearman等級相關(guān)系數(shù)(Spearman Rank Order Correlation Coefficient，SROCC)和均方根誤差(Root Mean Squared Error，RMSE)估計客觀質(zhì)量評價模型性能。其中，PLCC、SROCC、KROCC的取值范圍在[0，1]之間，值越接近于1證明主觀分?jǐn)?shù)與客觀分?jǐn)?shù)的一致性越高，客觀算法性能越好，RMSE的值則越小越好。我們將表1中每種失真類型下性能最好的兩個算法標(biāo)粗，整個數(shù)據(jù)庫下性能最好的算法加粗標(biāo)紅。通過比較表格中PLCC，SROCC，KROCC，RMSE四個性能估計指標(biāo)可以看出：(1)與僅從空域角度分析圖像的客觀質(zhì)量評估模型(如GSS、PSNR、SSIM、MSSIM)相比，本文算法分別從空域和頻域角度捕捉圖像邊緣信息，能夠更加穩(wěn)定準(zhǔn)確地反映圖像質(zhì)量；(2)JPEG、J2K、HEVC、SSDC四種失真類型在一定程度上造成光場圖像邊緣信息的丟失，導(dǎo)致光場圖像質(zhì)量退化，評估這四種失真類型下的光場圖像，本文方法具有針對性的提取邊緣信息，因此，實驗結(jié)果相對較好；(3)由于本文所提方法特別考慮了光場圖像的結(jié)構(gòu)特性，因此與其他圖像質(zhì)量評估方法相比能夠更準(zhǔn)確地描述光場圖像質(zhì)量。

4 結(jié)論

考慮到光場圖像復(fù)雜的結(jié)構(gòu)特性，本文提出了一種利用邊緣相似度的光場圖像質(zhì)量評價模型。該算法將頻域和空域上提取的光場圖像邊緣相似度進(jìn)行融合后得到邊緣相似度圖，隨后利用頻域邊緣強(qiáng)度的池化對邊緣相似度圖進(jìn)行權(quán)重計算并得到最終圖像質(zhì)量評價值。通過實驗可知，本文所提算法能夠更加準(zhǔn)確地反應(yīng)人類視覺特性對于光場圖像的主觀質(zhì)量判定。