邊緣結(jié)構(gòu)相似性圖像質(zhì)量的高階統(tǒng)計(jì)及評(píng)價(jià)

張文娟，王艷紅

(西安工業(yè)大學(xué) 理學(xué)院,西安 710021)

?

邊緣結(jié)構(gòu)相似性圖像質(zhì)量的高階統(tǒng)計(jì)及評(píng)價(jià)

張文娟，王艷紅

(西安工業(yè)大學(xué) 理學(xué)院,西安 710021)

摘要：為構(gòu)建符合主觀視覺感知的圖像質(zhì)量評(píng)價(jià)指標(biāo)，文中提出了一種利用突出邊緣結(jié)構(gòu)相似的圖像質(zhì)量評(píng)價(jià)方法.通過計(jì)算每一個(gè)像素點(diǎn)位置上的高階統(tǒng)計(jì)來局部化突出邊緣.根據(jù)退化圖像與參考圖像的突出邊緣強(qiáng)度相似性，結(jié)合亮度相似性和對(duì)比度相似性定義圖像質(zhì)量指標(biāo).數(shù)值實(shí)驗(yàn)結(jié)果表明，利用文中方法對(duì)TID2008數(shù)據(jù)庫中的圖像進(jìn)行評(píng)價(jià)的平均運(yùn)算時(shí)間為78.43 s，評(píng)價(jià)結(jié)果與主觀評(píng)價(jià)接近.

關(guān)鍵詞：圖像質(zhì)量評(píng)價(jià)；結(jié)構(gòu)相似性；突出邊緣；高階統(tǒng)計(jì)

圖像質(zhì)量評(píng)價(jià)是圖像處理領(lǐng)域的一個(gè)重要問題.通常人是圖像信息的最終感知者，所以圖像質(zhì)量應(yīng)該以人的主觀評(píng)價(jià)為準(zhǔn)，然而主觀評(píng)價(jià)方法存在很多局限性，圖像質(zhì)量評(píng)價(jià)的研究目標(biāo)就是尋求一種同主觀評(píng)價(jià)盡可能一致的客觀圖像質(zhì)量指標(biāo).圖像質(zhì)量評(píng)價(jià)在圖像恢復(fù)、圖像壓縮及其成像系統(tǒng)的設(shè)計(jì)和優(yōu)化中都有著廣泛的應(yīng)用，具體來講，對(duì)圖像恢復(fù)的效果進(jìn)行評(píng)價(jià)需要合適的圖像質(zhì)量指標(biāo)；圖像壓縮中的碼率控制需要在碼率和圖像質(zhì)量之間作均衡；成像系統(tǒng)的設(shè)計(jì)和優(yōu)化則需要在硬件成本和圖像質(zhì)量之間作均衡，而作好這些均衡的首要條件是構(gòu)造一種適當(dāng)?shù)膱D像質(zhì)量指標(biāo).因此，圖像質(zhì)量評(píng)價(jià)問題[1-2]有重要的研究意義.

峰值信噪比(Peak Signal to Noise Ratio，PSNR)和均方誤差(Mean Square Error，MSE)是最簡單、最常用的客觀圖像質(zhì)量指標(biāo).但這兩個(gè)指標(biāo)都只考慮兩幅圖像對(duì)應(yīng)像素之間的相近程度，這相當(dāng)于假定各個(gè)像素間是相互獨(dú)立的.事實(shí)上，相鄰像素間有很強(qiáng)的依賴關(guān)系，這使PSNR和MSE只有在退化類型為獨(dú)立噪聲的情況下才同主觀評(píng)價(jià)具有高度一致性，而對(duì)其他退化類型，PSNR和SME不能提供令人滿意的評(píng)價(jià)效果.為克服PSNR和SME的不足，近年來研究者們基于人類視覺系統(tǒng)(Human Visual System，HVS)的感知特性提出了一系列的圖像質(zhì)量指標(biāo)，其中，結(jié)構(gòu)相似性[3](Structure Similarity,SSIM)假定HVS是通過局部結(jié)構(gòu)失真來對(duì)圖像質(zhì)量做出評(píng)價(jià)的.與經(jīng)典的模擬視覺皮層的響應(yīng)特性的方法不同，SSIM直接利用參考圖像與退化圖像之間的局部結(jié)構(gòu)相似性對(duì)退化圖像的質(zhì)量進(jìn)行評(píng)價(jià)，局部結(jié)構(gòu)相似性分亮度、對(duì)比度和結(jié)構(gòu)三個(gè)層次來度量.SSIM直接在空域度量兩個(gè)圖像間的結(jié)構(gòu)相似度，MS-SSIM[4]指標(biāo)利用HVS的多尺度特性對(duì)SSIM作了進(jìn)一步改進(jìn)，對(duì)參考圖像和退化圖像作M層小波分解，并計(jì)算每一個(gè)尺度下兩幅圖像間的SSIM指標(biāo)，將所有尺度上的SSIM指標(biāo)進(jìn)行合并.MS-SSIM利用簡單平均對(duì)局部結(jié)構(gòu)相似度進(jìn)行合并，這相當(dāng)于對(duì)圖像中每個(gè)局部區(qū)域平等對(duì)待.為此，提出了基于信息量加權(quán)[5]合并方案，稱為IW-SSIM[6].IW-SSIM能獲得比SSIM和MS-SSIM更好的評(píng)價(jià)效果.GSSIM[7]基于梯度信息對(duì)SSIM作進(jìn)一步改進(jìn)，梯度圖中包含非常重要信息，局部對(duì)比度和局部結(jié)構(gòu)很好地反映在梯度圖中，用梯度圖來計(jì)算SSIM指標(biāo)中的局部對(duì)比度相似性和結(jié)構(gòu)相似性是一種自然的改進(jìn)方案.FSIM[8-9]假定HVS根據(jù)低層次特征的失真對(duì)圖像質(zhì)量做出評(píng)價(jià)，并結(jié)合梯度特征和相位一致性特征來評(píng)價(jià)圖像質(zhì)量，同時(shí)注意到參考圖像和退化圖像的視覺顯著性區(qū)域.

由于HVS能夠根據(jù)邊緣有效地理解給定場景,因此邊緣結(jié)構(gòu)集中了一幅圖像的主要信息，對(duì)構(gòu)建符合主觀視覺感知的評(píng)價(jià)方法很重要.這里我們只關(guān)心能夠引起視覺注意的邊緣-突出邊緣.通過計(jì)算每一個(gè)像素點(diǎn)位置上的高階統(tǒng)計(jì)來局部化突出邊緣.在SSIM圖像質(zhì)量指標(biāo)中，利用退化圖像與參考圖像的突出邊緣強(qiáng)度相似度刻畫局部結(jié)構(gòu)相似性.

1突出邊緣模型

首先定義突出邊緣.設(shè)原始圖像為f，在f的每個(gè)像素點(diǎn)(i,j)處計(jì)算高階統(tǒng)計(jì)(HigherOrderStatistics，HOS).二階矩按以下公式計(jì)算：

(1)

圖1　突出邊緣圖與梯度圖比較

由圖1可以看出，突出邊緣圖集中了一幅圖像中能夠引起視覺注意的邊緣結(jié)構(gòu)信息，HVS對(duì)圖像進(jìn)行評(píng)價(jià)時(shí)，更關(guān)注這些主要信息，而不是細(xì)節(jié)信息，因此更符合HVS特征，而梯度圖中包含了大量的小尺度邊緣結(jié)構(gòu)的細(xì)節(jié)信息.

2圖像質(zhì)量指標(biāo)

突出邊緣圖反映了圖像中每一個(gè)像素點(diǎn)屬于突出邊緣的可能性，基于突出邊緣強(qiáng)度相似性的圖像質(zhì)量指標(biāo)(Salient Edge Structure Similarity,SESSIM)定義為

e(X,Y)=

(2)

式中：X為參考圖像；Y為退化圖像,M為圖像中所包含的像素點(diǎn)個(gè)數(shù)；SEX、SEY分別為X和Y的突出邊緣圖.參數(shù)c3大于0具有兩重意義：①避免分母為零或趨近于零而造成的不穩(wěn)定；② c3取值的大小反映了參考圖像與退化圖像之間突出邊緣強(qiáng)度差異對(duì)圖像質(zhì)量的影響，當(dāng)c3取值非常大時(shí)(c3→∞)，突出邊緣強(qiáng)度差異對(duì)圖像質(zhì)量幾乎沒有影響.與SSIM中的參數(shù)選取方法類似，這里取

c3=(BL)2

式中：B為預(yù)先設(shè)定的參數(shù)；L為突出邊緣強(qiáng)度的取值范圍.對(duì)于8-bits的灰度圖像，突出邊緣強(qiáng)度范圍0≤SE(i,j)≤255p,因此，L=255p,從而

c3=(BL)2=(B255p)2=

(B1/p255)2p=(B1255)2p

(3)

其中B1=B1/p.

圖像質(zhì)量評(píng)價(jià)系統(tǒng)指標(biāo)包含亮度差異l(X,Y),對(duì)比度差異c(X,Y),以及突出邊緣強(qiáng)度差異三部分，其定義為

I=[l(X,Y)]α[c(X,Y)]β[e(X,Y)]γ

(4)

式中：l(X,Y)=(2μXμY+c1)/(μX2+μY2+c1);c(X,Y)=(2σXσY+c2)/(σX2+σY2+c2)；μX、μY分別為X和Y的樣本均值，反映圖像的亮度信息；σX、σY分別為X和Y的樣本標(biāo)準(zhǔn)差，反映圖像的對(duì)比度信息.α=β=γ=1.參數(shù)c1、c2作用類似于c3.

3數(shù)值實(shí)驗(yàn)

通過數(shù)值實(shí)驗(yàn)對(duì)SESSIM的性能進(jìn)行評(píng)估.實(shí)驗(yàn)中選取TID2008數(shù)據(jù)庫，與其他用于圖像質(zhì)量評(píng)價(jià)研究的數(shù)據(jù)庫相比，TID2008包含的退化類型最全，參與主觀評(píng)價(jià)的人數(shù)最多，因此主觀評(píng)價(jià)的結(jié)果更可靠.TID2008數(shù)據(jù)庫中均為彩色圖像，實(shí)驗(yàn)中，均對(duì)圖像的亮度成分進(jìn)行評(píng)價(jià)，亮度成分提取為

l=0.299R+0.587G+0.114B

其中R、G、B為彩色圖像的紅、綠、藍(lán)三個(gè)通道.

圖像質(zhì)量指標(biāo)的性能由客觀評(píng)分和主觀評(píng)分的一致性來衡量.實(shí)驗(yàn)中利用SRCC、KRCC、PLCC和RSME四個(gè)指標(biāo)評(píng)估圖像質(zhì)量指標(biāo)的性能.

1) 令圖像質(zhì)量指標(biāo)對(duì)數(shù)據(jù)庫第i幅圖像的客觀評(píng)分為xi(i=1,2,…,n),n為數(shù)據(jù)庫中包含的圖像數(shù)，這幅圖像的主觀評(píng)分為yi,則SRCC定義為

(5)

2) 若(xi,yi)和(xj,yj)滿足xi>xj且yi>yj(xi

(6)

其中nc為(x1,y1),(x2,y2),…,(xn,yn)中協(xié)調(diào)數(shù)組對(duì)的個(gè)數(shù)，nd為不協(xié)調(diào)數(shù)組對(duì)的個(gè)數(shù).

記zi=ρ(xi),i=1,2,…,n,PLCC和RMSE相關(guān)系數(shù)定義為

(7)

(8)

SRCC相關(guān)系數(shù)和KRCC相關(guān)系數(shù)考慮的是客觀評(píng)分和主管評(píng)分在排序上的一致性，PLCC和RMSE考慮的是客觀評(píng)分和主管評(píng)分分值的相對(duì)差異.表1列出了對(duì)10個(gè)圖像質(zhì)量指標(biāo)性能的評(píng)估結(jié)果.SRCC、KRCC、PLCC值越大，RSME值越小，說明圖像質(zhì)量指標(biāo)性能越好.

表1　圖像質(zhì)量指標(biāo)性能比較

表2給出了10個(gè)圖像質(zhì)量指標(biāo)的運(yùn)算時(shí)間和參數(shù)個(gè)數(shù)比較結(jié)果，其中運(yùn)算時(shí)間是每個(gè)圖像質(zhì)量指標(biāo)對(duì)TID2008數(shù)據(jù)庫中的所有圖像評(píng)價(jià)時(shí)的平均消耗時(shí)間.可以看出，文中給出的圖像質(zhì)量指標(biāo)以較少的運(yùn)算代價(jià)獲得了較好的評(píng)價(jià)效果.

表2　參數(shù)個(gè)數(shù)和運(yùn)算時(shí)間比較

4結(jié) 論

1) 利用邊界強(qiáng)度圖來計(jì)算SSIM中的局部結(jié)構(gòu)相似性指標(biāo)能夠?qū)崿F(xiàn)對(duì)圖像的準(zhǔn)確評(píng)價(jià).而突出邊緣考慮了視覺顯著性，文中提出了一種基于突出邊緣的SSIM圖像質(zhì)量評(píng)價(jià)方法.該方法在圖像的每個(gè)像素點(diǎn)處計(jì)算HOS局部化突出邊緣，根據(jù)突出邊緣強(qiáng)度相似性，結(jié)合亮度相似性和對(duì)比度相似性對(duì)圖像進(jìn)行評(píng)價(jià)，方法計(jì)算簡單.

2) 利用文中方法對(duì)TID2008數(shù)據(jù)庫中的圖像進(jìn)行評(píng)價(jià)的平均運(yùn)算時(shí)間只有78.43 s，運(yùn)算代價(jià)小.利用文中方法和目前較先進(jìn)的其他9種方法對(duì)TID2008數(shù)據(jù)庫中的圖像進(jìn)行評(píng)價(jià)，比較結(jié)果表明，文中方法的評(píng)價(jià)結(jié)果接近主觀評(píng)價(jià)方法.

參 考 文 獻(xiàn)：

[1]SHEIKH H R,BOVIK A C.Image Information and Visual Quality[J].IEEE Trans Image Process,2006,15(2):430.

[2]李釗,史再峰,李斌橋,等.基于視覺顯著性與對(duì)比度特性的圖像質(zhì)量評(píng)價(jià)[J].南開大學(xué)學(xué)報(bào)(自然科學(xué)版),2015.48(6)：140.

LI Zhao,SHI Zaifeng,LI Binqiao,et al.Image Quality Assessment Based on Visual Saliency and Image Contrast[J].Acta Scientiarum Naturalium Universitatis Nakaiensis,2015,48(6):140.(in Chinese)

[3]WANG Z,BOVIK A C,SHEIKH H R,et al.Image Quality Assessment:From Error Visibility to Structural Similarity[J].IEEE Trans Image Process,2004,13(4):600.

[4]CHANDLER M,HEMAMI S S.VSNR:A Wavelet-ased Visual Signal-to-noise Ratio for Natural Images[J].IEEE Trans Image Process,2007,16(9):2284.

[5]徐少平,楊榮昌,劉小平.信息量加權(quán)的梯度顯著度圖像質(zhì)量評(píng)價(jià)[J].中國圖像圖形學(xué)報(bào),2014,19(2):201.

XU Shaoping,YANG Rongchang,LIU Xiaoping.Information Content Weighted Gradient Salience Structural Similarity Index for Image Quality Assessment[J].Journal of Image and Graphics,2014,19(2):201.

[6]SHEIKH H R,BOVIK A C,VECIANA G D.An Information Fidelity Criterion for Image Quality Assessment Using Natural Scene Statistics[J].IEEE Trans Image Process,2005,14(12):2117.

[7]LIU A M,LIN W S,NARWARIA M.Image Quality Assessment Based on Gradient Similarity[J].IEEE Trans Image Process,2012,21(4):1500.

[8]ZHANG Lin,ZHANG Lei,MOU Xuanqin,et al.FSIM:A Feature Similarity Index for Image Quality Assessment[J].IEEE Trans Image Process,2011,20(12):2378.

[9]ZHANG Lin,ZHANG Lei,MOU Xuanqin,et al.A Comprehensive Evaluation of Full Reference Image Quality Assessment Algorithms[C]//IEEE International Conference on Image Processing,Orlando,FL:IEEE,2012:1477.

(責(zé)任編輯、校對(duì)張立新)

SSIM Image Quality Assessment Based on Higher Order Statistics

ZHANGWenjuan,WANGYanhong

(School of Science,Xi’an Technological University,Xi’an 710021,China)

Abstract:To establish an image quality assessment index in accordance with the subjective visual perception,a Structural Similarity(SSIM) image quality assessment method is presented based on the structure similarity of the salient edge.The higher order statistics (HOS) was calculated in every pixel to localize the salient edge.Then the image quality metric was defined based on the similarity of the salient edge strength between the distortion image and the reference image.The similarity of lightness and contrast were also incorporated.Numerical experiment shows that it at takes 78.43 s on average to assess the images in TID2008 database by the proposed method.And the assessment result is close to the result obtained by the subjective method.

Key words:image quality assessment;structural similarity(SSIM);higher order statistics;salient edge

文獻(xiàn)標(biāo)志碼:中圖號(hào)：TP391A

文章編號(hào)：1673-9965(2016)03-0173-04

作者簡介：張文娟(1980-)，女，西安工業(yè)大學(xué)副教授，主要方向?yàn)橛?jì)算機(jī)視覺與圖像處理.E-mail:girl-zwj@163.com.

收稿日期：2015-09-22

DOI:10.16185/j.jxatu.edu.cn.2016.03.001

基金資助：陜西省教育廳專項(xiàng)科研計(jì)劃項(xiàng)目(15JK1371)；陜西省自然科學(xué)基礎(chǔ)研究計(jì)劃項(xiàng)目(2014JM1018)