基于視覺感知梯度SSIM的圖像質(zhì)量評(píng)價(jià)方法研究

袁 莉，鄒 海

（安徽大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，安徽 合肥 230601）

0 引言

圖像質(zhì)量評(píng)價(jià)（Image Quality Assessment，IQA）在多媒體信息處理中占有非常重要的地位，比如信號(hào)的傳輸、恢復(fù)和顯示[1].圖像質(zhì)量評(píng)價(jià)方法分為兩類：主觀評(píng)價(jià)方法和客觀評(píng)價(jià)方法.主觀評(píng)價(jià)方法由多位不同知識(shí)背景的觀察者對(duì)圖像質(zhì)量評(píng)估，然后對(duì)他們給出的分?jǐn)?shù)進(jìn)行平均得到圖像質(zhì)量評(píng)價(jià).主觀評(píng)價(jià)方法直觀、合理、準(zhǔn)確，但實(shí)際應(yīng)用時(shí)需要大量的人力、物力、財(cái)力，很不方便.客觀質(zhì)量評(píng)價(jià)方法利用數(shù)學(xué)模型，比較參考圖像與失真圖像的相似度或差異，省時(shí)省力，如峰值信噪比（PSNR）和均方誤差（Mean Square Error,MSE）模型[2-3]等.近年來(lái)，Wang等認(rèn)為人眼能高度自適應(yīng)的提取圖像的結(jié)構(gòu)信息，提出了基于結(jié)構(gòu)相似度（Structural Similarity,SSIM）的圖像質(zhì)量評(píng)價(jià)方法[4-7]，該方法評(píng)價(jià)性能優(yōu)于PSNR和MSE模型，受到廣泛關(guān)注.盡管SSIM算法客觀反映了圖像結(jié)構(gòu)信息的變化，但存在兩個(gè)嚴(yán)重的缺陷.首先，SSIM忽略掉了人類視覺系統(tǒng)（Human Visual System,HVS）的底層視覺特性，導(dǎo)致了SSIM在評(píng)價(jià)圖像質(zhì)量時(shí)很多時(shí)候與主觀評(píng)價(jià)不一致；其次，SSIM基于簡(jiǎn)單建?；A(chǔ)之上，很難模仿高層視覺對(duì)結(jié)構(gòu)信息的處理過程，從而不能很好地評(píng)價(jià)嚴(yán)重模糊的失真圖像.

1 結(jié)構(gòu)相似度

基于結(jié)構(gòu)相似度的圖像評(píng)價(jià)方法是從亮度、對(duì)比度和結(jié)構(gòu)相似度三方面對(duì)參考圖像和失真圖像進(jìn)行對(duì)比.設(shè)x和y分別代表參考圖像和失真圖像，是對(duì)應(yīng)的離散非負(fù)信號(hào)，其模式定義如下：

其中，l(x,y)為亮度函數(shù)，c(x,y)為對(duì)比度函數(shù)，s(x,y)為結(jié)構(gòu)函數(shù).

由(1)(2)(3)(4)有

其中，μx、μy分別為 x和 y的均值；σx、σy分別為 x和 y的標(biāo)準(zhǔn)差；σxy為x和y的協(xié)方差；C1、C2和C3是非常小的正常數(shù)，防止分母為零造成不穩(wěn)定現(xiàn)象，C1=(k1L)2,C2=(k2L)2,C3=(C2/2)2,k1<<1,k2<<1,п是圖中像素的取值范圍，對(duì)于8位灰度圖像而言，L=255；一般設(shè)參數(shù) α=1,β=1,λ=1，通過實(shí)驗(yàn)確定 k1=0.01，k2=0.03.

SSIM在圖像質(zhì)量評(píng)價(jià)時(shí)，用8×8的滑動(dòng)窗口在圖像（參考圖像和失真圖像）上逐像素從左上向右下依次計(jì)算子圖像塊的結(jié)構(gòu)相似度，對(duì)所有子塊的SSIM求均值，即可得到整幅圖像的SSIM：

其中，sum為子塊的總數(shù).

2 基于視覺感知和梯度的結(jié)構(gòu)相似度評(píng)價(jià)方法

SSIM算法較為客觀的反映了圖像的結(jié)構(gòu)信息變化，但是對(duì)于圖像失真和圖像內(nèi)容在圖像質(zhì)量評(píng)價(jià)方面所起作用認(rèn)識(shí)不足[8]，忽略了視覺系統(tǒng)的底層視覺特性，導(dǎo)致了評(píng)價(jià)結(jié)果有時(shí)與主觀評(píng)價(jià)不一致.考慮到人類視覺系統(tǒng)的底層視覺特性，在此，將視覺敏感度函數(shù)作為底層視覺感知信息并結(jié)合梯度地圖（Gradient Map）,提出一種基于視覺感知的梯度結(jié)構(gòu)相似度圖像質(zhì)量評(píng)價(jià)模型.

2.1 視覺感知模型

我們從誤差可視性和內(nèi)容可視性兩個(gè)方面論述視覺感知模型，并利用這兩個(gè)可視性函數(shù)構(gòu)造視覺感知函數(shù)，以此作為結(jié)構(gòu)相似度的權(quán)值.由失真模型的空間域表達(dá)式d(x,y)=r(x,y)×h(x,y)+n(x,y)可得出失真圖像的誤差函數(shù)

其中，r(x,y)和d(x,y)分別表示參考圖像和失真圖像，h(x,y)、n(x,y)分別表示局部退化函數(shù)和加性噪聲.

通過掩蔽效應(yīng)，這里采用歸一化誤差圖像的方差作為誤差可視性，定義為：

其中，σd2和σe2分別表示失真圖像和誤差圖像的局部方差，C0為常數(shù).σd2和σe2越大，表明誤差可視性越大，失真越嚴(yán)重.

圖像邊緣本身對(duì)比度高，根據(jù)掩蔽效應(yīng)，失真受到影響，可視性降低；而邊緣兩側(cè)區(qū)域的對(duì)比度從無(wú)到有，失真會(huì)在一側(cè)的平滑區(qū)域被強(qiáng)化.邊緣紋理不一定都經(jīng)歷失真，具有很高的局部圖像質(zhì)量.因此，需要根據(jù)其視覺重要性給予適當(dāng)權(quán)值.以圖像局部方差的均值作為掩模，得出內(nèi)容可視性：

其中σr2、∑σi2/n分別為參考圖像子塊的局部方差和圖像塊的均值.方差反映像素的對(duì)比度大小，對(duì)比度越大，表明所處區(qū)域?yàn)檫吘壖y理區(qū)域，wt表示參考圖像子塊的內(nèi)容可視性.

將誤差可視性和內(nèi)容可視性相結(jié)合得到視覺感知函數(shù)，定義如下：

其中，a+b=1，a,b∈[0,1].實(shí)驗(yàn)證明，當(dāng) a=0.4，b=0.6時(shí)，參考圖像和失真圖像有最大的結(jié)構(gòu)相似度值.

2.2 梯度地圖

圖像的梯度地圖通過索貝爾算子獲得，該算子包含兩組3×3掩模矩陣，如圖1所示：

圖1 兩組掩模矩陣

矢量的梯度計(jì)算如下：

梯度地圖通過兩個(gè)掩膜算子和等式(11)求得，它能清晰地反映出圖像的邊緣和輪廓.

2.3 邊緣比較

設(shè)X'和Y'分別代表參考圖像和失真圖像的梯度地圖，x'和y'代表X'和Y'的塊矢量，基于梯度的對(duì)比度函數(shù)cg(x,y)和圖像結(jié)構(gòu)函數(shù)sg(x,y)，定義如下：

其中，σx'、σy'分別表示矢量 x'、y'的標(biāo)準(zhǔn)差，σx'y'表示矢量x'、y'的協(xié)方差，C2,C3用于避免分母為零而設(shè)的常數(shù).

2.4 基于視覺感知和梯度地圖的圖像質(zhì)量評(píng)價(jià)模型

SSIM模型簡(jiǎn)單、物理意義明確，但其忽略了HVS的底層視覺特性，導(dǎo)致圖像質(zhì)量評(píng)價(jià)在很多時(shí)候與主觀評(píng)價(jià)不一致，特別對(duì)嚴(yán)重模糊的降質(zhì)圖像不能給予準(zhǔn)確評(píng)價(jià).下面結(jié)合視覺感知函數(shù)和基于梯度結(jié)構(gòu)相似度算法，構(gòu)造一種新的圖像質(zhì)量評(píng)價(jià)模型（GM_SSIM）.

將視覺感知函數(shù)和梯度地圖結(jié)合，構(gòu)建的函數(shù)模型如下：

整個(gè)圖像的結(jié)構(gòu)相似度計(jì)算如下：

3 實(shí)驗(yàn)結(jié)果與分析

3.1 各失真類型質(zhì)量評(píng)價(jià)結(jié)果

失真類型圖像如圖2所示.其中，失真類型分別為白噪聲While noise(括號(hào)內(nèi)為噪聲率)、JPEG2000壓縮、JPEG壓縮、Fast fading壓縮和高斯噪聲Gblur.對(duì)上述各個(gè)失真類型圖像分別采用PSNR、SSIM、和GM_SSIM模型進(jìn)行質(zhì)量評(píng)價(jià).得到的實(shí)驗(yàn)結(jié)果如表1所示，并與DMOS評(píng)價(jià)結(jié)果進(jìn)行比較.DMOS為平均主觀評(píng)分差值，是主觀評(píng)分均值(MOS)與滿分100的差值，主觀評(píng)分均值越高就表示圖像質(zhì)量越好，所以，DMOS越大，表示圖像質(zhì)量越差，失真越嚴(yán)重，且DMOS取值范圍為[0,100].

圖2 各失真類型實(shí)驗(yàn)圖像

從表1中可以看出，SSIM與PSNR均與DMOS評(píng)價(jià)結(jié)果產(chǎn)生了不一致.在PSNR相近的情況下，SSIM對(duì)嚴(yán)重降質(zhì)的壓縮圖像評(píng)價(jià)過高，而對(duì)白噪聲圖像評(píng)價(jià)過低.如噪聲率為0.11718的白噪聲圖像與JPEG2000壓縮圖像，其DMOS值分別為41.1696與45.8305，而SSIM值分別為0.6735與0.9540，顯然與主觀感覺不一致.JPEG2000、JPEG、Fastfad-ing、Gblur均具有較高的DMOS，但其SSIM值均較白噪聲圖像SSIM值高.而白噪聲圖像在較小DMOS情況下，其SSIM值反而沒有相對(duì)較高.顯然SSIM對(duì)模糊圖像有過高評(píng)價(jià)和對(duì)噪聲圖像有過低評(píng)價(jià).

表1 各種失真類型圖像評(píng)價(jià)結(jié)果

從表1可以看出，GM_SSIM模型對(duì)失真圖像的評(píng)價(jià)結(jié)果與DMOS保持一致，隨著DMOS的不斷增大，圖像質(zhì)量越來(lái)越差，GM_SSIM值表現(xiàn)得越來(lái)越小，能夠?qū)蒂|(zhì)嚴(yán)重的壓縮圖像、模糊圖像和噪聲圖像進(jìn)行較為準(zhǔn)確的評(píng)價(jià)，表明GM_SSIM模型能較好的符合人的主觀評(píng)價(jià).與SSIM相比，GM_SSIM不僅考慮了人眼視覺感知因素和人眼視覺心理因素，還考慮了圖像的結(jié)構(gòu)信息在人眼視覺系統(tǒng)中的重要性，所以更加符合人眼的視覺特性.

3.2 算法性能分析

采用美國(guó)TEXAS大學(xué)圖像和視頻工程實(shí)驗(yàn)室提供的圖像質(zhì)量評(píng)估數(shù)據(jù)庫(kù)進(jìn)行實(shí)驗(yàn) [9]，并從均方根誤差RMSE角度來(lái)比較PSNR、SSIM和GM_SSIM的性能，RMSE值越小，表明與人主觀評(píng)價(jià)結(jié)果的誤差越小.非線性回歸函數(shù)采用指數(shù)擬合函數(shù)Exponential.實(shí)驗(yàn)結(jié)果如圖3所示.

圖3 圖像評(píng)價(jià)的DMOS散點(diǎn)圖

由圖3可知，PSNR、SSIM、GM_SSIM算法的RMSE值分別為9.41、7.781、5.54，GM_SSIM的RMSE較小說明其性能優(yōu)于PSNR、SSIM，更符合人眼視覺感知特性.其中圖3中(a)、(b)、(c)分別為 PSNR、SSIM、GM_SSIM作用于所有失真圖像上的散點(diǎn)圖，可以看出(c)圖中的點(diǎn)明顯比較有規(guī)律的分布，在DMOS較小的時(shí)候，數(shù)據(jù)點(diǎn)也比較聚攏，從而驗(yàn)證了GM_SSIM相對(duì)符合主觀評(píng)價(jià).

4 結(jié)束語(yǔ)

本文結(jié)合誤差可視性和內(nèi)容可視性對(duì)視覺系統(tǒng)底層進(jìn)行建模，采用失真圖像的梯度分量來(lái)替代SSIM中的結(jié)構(gòu)分量，提出了一種基于視覺感知的結(jié)構(gòu)相似度質(zhì)量評(píng)價(jià)模型GM_SSIM，該模型克服了SSIM在評(píng)價(jià)結(jié)構(gòu)嚴(yán)重失真和嚴(yán)重模糊圖像方面存在的缺陷.通過對(duì)各失真類型圖像進(jìn)行仿真實(shí)驗(yàn)，結(jié)果表明，GM_SSIM模型的評(píng)價(jià)結(jié)果較PSNR和SSIM模型更接近于主觀評(píng)價(jià)結(jié)果.

〔1〕蔣剛毅,黃大江.圖像質(zhì)量評(píng)價(jià)方法研究進(jìn)展[J].電子與信息學(xué)報(bào),2010,32(1):219·226.

〔2〕Mannos J L,Sakrison D J.The effects of a visual fidelity criterion on the encoding of images［J］.IEEE transactions on information theory,1974,20(4):525-536．

〔3〕Liang Yanling,Yang Chunling,Yu Yingling.Arbitrary shaped ROI image coding based on HVS ［J］.Journal of South Chinauniversity of technology,2005,33(3):44-49.

〔4〕W ang Zhou，Bovik A C,Sheikh H R,etal.Image quality assessment:from error visibility to structural similarity[J].IEEE Transactions on Image Processing，2004，13(4):190-192．

〔5〕楊春玲,陳冠豪,謝勝利.基于梯度信息的圖像質(zhì)量評(píng)判法的研究[J].電子學(xué)報(bào),2007,35(7):1313-1317.

〔6〕W ang Zhou,Bovik A C,LuL.W hy is image quality assessment so difficult[C］//Proc of IEEE international conference on acoustics，speech，and signal processing．O rlando:［s.n.],2002:3313－3316.

〔7〕W ang Z,Bovik A C.A universal image quality index［J].IEEE signal processing letters,2002,9(3):81-84．

〔8〕WANG Yu-qing，LIU W ei-ya，WANG Yong.Image quality assessment based on local variance and structure similarity [J].Journal of Optoelectronics Laser，2008，19(11):1546-1553．

〔9〕H.R.Sheikh,Z.W ang,L.Cormack and A.C.Bovik,"LIVE Image Quality Assessment Database Release 2",http://live.ece.utexas.edu/research/quality.