一種時(shí)間優(yōu)化的全參考圖像質(zhì)量評價(jià)算法

朱麗娟

(湖北文理學(xué)院，湖北襄陽441053)

1 引言

圖像質(zhì)量評價(jià)是圖像處理系統(tǒng)中算法性能優(yōu)劣和參數(shù)優(yōu)化的重要參考，已經(jīng)成為工業(yè)界和學(xué)術(shù)界的持續(xù)關(guān)注的熱點(diǎn)。圖像質(zhì)量評價(jià)可以分為主觀評價(jià)方法和客觀評價(jià)方法兩類［1］:主觀評價(jià)方法通過實(shí)驗(yàn)設(shè)計(jì)，使用人的主觀感受對圖像進(jìn)行評價(jià)，存在費(fèi)時(shí)、復(fù)雜、不易嵌入應(yīng)用的缺點(diǎn);而客觀評價(jià)方法采用算法對圖像質(zhì)量進(jìn)行評價(jià)，具有方便、快捷，易于解析和嵌入等優(yōu)點(diǎn)，是當(dāng)前研究的主流。

客觀質(zhì)量評價(jià)方法又可以分為全參考，半?yún)⒖己蜔o參考三類［2］，其中全參考算法發(fā)展最成熟。根據(jù)算法采用的技術(shù)路線，全參考方法可分為基于誤差統(tǒng)計(jì)量的算法和基于HVS(人眼視覺系統(tǒng))模型的算法兩大類［3］。前一類算法主要有均方誤差(MSE)、峰值信噪比(PSNR)等，這類算法的缺點(diǎn)是僅注重評價(jià)失真圖像和參考圖像之間的差異，并沒有考慮這些差異對人的視覺感知的影響，因而和主觀評價(jià)值之間有較大的誤差;而后一類算法［4－10］通過對HVS的某些底層特性進(jìn)行建模，大大提高了圖像質(zhì)量預(yù)測的準(zhǔn)確度。文獻(xiàn)［5］提出了比較圖像結(jié)構(gòu)上的相似程度而不是差異的結(jié)構(gòu)相似算法(SSIM)，具有計(jì)算方便、評價(jià)性能較高的優(yōu)點(diǎn)，已經(jīng)在圖像增強(qiáng)，超分辨率重構(gòu)等領(lǐng)域中廣泛采用;同時(shí)在SSIM算法的基礎(chǔ)上，出現(xiàn)了一系列改進(jìn)算法［6－10］，它們綜合模擬了 HVS的各項(xiàng)特性，能夠較好地保證主客觀評價(jià)的一致性，但大都存在算法復(fù)雜、運(yùn)算量大的不足。

隨著圖像評價(jià)技術(shù)在紅外圖像壓縮［11］，激光主動成像［12］等領(lǐng)域的應(yīng)用，在保證圖像質(zhì)量評價(jià)算法準(zhǔn)確度高的同時(shí)，也對算法復(fù)雜度和處理時(shí)間提出了新的要求。針對這種需求，在標(biāo)準(zhǔn)SSIM的算法框架上，提出一種加速的全參考圖像質(zhì)量評價(jià)算法。

2 結(jié)構(gòu)相似性評價(jià)算法

文獻(xiàn)［5］利用人眼視覺系統(tǒng)能高度自適應(yīng)的提取場景中的結(jié)構(gòu)信息，提出了結(jié)構(gòu)相似性評價(jià)(SSIM)算法，算法包括亮度項(xiàng)l(x，y)，對比度項(xiàng)c(x，y)和結(jié)構(gòu)項(xiàng)s(x，y)這三個部分信息的比較，其表達(dá)式分別為:

式中，μx和μy表示圖像X，Y方向的灰度均值;σx和σy表示圖像X，Y方向的灰度方差;σxy表示灰度協(xié)方差;C1，C2和C3是為了避免公式中分母為零而添加的常數(shù)。

利用以上三項(xiàng)信息，可以得到評價(jià)模型為:

式中，α，β，γ為各部分的相關(guān)性權(quán)重系數(shù)。

對圖像進(jìn)行質(zhì)量評判時(shí)，通常采用多尺度技術(shù)把圖像劃分為幾個重疊或不重疊的子塊，對每一塊利用公式(4)進(jìn)行評分計(jì)算，最后得到整幅圖像的評分為:

3 基于優(yōu)化技術(shù)的加速算法

由于SSIM算法計(jì)算復(fù)雜、運(yùn)算量較大，難于應(yīng)用于對實(shí)時(shí)性要求較高的場合，因此提出基于優(yōu)化技術(shù)的加速算法，對SSIM算法進(jìn)行改進(jìn)。

3.1 亮度項(xiàng)的優(yōu)化計(jì)算技術(shù)

SSIM算法中亮度項(xiàng)的計(jì)算公式(公式(1))只含有均值項(xiàng)的計(jì)算，利用積分圖像技術(shù)［13］可以對亮度項(xiàng)的計(jì)算進(jìn)行加速。

積分圖像是一種用于快速計(jì)算圖像窗口的灰度值總和或灰度均值的一種圖像中間表示，計(jì)算效率高，應(yīng)用廣泛。積分圖像中任意一點(diǎn)的像素值ii(x，y)可以用圖1(a)所示的原始圖像相應(yīng)陰影區(qū)域的灰度值總和表示，即:

其中，p(x，y)為原始圖像中點(diǎn)(x，y)的像素灰度值，ii(x，y)可以用下面公式迭代計(jì)算得到:

其中，s(x，y)表示一列的積分，并且 s(x，－1)=0，ii(－1，y)=0。求積分圖像只需掃描原圖像所有像素一遍，計(jì)算量很小。

圖1 積分圖像的定義和計(jì)算原理

圖1(b)所示的窗口W的灰度值總和，對于任意大小的窗口，均可以用積分圖像中的4個相應(yīng)點(diǎn)(x1，y1)，(x2，y2)，(x3，y3)和(x4，y4)計(jì)算得到，即窗口的灰度值總和為 ii(x4，y4)+ii(x1，y1) － (ii(x2，y2)+ii(x3，y3))。

使用積分圖像加速技術(shù)，SSIM中的亮度項(xiàng)的計(jì)算量將大大減少。設(shè)窗口尺寸為n×n，對于窗口的均值計(jì)算，使用高斯加權(quán)窗的標(biāo)準(zhǔn)的SSIM算法需要n2次乘法和(n2－1)次加法。而提出的積分圖像計(jì)算方法僅需要3次加法和1次減法。這樣每次窗口計(jì)算的計(jì)算減少量為save=n2(乘法)+(n2－4)(加法)－1(減法)。而計(jì)算一幅長寬為w×h為圖像，圖像中含有的窗口數(shù)為wn=(w－n+1)(h－n+1)，總的計(jì)算減少量為save×wn。因此使用積分圖像，SSIM的亮度項(xiàng)的計(jì)算量將大大減少。

3.2 對比度項(xiàng)和結(jié)構(gòu)項(xiàng)的優(yōu)化計(jì)算技術(shù)

由公式(2)、公式(3)可知，對比度項(xiàng)和結(jié)構(gòu)項(xiàng)含有方差項(xiàng)的計(jì)算，計(jì)算代價(jià)較高。本文使用梯度幅值計(jì)算［14］來代替方差項(xiàng)的計(jì)算，進(jìn)而對算法進(jìn)行加速。

使用Roberts算子來產(chǎn)生梯度圖像，得到圖像的梯度逼近表示為:

設(shè)圖像的維度為 Nx×Ny，則公式(2)和公式(3)的計(jì)算公式變?yōu)?

其中，μGxGy和 μGx的表達(dá)式如公式(12)，(13)所示，而μGy和μGx的表達(dá)式類似。

利用以上公式，可以得到加速的結(jié)構(gòu)相似性評價(jià)(Speed Up SSIM，)公式如下:

其中

由于公式(15)為多尺度評價(jià)算法，需要采用高斯窗口和圖像塊進(jìn)行子采樣得到，為了降低計(jì)算復(fù)雜度，采用8×8的整數(shù)窗口來逼近高斯窗。整數(shù)窗口的模板如圖2所示。

圖2 8×8整數(shù)窗口

4 實(shí)驗(yàn)結(jié)果和討論

為了驗(yàn)證算法的質(zhì)量評價(jià)性能，采用LIVE圖像質(zhì)量評估數(shù)據(jù)庫作為算法的仿真圖像。LIVE圖庫選取了29幅原始彩色圖像，5類共982幅失真模擬圖像，提供了每幅圖像的主觀評價(jià)分DMOS(Differential Mean Opinion Score)，作為客觀質(zhì)量評價(jià)比較的標(biāo)準(zhǔn)。本實(shí)驗(yàn)采用峰值信噪比(PSNR)和結(jié)構(gòu)相似度(SSIM)，和本文提出的 SUSSIM-l(僅優(yōu)化亮度項(xiàng))，SUSSIM-f(全優(yōu)化)進(jìn)行性能指標(biāo)的對比，實(shí)驗(yàn)環(huán)境為Intel Core 2 Duo 2.6 GHz，Windows操作系統(tǒng)。

性能度量指標(biāo)采用Pearson相關(guān)系數(shù)(CC)與Spearman等級相關(guān)系數(shù)(SROCC)［5］，兩個指標(biāo)絕對值越接近于1，表明主客觀評價(jià)間的一致性越好。不同指標(biāo)的性能指標(biāo)如表1所示。

表1 算法的性能指標(biāo)

從表1的數(shù)據(jù)可以看出，標(biāo)準(zhǔn)SSIM和本文改進(jìn)算法，明顯優(yōu)于PSNR，這是由于算法本身集成了人眼視覺系統(tǒng)的結(jié)構(gòu)性特征的原理。而本文算法的相關(guān)系數(shù)數(shù)值和標(biāo)準(zhǔn)SSIM算法的數(shù)值非常接近，也即本文改進(jìn)算法的客觀評價(jià)能力與標(biāo)準(zhǔn)SSIM相比，基本沒有損失。

為了驗(yàn)證算法的加速能力，采用LIVE視頻質(zhì)量評估數(shù)據(jù)庫作為仿真視頻。采用每秒處理的視頻幀數(shù)(f/s)，作為評價(jià)指標(biāo)，得到幾種算法的數(shù)據(jù)表2所示。

表2 算法的速度指標(biāo)

從表2中的數(shù)據(jù)可以看出，本文算法(SUSSIM-f)的比標(biāo)準(zhǔn)的SSIM提高了168%。本文算法的處理速度是SSIM算法的2.68倍。

綜合表1和表2的數(shù)據(jù)，從性能/運(yùn)行時(shí)間這個指標(biāo)看，本文算法具有圖像質(zhì)量評價(jià)能力較強(qiáng)，算法具有復(fù)雜度低，計(jì)算效率高的優(yōu)點(diǎn)，適合于對實(shí)時(shí)性有較高要求的場合。

5 結(jié)論

本文提出了一種時(shí)間優(yōu)化的結(jié)構(gòu)相似性圖像評價(jià)算法，并在LIVE圖像庫和視頻庫上進(jìn)行了仿真實(shí)驗(yàn)，算法在評價(jià)一致性上和SSIM算法非常接近，而計(jì)算效率上是SSIM算法的2.68倍。算法雖然只對SSIM進(jìn)行了加速和改進(jìn)，但是算法的基本思想可以運(yùn)用到其他的以SSIM為基礎(chǔ)的改進(jìn)算法上來進(jìn)行加速，提高計(jì)算效率。

［1］Seshadrinathan K，Soundararajan R，Bovik，et al．Study of subjective and objective quality assessment of video［J］．IEEE Trans．Image Process，2010，19(6):1427 －1441．

［2］Jieying Zhu，Nengchao Wang．Image quality assessment by visual gradient similarity［J］．IEEE Trans．Image Process，2012，21(3):919 －933．

［3］Jiang Gangyi，Huang Dajiang，Wang Xu，et al．Overview on Image quality assessment methods［J］．Journal of Electronics＆ Information Technology，2010，32(01):219 －226．(in Chinese)

蔣剛毅，黃大江，王旭，等．圖像質(zhì)量評價(jià)方法研究進(jìn)展［J］．電子與信息學(xué)報(bào)，2010，32(01):219 －226．

［4］E C Larson，D M Chandler．Most apparent distortion:Fullreference image quality assessment and the role of strategy［J］．Journal of Electronic Imaging，2010，19(1):1 －21．

［5］Wang Z，Bovik A C，Sheikh H R，et al．Image quality assessment:from error visibility to structural similarity［J］．IEEE Trans．Image Process，2004，13(4):600 －612．

［6］G Chen，C Yang，S Xie．Gradient-based structural similarity for image quality assessment［C］//Proc．of IEEE Int．Conf．Image Process，2006:2929 －2932．

［7］Li C，Bovik A C．Three-component weighted structural similarity index［C］//Proc．of SPIE Conference on image quality and system performance，Jan 19 – 22，2009，San Jose，California．

［8］M P Sampat，Z Wang，S Gupta，et al．Complex wavelet structural similarity:a new image similarity index［J］．IEEE Trans．Image Process，2009，18(11):2385 －2401．

［9］C Li，A C Bovik．Content-partitioned structural similarity index for image quality assessment［J］．Signal Process，2010，25(7):517 －526．

［10］ Z Wang，Q Li．Information content weighting for perceptual image quality assessment［J］．IEEE Trans．Image Process，2011，20(5):1185 －1198．

［11］ Gao Xuhui，Dong Yi，Qi Meng．Quality evaluation of impressed infrared images［J］．Laser ＆ Infrared，2008，38(10):1063 －1065．(in Chinese)

高旭輝，董怡，祁蒙．紅外圖像壓縮質(zhì)量評價(jià)研究［J］．激光與紅外，2008，38(10):1063 －1065．

［12］ Dai Dede，Sun Huayan，Han Yi，et al．Image quality assessment of laser active imaging system［J］．Laser＆ Infrared，2009，39(9):986 －990．(in Chinese)

戴得德，孫華，韓意，等．激光主動成像系統(tǒng)目標(biāo)圖像質(zhì)量評價(jià)參數(shù)研究［J］．激光與紅外，2009，39(9):986－990．

［13］ Porikli F．Integral histogram:a fast way to extract histograms in Cartesian spaces［C］//Proc．of IEEE Int．Conf．Computer Vision and Pattern Recognition，2005，1:829－836．

［14］ Renting L，Zhaorong L，Jiaya J．Image partial blur detection and classification［C］//Proc．of IEEE Int．Conf．Computer Vision and Pattern Recognition，2008，1 －8．