一種彩色圖像質(zhì)量評(píng)價(jià)方法

曹 欣， 李戰(zhàn)明， 胡文瑾

1.蘭州理工大學(xué)電氣工程與信息工程學(xué)院，蘭州730050

2.西北民族大學(xué)數(shù)學(xué)與計(jì)算機(jī)科學(xué)學(xué)院，蘭州730000

圖像質(zhì)量評(píng)價(jià)在圖像和視頻處理中具有重要作用.根據(jù)參考圖像的可用性，圖像質(zhì)量評(píng)價(jià)方法可分為3 類(lèi)：全參考（full-reference,FR）、部分參考（reduced-reference,RR）和無(wú)參考（no-reference、NR）.FR 需要失真圖像和完整的參考圖像，RR只需要失真圖像和部分參考圖像，NR 僅使用失真圖像.本文重點(diǎn)討論全參考圖像的質(zhì)量評(píng)價(jià)算法.傳統(tǒng)的全參考圖像質(zhì)量評(píng)價(jià)算法諸如均方誤差[1]（mean squared error,MSE）和峰值信噪比[2]（peak signal to noise rate,PSNR）均基于像素域，因計(jì)算簡(jiǎn)單、物理意義明確而被廣泛使用.然而，它們只是單純從數(shù)學(xué)角度出發(fā)，通過(guò)測(cè)量失真圖像和參考圖像像素點(diǎn)之間的差異獲得圖像質(zhì)量評(píng)價(jià)得分，而沒(méi)有考慮到人類(lèi)視覺(jué)系統(tǒng)特性，因此其評(píng)價(jià)結(jié)果并不可靠.文獻(xiàn)[3]提出了結(jié)構(gòu)相似性算法（structural similarity index,SSIM），它是通過(guò)圖像中的亮度、對(duì)比度和結(jié)構(gòu)信息這3 個(gè)局部特征來(lái)度量圖像的失真情況的.該算法在實(shí)現(xiàn)效率、評(píng)價(jià)準(zhǔn)確率上具有很好的魯棒性，但是在提取特征時(shí)對(duì)人眼感興趣程度不同的圖像區(qū)域沒(méi)有突出差別，而是將子塊的結(jié)構(gòu)相似度簡(jiǎn)單地取平均得出整幅圖像的結(jié)構(gòu)相似度，因而存在一定的局限性.文獻(xiàn)[4]提出了特征相似性算法（feature similarity index,FSIM），根據(jù)圖像的特征點(diǎn)經(jīng)過(guò)傅里葉變換后在不同頻率上具有一致相位的性質(zhì)，將相位一致性和梯度特征相結(jié)合得到質(zhì)量評(píng)價(jià)算法.FSIM 算法在評(píng)價(jià)與圖像內(nèi)容相關(guān)的失真類(lèi)型時(shí)效果非常好，但因?yàn)閷?duì)圖像邊緣信息的變化不夠敏感，所以針對(duì)邊緣信息比較豐富的圖像評(píng)價(jià)效果一般.文獻(xiàn)[5]根據(jù)圖像信息損失會(huì)改變圖像梯度幅值的特點(diǎn)，提出了梯度幅度相似度偏差（gradient magnitude similarity deviation,GMSD）算法，它是通過(guò)計(jì)算參考圖像和失真圖像的梯度幅值之間的差異來(lái)獲取測(cè)試圖像的質(zhì)量分?jǐn)?shù)的，該算法實(shí)現(xiàn)效率較高，但是穩(wěn)定性一般.文獻(xiàn)[6]提出了對(duì)稱(chēng)特征相似度法，它是將FSIM 與對(duì)稱(chēng)相位一致性相結(jié)合，利用Sobel 算子計(jì)算梯度幅值進(jìn)而得到圖像的相似性.但該方法僅僅對(duì)比較尖銳的圖像邊緣特征和高斯模糊圖像具有較高的敏感性.目前大多數(shù)算法都是對(duì)整幅圖像提取邊緣特征，而忽略了不同區(qū)域結(jié)構(gòu)特征對(duì)人眼視覺(jué)的影響，于是文獻(xiàn)[7]提出了基于視覺(jué)感知和顏色結(jié)構(gòu)相結(jié)合的圖像質(zhì)量評(píng)價(jià)算法.該算法引入了顏色結(jié)構(gòu)和視覺(jué)感知閾值，設(shè)計(jì)了一種新的圖像質(zhì)量評(píng)價(jià)框架，首先在RGB顏色空間和灰度域中提取結(jié)構(gòu)信息，以獲得失真圖像的顏色和結(jié)構(gòu)的變化，然后利用最小的結(jié)構(gòu)系數(shù)量，借助視覺(jué)感知閾值去除人眼不能感知到的視覺(jué)系數(shù)，能夠捕獲失真圖像的顏色結(jié)構(gòu)變化，測(cè)量失真圖像與參考圖像之間視覺(jué)感知系數(shù)的比例差異以獲得圖像質(zhì)量評(píng)分.該算法只是在彩色圖像的基礎(chǔ)上進(jìn)行邊緣特征提取，忽略了圖像的顏色相似性.

本文提出的全參考圖像質(zhì)量評(píng)價(jià)算法根據(jù)人眼的視覺(jué)系統(tǒng)提取亮度分量、色調(diào)和飽和度，通過(guò)亮度分量卷積Scharr 算子得到圖像的結(jié)構(gòu)特征，然后結(jié)合灰度圖像的邊緣特性得到一種客觀(guān)圖像質(zhì)量評(píng)價(jià)算法.實(shí)驗(yàn)結(jié)果表明：該方法可以充分利用彩色圖像的色度、飽和度和亮度信息，同時(shí)提取亮度邊緣和灰度圖像邊緣，從而能夠更完整地提取出圖像的邊緣信息，與其他被廣泛使用的圖像質(zhì)量評(píng)價(jià)算法相比，該算法評(píng)價(jià)結(jié)果與主觀(guān)評(píng)價(jià)結(jié)果具有更高的一致性.

1 基于HSV 色彩空間和邊緣特征的圖像質(zhì)量評(píng)價(jià)

人眼的視覺(jué)系統(tǒng)是世界上最好的圖像處理系統(tǒng)，人眼對(duì)圖像的感知是基于結(jié)構(gòu)和顏色的特征.圖像的結(jié)構(gòu)信息集中在輪廓部分，即邊緣像素的集合.邊緣是指圖像中灰度發(fā)生急劇變化的區(qū)域邊界，它是圖像中最基本的特征，也是分析理解圖像的基礎(chǔ).圖像邊緣信息的改變意味著圖像基本內(nèi)容或結(jié)構(gòu)的改變，因此圖像的邊緣是評(píng)價(jià)圖像質(zhì)量的重要因素，在對(duì)圖像信息的理解中發(fā)揮重要的作用.在彩色圖像中，比較接近人眼的色彩感知空間是色調(diào)、飽和度和亮度空間.其中色調(diào)和飽和度統(tǒng)稱(chēng)為色度，色調(diào)是色度特征的一個(gè)主要屬性，表示顏色的具體色相；飽和度則指的是顏色的純度，即該色調(diào)下的純色混合多少比例的白光能得到這種顏色.而亮度是指畫(huà)面的明亮程度，用來(lái)反映人類(lèi)的主觀(guān)明亮感覺(jué)，亮度分量大多包含細(xì)節(jié)信息.本文選擇HSV 色彩空間來(lái)分析彩色圖像的質(zhì)量.

1.1 顏色特征的提取

根據(jù)人眼視覺(jué)對(duì)顏色的感知方式，本文采用了HSV 色彩空間對(duì)圖像進(jìn)行處理和識(shí)別，它比RGB 色彩空間更符合人的視覺(jué)特性.在圖像處理中大量算法也可采用HSV 色彩空間.該空間從人的視覺(jué)系統(tǒng)出發(fā)，用色調(diào)（hue）、飽和度（saturation）和亮度（value）來(lái)描述色彩.HSV 色彩空間和RGB 色彩空間是同一物理量的不同表示法，其轉(zhuǎn)換關(guān)系為

式中，V為亮度分量，H和S為色度通道，max 和min 分別為R、G、B的最大值和最小值.考慮到H分量和S分量代表色彩信息，因此將色調(diào)和飽和度同時(shí)處理，以便更好地表征由顏色失真引起的圖像質(zhì)量下降.

原始圖像和失真圖像之間的顏色相似性可以定義為

式中，Hr、Sr分別為參考圖像的色調(diào)和飽和度，Hd、Sd分別為失真圖像的色調(diào)和飽和度.其中常數(shù)T2和T3旨在確保當(dāng)分母接近0 時(shí)CHS的穩(wěn)定性.

1.2 邊緣特征的提取

由于人眼對(duì)圖像邊緣非常敏感，梯度幅度可以準(zhǔn)確地提取圖像的邊緣信息[8]，故本文采用梯度算子來(lái)檢測(cè)邊緣.常用的提取邊緣的梯度算子如Sobel 算子、Prewitt 算子、Scharr 算子均為一階微分算子.其中Sobel 算子和Prewitt 算子雖然對(duì)噪聲具有一定的抑制能力，但檢測(cè)結(jié)果會(huì)出現(xiàn)虛假邊緣.Scharr 算子是對(duì)Sobel（使用小的卷積和求解梯度角度）的優(yōu)化，計(jì)算速度極快，且在小噪聲情況下對(duì)噪聲的平滑性能優(yōu)于Sobel 算子和Prewitt 算子，故本文采用Scharr 算子提取結(jié)構(gòu)特征.Scharr 濾波器在x方向和y方向可定義為

1.2.1 亮度通道邊緣特征的提取

通過(guò)亮度分量V與Hx和Hy的卷積運(yùn)算實(shí)現(xiàn)亮度通道邊緣特征的提取，從而得到原始圖像亮度通道的梯度幅值Gr,V和失真圖像亮度通道的幅值Gd,V為

式中，?為線(xiàn)性卷積算子，Vr為參考圖像的亮度分量，Vd為失真圖像的亮度分量.

原始圖像和失真圖像的梯度幅度相似度GV為

式中，引入常數(shù)T1是為了確保分母不等于0.

1.2.2 灰度圖像邊緣特征的提取

亮度分量的邊緣提取只檢測(cè)出了亮度變化緩慢的地方，而忽略了亮度變化強(qiáng)烈的地方，如圖1（b）所示.為了充分利用圖像中的邊緣信息，需進(jìn)一步對(duì)灰度圖像結(jié)構(gòu)特征進(jìn)行提取，如圖1（c）所示，以同時(shí)檢測(cè)出亮度變化強(qiáng)烈和緩慢的區(qū)域.通過(guò)Hx和Hy分別與參考圖像Rgray和失真圖像Dgray進(jìn)行卷積提取出灰度圖像的邊緣特征，原始圖像的梯度幅值Gr,gray和失真圖像的梯度幅值Gd,gray分別為

原始圖像和失真圖像的梯度幅度相似度Ggray為

式中，常數(shù)T2用來(lái)確保分母不等于0.

圖1 邊緣特征對(duì)比圖Figure1 Comparison of edge features

1.3 質(zhì)量融合

根據(jù)中心像素及其周?chē)袼氐南鄬?duì)特性，視覺(jué)顯著性（visual saliency,VS）模型能反映出局部區(qū)域?qū)VS 的“顯著性”.本文所定義的視覺(jué)顯著性模型VSDSP結(jié)合了以下3 個(gè)前提條件：1）HVS 檢測(cè)視覺(jué)場(chǎng)景中的顯著對(duì)象可以通過(guò)帶通濾波建模，2）HVS 對(duì)圖像中心的變化敏感，3）HVS 更注重暖色而不是冷色.VSDSP定義為

式中，F(xiàn)SDSP（x）、DSDSP（x）、CSDSP（x）分別表示模型的3 個(gè)先驗(yàn).

基于邊緣特征將圖像分割為邊緣強(qiáng)烈變化區(qū)域和緩慢變化區(qū)域，在這些區(qū)域中只考慮了結(jié)構(gòu)相似性,而在邊緣擴(kuò)展區(qū)域中需要利用顏色相似性作為補(bǔ)充.結(jié)合匯聚策略，邊緣強(qiáng)烈變化區(qū)域、緩慢變化區(qū)域和邊緣延伸區(qū)域的質(zhì)量評(píng)估分別為

最終的圖像質(zhì)量評(píng)分為

HVS 對(duì)圖像的感知是基于結(jié)構(gòu)和顏色的特征，輪廓區(qū)域是邊緣像素的集合，因此圖像的重要結(jié)構(gòu)信息集中在這個(gè)區(qū)域.強(qiáng)變區(qū)域和緩變區(qū)域在評(píng)價(jià)中都起主要作用，因此a、b的值較大，且都等于0.4，邊緣擴(kuò)展區(qū)域的權(quán)重c取0.2.

2 實(shí)驗(yàn)部分

在LIVE數(shù)據(jù)庫(kù)上進(jìn)行對(duì)比實(shí)驗(yàn)，以驗(yàn)證本文所提方法的合理性和有效性.參與比較的圖像質(zhì)量評(píng)價(jià)算法有PSNR[2]、MSE[1]、FSIM[4]、SSIM[3]、信息量加權(quán)SSIM（IWSSIM）、GMSD[5]、視覺(jué)信息保真度（visual information fidelity,VIF）、最明顯失真（most apparent distortion,MAD）、視覺(jué)顯著性誘導(dǎo)指數(shù)（visual saliency induced,VSI）、高斯尺寸混合（Gaussian scale mixture,GSM）模型、信息保真度準(zhǔn)則（information fidelity criterion,IFC）、UIQ（universal image quality index）.

2.1 測(cè)試指標(biāo)

首先利用本文提出的算法計(jì)算客觀(guān)圖像質(zhì)量得分FUSE，然后根據(jù)數(shù)據(jù)庫(kù)中每幅失真圖像的人工評(píng)價(jià)結(jié)果DMOS 值評(píng)估兩者的相關(guān)性.此相關(guān)性指標(biāo)由視頻質(zhì)量專(zhuān)家組[9]（video quality experts group,VQEG）提出，分別為皮爾森線(xiàn)性相關(guān)系數(shù)（Pearson linear correlation coefficient,PLCC）、肯德?tīng)栂嚓P(guān)系數(shù)（Kendall's rank correlation coefficient,KROCC）、斯皮爾曼相關(guān)系數(shù)（Spearman's rank correlation coefficient,SROCC）、均方根誤差（root mean square error,RMSE）.SROCC 和KROCC 預(yù)測(cè)符合主觀(guān)分?jǐn)?shù)相對(duì)大小的單調(diào)性，其值越接近于1，表明算法的預(yù)測(cè)單調(diào)性越好.計(jì)算PLCC 和RMSE 指標(biāo)，需要先進(jìn)行非線(xiàn)性回歸分析，再計(jì)算PLCC 和RMSE.PLCC 表示以最低的誤差水平預(yù)測(cè)主觀(guān)分?jǐn)?shù)的能力，其值越接近于1 表示算法的精確性越高；RMSE 表征非線(xiàn)性擬合的準(zhǔn)確度，RMSE 值越小說(shuō)明擬合得越好，當(dāng)RMSE值為0 時(shí)，說(shuō)明主客觀(guān)圖像完全一致.非線(xiàn)性回歸采用logistic 回歸函數(shù)[10]，公式為

式中，β1、β2、β3、β4和β5是回歸模型的參數(shù).

2.2 對(duì)比測(cè)試實(shí)驗(yàn)

為了檢驗(yàn)本文所提算法（FUSE）的性能，選擇在LIVE 數(shù)據(jù)庫(kù)上進(jìn)行對(duì)比測(cè)試.表1和2列出了各評(píng)價(jià)方法在LIVE 數(shù)據(jù)庫(kù)不同失真類(lèi)型上的PLCC 及SROCC 指標(biāo)，表3列出了各方法在LIVE 數(shù)據(jù)庫(kù)上的整體性能.

表1列出本文算法和其他9 種算法在LIVE 數(shù)據(jù)庫(kù)上的PLCC 指標(biāo)，并將排名前三的算法以黑體突出顯示.可以看出，本文算法在LIVE 數(shù)據(jù)庫(kù)所有失真類(lèi)型上都獲得了較好的效果.其中在BLUR、FF 失真上本文算法性能優(yōu)于其他算法，盡管在JP2K、JPEG、WN 失真方面的性能沒(méi)有達(dá)到最佳效果，但相比于其他算法均有一定提升.比如在JP2K、JPEG 失真上，所提算法預(yù)測(cè)性能與性能最好的MAD 算法最大相差0.007；因?yàn)閃N 失真引入不同程度的白噪聲，而本文算法利用Scharr 對(duì)邊緣進(jìn)行提取，所以對(duì)數(shù)據(jù)庫(kù)中噪點(diǎn)密集的圖片細(xì)節(jié)提取能力存在欠缺，導(dǎo)致本文算法在該類(lèi)失真方面的性能比PSNR 算法略差.從以上各失真類(lèi)型評(píng)價(jià)結(jié)果來(lái)看，相對(duì)于其他全參考質(zhì)量評(píng)價(jià)方法，本文算法在各失真類(lèi)型評(píng)價(jià)中的表現(xiàn)均較好.

表1 圖像質(zhì)量評(píng)價(jià)指標(biāo)PLCC 對(duì)不同失真類(lèi)型的性能比較Table1 Performance comparison of image quality assessment index PLCC to different distortion types

表2列出了本文算法和其他9 種算法在LIVE 數(shù)據(jù)庫(kù)上的SROCC 指標(biāo)，并將排名前三的算法以黑體突出顯示.可以看出，本文算法在大多數(shù)失真類(lèi)型上都取得了理想的效果，雖然對(duì)個(gè)別失真類(lèi)型評(píng)價(jià)結(jié)果稍有偏差，但總體上對(duì)JP2K、BLUR、FF 類(lèi)型的失真評(píng)價(jià)結(jié)果較好.在JPEG、WN 類(lèi)型失真上表現(xiàn)不佳的主要原因如下：1）JPEG 會(huì)在圖片物體的周?chē)霈F(xiàn)亮邊，在色調(diào)均勻的區(qū)域出現(xiàn)色斑、色塊等現(xiàn)象，同時(shí)會(huì)減小圖像的高頻信息；2）高斯噪聲WN會(huì)產(chǎn)生大量的偽邊緣，使圖像的結(jié)構(gòu)特征大大減小，故本文所提算法在識(shí)別這兩類(lèi)失真類(lèi)型時(shí)會(huì)出現(xiàn)誤判，導(dǎo)致預(yù)測(cè)性能有所下降.但是相比SSIM、MS-SSIM、FSIM、GSM、MAD、VSI等絕大多數(shù)全參考評(píng)價(jià)方法，本文算法的優(yōu)勢(shì)比較明顯.

表2 圖像質(zhì)量評(píng)價(jià)指標(biāo)SROCC 對(duì)不同失真類(lèi)型的性能比較Table2 Performance comparison of image quality assessment index SROCC to different distortion types

表3列出了本文算法和其他7 種算法在LIVE 數(shù)據(jù)庫(kù)上的整體性能表現(xiàn)，并將排名前三的算法以黑體突出顯示.從黑體標(biāo)注可以看出，在LIVE 數(shù)據(jù)庫(kù)整體性能測(cè)試上本文算法取得了比其他算法更好的性能.首先PLCC 指標(biāo)和SROCC 指標(biāo)高于大多數(shù)算法，說(shuō)明本文所提算法具有更高的精確性.其次KROCC 指標(biāo)居于靠前位置，RMSE 指標(biāo)相對(duì)其他算法也比較小，說(shuō)明客觀(guān)預(yù)測(cè)值與人眼主觀(guān)觀(guān)測(cè)值之間誤差小.綜合以上分析，表明本文所提算法的整體性能較好.

表3 圖像質(zhì)量評(píng)價(jià)指標(biāo)在LIVE數(shù)據(jù)庫(kù)上的性能比較Table3 Comparison of image quality evaluation index on LIVE database

為了更直觀(guān)地體現(xiàn)本文算法預(yù)測(cè)效果，利用LIVE 數(shù)據(jù)庫(kù)所得客觀(guān)質(zhì)量評(píng)價(jià)分?jǐn)?shù)與主觀(guān)質(zhì)量評(píng)價(jià)分?jǐn)?shù)擬合散點(diǎn)圖.圖2給出了不同全參考圖像質(zhì)量評(píng)價(jià)方法散點(diǎn)圖.

圖2中X軸表示不同算法的客觀(guān)質(zhì)量評(píng)價(jià)分?jǐn)?shù)，Y軸表示LIVE 數(shù)據(jù)庫(kù)附帶的主觀(guān)質(zhì)量評(píng)分，每一個(gè)點(diǎn)代表一幅失真圖像，散點(diǎn)越集中說(shuō)明客觀(guān)評(píng)分與主觀(guān)評(píng)分之間的一致性越好.從擬合結(jié)果可以看出：與傳統(tǒng)的UQI 算法、PSNR 算法相比，基于人類(lèi)視覺(jué)感知特性改進(jìn)的SSIM 算法、GMSD 算法評(píng)價(jià)結(jié)果相對(duì)較好，而基于顏色特征的FSIM 算法及本文所提FUSE算法取得了比其他所有算法更好的性能.

圖2 圖像質(zhì)量評(píng)價(jià)算法在LIVE 數(shù)據(jù)庫(kù)上的散點(diǎn)分布圖Figure2 Scatter plots of image quality evaluation algorithm on LIVE database

3 結(jié) 語(yǔ)

考慮到顏色和邊緣對(duì)人類(lèi)視覺(jué)的影響，本文提出了一種基于顏色和邊緣的圖像質(zhì)量評(píng)價(jià)算法.首先提取亮度、色度和飽和度；然后將亮度和梯度算子進(jìn)行卷積從而得到亮度變化強(qiáng)烈的邊緣特征；最后提取灰度圖像的邊緣特征，兩次邊緣特征的提取使檢測(cè)到的邊緣信息更加豐富全面.利用LIVE 數(shù)據(jù)庫(kù)對(duì)本文算法進(jìn)行了驗(yàn)證，結(jié)果表明：本文算法所得客觀(guān)圖像質(zhì)量評(píng)價(jià)與主觀(guān)評(píng)價(jià)具有較好的一致性，是一種有效的圖像質(zhì)量評(píng)價(jià)方法.