一種改進(jìn)的無參考圖像質(zhì)量評估算法

高　建,韓　瑜,顧　浩

(江蘇自動化研究所,江蘇連云港　222061)

?

一種改進(jìn)的無參考圖像質(zhì)量評估算法

高建,韓瑜,顧浩

(江蘇自動化研究所,江蘇連云港222061)

無參考圖像質(zhì)量評估方法一直是圖像質(zhì)量研究所關(guān)注的重點(diǎn)。本文針對無參考圖像質(zhì)量評估問題,在當(dāng)前被廣泛接受的DIIVINE圖像質(zhì)量評估方法基礎(chǔ)上進(jìn)行了深入的研究,研究發(fā)現(xiàn)經(jīng)典的DIIVINE方法中使用了過多的統(tǒng)計(jì)特征量,由于統(tǒng)計(jì)量無差別的使用影響了方法的預(yù)測性能。基于此,利用主成分分析(PCA)算法對該特征向量進(jìn)行降維,得到“精簡的特征向量”,用此向量可以達(dá)到更好的分類性能和評估性能。試驗(yàn)證明,在圖像數(shù)據(jù)庫上,該算法表現(xiàn)出較好的預(yù)測性能,其性能優(yōu)于其他主流的無參考圖像評估算法。

自然場景統(tǒng)計(jì);主成分分析;無參考;圖像質(zhì)量評價(jià)

由于在大多數(shù)場合原始圖像難以獲取,因此在圖像評估領(lǐng)域中,無參考圖像質(zhì)量評估算法一直是關(guān)注的重點(diǎn)。雖然對于人類來講,在缺少原始圖像情況下,可以很容易地評估一幅失真圖像。但要設(shè)計(jì)一個(gè)自動化算法,達(dá)到相同的評估效果,是異常困難的。近年來,出現(xiàn)了許多關(guān)于無參考圖像評估算法的研究[1-12]。

無參考圖像評估算法的發(fā)展大致可以分為兩個(gè)階段:第一個(gè)階段為失真已知的無參考圖像評估算法,第二階段為通用型的無參考圖像評估算法。失真已知的無參考圖像評估算法只能在一種指定的失真類型圖像上進(jìn)行評估。例如,文獻(xiàn)[9-10]用來評估模糊失真類型的圖像質(zhì)量,其中文獻(xiàn)[9]是通過圖像的邊緣寬度,文獻(xiàn)[10]中是通過變換域中的圖像峭度。而文獻(xiàn)[11-12]則是用來評估JPEG壓縮失真類型的圖像質(zhì)量,主要是通過測量JPEG壓縮失真的塊狀化程度來評估圖像質(zhì)量。這些方法只能在特定的失真類型上有效,而在多數(shù)情況下,圖像的失真類型是未知的,所以,通用型的無參考圖像評估算法更有意義。

通用型的無參考圖像質(zhì)量評估算法進(jìn)一步可以分為兩種:一種是基于機(jī)器學(xué)習(xí)思想的,典型的算法有DIIVINE[1], BIQI[4],BQISQUE[5],GRNN[6],LOG/GM[7],DCT[13]。這些算法都需要學(xué)習(xí)訓(xùn)練來構(gòu)建模型,再通過測試集評估其性能。其中GRNN算法,利用神經(jīng)網(wǎng)絡(luò)模型,提取圖像的局部均值,熵和梯度特征用于訓(xùn)練。LOG/GM算法提取兩種局部對比度的聯(lián)合統(tǒng)計(jì)量進(jìn)行學(xué)習(xí)。DCT算法提取圖像的離散余弦變換系數(shù)進(jìn)行學(xué)習(xí)。而文獻(xiàn)[1,4-5]這些算法利用自然統(tǒng)計(jì)模型[2],提取失真圖像的統(tǒng)計(jì)特征(其中文獻(xiàn)[1，4]在小波變換域提取子帶的統(tǒng)計(jì)特征,而文獻(xiàn)[5]中提取圖像的空域統(tǒng)計(jì)特征),構(gòu)成圖像統(tǒng)計(jì)特征向量,再基于文獻(xiàn)[4]中提出的兩階段框架理論,利用支持向量機(jī)模型進(jìn)行學(xué)習(xí)訓(xùn)練。另一種無參考圖像評估算法是直接提取圖像特征,然后將其映射,得到圖像質(zhì)量的評估值,此種算法無模型訓(xùn)練過程。典型的算法有NIQE[3],SVD[8]等,其中SVD算法直接利用圖像灰度矩陣的奇異值,發(fā)現(xiàn)圖像的奇異值與圖像失真類型和程度的關(guān)系,經(jīng)過一系列計(jì)算得到圖像的評估值。而NIQE算法是利用圖像的空域統(tǒng)計(jì)特征,將其映射得到圖像的評估值。這些通用型的無參考質(zhì)量評估算法大多是在小型圖像數(shù)據(jù)庫LIVE[21]上進(jìn)行測試的,評估性能較好,但對于較多失真類型的CSIQ[22]和TID[23]圖像數(shù)據(jù)庫,普遍表現(xiàn)不佳。

由于經(jīng)典DIIVINE方法中使用了過多的統(tǒng)計(jì)特征量而降低了方法的預(yù)測性能，因此,本文提出一種基于兩階段理論的DIIVINE的改進(jìn)算法,利用主成分分析(PCA)算法對該特征向量進(jìn)行降維,得到“精簡的特征向量”,進(jìn)而優(yōu)化DIIVINE方法。實(shí)驗(yàn)證明,在圖像數(shù)據(jù)庫上表現(xiàn)了較好的一致性。

1　PCA-DIIVINE算法

1.1DIIVINE算法回顧

DIIVNE算法是Moorthy等人提出的兩階段框架下的無參考圖像質(zhì)量評估算法。其主要過程如下:1)利用小波變換將原失真圖像進(jìn)行分解,得到失真圖像的子帶圖像；2)對子帶圖像進(jìn)行統(tǒng)計(jì)特征提取,得到失真圖像的統(tǒng)計(jì)特征向量X；3)利用該特征向量X進(jìn)行兩階段工作:a)利用分類器將X進(jìn)行圖像的失真類型分類,得到每種失真的概率,組成一個(gè)圖像的失真概率向量p；b)利用回歸模型,將X在每種失真的回歸模型上進(jìn)行映射,得到圖像在每種失真上的質(zhì)量評價(jià)值,再組成一個(gè)評估值向量q；4)將失真概率向量p和評價(jià)值向量q做內(nèi)積,最終得到失真圖像的質(zhì)量評價(jià)值。

下面簡要介紹一下特征提取的過程,具體細(xì)節(jié)參考文獻(xiàn)[1]。首先將原失真圖像在兩個(gè)尺度,6個(gè)方向上進(jìn)行小波分解,得到的12個(gè)子帶圖像和一個(gè)高頻圖像,對這些子帶圖像進(jìn)行統(tǒng)計(jì)特征提取,特征向量組成如下。

1)f1-f24:子帶系數(shù)的廣義高斯分布的參數(shù),廣義高斯分布:

fX(x;μ,σ2,γ)=ae-(b|x-μ|)γ

(1)

其中，μ,σ2,γ分別為子帶系數(shù)均值,方差和形狀參數(shù)。其中忽略子帶均值,提取子帶方差和形狀參數(shù)。

2)f25-f31:在不同尺度下,相同方向子帶系數(shù)的廣義高斯分布。提取形狀參數(shù),忽略方差和均值。其中f31為所有子帶的廣義高斯分布的形狀參數(shù)。

3)f32-f43:子帶圖像和高頻圖像的相關(guān)系數(shù),由公式(2)計(jì)算得到。

(2)

4)f44-f73:子帶的空間相關(guān)系數(shù),由公式(3)計(jì)算得到。

(3)

其中，ρ(τ)表示在空間距離為τ時(shí)子帶的空間相關(guān)系數(shù),EpXY(x,y),EpX(x)[X],EpY(y)[Y]分別為變量X,Y的聯(lián)合分布期望和邊緣分布期望,σX,σY指變量X,Y的各自標(biāo)準(zhǔn)差。

5)f74-f88:相同尺度下,不同方向子帶的相關(guān)系數(shù)。需要計(jì)算任意兩個(gè)方向子帶的相關(guān)系數(shù),方法同公式(2)。

綜上,原DIIVINE算法特征向量組成如表1所示。

表1　原DIIVINE特征向量組成

1.2原特征向量的冗余分析

原DIIVNE算法直接將88維向量作為輸入,進(jìn)行失真分類模型的建立和各種失真回歸模型的建立。該方法在圖像數(shù)據(jù)庫中的預(yù)測性能并不出眾,低于一些主流的無參考圖像質(zhì)量評估算法。本文利用DPS統(tǒng)計(jì)分析軟件,對原特征向量進(jìn)行典型相關(guān)分析,發(fā)現(xiàn)該特征向量的多項(xiàng)指標(biāo)之間存在顯著的相關(guān)關(guān)系,多項(xiàng)指標(biāo)間相關(guān)系數(shù)的絕對值高于0.8,表明原特征向量存在信息冗余,有必要對該特征向量進(jìn)行冗余處理,以消除數(shù)據(jù)間的冗余,達(dá)到數(shù)據(jù)降維的目的,從而方便后期的預(yù)測分析。

主成分分析技術(shù)(PCA)是廣泛使用的數(shù)據(jù)降維算法,其可以將原有特征進(jìn)行重新組合,變?yōu)橐唤M相互無關(guān)、信息不重疊的新特征,從而可以消除數(shù)據(jù)的冗余,使原有的復(fù)雜數(shù)據(jù)降維。PCA技術(shù)廣泛用于特征提取[14],目標(biāo)識別[15],人臉識別[16]等眾多圖像處理問題。

PCA計(jì)算過程如下:假設(shè)原樣本矩陣為X,由N個(gè)樣本向量組成,首先計(jì)算樣本協(xié)方差矩陣CX。

(4)

其中,μX為原樣本矩陣均值。再計(jì)算協(xié)方差矩陣CX的特征值和特征向量。

P-1CXP=Λ

(5)

為了測試原特征向量在冗余去除前后的算法預(yù)測能力的差異。本文采用主成分分析方法(PCA)對DIIVINE的輸入向量進(jìn)行降維,并計(jì)算不同維特征的預(yù)測能力的差異。

表2是經(jīng)過PCA降維后,通過5交叉驗(yàn)證,不同維向量在CSIQ數(shù)據(jù)庫上測得的分類性能和相關(guān)系數(shù)。

其中N-交叉驗(yàn)證指的是,將原數(shù)據(jù)隨機(jī)均分為N分,輪流將其中(N-1)份用作訓(xùn)練,1份用作驗(yàn)證,N次結(jié)果的均值作為對算法性能的估計(jì)。

表2　PCA降維對分類準(zhǔn)確性和回歸模型相關(guān)系數(shù)的影響

從表2數(shù)據(jù)可以發(fā)現(xiàn),通過PCA降維后,模型的分類準(zhǔn)確性會提高且大部分的回歸模型的相關(guān)系數(shù)會增加。這表示,在DIIVINE使用的多維特征向量數(shù)據(jù)中存在了較大的冗余。如果使用恰當(dāng)?shù)慕稻S處理,相關(guān)圖像質(zhì)量預(yù)測能力會更好的提升。

2　PCA-DIIVINE的設(shè)計(jì)原理

經(jīng)典的DIIVINE方法在數(shù)據(jù)上具有較大的冗余。本文提出給予PCA降維的DIIVINE預(yù)測方法,整個(gè)PCA-DIIVINE算法流程圖如圖1所示。

圖1　PCA-DIIVINE算法流程圖

首先,應(yīng)用DIIVINE方法的預(yù)測原理,對被測圖像進(jìn)行分析特征的提取,然后應(yīng)用PCA對特征變量進(jìn)行降維,降維之后,本文設(shè)計(jì)采用支持向量機(jī)(SVM)和支持向量回歸(SVR)模型對圖像質(zhì)量進(jìn)行學(xué)習(xí)和訓(xùn)練。關(guān)于兩個(gè)模型的介紹請參考文獻(xiàn)[17-19]。

由表2可以知道,對于分類模型和各個(gè)回歸模型來說,最佳的降維數(shù)是不同的,所以無法統(tǒng)一給出降維數(shù),需要試驗(yàn)進(jìn)行測定,然后得到最佳的降維數(shù)。在CSIQ數(shù)據(jù)庫上,測得最佳降維數(shù),結(jié)果如表3所示。

表3　最佳降維數(shù)與原維數(shù)向量的性能對比

由表3可以發(fā)現(xiàn),對于模型分類準(zhǔn)確性來說,降維后分類準(zhǔn)確性有所提高。對于大部分的失真模型的相關(guān)系數(shù)也會增加。

本實(shí)驗(yàn)中采用libSVM[20]來實(shí)現(xiàn)分類和回歸模型的建立,即對應(yīng)圖1中的SVM模型和SVR模型,模型的核函數(shù)均采用RBF核函數(shù),核函數(shù)參數(shù)用交叉驗(yàn)證在訓(xùn)練集上進(jìn)行估計(jì)。

3　實(shí)驗(yàn)驗(yàn)證

3.1性能評價(jià)指標(biāo)

為了建立圖像的主觀評價(jià)值與客觀評估值的聯(lián)系,VQEG建議使用修正的邏輯回歸方程,則預(yù)測的一致性體現(xiàn)在此非線性函數(shù)的單調(diào)性上。該邏輯回歸方程如下:

(6)

其中，參數(shù)a,b,c,d為常數(shù),由最小化均方差準(zhǔn)則選取。

最常用的預(yù)測性能評價(jià)方法有相關(guān)系數(shù)(CC)和斯皮爾曼等級相關(guān)系數(shù)(SROCC)。CC指數(shù)反映了圖像的主觀評價(jià)DMOS值與客觀評估值的相對關(guān)系,相關(guān)指數(shù)越大,則表示預(yù)測的準(zhǔn)確性越高,相關(guān)系數(shù)值介于0,1之間。SROCC主要用于單調(diào)性的評估,斯皮爾曼等級相關(guān)系數(shù)越大代表預(yù)測的單調(diào)性越好。

對于一致性的比較一般采用計(jì)算預(yù)測錯(cuò)誤率的方法。預(yù)測錯(cuò)誤率(OR)定義為

(7)

其中，Xsub(i),ypre(I)分別代表主觀的評估值和對應(yīng)式(6)中預(yù)測函數(shù)的預(yù)測值,σx代表主觀評估值的方差。Ntotal是總的評估圖像數(shù),則OR預(yù)測錯(cuò)誤率越小越好。

3.2數(shù)據(jù)庫測試

本文算法在CSIQ數(shù)據(jù)庫上進(jìn)行測試,其共有866幅失真圖像和6種失真類型(JPEG,JPEG-2000,AWGN,BLUR,CONTRAST,FNOISE),該圖像數(shù)據(jù)庫相比LIVE數(shù)據(jù)庫,加入了更多的失真類型,更能反映出評估函數(shù)的優(yōu)劣。

為了衡量本算法PCA-DIIVINE的性能,除了與原DIIVINE比較外,還和一些主流無參考圖像評估算法(包括BIQI,BRISQUE,NIQE)進(jìn)行比較,同時(shí)還加入了兩個(gè)經(jīng)典的全參考圖像評估算法-SSIM[24],PSNR。如表4所示。

表4　各類評估算法性能比較(CSIQ)

由表4數(shù)據(jù)可知,本文算法PCA-DIIVINE在CSIQ數(shù)據(jù)庫上表現(xiàn)出了較好的性能,不僅大幅度提升了原DIIVINE算法的性能,且在大多數(shù)失真類型上都有較高的CC和SROCC,在整個(gè)數(shù)據(jù)上表現(xiàn)優(yōu)于各種無參考圖像評估算法,也優(yōu)于兩種經(jīng)典的全參考評估算法,同時(shí)本算法的預(yù)測錯(cuò)誤率OR也較低。

圖2給出了上述算法的散度圖,7幅子圖依次對應(yīng)上述的7種算法,其中橫坐標(biāo)是預(yù)測函數(shù)的預(yù)測值,縱坐標(biāo)是主觀評估值。由圖中可以看出,本文算法的預(yù)測值與評估值的貼合度最好,即相關(guān)性最好。

圖2　各類評估算法的散度圖

同時(shí),為了測試評估函數(shù)的通用性,本文還在TID2013圖像數(shù)據(jù)庫上進(jìn)行了測試。該數(shù)據(jù)庫有24種失真類型,共3000幅失真圖像。具體實(shí)驗(yàn)結(jié)果如表5所示。

表5　各類無參考評估算法性能比較(TID2013)

由表5可以看出,本文算法較其他主流無參考算法在該數(shù)據(jù)庫上表現(xiàn)更好,說明本文算法的通用性更好。

4　結(jié)束語

本文提出一種改進(jìn)型的無參考圖像質(zhì)量評估算法PCA-DIIVINE。其主要?jiǎng)?chuàng)新點(diǎn)在于發(fā)現(xiàn)了原DIIVINE特征向量的冗余,采用PCA降維技術(shù)對原特征向量進(jìn)行優(yōu)化,得到更具“特征”的特征向量表示,用此向量可以達(dá)到更好的分類和評估性能。實(shí)驗(yàn)證明,在CSIQ圖像數(shù)據(jù)庫上本文算法大幅度提升了原DIIVINE算法性能,且優(yōu)于主流無參考評估算法和兩個(gè)經(jīng)典全參考圖像評估算法。且經(jīng)過TID圖像數(shù)據(jù)庫的測試,本文算法的通用性較好。

[1]A. K. Moorthy, A. C. Bovik. Blind image quality assessment: from natural scene statistics to perceptual quality[J]. IEEE Transactions on Image Processing, 2011,20(12):3350-3364.

[2]A. Srivastava, A. B. Lee, E. P. Simoncelli and S.-C. Zhu. On advances in statistical modeling of natural images[J]. J. Math. Imag. Vis.,2003,18:17-33.

[3]Anish Mittal, Rajiv Soundararajan and A. C. Bovik. Making a “Completely Blind” Image Quality Analyzer[J]. IEEE Signal Process. Lett.,2013,20(3): 209-212.

[4]A. Mittal, G. S. Muralidhar, A. C. Bovik. Blind image quality assessment without human training using latent quality factors[J]. IEEE Signal Process. Lett., 2012,19(2):75-78.

[5]A. Mittal, A. K. Moorthy, A. C. Bovik. No-reference image quality assessment in the spatial domain[J]. IEEE Trans. Image Process.,2012,21(12):4695-4708.

[6]C. Li, A. C. Bovik, X. Wu, Blind image quality assessment using a general regression neural network[J], IEEE Trans. Neural Netw., 2011,22(5):793-799.

[7]Wufeng Xue, Xuanqin Mou, Lei Zhang and A. C. Bovik. Blind Image Quality Assessment Using Joint Statistics of Gradient Magnitude and Laplacian Features[J]. IEEE Trans on. Image Processing, 2014,23:4850-4862.

[8]Qingbing Sang, Xiaojun Wu, Chaofeng Li, A. C. Bovik. Blind image quality assessment using a reciprocal singular value curve[J]. IEEE Signal Processing, Image Communication, 2014, 29:1149-1157.

[9]X. Marichal, W.-Y. Ma, and H. Zhang. Blur determination in the compressed domain using DCT information. In Proc. ICIP, Oct. 1999, 3:386-390.

[10]P. Marziliano, F. Dufaux, S. Winkler, and T. Ebrahimi. A no-reference perceptual blur metric. In Proc. ICIP. 2002, 3:57-60.

[11]殷曉麗, 方向忠, 瞿廣濤. 一種JPEG圖片的無參考圖像質(zhì)量評價(jià)方法[J]. 計(jì)算機(jī)工程與應(yīng)用, 2006, 42(18):79-82.

[12]H. R. Sheikh, A. C. Bovik, L. Cormack. No-reference quality assessment using natural scene statistics: JPEG2000[J]. IEEE Trans. Image Process, 2005, 14(11):1918-1927.

[13]桑慶兵, 齊會新, 吳小俊, 等. 基于DCT系數(shù)無參考模糊圖像質(zhì)量評價(jià)方法[J]. 儀器儀表學(xué)報(bào), 2013, 34(11):2599-2603.

[14]K. Fukunaga and W. Koontz. Application of the Karhunen-Loeve expansion to feature selection and ordering[J]. IEEE Trans. Communications, 1970, 19(4).

[15]H. Murase and S. Nayar. Detection of 3D objects in cluttered scenes using hierarchical eigenspace[J]. Pattern Recognition Letters, 1997, 18(4).

[16]M. Turk and A. Pentland. Face recognition using eigenfaces[J]. In Proceedings of Computer Vision and Pattern Recognition, 1991.

[17]V. Vapnik. The Nature of Statistical Learning Theory[M]. Springer Verlag, 2000.

[18]B. Scholkopf, A. Smola, R. Williamson, and P. Bartlett. New support vector algorithms[J]. Neural Computation, 2000, 12(5):1207-1245.

[19]C. Burges. A tutorial on support vector machines for pattern recognition[J]. Data mining and knowledge discovery, 1998, 2(2):121-167.

[20]C. Chang and C. Lin. LIBSVM: a library for support vector machines[Online]. http:∥www.csie.ntu.edu.tw/cjlin/libsvm/, 2001.

[21]H. R. Sheikh, K.Seshadrinathan, et al. Image and Video Quality Assessment Research at LIVE 2004[Online]. Available: http:∥live. ece.utexas.edu/research/quality/, 2004.

[22]E. C. Larson and D. M. Chandler, Categorical Image Quality (CSIQ) database 2009[Online]. Available:http:∥vision.okstate.edu/csiq/,2009.

[23]N. Ponomarenko, V. Lukin, A. Zelensky, et al. TID2008--a database for evaluation of full-reference visual quality assessment metrics[J]. Adv. Mod. Radioelectron. 2009, 10(4):30-45.

[24]Z. Wang, A. C. Bovik, H. R. Sheikh, and E. P. Simoncelli. Image quality assessment: From error measurement to structural similarity[J]. IEEE Transactions on Image Processing, 2004, 13(4): 600-612.

A Modified No-reference Image Quality Assessment Method

GAO Jian, HAN Yu, GU Hao

(Jiangsu Automation Research Institute, Lianyungang 222061, China)

No reference (NR) image quality assessment method has been paid more attain in image quality research. For NR quality assessment problem, this paper focuses on the basis of DIIVINE which is a widely accepted image quality assessment. We firel that there are many useless statistical characteristic in DIIVINE, and the method’s predictive performance has been affected as these characteristic introduced. Based on this, this paper utilizes principal component analysis (PCA) method to reduce the dimension of the feature vector in DIIVINE, and then we use reduced feature vector to construct new prediction algorithm. It is validated the method on the image database, the method expresses a high predictive performance, which is superior to other famous no-reference image evaluation algorithms.

natural scene statistics(NSS); principal component analysis(PCA); no reference; image quality assessment

1673-3819(2016)04-0044-06

2016-03-27

2016-05-11

國家863項(xiàng)目(2015AA043102);國家自然科學(xué)基金(61305050);江蘇省自然科學(xué)基金(BK2012236)

高建(1991-),男,安徽安慶人,碩士研究生,研究方向?yàn)闄C(jī)器視覺、圖像質(zhì)量評估。

韓瑜(1981-)，男，高級工程師。

TP391.41

A

10.3969/j.issn.1673-3819.2016.04.010

顧浩(1962-)，男，研究員。