基于局部最大梯度的無參考圖像質(zhì)量評價

蔣 平 張建州

?

基于局部最大梯度的無參考圖像質(zhì)量評價

蔣 平*①②張建州①

①(四川大學(xué)計算機學(xué)院 成都 610065)②(榆林學(xué)院信息工程系 榆林 719000)

圖像質(zhì)量評價在數(shù)字圖像處理中應(yīng)用廣泛，無參考圖像質(zhì)量評價更是近些年來的研究熱點。該文提出一種基于局部結(jié)構(gòu)的無參考圖像質(zhì)量評價方法，該方法首先利用局部梯度選擇強邊緣區(qū)域，然后通過強邊緣的信息來評價圖像的質(zhì)量。該方法的創(chuàng)新之處在于：基于局部最大梯度的像素點質(zhì)量評價；利用強邊緣點的局部質(zhì)量來估計全局圖像質(zhì)量。該方法可以同時評價噪聲圖像和模糊圖像，圖像失真越嚴重，該方法的評價分數(shù)就越低。與圖像質(zhì)量評價數(shù)據(jù)庫的主觀評價結(jié)果比較表明，該文方法與主觀評價結(jié)果相關(guān)性很強，能很好地反映圖像質(zhì)量的視覺感知效果。

圖像質(zhì)量評價；梯度模板；高斯噪聲；高斯模糊

1 引言

隨著社會信息化的不斷發(fā)展，圖像與人們生活的關(guān)系越來越密切，人們對圖像的分辨率和清晰度的要求也越來越高。然而，在圖像的采樣、處理、存儲、傳輸過程中，由于硬件設(shè)備的固有缺陷、環(huán)境變化和處理方法的不完善等各種原因，不可避免地會導(dǎo)致圖像失真，這些失真會導(dǎo)致圖像質(zhì)量的改變。例如，在圖像傳輸?shù)倪^程中，由于各種原因難免會加入噪聲、模糊，它們都會導(dǎo)致圖像質(zhì)量的下降。因此需要一些方法來評價圖像質(zhì)量的好壞，這就是圖像質(zhì)量評價要解決的問題。

圖像質(zhì)量是對圖像清晰程度的一種度量指標，主要是通過度量圖像的失真的程度來獲得。圖像質(zhì)量評價方法一般分為主觀方法和客觀方法兩類。主觀圖像質(zhì)量評價方法，就是使用人眼來評價圖像質(zhì)量的方法。主觀圖像質(zhì)量評價方法，是最為可靠的圖像質(zhì)量評價方法，因為人是最終圖像的消費者，但是成本高，而且耗時。

客觀圖像質(zhì)量評價的研究目標就是開發(fā)出能夠代替人類視覺系統(tǒng)的算法，來自動評價圖像質(zhì)量，得到一(組)與人的主觀質(zhì)量評價相一致的圖像質(zhì)量得分。在客觀圖像質(zhì)量評價中，根據(jù)需要原始參考圖像的信息的多少為依據(jù)，客觀質(zhì)量評價算法可以分為3大類：全參考(Full Reference, FR)圖像質(zhì)量評價方法，半?yún)⒖?Reduced Reference, RR)圖像質(zhì)量評價方法和無參考(No Reference, NR)/盲(Blind)圖像質(zhì)量評價方法。當(dāng)前，很多全參考和半?yún)⒖紙D像質(zhì)量評價方法已經(jīng)取得了非常精確的結(jié)果，但它們都要借助參考圖像的全部或部分信息，都需要參考圖像的參與，在實際應(yīng)用中這個條件常常是不具備的，因為很多場合很難獲取參考圖像信息，甚至根本就不存在參考圖像，所以最近幾年無參考圖像質(zhì)量評價發(fā)展迅速。

一些無參考圖像質(zhì)量評價方法通過一種可以體現(xiàn)圖像局部結(jié)構(gòu)特征的度量來估計圖像質(zhì)量，例如文獻[14]的局部結(jié)構(gòu)張量和文獻[15]的主梯度方向奇異值分量。這些方法有時候并不符合人類視覺系統(tǒng)(Human Visual System, HVS)。第一，這些方法認為在局部主方向上的邊緣越多質(zhì)量越好，但是根據(jù)人眼空間頻率特性，過度密集的條紋的視覺質(zhì)量是很差的。第二，這些方法對圖像結(jié)構(gòu)越多的圖像的評價質(zhì)量越高，對結(jié)構(gòu)較少的圖像的評價很低，這并不符合HVS。

在失真圖像中，人眼對邊緣結(jié)構(gòu)區(qū)域比較敏感；另一方面，弱邊緣的梯度檢測結(jié)果受到噪聲的影響較大。所以本文方法首先給局部最大梯度較大的像素點分配一個較大權(quán)值，而給局部最大梯度較小的像素賦予一個很小的權(quán)值，然后對局部圖像質(zhì)量進行加權(quán)平均來估計全局圖像質(zhì)量。

本文剩下部分的安排如下：首先介紹一種梯度檢測模板，然后提出本文的無參考圖像質(zhì)量評價方法，并測試本文方法的性能，最后是結(jié)束語。

2 梯度模板

圖1顯示了幾種常見的邊緣結(jié)構(gòu)，(a)邊界，(b)直線和(c)紋理。顯然，人眼對圖1(a)的邊界最敏感，所以本文提出一種主要針對這類邊緣點的梯度檢測方法。這類邊緣點有2種(即階梯上和階梯下兩種)，因此，在一個方向上就設(shè)計2個模板(大小為)來檢測梯度。在方向上的2個梯度模板和的制作步驟如下(以5×5為例)：

(1)生成方差為1的高斯模板：

(2)以中點為界在橫向上一分為二，然后把一邊的權(quán)值設(shè)為負，得到2種梯度模板：

(3)為了保證所有權(quán)值之和為0，對上面2個模板的正和負權(quán)值各自歸一化，得到

圖1 幾種常見邊緣結(jié)構(gòu)

3 基于局部結(jié)構(gòu)的圖像質(zhì)量評價

這節(jié)首先介紹局部最大梯度(MLG)，然后是圖像局部質(zhì)量估計和整體圖像評價。

3.1局部最大梯度

圖2顯示的是圖1中的幾種邊緣像素點(中心)的示例，在高斯噪聲和高斯模糊失真下，這幾種邊緣的MLG如圖3所示(是噪聲的均方差，是高斯模糊核的均方差)。在高斯噪聲失真時(圖3(a))，隨著噪聲水平的增加，這些邊緣點的MLG變化并不是很大，尤其是邊界點的變化很小。而在高斯模糊失真時，隨著模糊程度的增加，MLG都單調(diào)降低。

3.2 局部質(zhì)量評價

在高斯噪聲失真圖像中，強邊緣像素的MLG變化不多，可以被看作是信號，因此像素的視覺質(zhì)量被定義為

3.3 全局質(zhì)量評價

圖2 幾種邊緣結(jié)構(gòu)像素點(中心)示例(數(shù)字是灰度值)

圖3 圖2中幾種邊緣點在高斯噪聲和高斯模糊失真時的MLG

圖4 圖2中幾種邊緣點在不同污染程度時的局部評價質(zhì)量

對于圖1(b)和1(c)中的直線和紋理像素點(假設(shè)中點為高灰度像素，高低灰度差為)，則在理想情況下就是和之中的最大值。對于直線像素點，和都服從均值為0.5741且方差為0.3329的高斯分布；而對于紋理像素點，和都服從均值為0.4694且方差為0.3329的高斯分布。由次序統(tǒng)計量知識可得到它們的概率密度函數(shù)和為

請注意，這里討論的是理想情況下3種結(jié)構(gòu)點的局部最大梯度中的噪聲平均含量，但是實際上是比較復(fù)雜的。例如，在理想情況下，如圖1(b)的直線像素點的始終是水平方向兩個模板之一的檢測結(jié)果，但是噪聲方差很大或者直線本身不明顯時，就有可能是其它方向模板的檢測結(jié)果了。因此，實際上的平均噪聲含量比理想情況下的平均噪聲含量要高一些。例如，在圖3(a)中，當(dāng)= 30時，圖2(b)直線像素點的平均值實際上為68.1952，平均噪聲含量為10.7852；而從圖5中可知，理想情況下它的平均噪聲含量應(yīng)為10.6144。

圖5 圖像結(jié)構(gòu)像素點的中的平均噪聲含量???????圖6 不同時的權(quán)值(=120)

4 實驗結(jié)果

本文方法對TID2008中的加性白高斯噪聲(GN)，彩色噪聲(CN)，掩蔽噪聲(MN)，高頻噪聲(HN)，脈沖噪聲(IN)和高斯模糊(GB)失真圖像的評價質(zhì)量與其平均主觀得分(Mean Opinion Score, MOS)的散點圖如圖8所示。從圖8中可以看出，在GN, CN, HN, IN和GB中散點大多都分布在一條直線附近，表示客觀評價和主觀評價得分MOS有很強的線性相關(guān)性，這說明本文的客觀評價結(jié)果很好地反映了主觀視覺感知效果。相應(yīng)地，在MN中，散點就分的比較散，說明和MOS的相關(guān)性較差，原因是噪聲估計方法[16]是針對加性高斯噪聲的，而不適合MN。

從表1中可知道，在各類噪聲失真中，本文方法的LPCC和SROCC幾乎都是僅次于PSNR，而且對于GN, CN, MN和HN，如果能準確地估計出噪聲方差，則本文方法的性能極度接近于PSNR。在GB中，本文方法也有僅次于SSIM的良好效果。但是，對于IN，使用真實噪聲方差的本文方法結(jié)果反而比使用文獻[16]估計方法的結(jié)果稍差，具體原因無法解釋。

如果采用文獻[16]方法來估計噪聲方差，本文方法是徹底的無參考評價方法，而且該方法對于除MN外的各類失真都有很好的效果。采用文獻[16]的噪聲估計方法時，對于MN的效果較差，是因為文獻[16]方法并不適合估計這類噪聲。

圖7 Lena圖像在不同程度的噪聲和模糊失真的QH

圖8 本文方法對TID數(shù)據(jù)庫的幾種失真類型評價結(jié)果跟MOS的散點圖

表1 LPCC和SROCC(每類失真的2個最好結(jié)果標記為粗體)

表2不同大小梯度模板時本文方法對TID2008白高斯噪聲圖像的性能

W3579 LPCC0.90410.90720.90690.8911 SROCC0.89700.89750.89740.8854

5 結(jié)束語

本文提出一種基于局部最大梯度的無參考圖像質(zhì)量評價方法。對于高斯噪聲失真和高斯模糊失真，本文方法都具有很好的性能。對于噪聲失真，本文方法的性能很接近于PSNR方法，而對于高斯模糊失真，本文方法的性能卻很接近于SSIM方法。相比于PSNR和SSIM，本文方法的最大優(yōu)勢在于不需要知道真實圖像。未來的工作主要是擴展到更多的失真類型。

[1] Liu H and Heynderickx I. Visual attention in objective image quality assessment: Based on eye-tracking data[J]., 2011, 21(7): 971-982.

[2] Hassen R, Wang Z, and Salama M. Image sharpness assessment based on local phase coherence[J]., 2013, 22(7): 2798-2810.

[3] Wang Z, Bovik A C, Sheikh H R,.. Image quality assessment: from error visibility to structural similarity[J]., 2004, 13(4): 600-612.

[4] Xue W F, Zhang L, Mou X Q,.. Gradient magnitude similarity deviation: a highly efficient perceptual image quality index[J]., 2014, 23(2): 684-695.

[5] Rehman A and Wang Z. Reduced-reference image quality assessment by structural similarity estimation[J]., 2012, 21(8): 3378-3389.

[6] Zeng K and Wang Z. Polyview fusion: a strategy to enhance video-denoising algorithms[J]., 2012, 21(4): 2324-2328.

[7] Li C F, Ju Y W, Bovik A C,.. No-training, no-reference image quality index using perceptual features[J]., 2013, 52(5): 188-194.

[8] Saha A and Wu Q M. Utilizing image scales towards totally training free blind image quality assessment[J]., 2015, 24(6): 1879-1892.

[9] Mittal A, Muralidhar G S, and Bovik A C. Making a ‘completely blind’ image quality analyzer[J]., 2013, 20(3): 209-212.

[10] Bahrami K and Kot A C. A fast approach for no-reference image sharpness assessment based on maximum local variation[J]., 2014, 21(6): 751-755.

[11] Saifeldeen A and Jiao S H. No-reference image quality assessment algorithm based on Weibull statistics of log- derivatives of natural secenes[J]., 2014, 50(8): 595-596.

[12] Moorthy A K and Bovik A C. Blind image quality assessment: from scene statistics to perceptual quality[J]., 2011, 20(12): 3350-3364.

[13] Vu C T, Phan T D, and Chandler D M.3: a spectral and spatial measure of local perceived sharpness in natural images [J]., 2012, 21(3): 934-945.

[14] 邵宇, 孫富春, 劉瑩. 基于局部結(jié)構(gòu)張量的無參考型圖像質(zhì)量評價方法[J]. 電子信息學(xué)報, 2012, 34(8): 1779-1785.

Shao Yu, Sun Fu-chun, and Liu Ying. A no-reference image quality assessment method using local structure tensor[J].&,2012, 34(8): 1779-1785.

[15] Zhu X and Milanfar P. A no-reference sharpness metric sensitive to blur and noise[C]. International Workshop on Quality of Multimedia Experience, San diego, USA, 2009: 64-69.

[16] Liu X, Tanaka M, and Okutomi M. Noise level estimation using weak textured patches of a single noisy image[C].Proceedings of 2012 International Conference on Image Processing, Florida, USA, 2012: 665-668.

[17] Ponomarenko N, Lukin V, and Zelensky A. TID2008 a database for evaluation of full-reference visual quality assessment metrics[J]., 2009, 10(1): 30-45.

[18] Wang Z and Bovik A C. Modern Image Quality Assessment [M]. New York: Morgan and Claypool Publishers, 2006: 41-44.

No-reference Image Quality Assessment Based on Local Maximum Gradient

Jiang Ping①②Zhang Jian-zhou①

①(,,610065,)②(,,719000,)

Image Quality Assessment (IQA) is widely used in digital image processing, and No Reference IQA (NR-IQA) has become the research focus recently. This paper proposes an NR-IQA method based on local structure, which chooses strong structure areas by using local gradients, and assesses the quality of image by utilizing the Maximum Local Gradients (MLG) of strong structure areas. The main novelties are: pixel,s quality assessment based on MLG; whole image quality based on strong edge points,quality. The proposed method can assess noise image and blur image at the same time, and the score of the proposed method is smaller when the distortion is more serious. The results show that the proposed no-reference method for the quality prediction of noise and blur images has a comparable performance to the leading metrics available in literature.

Image quality assessment; Gradient mask; Gaussian noise; Gaussian blur

TN911.73

A

1009-5896(2015)11-2587-07

10.11999/JEIT141447

2014-11-20；改回日期：2015-07-15；

2015-08-25

蔣平 ping.jiang79@gmail.com

蔣 平： 男，1979年生，博士生，研究方向為圖像去噪及相關(guān)技術(shù).

張建州： 男，1962年生，教授，博士生導(dǎo)師，研究方向為計算機視覺.