基于局部信息失真建模的圖像質(zhì)量評價方法

盧彥飛，張 濤，鄭 健，李 銘，章 程

(1．中國科學院長春光學精密機械與物理研究所，吉林 長春130033;2．中國科學院大學，北京100049;3．中國科學院蘇州生物醫(yī)學工程技術(shù)研究所，江蘇 蘇州215163)

1 引言

隨著成像技術(shù)的發(fā)展，人們可以通過各種方式來獲取圖像。在圖像數(shù)據(jù)的獲取、傳輸、壓縮處理、重建等過程中，會引入各種各樣的失真，導致圖像退化，使圖像的視覺效果下降。圖像質(zhì)量評價方法可以為成像系統(tǒng)的參數(shù)設計和算法優(yōu)化提供參考，如何合理評價圖像的質(zhì)量正在成為圖像處理領(lǐng)域的一個熱點。

現(xiàn)有的圖像質(zhì)量評價方法主要分為主觀評價方法和客觀評價方法，目前圖像質(zhì)量評價領(lǐng)域的研究重點是客觀評價方法?？陀^評價方法根據(jù)參考圖像的信息量可以分為三種，即全參考質(zhì)量評價、部分參考質(zhì)量評價以及無參考質(zhì)量評價。全參考評價方法［1］利用整幅參考圖像，通過降質(zhì)圖像和參考圖像的比較來評價圖像質(zhì)量，是目前最可靠的客觀評價方法。

早期的全參考評價方法如均方誤差(MSE)及其相關(guān)的峰值信噪比(PSNR)等，通過計算降質(zhì)圖像以及參考圖像的對應像素的差值，并將差值的統(tǒng)計量作為圖像的質(zhì)量度量，忽略了人眼的視覺特性對圖像質(zhì)量評價結(jié)果的影響，也忽略了圖像的像素之間具有很強的關(guān)聯(lián)性這一事實。隨著人們對人眼視覺系統(tǒng)(Human Visual System，HVS)認識的深入，人們開始利用人眼視覺系統(tǒng)的某些特征來設計圖像質(zhì)量評價方法。一種是對人眼視覺系統(tǒng)的特征構(gòu)建視覺模型，通過自底向上(Bottom－up)的方法來模擬人的視覺，其中代表性的模型有Daly的VDP［2］(Visible Differences Predictor)模型，典型的方法有NQM［2］和VSNR［3］。另一種是把人類視覺系統(tǒng)當作一個黑箱，建模時只考慮信號的輸入與輸出的關(guān)系，即通過自頂向下(Top－down)的方法來模擬人的視覺特 性，主 要 有SSIM［4］(Structural Similarity)、IFC［5］、VIF［6］、FSIM［7］及基于SVD分解的方法［8］。其中Zhou Wang等提出的SSIM方法，假設人類視覺系統(tǒng)的作用是提取場景中的結(jié)構(gòu)信息，避免了從低層次上模擬HVS的整體功能，將圖像的失真分為結(jié)構(gòu)性失真和非結(jié)構(gòu)性失真，與參考圖像的亮度、對比度和結(jié)構(gòu)信息進行比較，從而綜合得到了對圖像質(zhì)量的評價結(jié)果。

已有的方法中，SSIM計算難度較小，但是存在著對模糊圖像評價不準確的問題，其他大部分方法的計算量都比較大。本文通過考慮圖像的三種失真，即像素灰度失真、局部對比度失真和局部結(jié)構(gòu)失真，并對三種信息失真進行建模，提出了一種新的圖像質(zhì)量評價方法。此方法物理意義明確，而且計算比較簡單。采用LIVE圖像數(shù)據(jù)庫對該方法進行驗證，實驗結(jié)果表明，本文方法具有很好的圖像質(zhì)量預測性能。

2 圖像不同信息失真的表示

2．1 結(jié)構(gòu)相似度(Structural Similarity)

Zhou Wang［4］等利用圖像像素間的相關(guān)特性，給出了結(jié)構(gòu)信息的概念，認為其應獨立于圖像的亮度和對比度。此方法認為人眼視覺系統(tǒng)的主要功能是提取圖像中的結(jié)構(gòu)信息，通過定義結(jié)構(gòu)相似度，提出了基于結(jié)構(gòu)相似度(SSIM)的圖像質(zhì)量評價方法。

由于部分考慮了人眼對圖像的感知特性，而不是利用圖像之間的像素差異，SSIM模型對圖像的質(zhì)量評價取得了較好的效果，與人眼的主觀感知比較一致，引起了比較廣泛的關(guān)注。但是這種方法對于模糊圖像的評價不夠理想，特別是模糊程度比較大的，評價結(jié)果與人眼的主觀感知差異比較大。

2．2 像素灰度失真

其中，c1是很小的正常數(shù)，為了避免分母為零或者接近零時出現(xiàn)的不穩(wěn)定情況。

2．3 局部對比度失真

對于一幅圖像來說，某一個像素所代表的信息不僅和其自身的灰度有關(guān)，而且和其鄰域像素的灰度相關(guān)。由于HVS對于圖像的理解受像素鄰域的影響，不同的鄰域模式會導致對同一灰度級像素不同的理解，如圖1所示。圖1中(a)和(b)對應的中心像素的灰度值是一樣的，但是由于其鄰域的灰度模式不一樣，導致視覺上有差異，(a)的中心像素看起來要比(b)的暗一些。

圖1 同一灰度值像素在不同鄰域中的視覺差異

對于圖1所示的現(xiàn)象，一個簡單的解釋是，(a)和(b)對應中心元素的鄰域模式不同，局部對比度是不一致的，所以才導致其視覺上的差異。本文用局部二值模式來度量圖像的局部對比度。

Ojala等學者［9］在1994年首次提出了局部二值模式，最初功能為來衡量圖像的局部對比度，后來提升為一種有效的紋理描述算子。對于一個像素的3×3鄰域，利用中心像素作為閾值，周圍的8個像素的值與其比較，如果周圍的像素值小于中心像素，則該像素位置被標記為0，否則為1。閾值化后的值分別與對應位置像素的權(quán)值相乘，8個對應乘積的和即為該像素鄰域的LBP值，計算的原理如圖2所示。

圖2 原始LBP的定義

圖2 為一個3×3的像素塊，經(jīng)過閾值化處理后，不同的像素位置變?yōu)?或1。對不同的像素位置i賦2i的權(quán)重，最后得到該像素鄰域的局部二值模式。

最初始的LBP存在定義過于簡單，只能提取固定尺寸紋理特征的局限性。Ojala等［10］對LBP進行了修改，并形成了比較系統(tǒng)的理論。

為了簡化計算，本文利用原始的局部二值模式來度量圖像的局部對比度，如圖3所示，對于參考圖像monarch和失真圖像，由于失真的存在，失真圖像的局部鄰域模式發(fā)生了變化，局部對比度也發(fā)生了改變，其對應的LBP編碼圖像在局部細節(jié)上是不同的。不同的失真對局部對比度的影響也是不同的，這個在LBP編碼圖像上也能體現(xiàn)出來。

圖3 參考圖像monarch和失真圖像及對應的LBP編碼圖像

將參考圖像X和失真圖像Y對應的像素xi和yi經(jīng)過LBP編碼之后的值記為Xlbp－xi和Ylbp－yi，則失真圖像的局部對比度失真可以用下式來表示:

其中，c2是很小的正常數(shù)，為了避免分母為零或者接近零時出現(xiàn)的不穩(wěn)定情況。

2．4 局部結(jié)構(gòu)失真

SSIM方法［4］認為HVS的主要功能之一是提取圖像中的結(jié)構(gòu)信息。而圖像的大量結(jié)構(gòu)信息與其局部方差的分布密切相關(guān)［11］，本文利用圖像局部方差之間的差異來衡量局部結(jié)構(gòu)失真。

對于圖像I，其局部方差的定義為:

由于標準差的量綱與原圖像中像素的量綱是一致的，為了使局部結(jié)構(gòu)失真的意義更明確，利用局部標準差代替局部方差更為合理，即:

參考圖像X和失真圖像Y對應的像素xi和yi的局部標準差分別為std(xi)和std(yi)，則和上面的失真定義類似，失真圖像的局部結(jié)構(gòu)失真可以用下式來表示:

其中，c3是很小的正常數(shù)，為了避免分母為零或者接近零時出現(xiàn)的不穩(wěn)定情況。

3 局部結(jié)構(gòu)失真圖像質(zhì)量評價方法

結(jié)合第2部分中定義的像素灰度失真、局部對比度失真和局部結(jié)構(gòu)失真，得到圖像質(zhì)量評價測度如下:

其中，α＞0，β＞0和γ＞0這三個參數(shù)是用來調(diào)整三種失真的重要程度，一般取α=β=γ=1。由于本方法主要結(jié)合了圖像的局部性質(zhì)和結(jié)構(gòu)信息，將其稱為局部結(jié)構(gòu)失真測度(Local Structural Distortion Measure，LSDM)。

利用LSDM(X，Y)可以得到參考圖像和失真圖像對應位置的局部失真，從而可以得到失真圖像的整體失真程度。由于人眼視覺系統(tǒng)對圖像不同區(qū)域的敏感程度是不同的，對于邊緣和紋理區(qū)域，人眼能夠感知到更多的信息，而對于平坦區(qū)域，人眼的敏感程度有所降低。因此，需要根據(jù)不同區(qū)域的視覺重要性，來分配適當?shù)臋?quán)重。本文利用局部方差［11］來衡量像素點的視覺重要性。如果參考圖像和失真圖像中對應像素點的局部方差比較大，則意味著這個像素點對于人眼視覺系統(tǒng)的重要程度也比較高。因此，本 文 利 用wmap(xi，yi)= max(std(xi)，std(yi))作為權(quán)重來衡量對應像素點的重要性。最終的圖像質(zhì)量評價測度如下:

其中，xi和yi分別為參考圖像和失真圖像對應像素。

4 實驗及分析

為了測試本文提出的質(zhì)量評價方法的有效性，本文使用美國Texas大學的Laboratory for Image and Video Engineering(LIVE)［12］圖像數(shù)據(jù)庫進行實驗。該圖像數(shù)據(jù)庫包含29幅參考圖像和對應的各種失真圖像，其中有5種失真類型:JPEG2000壓縮失真(jp2k)，JPEG壓縮失真(jpeg)，白噪聲失真(wn)，高斯模糊失真(gblur)和Rayleigh衰落道模型失真(fastfading)，共779幅失真圖像。同時，該圖像庫還給出了每幅圖像的DMOS值，DMOS值越小說明圖像的主觀質(zhì)量越好。本文提出的方法暫時只考慮圖像的灰度信息，彩色圖像需要將其轉(zhuǎn)為灰度圖像。

為了客觀的評價圖像質(zhì)量評價方法，根據(jù)VQEG［13］(Video Quality Evaluation Group)提出的準則，通常認為在客觀評價值和主觀評價值之間存在一定的非線性關(guān)系，這里采用下面的函數(shù)［1］建立這種非線性映射:

其中，x表示客觀評價值，β1，β2，β3，β4和β5為模型參數(shù)。針對五種不同的失真類型，本文所提出的圖像質(zhì)量評價方法(WLSDM)與主觀DMOS的曲線擬合情況如圖4所示。

圖4 本文所提出的圖像質(zhì)量評價方法(WLSDM)與主觀DMOS的曲線擬合圖

對于不同的質(zhì)量評價方法，通常選用以下三個指標來比較方法之間的優(yōu)劣［1］:①Pearson線性相關(guān)系數(shù)(Pearson Linear Correlation Coefficient，PLCC)，反映預測的準確性;②Spearman秩相關(guān)系數(shù)(Spearman Rank－Order Correlation Coefficient，SROCC)，反映預測的單調(diào)性，及預測值與主觀值之間的一致程度;③均方根誤差(Root Mean－Squared－Error，RMSE)，反映客觀評價的一致性。其中PLCC和SROCC數(shù)值越大表明模型的預測能力越好，而RMSE數(shù)值越小則預測能力越好。表1列出了WLSDM評價方法與PSNR以及SSIM方法在LIVE圖像庫中的性能指標，對于每種失真類型，每一列中PLCC和SROCC的最大值以及RMSE的最小值，均用黑體標出。經(jīng)過對比可以發(fā)現(xiàn)本文方法的三項指標總體優(yōu)于PSNR、SSIM方法。由于白噪聲是單個像素點失真，與圖像的結(jié)構(gòu)不是很相關(guān)，而PSNR是針對像素點誤差的數(shù)學統(tǒng)計，比較適合這種失真情況，因此PSNR方法對于白噪聲失真的預測準確性優(yōu)于本文的方法和SSIM方法。對于其他失真類型，本文方法的表現(xiàn)均要優(yōu)于PSNR和SSIM，具有最高的PLCC和SROCC，且具有較小的RMSE。

表1 本文所提出的WLSDM評價方法與PSNR以及SSIM方法性能指標比較

為了進一步驗證本文方法的靈敏性和合理性，圖5給出了LIVE圖像數(shù)據(jù)庫中的6幅失真程度不同的monarch降質(zhì)圖像，前3幅(a)、(c)和(e)為wn失真，后3幅(b)、(d)和(f)為gblur失真，并給出了對應的DMOS值。表2給出了SSIM和本文方法對這6幅圖像的客觀質(zhì)量預測值，表中的DMOS值按升序排列。從表2可以看出，相對于SSIM，本文方法對失真圖像質(zhì)量預測的結(jié)果和主觀判斷更加一致，而SSIM則存在誤預測的情況，特別對于模糊程度比較嚴重的圖像，其預測結(jié)果存在較大偏差。

表3列出了本文方法的SROCC值與幾種性能公認較好的評價方法對比。其中MS－SSIM［14］，IW－SSIM［15］是以SSIM為基礎的改進，IFC［5］基于自然場景分析和信息論，均屬于自頂向下(Topdown)的方法;VSNR［3］屬于自底向上(Bottom－up)的方法。表3中，對于每種失真類型，每一行中最大的3個值均用黑體標出。表中可以看出，WLSDM在jp2k，jpeg，gblur以及fastfading這四種失真類型上的表現(xiàn)很好，每種類型對應的SROCC值均排名靠前，在wn失真類型上也給出了不錯的預測結(jié)果。實際上，利用其他指標，例如KROCC和PLCC，也可以得到類似的結(jié)果?？傮w上來說，WLSDM方法的表現(xiàn)比其他方法更優(yōu)越，與主觀評價結(jié)果具有很好的一致性。

表2 圖5中失真圖像的質(zhì)量預測值比較

表3 本文所提出的WLSDM評價方法SROCC值與其他方法對比

圖5 不同失真程度的圖像及其DMOS值

5 結(jié)論

圖像質(zhì)量評價方法研究是近期圖像處理領(lǐng)域的一個熱點問題，由于傳統(tǒng)的MSE及PSNR方法沒有考慮人眼的視覺特性，和主觀評價結(jié)果存在不一致性，將人眼視覺系統(tǒng)的性質(zhì)加入到圖像質(zhì)量評價方法中成為研究重點之一。基于結(jié)構(gòu)相似度(SSIM)的圖像質(zhì)量評價方法，根據(jù)人眼視覺系統(tǒng)主要提取結(jié)構(gòu)信息的假設，利用圖像間的相關(guān)系數(shù)定義圖像結(jié)構(gòu)信息，得到了比較好的結(jié)果，但是對于模糊程度比較嚴重的圖像的評價會出現(xiàn)較大偏差。針對圖像的亮度、局部對比度和局部結(jié)構(gòu)失真進行建模，提出了一種新的局部結(jié)構(gòu)失真測度，物理意義比較明確，計算復雜度較低。在LIVE圖像數(shù)據(jù)庫上的實驗結(jié)果表明，本文方法對于jp2k，jpeg，gblur和fastfading失真預測的準確性和一致性都很高，PLCC值和SROCC值分別達到了0．9694，0．9814，0．9694，0．9678及0．9635，0．9782，0．9693，0．9607，均超過了SSIM的表現(xiàn);對于wn失真也有較好的預測結(jié)果，PLCC值和SROCC值分別為0．9451，0．9332;通過SROCC比較，WLSDM相對于PSNR、SSIM以及其改進MS－SSIM與IW－SSIM，能夠更好的預測圖像質(zhì)量，比VSNR及IFC方法的性能也更優(yōu)越?？傮w上來說，WLSDM方法取得了很好的圖像質(zhì)量預測結(jié)果，和人眼視覺特性更為一致。本文通過考慮人眼視覺特性，在圖像的結(jié)構(gòu)信息建模方法提供了一個新的思路，利用本文提出的圖像質(zhì)量評價方法在圖像處理算法的設計等方面進行應用，比如對圖像融合算法進行評價［16］，是下一步研究的目標。

［1］ Sheikh H R，Sabir M F，Bovik A C．A statistical evaluation of recent full reference image quality assessment algorithms［J］．IEEE Transactions on Image Processing，2006，15(11):3443－3452．

［2］ Damera－Venkata N，Kite T D，Geisler W S，et al．Image quality assessment based on a degradation model［J］．IEEE Transactions on Image Processing，2000，9(4):636－650．

［3］ Chandler D M，Hemami S S．VSNR:A wavelet－based visual signal－to－noise ratio for natural images［J］．IEEE Transactions on Image Processing，2007，16(9):2284－2298．

［4］ Wang Z，Bovik A C，Sheikh H R，et al．Image quality assessment:from error visibility to structural similarity［J］．IEEE Transactions on Image Processing，2004，13(4):600－612．

［5］ Sheikh H R，Bovik A C，Veciana G．An information fidelity criterion for image quality assessment using natural scene statistics［J］．IEEE Transactions on Image Processing，2005，14(12):2117－2128．

［6］ Sheikh H R，Bovik A C．Image information and visual quality［J］．IEEE Transactions on Image Processing，2006，15(2):430－444．

［7］ Zhang L，Zhang L，Mou X Q，et al．FSIM:A feature similarity index for image quality assessment［J］．IEEE Transactions on Image Processing，2011，20(8):2378－2386．

［8］ Aleksandr S，Alexander G，Ahmet M E．An SVD－based grayscale image quality measure for local and global assessment［J］．IEEE Transactions on Image Processing，2006，15(2):422－429．

［9］ Ojala T，Pietikainen M，Harwood D．Performance evaluation of texture measure with classification based on Kullback discrimination of distributions［C］//Proceedings of the 12thIAPR International Conference on Pattern Recognition(ICPR 1994)，Jerusalem，Israel，1994:582－585．

［10］Ojala T，Pietikainen M，Maenpaa T．Multiresolution gray－scale and rotation invariant texture classification with local binary patterns［J］．IEEE Transactions on Pattern Analysis and Machine Intelligence，2002，24(7):971－987．

［11］Santiago A F，Raul SJ E，Carlos A L，et al．Image quality assessment based on local variance［C］//Proceedings of 28thIEEE Annual International Conference on Engineering in Medicine and Biology Society，New York City，USA，2006:4815－4818．

［12］Sheikh H R，Wang Z，Cormack L，et al．LIVE image quality assessment database，release 2［Online］．http://live．ece．utexas．edu/research/quality．

［13］Final Report From the Video Quality Experts Group on the Validation of Objective Models of Video Quality Assessment，Phase II VQEG，Aug．2003［EB/OL］．Available:http://www．vqeg．org/

［14］Wang Z，Simoncelli E P，Bovik A C．Multiscale structural similarity for image quality assessment［C］//Proceedings of 37thIEEE Asilomar Conference on Signals，Systems and Computers，Pacific Grove，CA，USA，2003:1398－1402．

［15］Wang Z，Li Q．Information content weighting for perceptual image quality assessment［J］．IEEE Transactions on Image Processing，2011，20(5):1185－1198．

［16］SONG Le，LIN Yu－chi，LIU Qi－h(huán)ai，et al．Novel evaluation model for different－source image fusion quality［J］．Laser＆Infrared，2010，40(1):99－102．宋樂，林玉池，劉啟海，等．一種新型異源圖像融合質(zhì)量評價模型［J］．激光與紅外，2010，40(1):99－102．