一種基于結(jié)構(gòu)相似度的部分參考型圖像質(zhì)量評價方法

林佳楠

(集美大學(xué)誠毅學(xué)院 信息工程系，福建 廈門 361021)

?

一種基于結(jié)構(gòu)相似度的部分參考型圖像質(zhì)量評價方法

林佳楠

(集美大學(xué)誠毅學(xué)院 信息工程系，福建 廈門 361021)

圖像的部分參考評價方法只需要參考圖像的部分提取參數(shù)即可，不需要完整的參考圖像，運用相對靈活，成為人們重點研究的對象。結(jié)構(gòu)相似度算法因為其優(yōu)點得到了越來越多的重視。但是結(jié)構(gòu)相似度算法只能是一種全參考客觀評價方法。因為要采用結(jié)構(gòu)相似度算法就必須有完整的參考圖像。因而，這里提出一種對結(jié)構(gòu)相似度算法的改進方案，使其變?yōu)椴糠謪⒖荚u價方法，并且保持原有結(jié)構(gòu)相似度算法的良好效果與運算簡便。實驗結(jié)果證明，該改進方法達到了設(shè)計目的。

部分參考；全參考；客觀評價

當(dāng)今社會是一個網(wǎng)絡(luò)社會，數(shù)字多媒體技術(shù)也隨之飛速發(fā)展。圖像的壓縮、處理、傳輸?shù)燃夹g(shù)變得越來越重要。而各種圖像的處理技術(shù)的好壞往往取決于最終人看到圖像的感受效果。所以圖像質(zhì)量的客觀評價變得更加重要起來。目前圖像質(zhì)量客觀評價被分為三大類：全參考評價方法( Full- Reference, FR)，部分參考評價方法( Reduced- Reference, RR) 和無參考型方法(No- Reference, NR)。全參考客觀評價方法是是三者中最精確的方法，但是由于必須要有完整的源圖像，導(dǎo)致這種方法有許多使用局限性。而無參考型方法因為不使用源圖像信息，只能通過設(shè)置各種假設(shè)前提條件，所以設(shè)計難度大，評價效果也不理想，在實際中很難應(yīng)用，目前還處于發(fā)展的初級階段。圖像的部分參考評價方法只需要參考圖像的部分提取參數(shù)即可，不需要完整的參考圖像，運用相對靈活，成為人們重點研究的對象。

圖像內(nèi)在結(jié)構(gòu)相似度的質(zhì)量評價方法得到了越來越多的重視。相關(guān)實驗結(jié)果表明，該算法要比峰值信噪比等傳統(tǒng)指標更符合人們對圖像的主觀視覺感受，而且原理清晰明了，運算簡便。然而該方法只能是一種全參考客觀評價方法。因為要計算結(jié)構(gòu)相似度就必須有完整的參考圖像。因而，本文提出一種對結(jié)構(gòu)相似度的改進方法，使其變?yōu)椴糠謪⒖荚u價方法，并且保持原有結(jié)構(gòu)相似度的良好效果與計算簡單度。

1 結(jié)構(gòu)相似度方法簡介

1.1 結(jié)構(gòu)相似度方法概述

圖1 相同的MSE

傳統(tǒng)峰值信噪比PSNR統(tǒng)計理論的逐像素對比得到相同的均方誤差MSE，在結(jié)構(gòu)上則具有較大差異。如圖1所示，相同MSE(或者PSNR)的圖像在視覺感受上確存在明顯差異。

德州大學(xué)Austin分校提出的結(jié)構(gòu)相似度(SSIM，Structural Similarity Image Metric)理論[1-2]是當(dāng)前影響力較廣的評測方法之一。它的原理是圖像的各個像素點之間的結(jié)構(gòu)相關(guān)性隨著這些像素點空間距離的接近而變強。所以這種方法比較符合人眼的視覺感受，也是他們將結(jié)構(gòu)失真引入到評價應(yīng)用中，如圖2所示：

圖2 生成結(jié)構(gòu)相似索引圖

結(jié)構(gòu)相似度算法, 是一種基于數(shù)理統(tǒng)計的客觀評價方法，原理清晰易懂，如果源圖像與被測圖像的結(jié)構(gòu)相似，則可認為被測圖片質(zhì)量下降較小。如圖1中，當(dāng)對比度變化時候, 雖然均方的誤差(MSE, Mean Square Error)評價出的圖像質(zhì)量得分一致,然而圖像給人的實際感受卻迥然不同, 而結(jié)構(gòu)相似度算法可以明顯得體現(xiàn)出這種效果差異。

1.2 結(jié)構(gòu)相似度的計算

結(jié)構(gòu)相似度算法是先將將圖像劃分為 N×N 大小的圖像塊，共有 M個圖像塊，計算各部分的差異,然后將其組合實現(xiàn)整個結(jié)構(gòu)相似索引圖。其實現(xiàn)原理圖如下圖所示。

圖3 結(jié)構(gòu)相似度實現(xiàn)原理圖

其中l(wèi)(x,y)表示亮度比較，c(x,y)表示對比度比較，s(x,y)表示結(jié)構(gòu)比較。通過對結(jié)構(gòu)相似索引圖求MSE得到最后的綜合評價分。

SSIM(x,y)=[l(x,y)]α·[c(x,y)]β·[s(x,y)]γ，

其中ux，uy為圖像的灰度均值：

其中C1=(K1L)2，一般K1=0.01。C2=(K2L)2一般K2=0.03。L是像素值的階數(shù)(例如每像素8比特的灰度圖像，L=255)。C3=C2/2。

參數(shù)α>0，β> 0，γ>0，主要用來調(diào)整 3 個部分的相對重要性。

由此，整幅圖像的平均結(jié)構(gòu)相似度MSSIM定義為：

這個值越接近于1，代表待測圖像的質(zhì)量越好。

從某種意義上來說，結(jié)構(gòu)相似度算法避免了圖像自然內(nèi)容的復(fù)雜問題,直接進行兩信號的逐像素誤差統(tǒng)計方法和結(jié)構(gòu)相似性進行評價，結(jié)構(gòu)相似度法目標是從整體上直接模擬人眼視覺系統(tǒng)提取視覺對象結(jié)構(gòu)的視覺功能。

2 改進的方法

2.1 改進方法總體系統(tǒng)模型

針對結(jié)構(gòu)相似度需要完整參考圖像而無法運用于部分參考評價的不足之處，這里提出一種部分參考型結(jié)構(gòu)相似度評價方法。部分參考型結(jié)構(gòu)相似度方法總體系統(tǒng)模型如圖4所示：

圖4 本文提出的部分參考型結(jié)構(gòu)相似度方法的系統(tǒng)模型

在該部分參考型結(jié)構(gòu)相似度模型中，輔助信道傳輸?shù)奶卣鲄?shù)為參考圖像的均值、方差和HVR。并且可以利用圖像空間上的相關(guān)性以及視頻前后幀之間的相關(guān)性進一步壓縮特征參數(shù)占用的帶寬。

2.2 改進方法的具體計算

從上文可知，之所以結(jié)構(gòu)相似度只能是全參考模型，是因為其中的結(jié)構(gòu)度量函數(shù)s(x,y)的計算依賴于參考圖像和待測圖像的協(xié)方差。因此要將結(jié)構(gòu)相似度改進為部分參考模型，就必須改變結(jié)構(gòu)度量函數(shù)s(x,y)的計算方法。

而根據(jù)人眼視覺的特點，圖像的結(jié)構(gòu)特征最主要是由其邊緣輪廓決定的。因而本文采用邊緣清晰度系數(shù)K_HV來代替s(x,y)。其具體計算方法如下。

選用Sobel水平濾波器ghorizontal(i,j)和垂直濾波器gvertical(i,j)，提取出幀圖像水平和垂直邊緣數(shù)據(jù)，分別記為R_edge_horizontal(i,j)和R_edge_vertical(i,j)，定義如下：

R_edge_horizontal(i,j)=Data(i,j)*ghorizontal(i,j)，

R_edge_vertical(i,j)=Data(i,j)*gvertical(i,j)，

提取邊緣梯度矢量，矢量幅度記為R_edge(i,j)，即邊緣能量大小，矢量角度記為θ(i,j,k)，定義如下：

計算邊緣能量比值HVR(k)，定義如下：

其中，rmin=20,Δθ=0.225

圖5 HV和示意圖

圖像邊緣清晰度系數(shù)K_HV

其中HVRp(k)為待測圖像的HVR，HVRs(k)為參考圖像的HVR。

如果模糊化待測圖像的邊緣，一般會導(dǎo)致HVRpHVRs，因此對比圖像前后的邊緣分量，可以計算出待測圖像清晰度K-HV。和l(x,y)亮度度量、c(x,y)對比度度量一樣，K-HV值是0到1之間的。

其他的計算，包括l(x,y)亮度度量和c(x,y)對比度度量，和原結(jié)構(gòu)相似度里的計算方法相同。最后綜合得到改進方法的綜合評價值：

3 結(jié)果與分析

本文仿真使用LIVE 圖像質(zhì)量評估數(shù)據(jù)庫[3]。該庫包含多幅高分辨率的 RGB 圖像和其通過JPEG和JPEG2000 壓縮得到的一系列失真圖像，以及每幅圖像的主觀評價(MOS)等信息。計算各失真圖像由客觀測度得出的客觀成績，然后使用視頻質(zhì)量專家組(VQEG，Video Quality Expert Group)的檢驗標準[5]來對主客觀評價的一致程度進行測算。這些指標是：(1)體現(xiàn)客觀評價方法預(yù)測精確性的相關(guān)系數(shù)(Correlation, CC)；(2)反映客觀評價成績預(yù)測單調(diào)性的斯皮爾曼等級相關(guān)系數(shù)(RankOrderCorrelationCoefficient, ROCC)；(3)體現(xiàn)客觀評價方法預(yù)測穩(wěn)定性的離出率(OutlierRatio,OR)。

表1 本文方法與其他方法的主客觀一致性評價對比

圖6 文中方法對 MOS值的預(yù)測(JPEG)

圖7 文中方法對 MOS值的預(yù)測(JPEG2000)

從實驗結(jié)果可以看出，本文提出的改進方法，在實現(xiàn)部分參考即只用參考圖像的部分信息的同時，基本保持了原來結(jié)構(gòu)相似度的評價效果，達到了設(shè)計目的。

4 結(jié)論

本文提出的改進方法，在實現(xiàn)部分參考即只用參考圖像的部分信息的同時，基本保持了原來結(jié)構(gòu)相似度的評價效果。是一種對于經(jīng)典結(jié)構(gòu)相似度方法的延伸發(fā)展。在較小的改動下，將原本屬于全參考型的結(jié)構(gòu)相似度方法發(fā)展為部分參考型客觀評價方法。

[1] Wang Z, Bovik A C, Sheikh H R，et al. Image quality assessment: from error visibility to structural similarity[J]. IEEE Transaction on Image Processing, 2004, 13(4): 600-612.[2] Wang Z, Lu L, Bovik A C. Video quality assessment using structural distortion measurement[C].Proceedings of the IEEE International Conference on Image Processing, Rochester, 2002. Rochester: Signal Processing Society, 2002:65-68.

[3] A. B. Watson. DCTune: A technique for visual optimization of DCT quantization matrices for individual images [J]. In Society for Information Display Digest of Technical Papers,1993(24)：946-949.

[4] Z. Wang, H. R. Sheikh, A. C. Bovik. Objective video quality assessment[M].Handbook of Video Databases: Design and Application. Boca Raton: CRC Press, 2003.

[5] Video Quality Expert Group. RRNR-TV Group Test Plan DraftVersion1.9[R] .http://www.vqeg org. 2006, .

[6] Sheikh H R,Wang Z,Bovik A C,et al. Image and Video Quality Assessment Research at LIVE[DB/OL] .[2003-10-12].http://live.ece.utexas.edu/rese-arch/quality/.

[7] Imgeun L,Jongsik K. Wavelet Transform Image Coding Using Human Visual System[C] .IEEE Asia-PacificConference on Circuits and Systems. Taipei: IEEE, 1994.

責(zé)任編輯：程艷艷

A Reduced-Reference Picture Quality Evaluation Method Based on Structural Similarity

LIN Jianan

(Department of Information Engineering, Chengyi College of Jimei University, Xiamen 361021, China)

The reduced-reference evaluation method of image only requires to consider part of the extracted parameters, which is relatively flexible, becoming one of the focuses in image processing field. Structural similarity algorithm attracts much attention due to its advantages, but it is a full-reference objective evaluation method. Structural similarity algorithm requires a complete reference image. In this paper, an improved scheme for structural similarity algorithm is proposed, making it be a reduced-reference evaluation method, which keeps the good result of original structural similarity algorithm and the convenient calculation. Experimental results show that the proposed method has reached the design aim.

reduced-reference; full-reference; objective evaluation

2016-09-02

林佳楠(1984-)，男，福建廈門人，講師，碩士，主要從事通信技術(shù)方面研究。

TP391.41

A

1009-3907(2016)10-0022-05