基于全變分模型的視覺感知圖像質量評價方法

吳亞東，張紅英

?

基于全變分模型的視覺感知圖像質量評價方法

吳亞東1,2，張紅英3,4

(1. 西南科技大學計算機科學與技術學院 四川綿陽 621010；2. 西南科技大學核廢物與環(huán)境安全國防重點學科實驗室 四川綿陽 621010； 3. 西南科技大學信息工程學院 四川綿陽 621010；4. 西南科技大學特殊環(huán)境機器人技術四川省重點實驗室 四川綿陽 621010)

基于人眼視覺系統(tǒng)對圖像邊緣結構信息和局部亮度刺激敏感的假設，該文提出了一種基于全變分模型的視覺感知圖像質量評價PIQA方法。該方法由邊緣結構信息評價和局部亮度信息評價兩部分組成。本文首先采用全變分模型描述失真圖像與原始參考圖像之間的圖像結構信息變化；為測量亮度失真，又采用失真圖像與參考圖像之間的差值圖像中封閉區(qū)域的能量函數(shù)來衡量人眼敏感的圖像亮度信息。最后，采用3種標準圖像數(shù)據(jù)庫驗證該評價方法的性能。實驗結果表明，所提出的圖像質量評價方法優(yōu)于現(xiàn)有的圖像評價標準。

能量函數(shù); 人眼視覺系統(tǒng); 感知圖像質量評價; 全變分

圖像質量評價方法在視覺處理算法中扮演著重要角色，具有重要的應用價值。人是圖像信號的最終接收者，最直觀、最符合HVS的圖像質量評價方法是主觀測試評價，最常用的主觀圖像質量評價方法是平均意見打分(mean opinion score，MOS)方法。然而，該方法代價昂貴且費時，在實際圖像處理應用中不太實用。主觀圖像質量評價方法的不足，促使研究人員在自動計算圖像主觀視覺質量的評價方法方面開展了大量研究工作[1-8]。

根據(jù)不同的圖像質量評價方法，圖像質量評價標準可分為兩大類：基于HVS特性建模方法和圖像信號驅動方法[1]。

基于HVS特性建模方法綜合相關心理學屬性和生理學知識，包括時間、空間、色彩空間分解、對比度敏感函數(shù)(contrast sensitivity function，CSF)、亮度自適應以及掩模效果等[1]，采用系統(tǒng)建模方法，建立圖像質量評價模型。近年來，許多基于HVS的圖像質量評價方法[2-3]被提出，其中一些方法也考慮了最小可覺差(just noticeable distortion，JND)模型[4-5]。視覺心理學中的視覺模型被應用到基于HVS的圖像質量評價方法中，效果較好。但該類評價方法計算量大，且視覺機理研究與實際工程建模不匹配[1]，導致這類方法的應用有局限性。

近年來，基于信號驅動的圖像質量評價方法受到廣泛關注。該類評價方法基于圖像信號的提取與分析，比如統(tǒng)計特征、結構、亮度失真等[6-8]。信號驅動方法不是為了圖像質量評價而試圖去建立復雜的HVS模型，而是重點關注如何表達圖像特征以估計圖像整體質量。該類方法通常也會考慮圖像內容和失真分析的心理學效應。然而，雖然一些圖像保真度模型能夠反應圖像質量的變化，但由于一些缺陷[1]，該類評價方法并不能表達HVS的主觀感受。例如，并不是每一個圖像的變化都容易被覺察，也不一定導致失真。因此，信號驅動的圖像質量評價方法需引入HVS特性來彌補這些不足，從而更加逼近人眼主觀感受。

1 全變分模型

變分方法已被廣泛應用于圖像處理和計算機視覺領域[9]。由文獻[10]提出的TV模型是圖像處理中最成功的偏微分方程(partial differential equation，PDE)模型之一。全變分可描述為：

文獻[9-10]表明，TV范數(shù)描述圖像最合適。TV范數(shù)本質上是范數(shù)，更適合估計、描述圖像的不連貫性[9]。本文采用它來衡量圖像的結構變化，即原始圖像與失真圖像之間的結構變化距離。

本文提出的基于TV模型的PIQA方法，將重點考慮圖像結構和圖像封閉區(qū)域亮度變化。與其他圖像質量評價方法相比，最大的區(qū)別是引入了TV模型來評價圖像在空間域的結構變化，同時也考慮了圖像中封閉區(qū)域的亮度變化。

2 基于全變分模型的圖像質量評價

2.1 基于TV模型的圖像質量評價框架

通過HVS觀測自然圖像時，有許多因素影響圖像質量。其中，有兩種重要因素值得考慮：1) 圖像邊緣結構信息；2) 亮度信息[11]?；诖耍疚奶岢鲆环N新的基于TV模型的PIQA (TVPIQA)方法。

圖1 基于TV模型的圖像質量評價框架

2.2 基于TV的結構改變度量

由于TV范數(shù)適合描述圖像的不連貫性，因此，圖像結構信息的改變可由參考圖像與失真圖像之間全變分的改變量來衡量：

(4)

雖然式(3)能很好地評價圖像結構信息的改變，但計算結果沒有歸一化，不能作為衡量圖像質量的 評價標準?？紤]，歸一化的圖像結構改變量描述為：

2.3 局部區(qū)域亮度改變度量

(7)

考慮到HVS對亮度的對比度而不是亮度的絕對值敏感，根據(jù)差分圖像的平均亮度調整：

為獲得歸一化的亮度改變量，需根據(jù)參考圖像找到能量變化最大的差分圖像。假設圖像的能量是連續(xù)的，當圖像中所有像素亮度值等于參考圖像的平均亮度值時，相對于原始參考圖像，圖像亮度改變量最大?；谠摷僭O，定義，描述了原始參考圖像亮度信息的最大丟失量。定義圖像亮度改變的歸一化模型為：

3 實驗結果及分析

為驗證TVPIQA方法的有效性，對比了目前7種主流的圖像質量評價標準。其中，峰值信號噪聲比(peak signal to noise ratio, PSNR)是一種廣泛應用于圖像處理領域的圖像質量評價標準，也是一種有用的基準參照(Benchmark)。結構相似度測量指數(shù)(structural similarity index measurement, SSIM)，多尺度結構相似度測量指數(shù)[12](multi-scale SSIM, MS-SSIM)，小波視覺信號噪聲比[13](wavelet-based visual signal to noise ratio, VSNR)和視覺信息保真度[14](visual information fidelity, VIF)等評價標準是目前公認的主流圖像質量評價標準?；谛畔热輽嘀氐腜SNR(information content weighted PSNR, IW-PSNR)和基于信息內容權重的SSIM(IW-SSIM)是公認的最受好評的圖像質量評價標準。圖像數(shù)據(jù)庫采用公認的權威數(shù)據(jù)庫(Cornell- A57[13]，IVC[15]和TID2008[16])驗證上述圖像質量評價標準。

Cornell-A57數(shù)據(jù)庫是由Cornell University創(chuàng)建，由54幅6種類型失真圖像構成，失真主要包括量化失真、噪聲和模糊。IVC數(shù)據(jù)庫由10幅原始圖像經(jīng)過4種失真類型生成185幅失真圖像，主要失真類型包括：1) JPEG壓縮；2) JPEG2000壓縮；3) 局部自適應分辨率(local adaptive resolution，LAR)編碼；4) 模糊。TID2008圖像數(shù)據(jù)庫包括1 700幅失真圖像，這些圖像由25幅參考圖像經(jīng)過4種不同失真水平的17種失真函數(shù)生成。在實驗對比中，未考慮TID2008中的對比度改變失真圖像。

為衡量圖像質量評價標準的優(yōu)劣，利用評價標準與人眼主觀感受評價的相關性來度量。實驗中，采用線性相關系數(shù)(linear correlation coefficient，LCC)、斯皮爾曼等級相關系數(shù)(spearman’s rank correlation coefficient，SRCC)、肯德爾等級相關系數(shù)(kendall’s rank correlation coefficient，KRCC)來衡量圖像質量評價標準與主觀評分之間的相關性。

LCC評價了預測精度，反應了圖像質量評價標準與主觀評分之間的線性依賴，定義為：

SRCC衡量了數(shù)據(jù)之間的單調性[17]，定義為：

(12)

KRCC也是一種非參秩相關統(tǒng)計模型，定義為：

根據(jù)上述相關性度量標準，LCC、SRCC和KRCC值越大，越接近于1，表明測試的圖像質量評價標準與實際主觀評價結果相關性越好，即越能反應圖像的主觀視覺質量。

a. 不同圖像質量評價標準的LCC對比

b. 不同圖像質量評價標準的SRCC對比

c. 不同圖像質量評價標準的KRCC對比

不同圖像評價標準在Cornell-A57、IVC和TID2008數(shù)據(jù)庫上的測試結果如圖2所示。可看出，本文提出的TVPIQA標準的平均性能優(yōu)于其他圖像評價標準。

圖像質量評價標準平均性能對比如表1所示。表中給出了各個圖像質量評價標準在Cornell-A57，IVC和TID2008圖像數(shù)據(jù)庫測試數(shù)據(jù)的LCC，SRCC和KRCC的平均值。各個相關系數(shù)平均值是以圖像庫大小為權重計算得到，Cornell-A57、IVC、TID2008圖像庫的數(shù)據(jù)權重分別為54、185、1600。

可看出，與其他圖像質量評價標準相比，本文提出的TVPIQA標準具有較好的整體性能。值得注意的是，所提出的TVPIQA標準考慮了圖像結構和能量信息，并且僅在圖像空間域計算得到，不用進行變換等其他操作。

表1 圖像質量評價標準平均性能對比

4 結 論

本文提出了一種基于全變分模型的空間域圖像質量評價標準框架。設計的TVPIQA標準主要考慮了圖像結構和亮度兩種人眼視覺敏感因素，通過引入全變分模型來評價圖像結構信息；同時，采用差分圖像中封閉區(qū)域的能量來度量圖像亮度信息的丟失程度。實驗結果表明，與主觀圖像質量評價的相關性方面，本文提出的TVPIQA標準優(yōu)于當前的主流圖像質量評價標準，具有較好的綜合性能。

[1] LIN W, KUO C C. Perceptual visual quality metrics: a survey[J]. Journal of Visual Communication and Image Representation, 2011, 22(4): 297-312.

[2] DALY S. The visible difference predictor: an algorithm for the assessment of image fidelity[C]//Human Vision, Visual Processing, and Digital Display III. SanJose, USA: SPIE, 1992.

[3] FAUGERAS O D. Digital color image processing within the framework of a human visual model[J]. IEEE Trans. Acoust. Speech Signal Process, 1979, 27(4): 380-393.

[4] MA L, NGAN K N. Adaptive block-size transform based just noticeable difference profile for videos[C]// International Symposium on Circuits and Systems. Paris, France: IEEE, 2010.

[5] LIN W, DONG L, XUE P. Visual distortion gauge based on discrimination of noticeable contrast changes[J]. IEEE Trans. Circuits Syst Video Technol, 2005, 5(7): 900-909.

[6] WANG Z, BOVIK A C, SHEIKH H R, et al. Image quality assessment: from error visibility to structural similarity[J]. IEEE Trans Image Processing, 2004, 13(4): 600-612.

[7] WANG Z, LI Q. Information content weighting for perceptual image quality assessment[J]. IEEE Trans Image Processing, 2011, 20(5):1185-1198.

[8] AVCIBAS I, SANKUR B, SAYOOD K. Statistical evaluation of image quality measures[J]. Journal of Electronic Imaging, 2002, 11(2): 206-223.

[9] CHAN T F, SHEN J H, VESE L. Variational PDE models in image processing[J]. Notice of American Mathematical Society, 2003, 50(1): 14-26.

[10] RUDIN L, OSHER S, FATEMI E. Nonlinear total variation based noise removal algorithms[J]. Physica D, 1992, 60: 259-268.

[11] NORTON T T, CORLISS D A, BAILEY J E. Psychophysical measurement of visual function[M]. [S.l.]: Butterworth-Heinemann Press, 2002.

[12] WANG Z, SIMONCELLI E P, BOVIK A C. Multi-scale structural similarity for image quality assessment[C]//IEEE Asilomar Conf. Signals, Syst. PacificGrove, USA: IEEE, 2003.

[13] CHANDLER D M, HEMAMI S S. VSNR: a wavelet- based visual signal-to-noise ratio for natural images[J]. IEEE Transactions on Image Processing, 2007, 16(9): 2284-2298.

[14] SHEIKH H R, BOVIK A C. Image information and visual quality[J]. IEEE Trans Image Processing, 2006, 15(2): 430-444.

[15] NINASSI A, CALLET P, AUTRUSSEAU F. Pseudo no reference image quality metric using perceptual data hiding[C]//Human Vis Electron Imag. SanJose, USA: SPIE, 2006.

[16] PONOMARENKO N, BATTISTI F, EGIAZARIAN K, et al. Metrics performance comparison for color image database[C]//4th International Workshop on Video Processing and Quality Metrics for Consumer Electronics. Scottsdale, USA: [s.n.], 2009.

[17] LARSON E C, CHANDLER D M. Most apparent distortion: Full-reference image quality assessment and the role of strategy[J]. Journal of Electronic Imaging, 2010, 19(1): 1-21.

編 輯 葉 芳

A New Perceptual Image Quality Assessment Method Based on Total Variation Model

WU Ya-dong1,2and ZHANG Hong-ying3,4

(1. School of Computer Science and Technology, Southwest University of Science and Technology Mianyang Sichuan 621010; 2. Fundamental Science on Nuclear Wastes and Environmental Safety Laboratory, Southwest University of Science and Technology Mianyang Sichuan 621010; 3. School of Information and Engineering, Southwest University of Science and Technology Mianyang Sichuan 621010; 4.Robot Technology Used for Special Environment Key Laboratory of Sichuan Province, Southwest University of Science and Technology Mianyang Sichuan 621010)

In this paper, based on the assumption that human visual system(HVS) is sensitive for image structures (edges) and local luminance (light stimulation), we propose a new perceptual image quality assessment (PIQA) metric based on total variation(TV) model in spatial domain. In the proposed metric, the TV’s comparison between a distorted image and its reference image is applied to measure the extent of the loss of the image structural information. As a complementary part to measure the distortion, the energy of enclosed regions in a difference image is used to measure the missing luminance information which is sensitive to human visual system. The performance of the proposed metric is validated with an extensive subjective database. The results show that the proposed metric outperforms the state-of-the-art of image quality assessment metrics.

energy function; HVS; PIQA; TV

TP394.1

A

10.3969/j.issn.1001-0548.2015.01.013

2014-02-25；

2014-11-30

國家自然科學基金(61303127)；國家科技支撐計劃(2013BAH32F02，2013BAH32F03)；四川省科技廳項目(2011JQ0041, 11ZS2009)；中國科學院“西部之光”人才培養(yǎng)計劃(13ZS0106)

吳亞東(1979-)，男，博士，教授，主要從事圖像處理、可視化方面的研究.