數(shù)字圖像質(zhì)量評價(jià)綜述

張偌雅，李珍珍

（河南大學(xué)計(jì)算機(jī)與信息工程學(xué)院，開封 475000)

數(shù)字圖像質(zhì)量評價(jià)綜述

張偌雅，李珍珍

（河南大學(xué)計(jì)算機(jī)與信息工程學(xué)院，開封 475000)

數(shù)字圖像的質(zhì)量評價(jià)是當(dāng)今圖像領(lǐng)域的熱點(diǎn)問題，對質(zhì)量評價(jià)的常用方法進(jìn)行介紹，其中全參考評價(jià)方法最成熟，應(yīng)用也最廣泛，無參考評價(jià)方法有很好的研究前景。為了得到與人眼視覺系統(tǒng)HVS一致性更高的評價(jià)結(jié)果，對各種方法都在進(jìn)行不斷的完善與改進(jìn)。概述質(zhì)量評價(jià)方法的相關(guān)性能指標(biāo)，最后就評價(jià)方法的進(jìn)一步發(fā)展提出展望。

0 引言

圖像質(zhì)量指人們對圖像視覺感受的主觀評價(jià)，即目標(biāo)圖像相對于原圖像在人眼視覺系統(tǒng)中產(chǎn)生誤差的程度。在對數(shù)字圖像進(jìn)行壓縮、傳輸、顯示等操作時(shí)，由于處理過程、成像系統(tǒng)或傳輸介質(zhì)等的影響，會(huì)出現(xiàn)不同類型和不同程度的失真現(xiàn)象，如傳輸過程中，視頻產(chǎn)生的失真會(huì)導(dǎo)致圖像的模糊；醫(yī)學(xué)圖像的失真使得醫(yī)生無法準(zhǔn)確判斷進(jìn)行診斷[1]。圖像質(zhì)量評價(jià)主要通過對圖像進(jìn)行特性分析研究，然后評估出圖像質(zhì)量的優(yōu)劣即圖像失真程度。在圖像處理系統(tǒng)中，圖像的質(zhì)量評價(jià)對于評價(jià)算法的分析比較、系統(tǒng)的性能評估等方面都有著十分重要的作用。傳統(tǒng)方法主要有主觀評價(jià)和客觀評價(jià)兩種，近年來，隨著圖像處理領(lǐng)域的不斷發(fā)展，對于圖像質(zhì)量評價(jià)的研究也受到越來越多的關(guān)注，評價(jià)的指標(biāo)和方法得到了更好的發(fā)展和完善。

1 主觀圖像質(zhì)量評價(jià)方法

主觀評價(jià)方法是用來評價(jià)圖像質(zhì)量的最直觀的方法，分為絕對評價(jià)和相對評價(jià)兩種。絕對評價(jià)沒有參考圖像，根據(jù)已經(jīng)規(guī)定好的評價(jià)準(zhǔn)則或個(gè)人經(jīng)驗(yàn)對圖像做出評價(jià)。相對評價(jià)主要是在有標(biāo)準(zhǔn)圖像時(shí)，對圖像按質(zhì)量的好壞進(jìn)行比較，給出最終的評分值。國際電信聯(lián)盟(ITU)根據(jù)人眼評判時(shí)環(huán)境和條件的不同提出了若干圖像質(zhì)量評價(jià)方法，主要有雙刺激損傷分級法、雙刺激連續(xù)質(zhì)量分級法和單刺激連續(xù)質(zhì)量分級法等[2]。雙刺激損傷分級法是由評估者觀看多組圖像，每一組都先顯示參考圖像再顯示失真圖像，對“圖像對”進(jìn)行對比觀察，然后根據(jù)主觀評價(jià)的5級評分表，對應(yīng)地選擇待測圖像所在等級[2]。雙刺激連續(xù)質(zhì)量分級法與雙刺激損傷法的區(qū)別在于，觀測者不知道哪個(gè)是參考圖像哪個(gè)是失真圖像，只需對兩圖像進(jìn)行評分得到 MOS，然后計(jì)算主觀差異評分值 DMOS，DMOS的值越小，表明失真程度越小，即圖像質(zhì)量越好。單刺激連續(xù)質(zhì)量分級法由評估者在一段時(shí)間內(nèi)連續(xù)地觀察待測圖像并評分，綜合分值和評分時(shí)間等因素得到最終的結(jié)果。

主觀評價(jià)方法雖然較為直觀，符合人眼對圖像的認(rèn)知，但是想要通過這種方法得到理想的結(jié)果需要進(jìn)行多次重復(fù)試驗(yàn)，投入的人力物力較大，耗時(shí)較長，而且不同觀測個(gè)體差異較大，評價(jià)結(jié)果容易受到很多客觀因素的影響。

2 客觀圖像質(zhì)量評價(jià)方法

圖像質(zhì)量的客觀評價(jià)方法模仿人眼視覺系統(tǒng)的原理建立數(shù)學(xué)模型對失真后的圖像進(jìn)行質(zhì)量評估，通過具體的數(shù)學(xué)公式計(jì)算失真前后圖像的相似度并量化為具體分值。以能夠獲取原始圖像信息的多少為依據(jù)，客觀方法分為三類，分別是全參考、半?yún)⒖己蜔o參考圖像質(zhì)量評價(jià)[3]。其中全參考方法是以一幅完整的圖像作為參考，而半?yún)⒖挤椒ㄒ岳硐雸D像的部分特征作為參考，但是在理想圖像很難獲取的情況下，以上兩種方法是不適用的，因此無參考方法是基于圖像統(tǒng)計(jì)特性對圖像質(zhì)量進(jìn)行分析。

最早的全參考圖像質(zhì)量評價(jià)方法有峰值信噪比(PSNR)和均方誤差(MSE)。MSE以衡量“平均誤差”來評價(jià)數(shù)據(jù)的變化程度，應(yīng)用到圖像質(zhì)量評價(jià)上就是計(jì)算得到兩圖像像素差的均方值，以此判斷圖像的失真程度。PSNR是一種衡量失真的常用指標(biāo)，它是兩圖像之間的均方誤差相對于信號最大值平方的對數(shù)值。兩種方法計(jì)算公式如下所示：

其中R(m.n)和I(m,n)分別代表參考圖像和失真圖像在空間位置(m.n)的灰度值。對于8位的灰度圖像，峰值信號L=255。

雖然這兩種方法計(jì)算簡單，效率高，但是并沒有考慮到像素之間的相關(guān)性，沒有很好地將人眼視覺系統(tǒng)引入到評價(jià)體系中來，所得評價(jià)結(jié)果不夠理想。

部分參考方法利用能夠獲取的有限的部分參考圖像信息作為參考，以此對失真圖像的質(zhì)量進(jìn)行判斷，它需要提取各自的圖像特征，分別比較提取到的圖像信息對待測圖像的質(zhì)量進(jìn)行評估。這種方法主要有基于原始圖像特征方法、基于數(shù)字水印方法和基于Wavelet域統(tǒng)計(jì)模型的方法等。雖然減小了數(shù)據(jù)傳輸量，但是在進(jìn)行特征提取和比較時(shí)出現(xiàn)的偏差會(huì)對評價(jià)結(jié)果有很大影響。

無參考方法與其他兩種方法最大的區(qū)別在于無法獲取原始圖像的任何信息時(shí)，只能根據(jù)圖像的自身特征直接進(jìn)行判斷，有較強(qiáng)的靈活性，但圖像的特征難以定義和提取，這是此類方法評價(jià)圖像的難點(diǎn)。這種失真度量主要針對的是不同類型的失真圖像，如：模糊效應(yīng)、分塊效應(yīng)、噪聲效應(yīng)等引起的失真。無參考方法完全脫離了對原始圖像的依賴，應(yīng)用范圍廣，研究難度大。

3 常見的圖像質(zhì)量評價(jià)方法

3.1 基于結(jié)構(gòu)相似度的方法

為了提高圖像質(zhì)量的主客觀一致性，許多將HVS融入評價(jià)過程的方法相繼被提出。HVS從圖像中提取高度結(jié)構(gòu)化的信息，對這些信息的度量可以應(yīng)用到對圖像質(zhì)量的感知，而圖像質(zhì)量的好壞同時(shí)也會(huì)受到亮度信息和對比度信息的制約，在評價(jià)圖像質(zhì)量時(shí)要同時(shí)考慮這三個(gè)因素的影響。因此Wang等人提出了一種基于結(jié)構(gòu)相似度SSIM(Structural Similarity)的圖像質(zhì)量評價(jià)算法，將失真信息建模為這三種信息的組合，用均值和標(biāo)準(zhǔn)差分別作為亮度和對比度的估計(jì)，協(xié)方差作為結(jié)構(gòu)相似度的度量[4]。亮度信息l(x ,y)，對比度信息c(x ,y)和結(jié)構(gòu)信息s(x ,y)分別計(jì)算如下：

其中，μx和 μy是反映了亮度信息的亮度圖像的均值，σx和σy是反映了對比度信息的亮度圖像的方差，σxσy是反映了結(jié)構(gòu)信息相似度的兩幅圖像的相關(guān)系數(shù)，C1、C2和C3防止分母為零產(chǎn)生異常。綜合這三個(gè)函數(shù)可以得到兩幅圖的結(jié)構(gòu)相似性SSIM如下：

與MSE和PSNR相比，基于HVS的方法SSIM具有較好的相關(guān)性，計(jì)算簡單快捷，因此應(yīng)用范圍較廣，但是忽略了圖像中重要的邊緣信息，對模糊失真圖像不敏感。

3.2 基于特征相似性的方法

基于特征相似性的圖像質(zhì)量評價(jià)方法FSIM在2011年被提出，它應(yīng)用了Liu[5]等人提出的相位一致性，以原始圖像和失真圖像的相位一致性作為第一特征，梯度強(qiáng)度為第二特征，以相位一致性加權(quán)，提取了與圖像相位保持高度一致性位置上的紋理結(jié)構(gòu)特征[6]。人眼主要根據(jù)圖像的底層特征來理解和評價(jià)圖像，而FSIM很好地提取了人類感興趣的特征點(diǎn)，因此能夠得到較好的評價(jià)結(jié)果。兩個(gè)圖像的特征相似性和梯度相似性分別表示如下：

其中，PC表示原始圖像和失真圖像的相位一致性信息，G表示兩幅圖像的梯度幅值，引入常量T1和T2避免分母為零。用PCm(x ,y)=max(PC(x),PC(y))對兩幅圖像的整體相似性進(jìn)行加權(quán)，則特征相似性FSIM表示如公式所示：

FSIM很好地表示了圖像底層特征，比較接近人眼視覺系統(tǒng)，但是該算法對圖像的邊緣信息不敏感，因此在評價(jià)邊緣信息比較豐富的圖像是結(jié)果不夠理想。

3.3 一些改進(jìn)的圖像質(zhì)量評價(jià)方法

Wang等人提出了多尺度結(jié)構(gòu)相似性MSSIM，把參考圖像看成尺度1，最高尺度為M，它是通過M-1次迭代，每次通過對上一次迭代的結(jié)果進(jìn)行低通濾波和下采樣得到的[3]。這種方法能夠捕獲跨越多個(gè)尺度的模糊，與HVS一致性較好，評價(jià)結(jié)果優(yōu)于SSIM。

Chen等人基于對SSIM的研究，提出了基于梯度的結(jié)構(gòu)相似度GSSIM，把對亮度之外兩個(gè)信息的度量改為對原始圖像和待測圖像的梯度信息的計(jì)算[3]。由于梯度信息能很好地表示圖像的邊緣信息，因此改進(jìn)之后的算法GSSIM對邊緣信息比較豐富的圖像評估較準(zhǔn)確。

Li等人提出了3-SSIM質(zhì)量評價(jià)方法，把SSIM中三個(gè)信息的度量改為在邊緣、紋理和平滑區(qū)域分別計(jì)算并賦予不同的權(quán)重[3]，以此計(jì)算所需的圖像評價(jià)結(jié)果。

4 圖像評價(jià)數(shù)據(jù)庫和評價(jià)指標(biāo)

理想的評價(jià)方法通常是與HVS具有較高的一致性，其結(jié)果具有單調(diào)性、準(zhǔn)確性、一致性和穩(wěn)定性[7]。常用于圖像評價(jià)的圖像數(shù)據(jù)庫主要有LIVE[8]和TID2008[9]。LIVE圖像數(shù)據(jù)庫由29幅參考圖像，779幅失真圖像組成，失真類型主要有JPEG2000失真(JP2K)圖像，JPEG失真圖像，白噪聲失真(WN)圖像，高斯模糊失真(GB)圖像和快速衰退失真(FF)圖像。LIVE數(shù)據(jù)庫中包括所有失真圖像的DMOS值，值越大表示圖像質(zhì)量越差，在用LIVE庫驗(yàn)證評價(jià)方法時(shí)，針對某一種類型的圖像就可以驗(yàn)證該方法的性能優(yōu)劣[3]。TID2008是專門用來評估全參考圖像質(zhì)量的數(shù)據(jù)庫，該數(shù)據(jù)庫包括25幅原始參考圖像，經(jīng)過17種類型和4個(gè)層次的失真處理后得到1700幅失真圖像。數(shù)據(jù)庫給出的是所有失真圖像的平均主觀分值MOS，值越大表示圖像質(zhì)量越好，用TID2008驗(yàn)證評價(jià)方法時(shí)，針對所有圖像的比較和分析要比針對單一類型的圖像更加可靠[3]。

為了驗(yàn)證所使用的評價(jià)方法與HVS的主觀一致性，VQEG[10]提出了4個(gè)常用的客觀指標(biāo)參數(shù)斯皮爾曼秩相關(guān)系數(shù)SROCC，肯德爾秩次相關(guān)系數(shù)KROCC，皮爾森線性相關(guān)系數(shù) PLCC，均方根誤差RMSE[11]。SROCC和KROCC分別研究了兩個(gè)變量的之間的相關(guān)關(guān)系和統(tǒng)計(jì)依賴性，它們都可以用來反映兩個(gè)變量之間的等級相關(guān)性，PLCC代表MOS值與非線性回歸后客觀分值之間相關(guān)性的強(qiáng)弱，RMSE是在非線性回歸條件下，客觀評分與主觀分值的誤差，很好地反映了測量的精密度。當(dāng)客觀評價(jià)結(jié)果與主觀評價(jià)結(jié)果較好時(shí)，SROCC、KROCC和PLCC的值會(huì)很高，而RMSE的值比較小。

5 結(jié)語

本文對圖像質(zhì)量評價(jià)方法進(jìn)行綜述，概述了質(zhì)量評價(jià)的主要分類和幾種典型的全參考圖像質(zhì)量評價(jià)方法及其發(fā)展，介紹了驗(yàn)證評價(jià)評價(jià)方法的幾個(gè)參數(shù)指標(biāo)。在對圖像進(jìn)行客觀評價(jià)時(shí)，全參考質(zhì)量評價(jià)是最常用也是發(fā)展最好的方法，但是放到實(shí)際應(yīng)用中，如果無法獲取圖像的完整信息，部分參考和無參考圖像質(zhì)量評價(jià)方法就有了極大的應(yīng)用和發(fā)展空間。圖像處理可以更多地應(yīng)用到視頻處理系統(tǒng)和監(jiān)控系統(tǒng)中以獲取所需的最佳圖像，根據(jù)不同需求選擇具有不同特點(diǎn)的算法。同時(shí)，如何對圖像進(jìn)行處理以消除失真還原圖像質(zhì)量也將成為未來研究的重點(diǎn)和難點(diǎn)。

[1]Mottalli M,Mejail M,Jacobo-Berlles J.Flexible Image Segmentation and Quality Assessment for Real-Time Iris Recongnition[C].Proceedings of the 2009 16th IEEE International Conference on Image Proceeding(ICIP 2009),2009:1941-1944.

[2]Rec B T.Methodology for the Subjective Assessment of the Quality of Television Picture[S]，2002.

[3]褚江,陳強(qiáng),楊曦晨.全參考圖像質(zhì)量評價(jià)綜述[J].計(jì)算機(jī)應(yīng)用研究,2014,31(1):13-22.

[4]Zhou Wang,Bovik,Sheikh H,et al.Image Quality Assessment:from Error Visibility to Structural Similarity[J].IEEE Transactions on Image Processing,2004,13(4):600-612.

[5]Liu Z,Laganire R.Phase Congruence Measurement for Image Similarity Assessment[J].Pattern Recognition,2007,28(1):166-172.

[6]Zhang L,Zhang L,Mou X Q,et al.FSIM:a Feature Similarity Index for Image Quality Assessment[J].IEEE Transactions on Image Processing,2011,20(8):2378-2386.

[7]劉書琴,毋立芳,宮玉,等.圖像質(zhì)量評價(jià)綜述[J].中國科技論文在線,2011,6(7):501-506;523.

[8]Sheikh H R,Wang Zhou,Cormack L,et al.LIVE Image Quality Assessment Database Release 2[DB/OL].http://live.ece.utexas.edu/research/quality,2006-05-10/2007-06-30.

[9]Ponomarenko N,Luhin V,Zeleensky A,et al.TID2008:a Database for Evaluation of Full-Reference Visual Quality Assessment Metrics[EB/OL].[2009].http://www.ponomarenko.info/papers/mre2009tid.pdf.

[10]VQEG.Final Report from the Video Quality Experts Group on the Validation of Objective Models of Video Quality Assessment[EB/OL].2011-04-24.http://www.its.bldrdoc.gov/vqeg/projects/frtv phaseⅡ.

[11]Sheikh H R,Sabir M F,Bovik A C.A Statistical Evaluation of Recent Full Reference Image Quality Assessment Algorithms[J].IEEE Trans on Image Processing,2006,15(11):3440-3451.

張偌雅（1993-），女，河南信陽人，碩士研究生，研究方向?yàn)閿?shù)字圖像處理

李珍珍（1996-），女，河南漯河人，碩士研究生，研究方向?yàn)閿?shù)字圖像處理

2017-07-18

2017-10-11

Image Quality Assessment;Human Visual System;Subjective Assessment;Objective Assessment

Overview of Digital Image Quality Assessment

ZHANG Ruo-ya，LI Zhen-zhen

（College of Computer and Information Engineering，Henan University，Kaifeng 47500）

Quality assessment of digital image is a hot topic in the field of image.Presents the common methods of quality evaluation,of which the full reference assessment is the most mature and no reference assessment method has a very good research prospect.Various kinds of methods get improved so much that better evaluation results consistent with human visual system can be obtained.Summarizes the related perfor?mance indexes of the quality evaluation,puts forward the further development of assessment algorithm.

圖像質(zhì)量評價(jià)；人眼視覺系統(tǒng)；主觀評價(jià)；客觀評價(jià)

1007-1423（2017）29-0078-04

10.3969/j.issn.1007-1423.2017.29.019