基于特征域奇異值分解的圖像質(zhì)量評價

崔 力

(西北工業(yè)大學電子信息學院，西安710072)

浩 明

(西安郵電大學通信與信息工程學院，西安710121)

圖像質(zhì)量評價是圖像處理的重要研究內(nèi)容之一.作為算法性能評判及參數(shù)優(yōu)化的關(guān)鍵指標，圖像質(zhì)量評價對于圖像采集、壓縮、編碼、去噪、增強、水印、認證、存儲、合成、復制等相關(guān)領(lǐng)域具有重要意義.圖像質(zhì)量評價主要有主觀和客觀兩種方式.考慮到傳統(tǒng)的主觀質(zhì)量評價不僅對實驗條件有著苛刻的要求，而且實施步驟復雜，不能滿足實時性的要求，客觀質(zhì)量評價吸引了更多關(guān)注.

根據(jù)參考圖像存在與否，客觀圖像質(zhì)量評價方法可以分為全參考、半?yún)⒖己蜔o參考3種算法.其中，當前學者對于全參考算法的研究最為深入，并將其分為:①基于物理信號差異的方法，包括常見的均方差(MSE，Mean Square Error)，信噪比(SNR，Signal to Noise Ratio)和峰值信噪比(PSNR，Peak Signal to Noise Ratio)等指標;②基于人眼視覺系統(tǒng)(HVS，Human Vision System)建模的方法.例如，視覺信噪比(VSNR，Visual Signal to Noise Ratio)[1]利用HVS的臨界閾值和超閾值視覺感知特點改進SNR，以便更好地吻合人眼視覺感知結(jié)果;③基于結(jié)構(gòu)相似性的方法.假設(shè)結(jié)構(gòu)信息丟失是造成圖像質(zhì)量下降的唯一原因，此類方法包括了結(jié)構(gòu)相似性度量(SSIM，Structural SIMilarity)[2]和它的多分辨版本(MSSSIM，Multi－Scale Structural SIMilarity)[3];④基于自然場景統(tǒng)計(NSS，Natural Scene Statistics)的方法，包括信息置信度標準(IFC，Information Fidelity Criteria)[4]和視覺信息置信度(VIF，Visual Information Fidelity)[5].

由于上述方法都是采用數(shù)學建模的手段來模擬人眼視覺系統(tǒng)的視覺判斷功能，他們普遍存在模型參數(shù)優(yōu)化困難以及泛化能力不足的問題.近年來，有學者嘗試利用機器學習手段預測圖像感知質(zhì)量.相比于上述數(shù)學建模的方法，機器學習不僅能夠?qū)W習具有任意復雜度的映射關(guān)系函數(shù)，而且巧妙地回避了HVS中不同特征間的相互影響.文獻[6]提出一種聯(lián)合應用多個機器學習技術(shù)的圖像質(zhì)量評價模型，首先將PSNR和SSIM作為圖像質(zhì)量描述參數(shù)進行“野點預測”，以便利用支持向量機(SVM，Support Vector Machine)將待測樣本分為正常樣本和奇異樣本兩類，隨后根據(jù)分類的結(jié)果選擇對應的人工神經(jīng)網(wǎng)絡(luò)(ANN，Artificial Neural Network)，最終獲得圖像質(zhì)量評價.文獻[7]提出一種基于圓形反向傳播神經(jīng)網(wǎng)絡(luò)(CBPNN，Circular Back－Propagation Neural Network)的圖像質(zhì)量評價方法，首先從待測圖像的灰度共生紋理矩陣(GLCM，Gray Level Co－occurrence Matrix)，DCT(Discrete Cosine Transform)域以及局部直方圖中提取視覺特征，并利用KS(Kolmogorov－Smirnov)檢驗從待選特征集合中最終篩選出4個紋理特征，最后將在多個紋理方向上分別訓練得到的學習器進行合并，以便完成主觀圖像質(zhì)量預測.文獻[8]提出一種基于廣義回歸神經(jīng)網(wǎng)絡(luò)(GRNN，General Regression Neural Network)的圖像質(zhì)量評價方法，首先對輸入圖像進行處理得到如下特征(失真圖像的熵和平均梯度和它的相位一致性圖的均值和熵)，隨后將這些特征輸入到GRNN的輸入層，并在模式層和加和層進行不斷地回歸處理，直至獲得預期的收斂值，并最終在輸出層獲得圖像質(zhì)量評價結(jié)果.文獻[9]提出一種基于奇異值分解(SVD，Singular Value Decomposition)的圖像質(zhì)量預測模型.它首先將輸入圖像分為固定大小的子塊，并利用奇異值分解分別求取它們奇異向量的內(nèi)積和奇異值的方差作為視覺特征，最終將各個子塊上的視覺特征值的均值作為圖像的全局特征輸入到SVM，以便獲得對感知質(zhì)量的預測.

考慮到奇異向量內(nèi)積和奇異值方差是兩種不同概念(相似度和距離)的度量，本文嘗試利用統(tǒng)一的概念度量奇異向量及其奇異值的差異，提出了一種基于特征與奇異值分解的圖像質(zhì)量評價方法，首先通過在多個特征域比較參考和測試圖像的特征向量及其特征值差異提取出所需的視覺特征向量，并利用SVM完成圖像感知質(zhì)量的預測.通過利用一種選擇性集成回歸的方法構(gòu)建集成學習系統(tǒng)，本文所提出的圖像質(zhì)量預測模型的泛化能力還可以進一步提高.

1 圖像質(zhì)量預測模型

如圖1所示，本文提出的圖像質(zhì)量評價預測算法主要由視覺特征提取和感知質(zhì)量預測兩個部分組成.它們分別負責從多個特征域中提取出圖像的視覺特征向量以及利用SVM建立有視覺特征到感知質(zhì)量的數(shù)學映射.

圖1 圖像質(zhì)量預測模型的工作流程

1.1 視覺特征提取

視覺特征提取主要用于在多個特征域中或者從不同的角度分析參考和測試圖像的視覺感知差異.這里，特征域指的是圖像本身以及它的梯度和相位一致性.由于梯度和相位一致性分別表征了圖像局部的亮度以及相位變化情況，它們構(gòu)成了表示圖像局部結(jié)構(gòu)的最小特征集合.

給定圖像 I ，首先利用 S charr模板[10](見圖2)分別獲得它在水平和垂直方向上的梯度分量(Gx和Gy)，最終將圖像整體梯度定義為

考慮到所有對人眼重要的視覺特征都發(fā)生在相位信息高度有序的空間位置上[11]，圖像的相位一致性定義為

式中，?·」代表門限函數(shù)，當輸入變量小于零時輸出為零，其它情況下輸出等于輸入;An(x)=表示給空間位置x和子帶階數(shù)n下的信號幅度，其中en(x)和on(x)分別是將原始圖像I與偶對稱小波和奇對稱小波進行卷積的結(jié)果;Δφn(x)和W(x)分別表示統(tǒng)計相位偏移和加權(quán)系數(shù);常數(shù)T和ε分別用來估計實際的噪音水平以及防止上式中的分母為零.

圖2 Scharr梯度檢測模板

給定參考和測試圖像的特征域表示，首先將其劃分為大小相等且互不重疊的若干子塊(鄰域)，并通過比較局部奇異向量以及奇異值的差異獲得圖像質(zhì)量預測所需的視覺特征向量.假定矩陣Bir和Bit分別是參考和測試圖像特征域中位于相同位置并且大小為b×b的第i個子塊，它們可以分解為

式中，U，V分別是左右奇異向量矩陣.S=diag(s1，s2，…，sb)中奇異值為降序排列，即 s1＞s2＞…＞sb，并呈現(xiàn)指數(shù)遞減的變化趨勢.通過分別比較奇異向量和奇異值的差別，就可以獲得本地視覺感知差異度量

式中，N代表圖像中本地塊的總數(shù).本文中，本地塊的大小設(shè)為32×32.

1.2 感知質(zhì)量預測

感知質(zhì)量預測旨在將描述參考和測試圖像視覺感知差異的特征向量輸入到SVM，以便完成從視覺特征到主觀感知質(zhì)量的數(shù)學映射.SVM[12]是一種在統(tǒng)計學習理論基礎(chǔ)上發(fā)展出來的新的機器學習方法.相比于傳統(tǒng)的基于經(jīng)驗風險最小化原則的ANN，它基于結(jié)構(gòu)風險最小化原則，因此具有更好的抗噪與泛化能力.

作為一種用于回歸問題的 S VM方法，nu－SVR(Support Vector Regression)[13]的實質(zhì)就是根據(jù)給定訓練數(shù)據(jù)(x1，y1)，…，(xl，yl)，尋找出從輸入特征xi∈Rd到目標值yi∈R的最佳映射函數(shù)

式中，W和b分別表示權(quán)重向量與偏移量;核函數(shù)φ(x)用于將輸入特征映射到更高維空間，以便增強其線性可分性.依據(jù)結(jié)構(gòu)風險最小化原則，映射函數(shù)f(x)必須同時滿足:①在所有訓練樣本上盡量接近目標值;②盡可能保持函數(shù)的平坦，以防止過擬合.因此，nu－SVR的目標函數(shù)設(shè)計如下:

式中，懲罰因子C用來控制經(jīng)驗誤差與函數(shù)平滑程度之間的平衡;參數(shù)ν滿足0≤ν≤1.核函數(shù)為高斯函數(shù).

2 實驗數(shù)據(jù)

實驗數(shù)據(jù)主要包括了美國cornell大學的A57[14]、法國Nantes大學圖像與視頻通信實驗室的IVC[15]、烏克蘭國立空間科學大學的TID2008[16]、日本富山大學知能情報工學科通信研究室的MICT－tomaya[17]、美國Texas大學圖像和視頻工程實驗室的LIVE(Laboratory for Image＆Video Engineering)[18]、美國 Oklahoma 州立大學計算視覺感知與圖像質(zhì)量實驗室的CSIQ(Computational Perception＆Image Quality lab)[19]和瑞典Blekinge技術(shù)研究所的WIQ(Wireless Imaging Quality)[20]圖像數(shù)據(jù)庫.

3 性能分析

不同于傳統(tǒng)的圖像質(zhì)量評價算法，本文提出的圖像質(zhì)量預測(IQP，Image Quality Predictor)模型主要利用SVM來完成主觀感知質(zhì)量的預測.表1顯示這些模型在A57數(shù)據(jù)庫的平均運行時間.實驗平臺是:Q9500處理器，4 GB內(nèi)存，WIN7專業(yè)版操作系統(tǒng)，Matlab7.6仿真軟件.從表1中可以看出，IQP模型的計算復雜度基本與VSNR算法相當，盡管比PSNR，SSIM和MSSSIM差，但是優(yōu)于IFC和VIF算法.

表1 圖像質(zhì)量預測模型與傳統(tǒng)圖像質(zhì)量評價算法的運行時間比較 s/圖像

4 仿真結(jié)果

4.1 單個數(shù)據(jù)庫的性能表現(xiàn)

為了公平地比較IQP模型以及傳統(tǒng)的圖像質(zhì)量評價算法，本文擬采用多重交叉檢驗方式來檢測上述模型在當個數(shù)據(jù)庫上的性能表現(xiàn).主要包含3個步驟:①將當前數(shù)據(jù)庫劃分為若干等分，每次選取一個等分(測試子集)來檢驗由其它等分(訓練子集)訓練所得到模型的性能表現(xiàn).為了使訓練和測試子集具有最大的獨立性，首先將這些圖像數(shù)據(jù)庫中的參考圖像分為大小近似相等的5個或者3個子集，并通過將同一子集內(nèi)參考圖像對應的失真圖像也劃分為一個集合，以便獲得失真圖像的對應劃分.②利用訓練子集完成模型的參數(shù)選擇及其訓練.考慮到傳統(tǒng)的圖像質(zhì)量評價算法已經(jīng)完成了參數(shù)優(yōu)化，這里的模型訓練是指利用網(wǎng)格搜索完成IQP模型的最佳參數(shù)選取，其基本原理是讓參數(shù)C，γ和ν按照一定的步長增加，并通過嘗試參數(shù)空間網(wǎng)格劃分上的所有點，最終獲得最佳參數(shù)取值.③利用測試集合檢測訓練得到模型的性能表現(xiàn)，并將經(jīng)過多次測量得到的性能參數(shù)的平均值作為當前參數(shù)下交叉檢驗精度.這里，性能參數(shù)(相關(guān)系數(shù)(PLCC，Pearson linear Correlation Coefficient)和均方根誤差(RMSE，Root Mean Square Error))主要用來描述經(jīng)過非線性映射后模型或算法對圖像感知質(zhì)量的預測值和實驗測量值(MOS值)之間吻合程度.較大的PLCC表示主觀質(zhì)量預測具有較好的準確性和單調(diào)性，較小的RMSE表示主觀質(zhì)量預測具有較好的一致性.

圖3顯示了本文所提出的IQP模型以及傳統(tǒng)的圖像質(zhì)量評價算法(PSNR，SSIM，MS－SSIM，IFC，VIF和VSNR)在7個圖像數(shù)據(jù)庫上的性能表現(xiàn).

圖3 圖像質(zhì)量預測模型與傳統(tǒng)圖像質(zhì)量評價算法在單個數(shù)據(jù)庫上的性能表現(xiàn)

從圖3中可以看出，除了在A57上的性能表現(xiàn)比VSNR稍差外，IQP模型在這數(shù)據(jù)庫上的性能都高于傳統(tǒng)的圖像質(zhì)量評價算法.由于VSNR算法主要是利用A57圖像數(shù)據(jù)庫來完成模型的參數(shù)優(yōu)化，它在A57上的表現(xiàn)比較優(yōu)異，而其它數(shù)據(jù)庫上的性能衰減比較明顯.考慮到SSIM，MSSSIM，IFC和VIF算法最初都是為LIVE圖像數(shù)據(jù)庫而設(shè)計的，他們在包含LIVE中相同失真類型的MICT－tomaya圖像數(shù)據(jù)庫上仍然表現(xiàn)較好，而在包含許多LIVE中所沒有失真類型的TID2008圖像數(shù)據(jù)庫上性能表現(xiàn)較差.由此可見，傳統(tǒng)圖像質(zhì)量評價算法的突出問題就是由于測試與訓練數(shù)據(jù)內(nèi)在結(jié)構(gòu)的不一致，他們在測試數(shù)據(jù)上的表現(xiàn)較差，即泛化能力有所不足.

4.2 跨數(shù)據(jù)庫性能表現(xiàn)

此外，本文也測試了在樣本數(shù)量最多的3個圖像數(shù)據(jù)庫(TID2008，LIVE和CSIQ)上分別訓練的IQP模型在其它數(shù)據(jù)庫上的性能表現(xiàn)，如表2所示.這里主要用PLCC表征模型預測值與MOS之間的吻合程度.從表2中可以看出，利用這3個數(shù)據(jù)庫訓練所得到的IQP模型在其他圖像數(shù)據(jù)庫上都有著較好的表現(xiàn).由于TID2008數(shù)據(jù)庫中的樣本數(shù)量遠遠大于LIVE和CSIQ數(shù)據(jù)庫，利用LIVE和CSIQ訓練的模型在TID2008數(shù)據(jù)庫上的性能表現(xiàn)較差.此外，考慮到無線傳輸過程會帶來復雜和不可預測的失真(多種偽影同時存在單個圖像中)，這些模型在WIQ數(shù)據(jù)庫上的表現(xiàn)還有待提高.

通過采用一種選擇性的集成策略[21]，也可以利用多個SVM構(gòu)建集成學習器.通過用集成學習器替代SVM，上述IQP模型就變?yōu)榱藞D像質(zhì)量集成預測(IQEP，Image Quality Ensemble Predictor)模型.構(gòu)建集成學習器的步驟如下:首先利用Bootstrap Sampling方法從現(xiàn)有圖像數(shù)據(jù)庫中產(chǎn)生若干訓練子集，并在每個訓練子集上通過網(wǎng)格搜索完成SVM訓練，然后依據(jù)他們的泛化精度對這些SVM模型進行排序，計算各子SVM模型的預測結(jié)果與期望輸出之間的相對和絕對誤差，將滿足閾值條件的SVM子模型加入集合中，并把出現(xiàn)概率在50%以上的SVM最終用于集成學習器構(gòu)建.表3顯示了在TID2008，LIVE和CSIQ上分別訓練的IQEP模型在其它數(shù)據(jù)庫上的性能表現(xiàn).在所有測試數(shù)據(jù)庫上，IQEP模型的性能都要優(yōu)于IQP.通過用集成學習器來代替?zhèn)鹘y(tǒng)的SVM，本文所提出的圖像質(zhì)量預測模型的泛化能力有所提高.

表2 圖像質(zhì)量預測模型的跨數(shù)據(jù)庫性能表現(xiàn)

表3 圖像質(zhì)量集成預測模型的跨數(shù)據(jù)庫性能表現(xiàn)

5 結(jié)束語

本文提出了一種基于特征域奇異值分解的圖像質(zhì)量評價方法，首先從輸入圖像及其梯度和相位一致性圖中分別比較本地塊的奇異向量和奇異值的差異來提取視覺特征，并利用SVM完成由視覺特征向量到圖像感知質(zhì)量的映射.實驗表明:①通過將網(wǎng)格搜索與交叉驗證相結(jié)合來完成模型參數(shù)化，本文所提出的圖像質(zhì)量預測模型的性能要優(yōu)于傳統(tǒng)的圖像評價算法;②在圖像數(shù)量最多的3個數(shù)據(jù)庫上分別訓練的圖像質(zhì)量預測模型在其他數(shù)據(jù)庫也有著很好的性能，表現(xiàn)出良好的泛化性;③通過構(gòu)建集成學習器來代替單個支持向量機，本文所提出的圖像質(zhì)量預測模型的泛化能力還可以進一步提高.

References)

[1]Chandler D M，Hemami S S.VSNR:a wavelet－based visual signal－to－noise ratio for natural images[J].IEEE Transactions on Image Processing，2007，16(9):2284－2298

[2]Wang Z，Bovik A C，Sheikh H R，et al.Image quality assessment:from error visibility to structural similarity[J].IEEE Transactions on Image Processing，2004，13(4):600－612

[3]Wang Z，Simoncelli E P，Bovik A C，Multi－scale structural similarity for image quality assessment[C]//Proceedings of the IEEE Asilomar Conference on Signals，Systems and Computers.2003，2:1398－1402

[4]Sheikh H R，Bovik A C，Veciana G M.An information fidelity criterion for image quality assessment using natural scene statistics[J].IEEE Transactions on Image Processing，2005，14(12):2117－2128

[5]Sheikh R，Bovik A C.Image information and visual quality[J].IEEE Transactions on Image Processing，2006，15(2):430－444

[6]Tong Yubing，Zhang Qishan，Chang Qing，et al.Image quality assessing model by using neural network and support vector machine[J].Journal of Beijing University of Aeronautics and Astronautics，2006，32(09):1031－1034

[7]Gastaldop，Zunino R，Heynderickx I，et al.Objective quality assessment of displayed images by using neural networks[J].Signal Processing:Image Communication，2005，20(7):643－661

[8]Li C，Bovik A C，Wu X J.Blind image quality assessment using general regression neural network[J].IEEE Transactions on Neural Networks，2011，22(5):793－799

[9]Narwaria M，Lin W.SVD－based quality metric for image and video using machine learning[J].IEEE Transaction on Systems，Man，and Cybernetics－Part B，2012，42(2):347－364

[10]Jahne B，Scharr H，Korkel S.Principles of filter design[M].Handbook of Computer Vision and Applications.Academic Press，1999

[11]Kovesi P.Image features from phase congruency[J].Journal of Computer Vision Research，1999，1(3):1－26

[12]Vapnik V N.The nature of statistical learning theory[M].New York:Springer－Verlag，1999

[13]Schaolkopf B，Smola A J，Williamson R C，et al.New support vectoralgorithms[J].NeuralComputation，2000，12(5):1207－1245

[14]Chandler D M，Hemami S S.A57 database[DB/OL].[2012－10－7].http://foulard.ece.cornell.edu/dmc27/vsnr/vsnr.html

[15]Ninassi A，Callet P L，Autrusseau F.Subjective quality assessment－IVCdatabase[DB/OL].[2012－10－7].http://www2.irccyn.ec－nantes.fr/ivcdb/

[16]Ponimarenkon，Lukin V，Zelensky A，et al.TID2008－a database for evaluation of full－reference visual quality assessment metrics[J].Advances of Modern Radioelectronics，2009，10:30－45

[17]Horita Y，Shibata K，Kawa Y Y，et al.MICT image quality evaluation database[DB/OL].[2012－10－7].http://mict.eng.u－toyama.ac.jp/mictdb.html

[18]Sheikh H R，Wang Z，Cormack L，et al.LIVE image quality assessment databas erelease 2[DB/OL].[2012－10－7].http://live.ece.utexas.edu/research/Quality/index.htm

[19]Larson E C，Chandler D M.Categorical image quality(CSIQ)database[DB/OL].[2012－10－7].http://vision.okstate.edu/csiq

[20]Engelke U，Kusuma M，Zepernick H J.Wireless imaging quality(WIQ)database[DB/OL].[2012－10－7].http://www.bth.se/tek/rcg.nsf/pages/wiq－db

[21]Zhang Yu，Wang Wenjian，Kang Xiangping.A regression SVM selection ensemble approach[J].Computer Science，2008，35(4):178－180