基于流形特征相似度的感知圖像質(zhì)量評價

王朝云　　蔣剛毅　　郁梅，2　　陳芬

基于流形特征相似度的感知圖像質(zhì)量評價

王朝云1蔣剛毅1郁梅1，2陳芬1

圖像質(zhì)量評價（Image quality assessment，IQA）的目標是利用設(shè)計的計算模型得到與主觀評價一致的結(jié)果，而人類視覺感知特性是感知圖像質(zhì)量評價的關(guān)鍵.大量研究發(fā)現(xiàn)，認知流形和拓撲連續(xù)性是人類感知的基礎(chǔ)即人類感知局限在低維流形之上.基于圖像低維流形特征分析，本文提出了基于流形特征相似度（Manifold feature similarity，MFS）的全參考圖像質(zhì)量評價方法.首先，利用正交局部保持投影算法來模擬大腦的視覺處理過程獲取最佳映射矩陣進而得到圖像的低維流形特征，通過流形特征的相似度來表征兩幅圖像的結(jié)構(gòu)差異，從而反映感知質(zhì)量上的差異.其次，考慮亮度失真對人眼視覺感知的影響，通過圖像塊均值計算亮度相似度并用于評價圖像的亮度失真；最后，結(jié)合兩個相似度得到圖像的客觀質(zhì)量評價值.在四個公開圖像測試庫上的實驗結(jié)果表明，所提出方法與現(xiàn)有代表性的圖像質(zhì)量方法相比總體上具有更好的評價結(jié)果.

圖像質(zhì)量評價，流形特征相似度，正交局部保持投影，視覺感知

引用格式王朝云，蔣剛毅，郁梅，陳芬.基于流形特征相似度的感知圖像質(zhì)量評價.自動化學(xué)報，2016，42（7）:1113-1124

圖像質(zhì)量評價是圖像處理領(lǐng)域中充滿挑戰(zhàn)性的問題［1［4］提出的結(jié)構(gòu)相似度（Structural similarity，SSIM）算法與PSNR等方法相比性能改進明顯，引起了學(xué)者們的關(guān)注；在其后續(xù)工作中，Wang等又提出了多尺度的SSIM（Multi-scale structural similarity，MS-SSIM），改進了SSIM的性能［5］.Zhang等［6］提出了基于Riesz變換的特征相似度（Riesz transform-based feature similarity，RFSIM）評價算法，提取了基于一階和二階Riesz變換的圖像局部結(jié)構(gòu)并利用Canny邊緣特征用于質(zhì)量加權(quán).文獻［7］認為人眼在對局部圖像評分時相位一致性和梯度幅值起著相輔相成的作用，提出特征結(jié)構(gòu)相似度（Feature similarity，F(xiàn)SIM）.程光權(quán)等［8］探索自然圖像的幾何結(jié)構(gòu)特征，考慮像素點的方向失真、幅度失真和方差失真，提出了一種基于幾何結(jié)構(gòu)失真模型的全參考質(zhì)量評價方法.除了基于結(jié)構(gòu)的圖像質(zhì)量評價方法外，另一些評價方法是從人眼視覺系統(tǒng)的其他特性出發(fā)進行設(shè)計的. Chandler等［9］提出視覺信噪比（Visual signal-tonoise ratio，VSNR），該準則先通過視覺閾值確定失真是否可察覺，再對超過視覺閾值的區(qū)域進行失真度量.Larson等［10］認為人類視覺系統(tǒng)（Human visual system，HVS）在評測高質(zhì)量圖像和低質(zhì)量圖像時采用了不同策略，提出最明顯失真（Most apparent distortion，MAD）的質(zhì)量評價算法.Sheikh等［11］將全參考圖像質(zhì)量評價問題看作信息保真度問題，在信息保真度（Information fidelity criterion，IFC）［12］的基礎(chǔ)上進行拓展得到視覺信息保真度（Visual information fidelity，VIF）評價算法. Zhang等［13］發(fā)現(xiàn)質(zhì)量下降會造成圖像顯著圖的變化且與感知質(zhì)量失真程度密切，從而提出基于視覺顯著性（Visual saliency induced index，VSI）的圖像質(zhì)量評價方法.考慮到結(jié)構(gòu)和對比度變化可以通過圖像梯度的變化得到，Liu等［14］提出基于梯度相似度（Gradient similarity metric，GSM）的全參考質(zhì)量評價算法.

優(yōu)異的圖像質(zhì)量評價方法應(yīng)能很好反映人眼視覺感知特性.針對視覺感知現(xiàn)象，有研究表明流形是感知的基礎(chǔ)，大腦中以流形方式對事物進行感知［15］；因此，將圖像流形特征應(yīng)用于視覺質(zhì)量評價可得到與主觀感知一致性較高的評價結(jié)果.流形學(xué)習(xí)能較好地幫助找到圖像在低維流形中的內(nèi)在幾何結(jié)構(gòu)，反映出事物的非線性流形的本質(zhì)［16］.Cai等［17］對局部保持投影（Locality preserving projection，LPP）算法進行改進、得到正交局部保持投影算法（Orthogonal locality preserving projection，OLPP），該方法可找到數(shù)據(jù)的流形結(jié)構(gòu)且具有線性特點，適用于所有鄰域空間而并非局限于樣本點.Charrier等［18］則針對JPEG 2000失真的圖像提出一種基于機器學(xué)習(xí)的圖像質(zhì)量分類方法，它利用現(xiàn)有的全參考與無參考圖像質(zhì)量方法提取的特征來描述圖像，然后嘗試了主成分分析（Principal components analysis，PCA）線性降維和拉普拉斯特征映射的流行學(xué)習(xí)的非線性降維等兩種方式的降維方法來對提取得到的特征向量進行降維用于訓(xùn)練后續(xù)的SVM得到分類器；但從其結(jié)果分析中可以看出相較于PCA的線性降維而言，拉普拉斯特征映射的非線性降維并不能有效地幫助其提高質(zhì)量分類的準確性.而本文將從人眼視覺感知的角度出發(fā)，利用流形學(xué)習(xí)的方法直接從圖像塊中學(xué)習(xí)得到圖像低維流形特征，得到符合人眼感知特性的圖像特征用于圖像質(zhì)量評價.

結(jié)合上述分析，本文提出一種基于流形特征相似度（Manifold feature similarity，MFS）的圖像質(zhì)量評價方法（MFS準則）.在訓(xùn)練階段，MFS準則將利用流形學(xué)習(xí)OLPP算法得到最佳映射矩陣用于提取圖像的流形特征；在質(zhì)量預(yù)測階段，在將原始與失真圖像劃分為圖像塊后，去除每個塊的均值使所有塊向量都具有零均值，在其基礎(chǔ)上得到流形特征相似度；而所有塊均值則用于計算亮度相似度.其中，流形特征相似度表征了兩幅圖的結(jié)構(gòu)差異，而亮度相似度則度量了失真圖像的亮度失真.最后，結(jié)合兩個相似度得到圖像的質(zhì)量評價值.實驗結(jié)果表明所提出方法的評價結(jié)果與人眼主觀評價值具有很高的一致性.

1　基于流形特征相似度（MFS）的圖像質(zhì)量評價準則（MFS準則）

流形是感知的基礎(chǔ)，經(jīng)過自然界長期進化的人腦能夠以流形的方法表達對外界對象的感知［15］.大腦中神經(jīng)元群體活動通?？擅枋鰹橐粋€神經(jīng)放電率的集合的結(jié)果，如果一個神經(jīng)元的觸發(fā)率對應(yīng)于一維，那么圖像信息就能夠由與像素個數(shù)相等的神經(jīng)元來表示.研究發(fā)現(xiàn)每個神經(jīng)元在一個神經(jīng)元群體中的放電率可用一個少數(shù)變量的平滑函數(shù)表示，比如人眼轉(zhuǎn)動的角度和頭旋轉(zhuǎn)的方向［19］，這說明神經(jīng)元群體活動是局限在一個低維流形之上.

基于流形學(xué)習(xí)理論，本文定義了流形特征相似度的概念，進而提出一種基于流形特征相似度的圖像質(zhì)量評價新方法（MFS準則）；它使用OLPP來模擬神經(jīng)元群體的視覺感知過程，并給出顯式的最佳映射矩陣用于提取測試圖像的低維流形特征.所提出的MFS準則框架如圖1所示，它分為兩個階段：訓(xùn)練和相似度計算.首先，從訓(xùn)練階段得到最佳映射矩陣J，并將其用于后續(xù)參考和失真圖像塊的流形特征的提??；然后，在流形特征的基礎(chǔ)上計算圖像質(zhì)量值.

圖1　基于流形特征相似度的圖像質(zhì)量評價準則Fig.1　Manifold feature similarity based perceptual image quality index

1.1訓(xùn)練獲取最佳映射矩陣

訓(xùn)練過程先從無失真的N幅自然圖像中隨機選取上萬個圖像塊作為訓(xùn)練樣本，再通過主成分分析對樣本向量進行降維以及白化處理；然后，通過OLPP對白化后的數(shù)據(jù)Xw進行訓(xùn)練得到白化空間中的正交投影矩陣Jw，最后將其還原到原始樣本空間得到最佳映射矩陣J.

1）預(yù)處理.在訓(xùn)練過程的初始階段，從無失真的10幅自然圖像中隨機選取20000個8×8圖像塊作為訓(xùn)練樣本.在實際計算時，需要將每個圖像塊按逐個通道逐行轉(zhuǎn)換為列向量.由于彩色圖像有三個通道，由此得到長度為8×8×3=192的向量.最后，每個向量通過減去對應(yīng)圖像塊的均值進行中心化，所有中心化后的樣本向量組成矩陣X.

2）利用PCA進行降維和白化.有研究表明，人眼視網(wǎng)膜和外側(cè)膝狀體（Lateral geniculate nucleus，LGN）會對輸入的視覺信號進行白化處理［20］.進一步的研究還表明，視網(wǎng)膜和LGN具有很好的去視覺冗余效果；因此，這里采用PCA進行降維和白化來模擬視網(wǎng)膜和LGN的該功能.一方面，這樣做去除了樣本中冗余信息同時減少了計算量；另一方面，這樣避免了當數(shù)據(jù)維數(shù)大于樣本點數(shù)時，OLPP算法中的廣義特征值求解很不穩(wěn)定的問題.降維和白化處理過程如下：

通過數(shù)據(jù)協(xié)方差矩陣的特征值分解來實現(xiàn)PCA過程.樣本數(shù)據(jù)X的協(xié)方差矩陣C計算

3）使用OLPP算法進行訓(xùn)練.最佳映射矩陣是將從白化樣本數(shù)據(jù)Xw中通過流形學(xué)習(xí)獲取的正交投影矩陣還原到原始樣本空間得到的.當高維數(shù)據(jù)分布于嵌入在子空間的低維流形中時，正交局部保持投影算法（OLPP）通過尋找流形的最佳線性逼近的拉普拉斯Beltrami算子進行低維嵌入，具體流程如下：

得到上述矩陣后，正交基向量｛ ppp1，···， pppn｝計算如下： ppp1為（XΦXT）-1XLXT的最小的非零特征值對應(yīng)的特征向量， pppn為Hn=｛I-（XΦXT）-1 ×P（n-1）［Q（n-1）］-1［P（n-1）］T｝（XΦXT）-1XLXT的最小的非零特征值對應(yīng)的特征向量.

令白化空間中的正交投影矩陣為Jw=［ ppp1，···，ppl］，其中l(wèi)=8.

步驟4.在進行學(xué)習(xí)之后，正交投影矩陣Jw應(yīng)該從白化樣本空間轉(zhuǎn)化回到原始樣本空間：

其中，W 為白化矩陣，Jw表示在白化樣本空間中的正交投影矩陣，J為最終的原始樣本空間的最佳映射矩陣.這里，將J看作大腦以流形方式感知的一個模型，可以用于提取圖像塊的流形特征.

1.2MFS評價值計算

如圖1所示，MFS評價值的計算由兩部分組成：特征相似度計算和亮度相似度計算.為了處理方便，在計算之前，將參考圖像和失真圖像通過8×8的滑動窗口分為不重疊的塊，同時對每個圖像塊進行去均值操作；由于圖像塊在去均值后的塊包含了對比度和結(jié)構(gòu)等信息，將其稱作結(jié)構(gòu)塊.因此，可將每個圖像塊看作由對應(yīng)的均值塊和去均值后的結(jié)構(gòu)塊組成.在全參考圖像質(zhì)量評價中，參考圖像和失真圖像采用的是相同的劃分方式，從而可將每個參考圖像塊和對應(yīng)的失真圖像塊作為一對圖像對.由于圖像的均值塊不包括任何對比度和結(jié)構(gòu)等信息，因此在計算流形特征相似度時將不使用圖像塊的均值.但考慮到圖像亮度的變化還是會引起感知失真雖然其影響并不如對比度和結(jié)構(gòu)變化那么大［14］，因此，引入亮度相似度來描述圖像的亮度失真，此時則需要利用圖像塊的均值進行計算.最后，通過組合特征相似度和亮度相似度得到MFS評價值.

1.2.1利用視覺特性選塊

在去除每個塊的均值后，原始和失真圖像的結(jié)構(gòu)塊成為一個零均值的列向量和（i對應(yīng)圖像的第i個塊），所有來自參考圖像和對應(yīng)的失真圖像的列向量和組成兩個矩陣，即Xref和 Xdis.超閾值失真是視覺關(guān)注中的一個重要影響因子，在感知質(zhì)量中也有著舉足輕重的作用［21］，這也是人類視覺系統(tǒng)對圖像中的低質(zhì)量區(qū)域比高質(zhì)量區(qū)域更敏感的原因.正是由于低質(zhì)量區(qū)域?qū)|(zhì)量評價有更大的影響，所以通過使用結(jié)構(gòu)差異較大的圖像塊對來進行質(zhì)量評價可以提高評價性能［22］.為了保持評價方法的執(zhí)行效率同時提高評價的準確性，本文使用特定標準來衡量圖像塊的結(jié)構(gòu)差異，同時在其基礎(chǔ)上設(shè)計閾值進行選塊進而利用選取的圖像塊進行相似度計算.

其中，h代表每個圖像塊向量的元素數(shù)目.最終，所有的參考和失真圖像塊對的AVE值形成一個向量vvv，向量 vvv中的元素為

為了選擇一組有利于質(zhì)量評價的圖像塊對，在 vvv向量的中值的基礎(chǔ)上設(shè)計了閾值THx，利用該閾值來選取參考—失真塊對.如果某一塊對的AVE值不小于設(shè)定的閾值THx，則保留該塊對用于質(zhì)量評價，最后所有選取的參考和失真圖像塊向量記為和最終，所有保留下來的向量組成兩個矩陣，Yref和Ydis，如式（8）所示：

其中，median（·）代表選取中值的運算.

給定一幅圖像，利用適當?shù)囊曈X顯著性（Visual saliency，VS）模型計算其顯著圖能反映每個局部區(qū)域在人眼視覺系統(tǒng)中的顯著程度.VS和IQA有著緊密的聯(lián)系，它們都依賴于HVS如何感知一幅圖像同時在視覺關(guān)注中超閾值失真也是一個重要的影響因素［21］，圖像不同區(qū)域在HVS感知圖像質(zhì)量過程中有著不同的作用，顯然，使用與人眼關(guān)注特點相關(guān)的選塊策略可以提高質(zhì)量評價性能.然而，上述的選塊只考慮了結(jié)構(gòu)差異大的區(qū)域，這些區(qū)域一般對應(yīng)失真圖像質(zhì)量較低的區(qū)域但并不一定是人眼最關(guān)注的區(qū)域.因此，在利用閾值THx來選取參考—失真塊對之后，使用視覺顯著計算模型（Saliency detection based-on simple priors，SDSP）［23］計算原始和失真圖像的顯著圖，使用VS圖來表征圖像不同區(qū)域的的視覺重要性，即給出圖像對fr和fd中的每個圖像塊的VS值，無論fr還是fd中第i塊圖像具有較高VS值就說明位置i處的圖像塊在評價圖像fr和fd相似度時具有較大的影響.為此，對求得的VS圖按8×8不重疊分塊后，分別求取各塊的平均顯著度得到圖像對fr和fd中的每個圖像塊的VS值形成顯著圖V S1和V S2.最后，利用V Sm（i）= max｛V S1（i），V S2（i）｝來對圖像進行二次選塊：

其中，THvs為將所有圖像塊顯著值按降序排序后在前60%位置的顯著值即選取顯著度最高的60%的塊對AVE選塊進行二次細選.

1.2.2流形特征相似度

在圖像塊對選取結(jié)束后，通過如下操作得到流形特征向量 rrrt和 ddt：

由于J的大小為8×192，則 rrrt和 dddt的向量長度為L=8.為了簡潔表示，使用（ rrrt， dddt）向量對來表示參考圖像和失真圖像塊的特征.而所有流形特征向量 rrrt和 dddt組成兩個矩陣R和D.

其中，K代表在圖像中選取的圖像塊數(shù)目， rrt和 dddt分別為R和D的列向量.

最后，定義MFS中的流形特征相似度MFSf，計算如下：

其中，K代表一幅圖像中選取的圖像塊數(shù)目，即保留的流形特征向量的數(shù)目，Rtj和Dtj分別表示R 和D的第t列和第j行的值；C1為一個很小的常量，用于保證結(jié)果的穩(wěn)定性.

1.2.3亮度相似度

亮度相似度的計算是基于每個圖像塊的均值進行的，僅考慮使用在上述選塊過程中獲取的圖像塊對對應(yīng)的均值向量（μref，μdis）來定義和計算亮度相似度MFSm，計算過程如式（13）.

其中，μref和μdis為選塊后對應(yīng)塊的均值組成的向量，mean（·）代表取向量的均值；C2為一個很小的常量，用于保證結(jié)果的穩(wěn)定性.

1.2.4MFS準則的評價值

最后，對MFSf和MFSm進行線性加權(quán)得到MFS評價值作為失真圖像的質(zhì)量分數(shù).

其中，0＜ω＜1用于調(diào)節(jié)MFSf和MFSm兩個分量的線性加權(quán)的權(quán)值.

2　實驗結(jié)果與分析

為了驗證本文算法的有效性，在4個公開的測試圖像庫上對本文算法進行了測試和對比；這4個圖像庫包括LIVE［24］、CSIQ［10］、TID2008［25］和TID2013［26］.每個圖像庫包含上千幅失真圖像，同時擁有多種失真類型.每幅失真圖像都會給定一個主觀分數(shù)例如平均主觀分（Mean opinion score，MOS）或平均主觀分差值（Differential mean opinion score，DMOS）.各圖像庫中的參考圖像數(shù)、失真圖像數(shù)、失真類型數(shù)以及參與主觀實驗的人數(shù)如表1所示.最終的算法性能驗證是在比較主觀評分與圖像質(zhì)量評價算法客觀評價結(jié)果基礎(chǔ)上進行的.

表1　應(yīng)用于圖像質(zhì)量評價算法分析的4個測試圖像庫Table 1　The four benchmark datasets for evaluating IQA indices

采用4個通用評價指標并根據(jù)視頻質(zhì)量評價專家組PhaseI/II（VQEG）［27］提供的標準驗證方法來獲取IQA的評價性能.斯皮爾曼秩相關(guān)系數(shù)（Spearman rank-order correlation coefficient，SROCC）和肯德爾秩次相關(guān)系數(shù)（Kendall rank-order correlation coefficient，KROCC）用于評價IQA方法的預(yù)測單調(diào)性的優(yōu)劣，這兩個指標僅在排序后的數(shù)據(jù)上進行而忽略數(shù)據(jù)點之間的相對距離.為了獲取另外兩個指標皮爾森線性相關(guān)系數(shù)（Pearson linear correlation coefficient，PLCC）和均方根誤差（Root mean squared error，RMSE），需要對客觀評價值和主觀平均評分（MOS）進行非線性映射來去除客觀分數(shù)的非線性的影響.采用5參數(shù)非線性映射函數(shù)來進行非線性擬合.

其中，q代表原始的客觀質(zhì)量評價分數(shù)，Q代表非線性映射后的分數(shù).5個調(diào)節(jié)參數(shù)α1，α2，α3，α4，α5則是由最小化映射后的客觀分數(shù)與主觀評分之間的方差和確定的.

本文提出的MFS準則將與具有代表性的10個圖像質(zhì)量評價算法進行比較，包括：SSIM［4］、MS-SSIM［5］、IFC［12］、VIF［11］、VSNR［8］、MAD［10］、GSM［14］、RFSIM［6］、FSIMc［7］和VSI［13］.

2.1參數(shù)確定

本文所提出算法在求取特征相似度時，使用了參數(shù)C1來保證結(jié)果的穩(wěn)定性但該參數(shù)的改變同時也會在一定程度上影響特征相似度的計算值從而影響最終的評價結(jié)果.為了獲取最佳的參數(shù)C1，在固定其他參數(shù)ω和C2時（ω∈｛0，0.1，0.2，0.3，0.4，0.5，0.6，0.7，0.8，0.9，1｝，C2＜10-2）進行測試時發(fā)現(xiàn)，當C1=0.09時MFS在4個庫上的SROCC達到最高，因此C1取0.09.而由于在計算亮度相似度過程中式（13）中的分子分母數(shù)量級均較大，C2在10-2的數(shù)量級以下對亮度相似度的計算結(jié)果幾乎沒有影響，這里C2取為0.001.在最后線性加權(quán)特征相似度和亮度相似度過程中的參數(shù)ω則在ω∈｛0，0.1，0.2，0.3，0.4，0.5，0.6，0.7，0.8，0.9，1｝中選擇使得MFS在4個庫上的評價指標SROCC達到最高的0.8作為最終參數(shù).

2.2塊選擇策略

為了驗證選塊對提高本文算法的評價準確性的作用，選用了3個不同的策略來對圖像進行選塊，最后選用SROCC來作為驗證指標，每種選塊策略得到的評價結(jié)果如表2所示.

表23種選塊策略對應(yīng)的SROCC值Table 2　The SROCC of three selection strategies

從表2中可知，利用AVE選塊能有效地提高算法的評價結(jié)果，這歸功于HVS對圖像中的低質(zhì)量區(qū)域比高質(zhì)量區(qū)域更敏感.正是由于低質(zhì)量區(qū)域?qū)|(zhì)量評價具有重大影響，使用具有巨大結(jié)構(gòu)差異的圖像塊對來進行質(zhì)量評價可以提高評價性能.而在加上VS選塊后，在CSIQ圖像庫和LIVE圖像庫上的評價性能較僅使用AVE選塊策略有下降外在其他兩個庫上均有提升（在最大的兩個圖像庫TID2008 和TID2013上效果均有提升），由此可以看出本文選塊策略的有效性.在CSIQ和LIVE圖像庫使用AVE+VS選塊后評價性能雖然相較于AVE選塊略有下降，但是相較于不選塊來說評價準確性仍有提高，此處的可能原因是VS算法無法完全精確地估計圖像顯著性，最終導(dǎo)致了在失真圖像數(shù)目并不多的CSIQ和LIVE庫的性能略有下降，相信在失真圖像數(shù)目越多時AVE加VS選塊性能的優(yōu)越性將更加明顯.

2.3PCA白化對評價性能的影響

MFS利用OLPP在白化空間中求取正交基，然后將其還原到原始樣本空間作為最佳映射矩陣來提取圖像塊的流形特征.表3給出了MFS在不同的去冗余后的白化空間中使用OLPP尋找正交基，并將其還原到原始樣本空間作為最佳映射矩陣來提取圖像塊的流形特征得到的SROCC值，可以看出直接使用OLPP（不降維）的性能在4個圖像庫上均有很大程度的下降，因此使用PCA白化來模擬人眼的去視覺冗余過程是十分必要的.

2.4訓(xùn)練庫及訓(xùn)練樣本數(shù)目的影響

由于最佳映射矩陣是通過訓(xùn)練獲得的，因此需要考慮訓(xùn)練樣本數(shù)目及訓(xùn)練樣本庫對最終的評價性能的影響，使用的訓(xùn)練樣本庫如圖2和圖3所示. 圖4給出了使用在圖像樣本集S2上由不同樣本塊數(shù)目訓(xùn)練獲取的最佳映射矩陣來提取流形特征評價圖像質(zhì)量獲得的SROCC值與圖像塊樣本數(shù)目的關(guān)系.其中，圖像樣本集S1來自于IVC圖像庫的無失真圖像而圖像樣本集S2來自TOY圖像庫的無失真圖像.

圖2　用于OLPP訓(xùn)練的圖像集S1，其中的圖像均來自IVC的無失真圖像Fig.2　The set S1 for OLPP，the images in the set were picked from IVC dataset

圖3 用于OLPP訓(xùn)練的圖像集S2，其中的圖像均來自TOY的無失真圖像Fig.3　The set S2 for OLPP，the images in the set were picked from TOY dataset

圖4樣本圖像塊數(shù)目與SROCC關(guān)系Fig.4　The relationship between sample numbers and SROCC

表3 不同的PCA白化降維維數(shù)下，MFS在4個圖像庫上SROCC值Table 3　The SROCC of MFS at different whitening dimensions on four datasets

從圖4可知，當樣本庫圖像包含足夠多的內(nèi)容且樣本數(shù)目足夠多時最佳映射矩陣在各個庫上的評價性能趨于穩(wěn)定.整體趨勢是隨著樣本圖像塊數(shù)目的增加，評價性能上升并趨于穩(wěn)定，本文從測試圖像集中隨機選擇了20000個圖像塊作為樣本進行訓(xùn)練，取得了不錯的效果.

另外，表4給出了在相同參數(shù)及樣本數(shù)目條件下在兩個訓(xùn)練集圖像庫上的SROCC值比較，從中可以發(fā)現(xiàn)選用不同的訓(xùn)練庫得到的性能結(jié)果基本相同，這說明所提出算法受訓(xùn)練樣本的不同的影響微乎其微.因此本文中的最佳映射矩陣是一個通用的流形特征提取器，一旦通過OLPP訓(xùn)練獲取后便可以用于所有圖像質(zhì)量的評價，而不需要每次評價都進行耗時的訓(xùn)練過程.值得注意的是，本文中其他結(jié)果均是在S2圖像集的基礎(chǔ)上獲得的.

表4 在兩個訓(xùn)練集圖像庫上的SROCC值比較Table 4　The SROCC of MFS on two training sets

表5ω取不同值時，MFS在4個圖像庫上的SROCC值Table 5　The SROCC of MFS when ω takes different values

表6　僅考慮流形特征時MFS的評價性能（ω=0）Table 6　The performance when just considering the manifold feature（ω=0）

2.5整體性能與比較

表5中給出了ω取不同值時，本文的MFS準則在4個圖像庫上的SROCC值；表6則是給出了僅使用流形特征進行圖像質(zhì)量評價得到的SROCC 值.從表6中可知，在僅考慮流形特征（ω=0）時，MFS仍然具有較高的評價性能，在CSIQ圖像庫上，MFS準則性能最優(yōu)，在LIVE、TID2013圖像庫上MFS的評價性能位列第三，而在TID2008圖像庫上MFS表現(xiàn)較差，位居第五；但MFS準則的平均性能在所有方法中位居第三.顯然，所提出MFS準則中的流形特征在圖像評價中發(fā)揮了很大的作用；而加入亮度分量是對圖像評價的一個補充，這是因為在提取流形特征前去除了圖像塊的均值，因此將亮度分量作為評價指標中的一部分加入了最終的評價公式中.

表7給出每個IQA方法在4個數(shù)據(jù)庫上的4個預(yù)測性能指標SROCC、KROCC、PLCC和RMSE，表中對所有IQA方法中指標性能最優(yōu)的2 個IQA方法以黑體標出.從表7可知，MFS準則在所有圖像庫上的性能都很好.首先，在CSIQ圖像庫上，MFS的性能最優(yōu)，優(yōu)于其他所有IQA方法.其次，比起其他所有的IQA算法，在最大的兩個圖像庫TID2008和TID2013上的性能較大幅度地優(yōu)于其他算法，且與VSI算法性能接近.雖然在LIVE庫上MFS的性能不是最佳的，但與最佳的IQA方法的評價性能相差甚微.相比之下，MFS之外的一些方法可能在某些庫上效果不錯但是在其他庫上的效果差強人意.例如，VIF和MAD在LIVE具有很好的評價效果，但在TID2008和TID2013上的表現(xiàn)卻很糟糕.因此，整體上來說，與其他算法相比，所提出的MFS算法的質(zhì)量預(yù)測結(jié)果與主觀評價更加接近.另一方面，表7給出的是考慮圖像亮度的MFS方法與其他算法的整體性能比較，從中可以看出亮度分量確實對圖像質(zhì)量評價有一定的輔助作用但不是決定性作用.

2.6特定失真上的性能比較

為了更加綜合地評判IQA方法預(yù)測特定失真引起的圖像質(zhì)量降質(zhì)的能力，將本文MFS準則與其他對比算法在特定失真下的評價性能進行了測試.選擇SROCC作為性能指標，因為SROCC適用于數(shù)據(jù)點較少的情況而且不會受到非線性映射的影響，當然使用其他的性能指標例如KROCC，PLCC和RMSE也可以得到類似的結(jié)論.表8給出了4個圖像庫中52組特定失真子庫的評價結(jié)果.

表8中用粗體標識出每個圖像庫中每種失真類型下的SROCC值前三的IQA方法.可以看出VSI的IQA方法共31次位于前三，而MFS準則共25次位于前三，其次是FSIMc和GSM.因此，可以得出如下結(jié)論：總的來說，在特定失真類型下，VSI的表現(xiàn)最優(yōu)，而MFS緊隨其后，其次是FSIMc和GSM.最重要的是，VSI，MFS，F(xiàn)SIMc 和GSM均大大優(yōu)于其他方法.另外，在最大的兩個庫TID2008和TID2013上，本文的MFS準則對AGN、SCN、MN、HFN、IN、JP2K、J2TE等失真的評價性能較其他算法更加優(yōu)異，而在LIVE和CSIQ圖像庫上則是AGWN、GB兩種失真的評價效果最優(yōu).針對TID2008和TID2013中的Block、MS和CTC失真，本文的MFS準則的評價性能有待提高.

2.7算法時間復(fù)雜度

表9給出了各個IQA方法處理一對384×512（取自TID2013圖像庫）的彩色圖像需要的運行時間.實驗是在lenovo臺式機上進行的，其中處理器為Intel（R）core（TM）i5-4590，CPU為3.3GHz，內(nèi)存為8GB，軟件平臺為Matlab R2014b.從表9可知，MFS具有一個折中的時間復(fù)雜度.特別地，它比IFC、VIF、MAD、FSIMc等運行速度更快，但卻得到了與其接近甚至更好的評價效果.

表7　11種方法在4個圖像庫上的整體性能比較（ω=0.8）Table 7　The total performance comparison of 11 IQA indices（ω=0.8）

3　結(jié)論

從人眼視覺感知的流形描述的角度出發(fā)，本文提出了一種新穎的全參考圖像質(zhì)量評價算法，即流形特征相似度（Manifold feature similarity，MFS）準則.MFS準則的計算過程分為兩部分：訓(xùn)練和保真度計算.首先，利用正交局部保持投影算法從自然圖像上獲取樣本塊進行訓(xùn)練獲得一個通用的最佳映射矩陣.接著計算評價值的兩個組成成分：特征相似度和亮度相似度.特征相似度是在結(jié)構(gòu)塊的基礎(chǔ)上提取流形特征進行計算得到，而亮度相似度則是基于圖像塊的均值來求取的.最后，將特征相似度和亮度相似度組合獲得MFS評價值.為了提高評價的準確性和穩(wěn)定性，采用了視覺顯著和視覺閾值兩個策略來去除對于視覺感知不重要的圖像塊.更重要的是，MFS不僅考慮了流形結(jié)構(gòu)失真同時也考慮了圖像亮度變化對圖像質(zhì)量的影響，這使得MFS具有更高的評價準確性也擴大了其對各類失真的評價能力.與VSI利用先驗知識對圖像進行處理從而構(gòu)建顯著圖來作為圖像降質(zhì)的評價依據(jù)不同，本文的MFS從圖像數(shù)據(jù)本身出發(fā)通過流形學(xué)習(xí)尋找數(shù)據(jù)的本質(zhì)流形特征來進行圖像質(zhì)量評價.從在四個公開的圖像庫上的實驗結(jié)果和對比實驗表明MFS可以獲得比當前權(quán)威的評價算法更好的評價性能，評價結(jié)果與主觀評分具有更高的一致性.

表811種方法在特定失真上的SROCC評價值Table 8　SROCC values of 11 IQA indices for each type of distortions

表9　11種質(zhì)量評價方法的時間復(fù)雜度Table 9　Time cost of 11 IQA indices

進一步的研究將考慮使用更符合人眼視覺注意機制的選塊策略來提高圖像質(zhì)量評價的準確性，以及在訓(xùn)練階段使用更好的更有效率的算法來代替正交局部保持投影算法獲取最佳映射矩陣.

References

1 Ma L，Deng C W，Ngan K N，Lin W S.Recent advances and challenges of visual signal quality assessment.China Communications，2013，10（5）：62-278

2 Saha A，Wu Q M J.Utilizing image scales towards totally training free blind image quality assessment.IEEE Transactions on Image Processing，2015，24（6）：1879-1892

3 Wang Zhi-Ming.Review of no-reference image quality assessment.Acta Automatica Sinica，2015，41（6）：1062-1079（王志明.無參考圖像質(zhì)量評價綜述.自動化學(xué)報，2015，41（6）：1062-1079）

4 Wang Z，Bovik A C，Sheikh H R，Simoncelli E P.Image quality assessment：from error visibility to structural similarity.IEEE Transactions on Image Processing，2004，13（4）：600-612

5 Wang Z，Simoncelli E P，Bovik A C.Multiscale structural similarity for image quality assessment.In：Proceedings of the 37th Conference Record of Asilomar Conference on Signals，Systems and Computers.Pacific Grove，CA，USA：IEEE，2003.1398-1402

6 Zhang L，Zhang D，Mou X Q.RFSIM：a feature based image quality assessment metric using Riesz transforms.In：Proceedings of the 17th International Conference on Image Process.Hong Kong，China：IEEE，2010.321-324

7 Zhang L，Zhang D，Mou X Q，Zhang D.FSIM：a feature similarity index for image quality assessment.IEEE Transactions on Image Processing，2011，20（8）：2378-2386

8 Cheng Guang-Quan，Zhang Ji-Dong，Cheng Li-Zhi，Huang Jin-Cai，Liu Zhong.Image quality assessment based on geometric structural distortion model.Acta Automatica Sinica，2011，37（7）：811-819（程光權(quán)，張繼東，成禮智，黃金才，劉忠.基于幾何結(jié)構(gòu)失真模型的圖像質(zhì)量評價研究.自動化學(xué)報，2011，37（7）：811-819）

9 Chandler D M，Hemami S S.VSNR：a wavelet-based visual signal-to-noise ratio for natural images.IEEE Transactions on Image Processing，2007，16（9）：2284-2298

10 Larson E C，Chandler D M.Most apparent distortion：fullreference image quality assessment and the role of strategy. Journal of Electronic Imaging，2010，19（1）：011006

11 Sheikh H R，Bovik A C.Image information and visual quality.IEEE Transactions on Image Processing，2006，15（2）：430-444

12 Sheikh H R，Bovik A C，De Veciana G.An information fidelity criterion for image quality assessment using natural scene statistics.IEEE Transactions on Image Processing，2005，14（12）：2117-2128

13 Zhang L，Shen Y，Li H Y.VSI：a visual saliency-induced index for perceptual image quality assessment.IEEE Transactions on Image Processing，2014，23（10）：4270-4281

14 Liu A M，Lin W S，Narwaria M.Image quality assessment based on gradient similarity.IEEE Transactions on Image Processing，2012，21（4）：1500-1512

15 Seung H S，Lee D D.The manifold ways of perception.Science，2000，290（5500）：2268-2269

16 de Silva V，Tenenbaum J B.Global versus local methods in nonlinear dimensionality reduction.In：Proceedings of the 2002 Advances in Neural Information Processing Systems. Cambridge，MA：MIT Press，2002.705-712

17 Cai D，He X F，Han J W，Zhang H J.Orthogonal Laplacianfaces for face recognition.IEEE Transactions on Image Processing，2006，15（11）：3608-3614

18 Charrier C，Lebrun G，Lezoray O.Image quality assessment with manifold and machine learning.In：Proceedings of the 2009 SPIE 7242，Image Quality and System Performance VI.San Jose，CA：SPIE，2009.

19 Taube J S.Head direction cells and the neurophysiological basis for a sense of direction.Progress in Neurobiology，1998，55（3）：225-256

20 Simoncelli E P，Olshausen B A.Natural image statistics and neural representation.Annual Review of Neuroscience，2001，24：1193-1216

21 Engelke U，Kaprykowsky H，Zepernick H，Ndjiki-Nya P.Visual attention in quality assessment.IEEE Signal Processing Magazine，2011，28（6）：50-59

22 Moorthy A K，Bovik A C.Visual importance pooling for image quality assessment.IEEE Journal of Selected Topics in Signal Processing，2009，3（2）：193-201

23 Zhang L，Gu Z Y，Li H Y.SDSP：a novel saliency detection method by combining simple priors.In：Proceedings of the 20th IEEE International Conference on Image Processing. Melbourne，VIC：IEEE，2013.171-175

24 Sheikh H R，Sabir M F，Bovik A C.A statistical evaluation of recent full reference image quality assessment algorithms.IEEE Transactions on Image Processing，2006，15（11）：3440-3451

25 Ponomarenko N N，Lukin V V，Zelensky A，Egiazarian K，Carli M，Battisti F.TID2008— a database for evaluation of full-reference visual quality assessment metrics.Advances of Modern Radioelectronics，2009，10：30-45

26 Ponomarenko N，Jin L，Ieremeiev O，Lukin V，Egiazarian K，Astola J，Vozel B，Chehdi K，Carli M，Battisti F，Kuo C C J.Image database TID2013：peculiarities，results and perspectives.Signal Processing:Image Communication，2015，30：57-77

27 VQEG.Final report from the video quality experts group on the validation of objective models of video quality assessment［Online］，available：http：//www.vqeg.org/，November 3，2015

王朝云寧波大學(xué)碩士研究生.主要研究方向為圖像及視頻質(zhì)量評價.

E-mail:wcy 417@126.com

（WANG Chao-YunMaster student at Ningbo University.His research interest covers image and video quality assessment.）

蔣剛毅寧波大學(xué)教授.主要研究方向為計算機圖像處理，圖像與視頻信號編碼與傳輸.本文通信作者.

E-mail:jianggangyi@126.com

（JIANGGang-YiProfessorat Ningbo University.His research interest covers computer image processing， image and video signal encoding and transmission.Corresponding author of this paper.）

郁梅寧波大學(xué)教授.主要研究方向為計算機圖像處理，圖像與視頻信號編碼與傳輸.E-mail:yumei2@126.com

（YU MeiProfessor at Ningbo University.Her research interest covers computer image processing，image and video signal encoding and transmission.）

陳芬寧波大學(xué)副教授.主要研究方向為光通信技術(shù)，數(shù)字信號處理技術(shù).

E-mail:chenfen@126.com

（CHEN FenAssociate professor at Ningbo University.Her research interest covers optical communication technology，and digital signal processing technology.）

Manifold Feature Similarity Based Perceptual Image Quality Assessment

WANG Chao-Yun1JIANG Gang-Yi1YU Mei1，2CHEN Fen1

Image quality assessment（IQA）aims to use computational models to measure the image quality in consistency with subjective evaluation，and human visual perception characteristics play an important role in the design of IQA metrics. From many researches on human visual perception，it has been found that the cognitive manifolds and the topological continuity can be used to describe the human visual perception，that is，human perception lies on the low-dimensional manifold.With this inspiration and manifold analysis of image，a new IQA metric called manifold feature similarity （MFS）is proposed for full-reference image quality assessment.First，orthogonal locality preserving projection algorithm is used to simulate the brain′s visual processing process to obtain the best projection matrix so that low-dimensional manifold features of images are obtained.And the similarity of the manifold features is used to measure the structure differences between the two images so as to reflect differences in perceived quality and get a manifold features-based image quality index.Then，to consider the impact of brightness on human visual perception，the block mean values of the image are used to calculate the distortion of the image′s brightness and design a brightness-based image quality index.The final quality score is obtained by incorporating these two indices.Extensive experiments on four large scale benchmark databases demonstrate that the proposed IQA metric works better than all state-of-the-art IQA metrics in terms of prediction accuracy.

Image quality assessment（IQA），manifold feature similarity（MFS），orthogonal locality preserving projections，visual perception

10.16383/j.aas.2016.c150559

Wang Chao-Yun，Jiang Gang-Yi，Yu Mei，Chen Fen.Manifold feature similarity based perceptual image quality assessment.Acta Automatica Sinica，2016，42（7）:1113-1124

2015-09-06錄用日期2015-12-07
Manuscript received September 6，2015；accepted December 7，2015
國家高技術(shù)研究發(fā)展計劃（863計劃）（2015AA015901），國家自然科學(xué)基金（U1301257，61271270，61311140262），浙江省自然科學(xué)基金（LY15F010005，LY16F010002）資助
Supported by National High Technology Research and Development Program of China（863 Program）（2015AA015901），National Natural Science Foundation of China（U1301257，612712 70，61311140262），and Zhejiang Provincial Natural Science Foundation（LY15F010005，LY16F010002）
本文責(zé)任編委王立威
Recommended by Associate Editor WANG Li-Wei
1.寧波大學(xué)信息科學(xué)與工程學(xué)院寧波3152112.南京大學(xué)計算機軟件新技術(shù)國家重點實驗室南京210093
1.Faculty of Information Science and Engineering，Ningbo University，Ningbo 3152112.National Key Laboratory of

Software New Technology，Nanjing University，Nanjing 210093