協(xié)同超像素和視覺顯著性的圖像質(zhì)量評價(jià)

鄧杰航，袁仲鳴，林好潤，顧國生

（廣東工業(yè)大學(xué) 計(jì)算機(jī)學(xué)院，廣東 廣州 510006）

圖像作為人類和機(jī)器獲取信息的重要來源，圖像的質(zhì)量將直接決定信息來源的準(zhǔn)確性和有效性。然而，圖像的獲取、壓縮、處理、傳輸、顯示的過程中無可避免地會(huì)出現(xiàn)一定的失真，因此圖像質(zhì)量評價(jià)(Image Quality Assessment， IQA)被廣泛地應(yīng)用于許多圖像任務(wù)處理當(dāng)中。

目前，圖像質(zhì)量評價(jià)從方法上可以分為主觀評價(jià)方法和客觀評價(jià)方法[1]。主觀評價(jià)是根據(jù)觀察員對圖像的主觀感知來評價(jià)圖像質(zhì)量的，而客觀評價(jià)則是模擬人類視覺系統(tǒng)的感知特性建立數(shù)學(xué)模型以評價(jià)圖像的質(zhì)量。相比主觀評價(jià)，客觀評價(jià)具有處理速度快，可批量處理，結(jié)果可重現(xiàn)的特點(diǎn)。當(dāng)前客觀評價(jià)算法根據(jù)其對參考圖像的依賴程度分成3類[2]，分別是全參考[3]、無參考[4-5]和半?yún)⒖糩6-7]。由于全參考的評價(jià)方法被廣泛應(yīng)用于評估圖像處理算法，因此本文專注于全參考圖像質(zhì)量評價(jià)算法。

傳統(tǒng)的全參考圖像質(zhì)量評價(jià)方法在默認(rèn)參考圖像為無失真圖像的基礎(chǔ)上，通過分析失真圖像和參考圖像之間的誤差信號(hào)從而進(jìn)行圖像質(zhì)量評價(jià)，如均方誤差(Mean Square Error， MSE)和峰值信噪比(Peak Signal to Noise Ratio， PSNR)。MSE和PSNR由于其簡單性而得到廣泛應(yīng)用，然而這兩個(gè)數(shù)學(xué)模型和人類視覺系統(tǒng)(Human Visual System， HVS)的觀察特性相關(guān)性較低，因此在涉及不同的失真類型時(shí)，這兩種IQA方法難以獲得令人滿意的結(jié)果[3]。根據(jù)HVS的感知特性，Wang等[8]提出了結(jié)構(gòu)相似性指數(shù)(Structural Similarity， SSIM)，該方法采用圖像亮度、對比度和結(jié)構(gòu)特征的比較來感知圖像的質(zhì)量。由于其優(yōu)秀的性能和計(jì)算效率，SSIM被公認(rèn)為IQA研究領(lǐng)域中的里程碑。隨后，Wang等[9]提出了多尺度的SSIM(Multi-scale Structural Similarity， MS-SSIM)以及Wang等[10]提出了信息內(nèi)容加權(quán)的SSIM(Information Content Weighted Structural Similarity， IW-SSIM)。除了基于SSIM這一類型的IQA方法，研究者也提出了不少其他策略的IQA方法。Zhang等[11]假設(shè)HVS通過低級(jí)特征來理解圖像，他們提出的特征相似性指數(shù)(Feature Similarity， FSIM)采用相位一致性和梯度幅值的比較來感知圖像的局部失真，并使用相位一致性充當(dāng)局部權(quán)重計(jì)算全局質(zhì)量分?jǐn)?shù)。Larson和Chandler等[12]認(rèn)為，在評估不同失真程度的圖像時(shí)，HVS會(huì)分別執(zhí)行不同的策略，因此他們提出了基于最明顯失真統(tǒng)計(jì)(Most Apparent Distortion， MAD)的IQA指標(biāo)。Xue等[13]認(rèn)為僅僅依靠梯度幅值就能夠很好地評估圖像的質(zhì)量，并以標(biāo)準(zhǔn)偏差作為池化策略實(shí)現(xiàn)了一種高效的方法，即梯度幅值相似度偏差(Gradient Magnitude Similarity Deviation， GMSD)。Sun等[14]提出的基于超像素的相似性指數(shù)(Superpixel-based Similarity Index， SPSIM)，圖像被分割成人類視覺上有意義的超像素區(qū)域，在超像素中提取圖像的局部特征并且計(jì)算這些特征的相似性度量。此外，學(xué)者們考慮到梯度特征區(qū)域的總體變化(Regional Gradient Consistency， RGC)，并根據(jù)這種變化修正了特征相似度的度量。而在文獻(xiàn)[15]所提出的視覺顯著性指數(shù)(Visual Saliency-induced Index， VSI)中，視覺顯著性信息被合并到IQA模型中以改善其性能，其中視覺顯著性起雙重作用：用以表征圖像的局部特征以及作為加權(quán)池中的加權(quán)函數(shù)。

超像素將一些具有相似特性的像素聚合起來，形成一個(gè)更具有代表性的區(qū)域。因此利用超像素能夠更準(zhǔn)確地描述圖像的局部特征并獲得更加精確的相似性度量。此外，在觀察圖像時(shí)，人類的注意力機(jī)制會(huì)使人類優(yōu)先處理圖像中的某一部分[16]，即人類對圖像內(nèi)容的感知不是均等的，而是更容易感知到顯著性高的部分，忽視顯著性低的部分。因此可以將視覺顯著性用于局部特征相似性度量的修正以及池化策略。受上述超像素和視覺顯著性特性的啟發(fā)，本文提出一種協(xié)同超像素和視覺顯著性的圖像質(zhì)量評價(jià)方法。在本文的工作中，在超像素分割出來的區(qū)域中提取亮度特征和色度特征，在視覺顯著性檢測模型中提取視覺顯著譜(Saliency Map， SM)作為顯著性特征，在Scharr算子中提取梯度特征。在對上述這些特征進(jìn)行相似性度量的時(shí)候，分別使用基于區(qū)域梯度一致性和基于顯著性的參數(shù)自適應(yīng)策略對相似性度量進(jìn)行修正。最后對圖像所有特征的相似性度量使用加權(quán)池的池化策略，并且引入視覺顯著譜SM作為加權(quán)池中的權(quán)重函數(shù)。

1 協(xié)同超像素和視覺顯著性的圖像質(zhì)量評價(jià)模型

本文提出協(xié)同超像素和視覺顯著性的圖像質(zhì)量評價(jià)模型總體結(jié)構(gòu)框架如圖1所示，即(1) 模型以參考圖像與失真圖像為輸入；

圖1 所提模型的總體結(jié)構(gòu)框圖Fig.1 The framework of proposed model

(2) 對輸入的圖像分別進(jìn)行YUV顏色空間轉(zhuǎn)換、視覺顯著性檢測以及超像素生成的預(yù)處理；

(3) 根據(jù)預(yù)處理的結(jié)果，分別提取參考圖像和失真圖像的顯著性、亮度、色度和梯度等低層次特征；

(4) 對已提取的特征進(jìn)行相似性度量，并且根據(jù)基于區(qū)域梯度一致性參數(shù)自適應(yīng)模型和基于視覺顯著性的參數(shù)自適應(yīng)模型對其進(jìn)行修正，生成局部質(zhì)量分?jǐn)?shù)；

(5) 以視覺顯著譜SM計(jì)算加權(quán)池中的權(quán)值函數(shù)；

(6) 對(4)生成的局部質(zhì)量分?jǐn)?shù)進(jìn)行加權(quán)池化，得出最終的評價(jià)分?jǐn)?shù)并且輸出。

為了更清楚地說明超像素和視覺顯著性在所提及的模型的體現(xiàn)，圖中虛線邊框表示該部分是由視覺顯著性引導(dǎo)計(jì)算的，而點(diǎn)劃線邊框表示該部分是由超像素引導(dǎo)計(jì)算的。

圖1顯示出顯著性相似度、超像素亮度和色度相似度、梯度相似度、相似性度量修正模型和池化融合策略的詳細(xì)計(jì)算過程。

1.1 顯著性相似度

當(dāng)圖像發(fā)生超閾值失真會(huì)導(dǎo)致圖像的視覺顯著圖產(chǎn)生可測量的變化，因此參考圖像和失真圖像之間的顯著性相似度可用于表征圖像的局部質(zhì)量[15]?；趫D論的視覺顯著性(Graph Based Visual Saliency，GBVS)模型是一種基于底層視覺特征且擁有較高計(jì)算效率的顯著性分析模型[17]，GBVS首先通過線性濾波和非線性濾波得到特征圖M，然后通過馬爾科夫鏈構(gòu)建激活圖Ga。激活圖Ga中像素點(diǎn)表示圖的節(jié)點(diǎn)，節(jié)點(diǎn)之間的權(quán)重w如式(1)所示。

其中

本文使用上述模型對參考圖像和失真圖像進(jìn)行顯著性特征提取，分別得到參考圖像的顯著性圖譜和失真圖像的顯著性圖譜，然后通過式(4)來計(jì)算參考圖像和失真圖像之間的顯著性相似度。

其中， V Sr(i) 和 V Sd(i)分別表示參考圖像和失真圖像顯著性圖譜中第i個(gè)像素的值。T1為調(diào)節(jié)參數(shù)，具有兩方面作用：避免分母為零所產(chǎn)生的不穩(wěn)定性和調(diào)節(jié)局部特征相似度的度量。T1將通過基于顯著性的參數(shù)自適應(yīng)策略確定。

1.2 超像素的亮度和色度相似度

基于簡單線性迭代聚類的(Simple Linear Iterative Clustering， SLIC)[18]方法對圖像邊界有較好的依從性。本文所提出的方法需要對參考圖像和失真圖像都進(jìn)行超像素分割，但是對于失真圖像，由于圖像顏色和紋理等細(xì)節(jié)受到失真影響，不宜進(jìn)行超像素分割，因此直接套用參考圖像的SLIC超像素分割結(jié)果。換言之，參考圖像和失真圖像的超像素分割結(jié)果是一致的[14]。

由于RGB彩色空間不能直觀地表現(xiàn)圖像的亮度和圖像色彩的飽和度，為了更好地評估失真的圖像，將圖像轉(zhuǎn)換為更接近人類視覺感知特性的YUV色彩空間。在YUV彩色空間中，Y表示圖像亮度，用于計(jì)算圖像結(jié)構(gòu)畸變引起的圖像失真。而U和V表示色差，用于計(jì)算由顏色引起的圖像失真。

其中，S j表示第j個(gè)超像素區(qū)域，|S j|是 超像素Sj中的元素?cái)?shù)量。通過式(6)來計(jì)算參考圖像與失真圖像之間的亮度相似度。

其中，Lr(i)和Ld(i)分別表示經(jīng)過超像素分割以及式(5)處理的參考圖像和失真圖像的第i個(gè)像素的亮度。T2與T1的作用相同，由基于區(qū)域梯度一致性的參數(shù)自適應(yīng)模型確定。

與(5)和(6)兩個(gè)步驟類似，可以推導(dǎo)出色差相似度SU(i) 和SV(i)。 色度相似度SC(i)是 色差相似度SU(i)和SV(i)的乘積，如式(7)所示。

最后超像素亮度和色度相似性Ssp(i)由式(8)計(jì)算得到，其中 α 和 β是調(diào)整亮度和色度相似度的參數(shù)，e 表示自然常數(shù)。

1.3 梯度相似度

圖像梯度不僅可以用于反映結(jié)構(gòu)特征，而且對于圖像的質(zhì)量有著良好的指示作用。目前圖像梯度檢測算法是通過以梯度算子進(jìn)行卷積計(jì)算實(shí)現(xiàn)，常用算子包括Sobel算子、Prewitt算子和Scharr算子，而在文獻(xiàn)[8，19-20]中討論了的Scharr算子對于IQA模型有較好的效果。因此本模型采用Scharr算子對圖像的梯度進(jìn)行提取，水平方向的梯度值GH(i)和垂直方向的梯度值GV(i)由式(9)和(10)給出。

其中Y(i) 表示亮度分量， ?表示圖像的卷積運(yùn)算，圖像對應(yīng)的梯度幅值G M(i)定義為

最后分別對參考圖像和失真圖像計(jì)算得到梯度幅值，通過式(12)計(jì)算結(jié)構(gòu)相似度。

其中 G Mr(i)和 G Md(i)分別表示參考圖像和失真圖像中第i個(gè)像素的梯度幅值，T3的 作用類似于T1和T2，由基于區(qū)域梯度一致性參數(shù)自適應(yīng)模型進(jìn)行自適應(yīng)處理。

1.4 相似度量參數(shù)自適應(yīng)修正模型

人類注意力機(jī)制作為HVS的感知特征之一，使得人類感知過程中對圖像不同區(qū)域給予的關(guān)注程度不同，因此當(dāng)圖像顯著性較強(qiáng)區(qū)域發(fā)生失真時(shí)，HVS更易于感知到失真；而當(dāng)失真發(fā)生在顯著性較弱區(qū)域時(shí)，HVS則不易感知到失真。高等[21]認(rèn)為，HVS感知到局部圖像質(zhì)量退化由客觀退化程度和圖像的視覺顯著性共同決定，提出利用顯著性自適應(yīng)地調(diào)節(jié)局部圖像質(zhì)量的計(jì)算。他們利用圖像的邊界強(qiáng)度構(gòu)造圖像的視覺顯著性，然后對圖像的邊界強(qiáng)度特征相似性進(jìn)行自適應(yīng)修正。本文所提出的評價(jià)方法，對這項(xiàng)工作進(jìn)行了改進(jìn)。由于圖像的視覺顯著性受多方面的影響，如圖像的亮度、顏色和邊緣輪廓，而以邊界強(qiáng)度構(gòu)造的視覺顯著性僅能表示圖像邊緣輪廓單一方面的顯著性。因此使用GBVS視覺顯著性檢測模型構(gòu)造圖像的視覺顯著性，并將其對評價(jià)方法中的顯著性相似度的參數(shù)T1進(jìn)行自適應(yīng)修正。具體實(shí)現(xiàn)如下

第一相電泳根據(jù)蛋白質(zhì)等電點(diǎn)進(jìn)行分離，提取的蛋白質(zhì)溶解于含有7 mol/L尿素、2 mol/L硫脲、2% CHAPS、2% Pharmalyte (pH3～10)、0.002%溴酚藍(lán)、2.8 mg/mL DTT 的緩沖液中，7 cm電泳條(Immobiline DryStrip，pH 3～10,GE Healthcare)中行等電聚焦。

因?yàn)門1通過式(13)的減函數(shù)進(jìn)行自適應(yīng)變化，當(dāng)V(i)的 值越大，表示i處的顯著性越高，HVS更容易感知到該處發(fā)生的失真，此時(shí)參數(shù)T1根據(jù)顯著性產(chǎn)生自適應(yīng)的變化使其取值越小，參考圖像和失真圖像的顯著性 VSr(i) 和V Sd(i) 之間的差異對相似度SVS(i)的影響越大。與之相反，當(dāng)V(i)的 值越小，表示i處的顯著性越弱，HVS不易感知該區(qū)域的圖像失真，此時(shí)對應(yīng)的參數(shù)T1自適應(yīng)的取值增大，參考圖像和失真圖像的顯著性 VSr(i) 和V Sd(i)之間的差異對相似度SVS(i) 的影響越小，且SVS(i)越接近1。

另一方面，當(dāng)HVS感知圖像時(shí)，像素整體(圖像區(qū)域)傳達(dá)的信息比單個(gè)像素傳達(dá)的信息更為關(guān)鍵。因此文獻(xiàn)[14]提出了基于區(qū)域梯度一致性參數(shù)自適應(yīng)模型。他們認(rèn)為如果圖像梯度以相似的趨勢變化，則預(yù)測的圖像質(zhì)量趨于良好，因此將區(qū)域梯度比較納入IQA模型中可以提高其性能。在本模型中，同樣地使用了基于區(qū)域梯度一致性的參數(shù)自適應(yīng)模型。參考圖像和失真圖像中超像素區(qū)域的區(qū)域梯度一致性(Region Gradient Consistency， RGC)和區(qū)域梯度的增減性(Increase or Decrease of Gradient， IDG)使得上述T2、T3等參數(shù)自適應(yīng)變化，以解決一些圖像失真高估的問題，從而提升IQA模型的性能。

1.5 池化策略

通過綜合顯著性相似度、超像素亮度和色度相似度以及梯度相似度，最終協(xié)同超像素和視覺顯著性雙重策略的圖像質(zhì)量評價(jià)分?jǐn)?shù)由式(16)給出。

其中N表示圖像中像素的總數(shù)。由于人類視覺的注意力機(jī)制，圖像中不同區(qū)域可能使人類視覺對圖像質(zhì)量的感知產(chǎn)生不同的貢獻(xiàn)。因此將采用視覺顯著性檢測模型計(jì)算得到的視覺顯著譜作為權(quán)值函數(shù)ω(i)， 見式(17)。式中的V Sr(i)和 V Sd(i)分別表示參考圖像和失真圖像的顯著性譜。

2 實(shí)驗(yàn)及結(jié)果分析

2.1 實(shí)驗(yàn)數(shù)據(jù)庫與評價(jià)指標(biāo)

當(dāng)前在IQA領(lǐng)域中主流的基準(zhǔn)圖像數(shù)據(jù)庫為TID2013、TID2008、CSIQ、LIVE、IVC、ToyamaMICT、CornellA57和WIQ，但它們在參考圖像和失真圖像的數(shù)量、失真的類型、觀察員的數(shù)目以及圖像類型上存在較大的差異。其中TID2013、TID2008、CSIQ和LIVE這4個(gè)圖像數(shù)據(jù)庫在圖像的失真類型、失真圖像數(shù)量上相對豐富與全面，因此在這4個(gè)圖像數(shù)據(jù)庫中對本文所提出的評價(jià)模型進(jìn)行性能驗(yàn)證。

選用的定量測試評價(jià)結(jié)果的指標(biāo)是公認(rèn)度和引用次數(shù)較多的Spearman等級(jí)相關(guān)系數(shù)(Spearman Rank Order Correlation Coefficient， SROCC)、Kendall等級(jí)相關(guān)系數(shù)(Kendall's Rank Order Correlation Coefficient)、Pearson線性相關(guān)系數(shù)(Pearson's Linear Correlation Coefficient， PLCC)以及均方根誤差(Root Mean Square Error， RMSE)。其中SROCC和KROCC表示預(yù)測的單調(diào)性，可以使用IQA方法的主觀評分和客觀評分直接計(jì)算。而PLCC和RMSE表示預(yù)測的精度，在計(jì)算這2個(gè)指標(biāo)之前，需要進(jìn)行回歸分析，以獲得客觀評分和主觀平均意見評分(Mean Opinion Score，MOS)之間的非線性映射。經(jīng)過非線性回歸后，根據(jù)客觀評分的非線性映射得分和主觀平均意見得分(MOS)計(jì)算得出PLCC和RMSE。采用文獻(xiàn)[8]中建議的非線性邏輯回歸模型，見式(18)。

式中，x為論文提出的IQA方法得出的原始客觀質(zhì)量評分， β1到 β5分別為回歸過程中自適應(yīng)調(diào)整的參數(shù)，e表示自然常數(shù)。

本文的模型需要的實(shí)驗(yàn)參數(shù)分別有：式(8)中調(diào)整超像素色度相似度和亮度相似度的 α 和 β，式(13)中基于顯著性參數(shù)自適應(yīng)模型中的調(diào)節(jié)因子K和衰減因子h。 其中α 和 β將根據(jù)文獻(xiàn)[15]的實(shí)驗(yàn)結(jié)果設(shè)置為0.05和0.35。而調(diào)節(jié)因子K和衰減因子h也將根據(jù)文獻(xiàn)[21]的實(shí)驗(yàn)方式在LIVE數(shù)據(jù)庫中確定，本文K和h分別確定為2.5和0.5。

2.2 整體評價(jià)性能比較

表1分別選取當(dāng)前具有代表性的IQA方法與本文所提出的評價(jià)方法進(jìn)行比較。用于對比的方法包括傳統(tǒng)的IQA指標(biāo)SSIM[8]、MSSSIM[9]、FSIMc[11]，以及采用視覺顯著性作為評價(jià)策略的VSI[15]，采用超像素作為評價(jià)策略的SPSIM[14]，還有近年提出的CAGS(2020)[22]。為了更加直觀地表現(xiàn)出各種IQA指數(shù)的性能表現(xiàn)，每個(gè)指標(biāo)中性能排列在前三的值都以粗體表示。除此之外，4個(gè)數(shù)據(jù)庫的SROCC，KROCC和PLCC的加權(quán)平均結(jié)果也如表1所示，其中用于加權(quán)平均的權(quán)值是由每個(gè)數(shù)據(jù)庫中所包含失真圖像的數(shù)量決定的。

表1 不同IQA方法在4個(gè)基準(zhǔn)數(shù)據(jù)庫中的性能表現(xiàn)Table 1 Performance of different IQA methods in four benchmark databases

從對比結(jié)果可以看出，本文方法在4個(gè)基準(zhǔn)數(shù)據(jù)庫中均獲得前三名。在CSIQ、TID2008和TID2013這幾個(gè)失真圖像數(shù)目最多的數(shù)據(jù)庫中，本文方法的各項(xiàng)指標(biāo)的性能表現(xiàn)均優(yōu)于表中的IQA方法，同時(shí)該方法還是3個(gè)指標(biāo)的加權(quán)平均值的第一名，這表明本文的評價(jià)結(jié)果更具有通用性與有效性。相比較而言，盡管CAGS與FSIMc分別在LIVE數(shù)據(jù)庫中獲得最高的客觀評價(jià)值，但是他們在TID2008和TID2103這兩個(gè)具有較多的圖像總數(shù)和失真類型的圖庫上評價(jià)性能的排名沒能進(jìn)入前三。另外，本文所提出的方法在評價(jià)以上4個(gè)圖庫的圖像質(zhì)量時(shí)，其性能都超越了基于顯著性的VSI與基于超像素的SPSIM。這驗(yàn)證了協(xié)同超像素和視覺顯著性的雙重策略對于IQA算法性能提升的有效性，本文方法能夠在客觀評估上實(shí)現(xiàn)更高的一致性。

2.3 所提模型針對單一失真類型評價(jià)性能的比較

由于在TID2013基準(zhǔn)圖像數(shù)據(jù)庫中，已經(jīng)涵蓋了LIVE、CSIQ、TID2008數(shù)據(jù)庫中絕大多數(shù)的失真類型，并且在TID2013中有更多的圖像失真類型和失真圖像數(shù)目。因此，為了更全面且高效地評估IQA方法對于單一失真類型的性能表現(xiàn)，在本實(shí)驗(yàn)中，分別使用IQA方法評估TID2013這個(gè)基準(zhǔn)圖像數(shù)據(jù)庫中24組特定類型的失真。使用SROCC作為IQA方法性能評價(jià)指標(biāo)，因?yàn)槠洳皇軘M合結(jié)果的影響，表2顯示了不同IQA方法對不同的失真類型的SROCC值。

表2中灰色填充表示該方法SROCC評價(jià)值低于表中方法對于該失真類型的平均值。從表中結(jié)果可以看出，對比各個(gè)方法所包含灰色填充格的個(gè)數(shù)，其中SSIM和MSSSIM為20個(gè)，F(xiàn)SIMc為10個(gè)，CAGS為8個(gè)，SPSIM為5個(gè)，而本文方法與VSI在25種失真類型之中僅含4個(gè)灰色填充格。這表示在失真圖片較多，失真類型全面的TID2013基準(zhǔn)數(shù)據(jù)庫中，在面對多種不同的失真類型時(shí)，本文方法能獲得準(zhǔn)確的評價(jià)結(jié)果，且結(jié)果波動(dòng)小、性能穩(wěn)定，表現(xiàn)出較強(qiáng)的準(zhǔn)確性和通用性。

表2 IQA算法對TID2013中失真類型的SROCC值Table 2 SROCC values of IQA for each type of distortions in TID2013

3 結(jié)語

本文考慮到人類注意力機(jī)制和超像素有利于圖像局部特征的提取，提出協(xié)同超像素和視覺顯著性雙重策略的圖像質(zhì)量評價(jià)方法。該方法在視覺上有意義的超像素區(qū)域中提取圖像局部特征信息，通過視覺顯著性加權(quán)局部質(zhì)量評分模擬人類注意力機(jī)制得到全局的質(zhì)量評價(jià)分?jǐn)?shù)。在LIVE、CSIQ、TID2008和TID2013圖像庫中大量的實(shí)驗(yàn)結(jié)果表明，與主流方法相比，本文方法的評價(jià)結(jié)果能更好地模擬人類視覺的感知特性，獲得與主觀評價(jià)更高的一致性。