基于視覺顯著性和感知相似性的全參考圖像質(zhì)量評價(jià)方法

王茜，鄭斌軍，孔玲君，顧萍

基于視覺顯著性和感知相似性的全參考圖像質(zhì)量評價(jià)方法

王茜1，鄭斌軍1，孔玲君2，顧萍2

（1.上海理工大學(xué)，上海 200093；2.上海出版印刷高等專科學(xué)校，上海 200093）

圖像質(zhì)量評價(jià)（IQA）旨在使用計(jì)算模型自動衡量和評價(jià)圖像質(zhì)量，以代替人類視覺系統(tǒng)的主觀意見，并應(yīng)用到相關(guān)實(shí)際問題中。首先將參考圖像與失真圖像進(jìn)行輸入，使用視覺顯著性模型計(jì)算圖像局部相似度的特征映射，并在質(zhì)量得分池化階段作為加權(quán)函數(shù)，同時，針對視覺顯著性圖作為單一特征映射的不足，增加了梯度幅度，然后將圖像進(jìn)行顏色空間的轉(zhuǎn)化提取顏色特征，最后分配相應(yīng)的權(quán)重來計(jì)算圖像相似度。在4個大型數(shù)據(jù)集上的對比測試顯示，在保持適度計(jì)算復(fù)雜度的同時，VSPSI相比其他有代表性的模型在預(yù)測精度上得到了一定的提升，特別是在TID2013數(shù)據(jù)集上的SROCC達(dá)到了0.905 5。研究結(jié)果表明，VSPSI是一個性能優(yōu)良的IQA方法，在不同數(shù)據(jù)集和不同失真類型中都有良好的表現(xiàn)，具有較強(qiáng)的魯棒性，可勝任多類失真圖像的客觀質(zhì)量評價(jià)，同時可通過優(yōu)化視覺顯著性模型進(jìn)一步提升VSPSI的性能。

圖像質(zhì)量評價(jià)；視覺顯著性；人類視覺系統(tǒng)

圖像質(zhì)量評價(jià)（Image Quality Assessment, IQA）是視覺研究、圖像和視頻處理領(lǐng)域最基本但也是最具挑戰(zhàn)的任務(wù)之一，通常用于圖像采集、圖像恢復(fù)、圖像壓縮、多媒體流處理等領(lǐng)域[1]。圖像質(zhì)量評價(jià)方法分為2類：基于人類視覺系統(tǒng)（Human Visual System, HVS）的主觀評價(jià)和利用計(jì)算機(jī)模擬人類主觀判斷的算法的客觀評估。人眼主觀評價(jià)雖是圖像質(zhì)量的最終標(biāo)準(zhǔn)，但費(fèi)時、煩瑣，無法在日益劇增的圖像信息流中進(jìn)行實(shí)時質(zhì)量評估，因此，人們對開發(fā)客觀IQA方法的需求越來越迫切。根據(jù)參考圖像可用性，客觀IQA方法可分為全參考（Full Reference, FR）、半?yún)⒖迹≧educed Reference, RR）和無參考（No Reference, NR）。文中主要研究全參考圖像質(zhì)量評價(jià)（Full Reference Image Quality Assessment, FR–IQA），用于評價(jià)失真圖像相對于其參考圖像的感知質(zhì)量。

作為傳統(tǒng)的保真度指標(biāo)，峰值信噪比（Peak Signal to Noise Ratio, PSNR）或均方誤差（Mean Squared Error, MSE）可以較好地評價(jià)具有相同內(nèi)容和失真類型的圖像質(zhì)量，且因計(jì)算方式簡單而被廣泛使用，但當(dāng)涉及到多幅圖像或多種失真類型時，由PSNR或MSE預(yù)測的圖像質(zhì)量得分與人眼主觀質(zhì)量評級之間并沒有很好的相關(guān)性[2]，受此限制，學(xué)界提出了許多IQA模型以達(dá)到與HVS有更好的相關(guān)性[3-6]。結(jié)構(gòu)相似性（Structure Similarity, SSIM）指標(biāo)[7]、多尺度SSIM（Multi–Scale SSIM, MS–SSIM）[8]和信息加權(quán)SSIM（Information Weighted SSIM, IW–SSIM）[9]在評價(jià)圖像質(zhì)量時都基于這樣一個假設(shè)：HVS自適應(yīng)地從視覺場景中提取結(jié)構(gòu)信息，結(jié)構(gòu)相似性的度量可以近似于感知到的圖像質(zhì)量。Sheikh等[10]提出了視覺信息保真度（Visual Information Fidelity, VIF），將FR–IQA問題視為信息保真度問題，并通過計(jì)算失真圖像與參考圖像中共有的信息量對保真度進(jìn)行量化。Larson等[11]認(rèn)為HVS評估參考圖像和失真圖像的圖像質(zhì)量時執(zhí)行2種不同的策略，提出了基于最明顯失真（Most Apparent Distortion, MAD）的IQA方法，在文獻(xiàn)[12]中提出的特征相似性指標(biāo)（Feature Similarity, FSIM）使用相位一致性和梯度幅度來計(jì)算圖像的局部相似度，這2個特征在表征局部的圖像質(zhì)量方面有良好的互補(bǔ)性。Liu等[13]認(rèn)為圖像的梯度信息可以有效地捕捉對比度和結(jié)構(gòu)的變化，提出了一種基于圖像梯度相似性度量（Gradient Similarity Based Metric, GSM）的FR–IQA方法。Bae等[14]提出結(jié)構(gòu)對比度質(zhì)量指標(biāo)（Structural Contrast Quality Index, SC–QI），該指標(biāo)可以較好地描述具有結(jié)構(gòu)失真類型的各種圖像特征的全局和局部的質(zhì)量感知。在文獻(xiàn)[15]中，作者指出來自超像素的視覺特征更貼近人眼的感知質(zhì)量，提出了基于超像素相似性度量（Super Pixel Based Similarity, SPSIM）的IQA方法。

前述的研究結(jié)果印證了這樣一個事實(shí)，即圖像的梯度相似性度量對IQA模型十分重要，但梯度相似性是圖像低級特征的表達(dá)，無法完美反映HVS的主觀感受，因此構(gòu)建一個從HVS感知角度出發(fā)的圖像特征尤為重要。近年來，建立有效的視覺顯著性（Visual Saliency, VS）模型引起了學(xué)界的廣泛關(guān)注[16-25]，通過合理的VS模型計(jì)算出VS圖可以模擬HVS對圖像局部區(qū)域的顯著性感知。在視覺感受上，VS與IQA是本質(zhì)相關(guān)的，都是HVS對圖像的感知方式，因此研究者們近年來一直在嘗試將VS信息納入到IQA模型中，以提高其性能[26-27]

在文中，認(rèn)為適當(dāng)?shù)亟Y(jié)合VS信息對IQA模型十分有益，通過判斷VS圖的變化和感知質(zhì)量下降的關(guān)系，提出一種基于圖像視覺顯著性和梯度相似性度量（Visual Saliency and Perception Similarity Index, VSPSI）的IQA方法。首先使用視覺顯著性檢測算法繪制出參考圖像和失真圖像的顯著性圖，計(jì)算2幅圖像的視覺顯著性相似度。接著利用圖像的梯度幅值（Gradient Magnitude, GM）相似度測量圖像的結(jié)構(gòu)失真。針對公開數(shù)據(jù)集中關(guān)于顏色失真類型如飽和度失真和對比度失真，使用圖像的色度信息計(jì)算色度相似度并設(shè)定了一個權(quán)重使模型具有更好的泛化性能。最后將上述3個圖像相似度映射進(jìn)行合并，認(rèn)為VS映射不僅可以作為得分池化階段的加權(quán)函數(shù)，還可以作為特征映射來表示圖像局部區(qū)域的感知質(zhì)量，原因是HVS可感知的圖像質(zhì)量失真會導(dǎo)致圖像的視覺顯著性圖發(fā)生可測量的變化，因此在VSPSI中，圖像的VS映射有雙重作用：表征圖像局部質(zhì)量得分映射，以及在合并最終質(zhì)量得分時作為圖像局部區(qū)域?qū)VS重要性的加權(quán)因子。文中探索使用了幾種不同的VS模型，并為VSPSI選擇了最適合的模型，最后在4個公開數(shù)據(jù)集上進(jìn)行了驗(yàn)證。

1 VSPSI方法

1.1 原理分析

Zhang等[12]指出可感知的圖像質(zhì)量下降會導(dǎo)致圖像的低級特征發(fā)生可感知的變化，見圖1。圖1的原始數(shù)據(jù)來自TID2013，圖1a為參考圖像，圖1c、e為2種圖像失真程度，圖1b、d、f分別為圖1a、c和e的視覺顯著性圖。其中圖1b和d之間MSE值（Mean Squared Erro）為7.30，而圖1b和f之間的MSE值為240.02。顯然，在大多數(shù)情況下由圖像低級特征構(gòu)建的VS圖的變化可以反映圖像的失真程度，因此，文中使用VS作為表征圖像局部質(zhì)量的一個指標(biāo)。

視覺顯著性模型不能反映出對比度變化（Contrast Change, CTC）的失真類型，這是因?yàn)樵趫D像像素處的VS值是反映其相對于周圍像素區(qū)塊的顯著性，難以表征圖像的絕對對比度，然而圖像局部區(qū)域的對比度變化確實(shí)會對HVS的感知造成影響，見圖2。圖2a是參考圖像，圖2b是其失真版本，失真類型是對比度降低。圖2c和d分別是使用GBVS[28]從圖2a和b中計(jì)算得到的VS圖，可以明顯地觀察到圖2b的質(zhì)量低于圖2a。圖2c和d之間未能觀察到顯著差異，即視覺顯著性圖無法較好地反映由圖像對比度降低所導(dǎo)致的圖像質(zhì)量下降程度，所以可利用常見的GM來彌補(bǔ)VS的對比度感知缺陷。圖2e和f分別為圖2a和b通過Scharr算子計(jì)算得到的GM圖，直觀地可以覺察到明顯的差異。這表明GM圖在反映圖像對比度損失方面擁有良好的能力，因此GM和VS相輔相成，兩者共同反映HVS評價(jià)圖像質(zhì)量的不同方面。

1.2 顏色空間轉(zhuǎn)換

圖1 參考圖像的不同失真程度及其對應(yīng)的顯著性

圖2 參考圖像及其失真圖像的視覺顯著性圖和梯度幅度

1.3 圖像局部相似度計(jì)算

式中：、和為3個參數(shù)用于調(diào)節(jié)VS、GM和顏色特征的重要性。

1.4 池化策略

前面得到2幅圖像之間每個位置的局部相似度()后，就能獲得其整體相似度，最終通過池化操作獲取失真圖像相對于參考圖像的質(zhì)量得分。最常見的池化策略是平均池化，即簡單地將整體相似度取均值來獲得質(zhì)量得分。平均池化假設(shè)圖像每個位置在估計(jì)整體圖像質(zhì)量中具有相同的重要性，然而平均池化忽略了這樣一個事實(shí)，即一幅自然圖像在視覺場景中有各種局部結(jié)構(gòu)，當(dāng)圖像發(fā)生失真時，不同局部結(jié)構(gòu)會產(chǎn)生不一樣的梯度衰減。例如，JPEG2000壓縮帶來的失真包括模糊、振鈴和塊效應(yīng)，模糊失真在圖像平坦區(qū)域造成的質(zhì)量衰退比在紋理區(qū)域造成的質(zhì)量衰退更少，而塊效應(yīng)在圖像平坦區(qū)域比在紋理區(qū)域造成的質(zhì)量衰退更多。

2 實(shí)驗(yàn)結(jié)果

2.1 數(shù)據(jù)集和評價(jià)指標(biāo)

在4個大規(guī)模且可公開訪問的數(shù)據(jù)集（分別為TID2013[30]、TID2008[31]、CSIQ[12]和LIVE[32]）上驗(yàn)證VSPSI，這4個數(shù)據(jù)集的主要信息見表1。通過對原始圖像添加不同類型和程度的畸變處理來獲得失真圖像，如JPEG2000壓縮、加性白噪聲和高斯模糊。這些失真反映了廣泛的圖像缺陷，例如邊緣平滑、隨機(jī)噪聲和塊偽影等。觀察員在給定的條件下對這些數(shù)據(jù)庫中的每個圖像進(jìn)行評價(jià)，最終匯總形成平均主觀得分（Mean Opinion Scores, MOS）或差異平均主觀得分（Differential Mean Opinion Scores, DMOS）用來衡量失真圖像的主觀評價(jià)結(jié)果。

圖3 VSPSI算法流程

表1 IQA數(shù)據(jù)集信息

Tab.1 Benchmark datesets for IQA

IQA使用客觀模型計(jì)算得到的圖像質(zhì)量得分與圖像主觀評價(jià)結(jié)果（MOS）之間的相關(guān)程度進(jìn)行評價(jià)。常用的評價(jià)指標(biāo)有4個，分別是Spearman秩序相關(guān)系數(shù)（Spearman Rank Order Correlation Coefficient, SROCC）、Kendall秩序相關(guān)系數(shù)（Kendall Rank Order Correlation Coefficient, KROCC），Pearson線性相關(guān)系數(shù)（Pearson Linear Correlation Coefficient, PLCC）和均方誤差（Root Mean Squared Error, RMSE）。SROCC、PLCC和RMSE分別度量預(yù)測單調(diào)性、預(yù)測線性和預(yù)測準(zhǔn)確性。KROCC評價(jià)質(zhì)量得分與MOS之間的相似程度。為計(jì)算PLCC值和RMSE值，需應(yīng)用回歸分析來提供客觀得分和MOS之間的非線性映射。對于回歸分析，使用Sheikh等[32]建議的函數(shù)，見式（8）。

式中：1,…,5為被擬合參數(shù)；為原始得分；?()為經(jīng)回歸后的IQA得分。

2.2 參數(shù)優(yōu)化

表2 在TID2013數(shù)據(jù)子集上，VSPSI使用不同VS模型獲得的SROCC值

Tab.2 SROCC values obtained by VSPSI using different VS models on TID2013 sub-dataset

文中VS的作用有2個：作為計(jì)算圖像局部相似度的特征映射；在質(zhì)量得分池化階段作為加權(quán)函數(shù)來表征圖像局部重要性。接下來，在TID2013數(shù)據(jù)集上的消融實(shí)驗(yàn)將展示VS的有效性。使用SROCC作為性能指標(biāo)，當(dāng)VS僅作為計(jì)算圖像局部相似度的特征映射，然后使用簡單的平均池化策略進(jìn)行質(zhì)量得分匯集，則SROCC值為0.881 3。當(dāng)VS僅作為質(zhì)量得分池化階段的加權(quán)函數(shù)（該情況下只使用梯度幅度圖和顏色特征來計(jì)算圖像局部區(qū)域相似度），則SROCC值為0.890 1。當(dāng)VS同時作為特征映射和加權(quán)函數(shù)時，SROCC值為0.905 3。消融實(shí)驗(yàn)顯示，為更好發(fā)揮VS的作用，它應(yīng)當(dāng)被用作特征映射和加權(quán)函數(shù)。

2.3 性能對比

將VSPSI與其他11種有代表性的IQA模型進(jìn)行比較，包括SSIM、IW–SSIM、MS–SSIM、VIF、IFC[38]、MAD、GSM、RF–SIM[39]、FSIM、GMSD[40]、FSIMC、DIQA[41]。表3列出了上述IQA在不同數(shù)據(jù)集上的性能指標(biāo)包含SROCC、KROCC、PLCC、RMSE。每個性能指標(biāo)對應(yīng)最好的2個結(jié)果將以粗體突出顯示。此外，根據(jù)Wang等[9]的建議，在表3中補(bǔ)充了上述IQA在4個數(shù)據(jù)集上加權(quán)平均的SROCC值、KROCC值和PLCC值，以更好地對其性能進(jìn)行評價(jià)，分配給每個數(shù)據(jù)集的權(quán)重取決于該數(shù)據(jù)集中擁有的失真圖像的數(shù)量。

從表3可出看出，VSPSI在所有測試數(shù)據(jù)集上都表現(xiàn)良好，尤其是在2個大型數(shù)據(jù)集（TID2013和TID2008）上的性能優(yōu)于所有的參照對象，即使在LIVE數(shù)據(jù)集上表現(xiàn)不是最好，但模型性能也只比最好的結(jié)果稍微差一些。對照之下，其他模型可能在某些數(shù)據(jù)集上取得了良好的性能，但是在另外的數(shù)據(jù)集上無法提供可觀的結(jié)果。例如，MAD模型在LIVE數(shù)據(jù)集上取得了最好的性能，但是在TID2013和TID2008數(shù)據(jù)集上的表現(xiàn)相當(dāng)差。需要注意的是，VSPSI獲得的指標(biāo)性能排前二的數(shù)量最多（14次），而FSIM和GMSD分別只有9和7次。同時，在經(jīng)過加權(quán)平均后，VSPSI與其他IQA相比獲得了最好的性能。綜上，VSPSI在測試數(shù)據(jù)集上獲得了最佳的總體表現(xiàn)，其預(yù)測的客觀得分與主觀評價(jià)的相關(guān)性比其他IQA方法更加一致。

表3 IQA模型在4個基準(zhǔn)數(shù)據(jù)集上的結(jié)果

Tab.3 IQA results on 4 benchmark datasets

IQA在TID2013預(yù)測的客觀得分與主觀評價(jià)得分的散點(diǎn)圖見圖4（DIQA因未提供全部源代碼，故無法展示散點(diǎn)圖而只羅列文獻(xiàn)中的數(shù)據(jù)），TID2013數(shù)據(jù)集是目前具有較高權(quán)威性的IQA評價(jià)數(shù)據(jù)集，圖4中顯示的曲線是由式（8）進(jìn)行非線性擬合得出的。從圖4可以看出，與其他IQA相比，VSPSI的客觀得分與主觀評價(jià)得分具有高度的相關(guān)性。

2.4 不同失真類型的性能對比

為更全面地評價(jià)IQA預(yù)測特定類型失真導(dǎo)致的圖像質(zhì)量降低的能力，測試了上述IQA應(yīng)對每種失真類型的性能，使用SROCC作為衡量的指標(biāo)，測試結(jié)果羅列在表4中。3個數(shù)據(jù)集一共有35組失真圖像，對這3個數(shù)據(jù)集和每種失真類型測試生成最高SROCC值的前3個IQA模型，同樣用加粗高亮表示（TID2013為TID2008的擴(kuò)展補(bǔ)充，故只對TID2013數(shù)據(jù)集進(jìn)行測試）。統(tǒng)計(jì)得出排名前3的IQA模型分別是VSPSI（21次）、GMSD（16次）和GSM（14次），同樣地可以使用KROCC、PLCC、RMSE得出類似的結(jié)果，因此得到結(jié)論：當(dāng)失真是屬于單一特定類型時，VSPSI的表現(xiàn)最好，GMSD和GSM其次，VSPSI、GMSD和GSM的性能比其他IQA模型表現(xiàn)更佳。此外，VSPSI在不同數(shù)據(jù)集和不同失真類型中都有良好的表現(xiàn)，具有較高的精度和較強(qiáng)的魯棒性。

圖4 TID2013數(shù)據(jù)集上通過IQA預(yù)測獲得的得分與主觀MOS擬合的散點(diǎn)圖

表4 IQA對單一失真類型的性能比較

Tab.4 Performance comparison of IQA for individual distortion types

2.5 計(jì)算成本

IQA的運(yùn)行速度也是一個評價(jià)模型好壞與否的重要因素。實(shí)驗(yàn)運(yùn)行環(huán)境為WIN10專業(yè)版系統(tǒng)，32 GB內(nèi)存，圖形計(jì)算卡是GTX1080Ti（11 GB顯存），使用Intel Core i9–9900k處理器，軟件為PyTorch1.91+ Cuda11.1+cuDnn8.2.1和Matlab R2019b。測量每個IQA計(jì)算一對分辨率為384×512彩色圖像（取自TID2013數(shù)據(jù)集）相似性的時間成本，并在表5中進(jìn)行展示?？梢钥闯鯲SPSI是排名前6的IQA模型，具有適中的時間復(fù)雜度。GMSD最快是因?yàn)槠鋬H使用亮度通道計(jì)算。與其他IQA模型如IW–SSIM、VIF、MAD相比，VSPSI分別快了2.7倍、5.6倍和7.3倍。綜上，VSPSI在計(jì)算精度和時間復(fù)雜度之間取得了較好的平衡。

表5 IQA模型和其運(yùn)算時間

Tab.5 Time cost of each IQA

3 結(jié)語

文中提出了一種新的IQA方法，即VSPSI。它由3個特征模塊組成，分別為視覺顯著性、梯度幅度和顏色特征。在VSPSI中，視覺顯著性有雙重作用：在計(jì)算圖像局部相似度時作為特征映射；在得分池化階段作為加權(quán)函數(shù)來表征圖像局部區(qū)域的重要性，并使用梯度幅度和顏色特征來彌補(bǔ)視覺顯著性作為單一特征映射的缺陷。在4個大型公開數(shù)據(jù)集上測試了VSPSI，并與其他11種有代表性的IQA進(jìn)行了比較，結(jié)果表明VSPSI在預(yù)測精度方面擁有良好的表現(xiàn)。在4個數(shù)據(jù)集上的SROCC值都超過了0.9，在最權(quán)威數(shù)據(jù)集TID2013中的SROCC值達(dá)到了0.905 3，同時還保持了適度的計(jì)算復(fù)雜度。VSPSI是一個開放的框架，可通過優(yōu)化視覺顯著性模型進(jìn)一步提升VSPSI的性能。同時，可開展VSPSI方法的實(shí)際應(yīng)用研究，如藝術(shù)品復(fù)制質(zhì)量評價(jià)領(lǐng)域。

[1] TALEBI H, MILANFAR P. NIMA: Neural Image Assessment[J]. IEEE Transactions on Image Processing, 2018, 27(8): 3998-4011.

[2] WANG Zhou, BOVIK A C. Mean Squared Error: Lot it or Leave It? a New Look at Signal Fidelity Measures[J]. IEEE Signal Processing Magazine, 2009, 26(1): 98-117.

[3] WOOJAE K, ANH-DUC N, SANGHOON L, et al. Dynamic Receptive Field Generation for Full-Reference Image Quality Assessment[J]. IEEE Transactions on Image Processing: a Publication of the IEEE Signal Processing Society, 2020, 29: 4219-4231.

[4] NGUYEN A D, KIM J, OH H, et al. Deep Visual Saliency on Stereoscopic Images[J]. IEEE Trans Image Processing, 2019, 28(4): 1939-1953.

[5] AHN S, CHOI Y, YOON K. Deep Learning-Based Distortion Sensitivity Prediction for Full-Reference Image Quality Assessment[C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2021: 344-353.

[6] FANG Yu-ming, YAN Jie-bin, LIU Xue-lin, et al. Stereoscopic Image Quality Assessment by Deep Convolutional Neural Network[J]. Journal of Visual Communication and Image Representation, 2018, 58: 400-406.

[7] WANG Z, BOVIK A C, SHEIKH H R, et al. Image Quality Assessment: From Error Visibility to Structural Similarity[J]. IEEE Transactions on Image Processing: a Publication of the IEEE Signal Processing Society, 2004, 13(4): 600-612.

[8] WANG Z, SIMONCELLI E P, BOVIK A C. Multiscale Structural Similarity for Image Quality Assessment[C]// The Thrity-Seventh Asilomar Conference on Signals, Systems & Computers, 2003, 2: 1398-1402.

[9] WANG Zhou, LI Qiang. Information Content Weighting for Perceptual Image Quality Assessment[J]. IEEE Transactions on Image Processing: a Publication of the IEEE Signal Processing Society, 2011, 20(5): 1185-1198.

[10] SHEIKH H R, BOVIK A C. Image Information and Visual Quality[J]. IEEE Transactions on Image Processing, 2006, 15(2): 430-444.

[11] LARSON E C, CHANDLER D M. Most Apparent Distortion: Full-Reference Image Quality Assessment and the Role of Strategy[J]. J Electronic Imaging, 2010, 19(1): 1-21.

[12] ZHANG Lin, ZHANG Lei, MOU Xuan-qin, et al. FSIM: A Feature Similarity Index for Image Quality Assessment[J]. IEEE Transactions on Image Processing: a Publication of the IEEE Signal Processing Society, 2011, 20(8): 2378-2386.

[13] LIU An-min, LIN Wei-si, MANISH N. Image Quality Assessment Based on Gradient Similarity[J]. IEEE Transactions on Image Processing: a Publication of the IEEE Signal Processing Society, 2012, 21(4): 1500- 1512.

[14] BAE S H, KIM M. A Novel Image Quality Assessment with Globally and Locally Consilient Visual Quality Perception[J]. IEEE Transactions on Image Processing: a Publication of the IEEE Signal Processing Society, 2016, 25(5): 2392-406.

[15] SUN Wen, LIAO Qing-min, XUE Jing-hao, et al. SPSIM: A Superpixel-Based Similarity Index for Full-Reference Image Quality Assessment[J]. IEEE Transactions on Image Processing: a Publication of the IEEE Signal Processing Society, 2018, 27(9): 4232- 4244.

[16] YANG S, LIN G, JIANG Q, et al. A Dilated Inception Network for Visual Saliency Prediction[J]. IEEE Transactions on Multimedia, 2019, 22(8): 2163-2176.

[17] WANG Hao-xiang, LI Zhi-hui, LI Yang, et al. Visual Saliency Guided Complex Image Retrieval[J]. Pattern Recognition Letters, 2020, 130(C): 64-72.

[18] VIJAYAKUMAR T, VINOTHKANNA R. Retrieval of Complex Images Using Visual Saliency Guided Cognitive Classification[J]. J Innov Image Process (JIIP), 2020, 2(2): 102-109.

[19] JIANG Feng-ling, KONG Bin, LI Jing-peng, et al. Robust Visual Saliency Optimization Based on Bidirectional Markov Chains[J]. Cognitive Computation, 2021, 13(1): 69-80.

[20] HE S, TAVAKOLI H R, BORJI A, et al. Understanding and Visualizing Deep Visual Saliency Models[C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2019: 10206-10215.

[21] CHAO F Y, ZHANG L, HAMIDOUCHE W, et al. Salgan360: Visual Saliency Prediction on 360 Degree Images with Generative Adversarial Networks[C]// 2018 IEEE International Conference on Multimedia & Expo Workshops (ICMEW), IEEE, 2018: 1-4.

[22] NASIRIPOUR R, FARSI H, MOHAMADZADEH S. Visual Saliency Object Detection Using Sparse Learning[J]. IET Image Processing, 2019, 13(13): 2436-2447.

[23] QIN Yao, FENG Meng-yang, LU Hu-chuan, et al. Hierarchical Cellular Automata for Visual Saliency[J]. International Journal of Computer Vision, 2018, 126(7): 751-770.

[24] YI Xiang, WANG Bing-jian, ZHOU Hui-xin, et al. Dim and Small Infrared Target Fast Detection Guided by Visual Saliency[J]. Infrared Physics and Technology, 2019, 97: 6-14.

[25] LIU N, ZHANG N, WAN K, et al. Visual Saliency Transformer[C]// Proceedings of the IEEE/CVF International Conference on Computer Vision, 2021: 4722-4732.

[26] JIA Hui-zhen, ZHANG Lu, WANG Tong-han. Contrast and Visual Saliency Similarity-Induced Index for Assessing Image Quality[J]. IEEE Access, 2018, 6: 65885-65893.

[27] ZHANG Lin, SHEN Ying, LI Hong-yu. VSI: A Visual Saliency-Induced Index for Perceptual Image Quality Assessment[J]. IEEE Transactions on Image Processing: a Publication of the IEEE Signal Processing Society, 2014, 23(10): 4270-4281.

[28] HAREL J, KOCH C, PERONA P. Graph Based Visual Saliency[C]// Neural Information Processing Systems, Cambridge, 2007: 545-552.

[29] ZHANG X, WANDELL B A. A Spatial Extension of CIELAB for Digital Color‐Image Reproduction[J]. Journal of the Society for Information Display, 1997, 5(1): 61-63.

[30] PONOMARENKO N, IEREMEIEV O, LUKIN V, et al. Color Image Database TID2013: Peculiarities and Preliminary Results[C]// European Workshop on Visual Information Processing (EUVIP), IEEE, 2013: 106-111.

[31] PONOMARENKO N, LUKIN V, ZELENSKY A, et al. TID2008-A Database for Evaluation of Full-Reference Visual Quality Assessment Metrics[J]. Advances of Modern Radio Electronics, 2009, 10(4): 30-45.

[32] SHEIKH H R, SABIR M F, BOVIK A C. A Statistical Evaluation of Recent Full Reference Image Quality Assessment Algorithms[J]. IEEE Transactions on Image Processing, 2006, 15(11): 3440-3451.

[33] HOU X, ZHANG L. Saliency Detection: A Spectral Residual Approach[C]// Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2007: 1-8.

[34] JONG S H, PEYMAN M. Static and Space-Time Visual Saliency Detection by Self-Resemblance[J]. Journal of Vision, 2009, 9(12): 15.1-27.

[35] HOU Xiao-di, HAREL J, KOCH C. Image Signature: Highlighting Sparse Salient Regions[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2012, 34(1): 194-201.

[36] ZHANG L, GU Z, LI H. SDSP: A Novel Saliency Detection Method by Combining Simple Priors[C]// 2013 IEEE International Conference on Image Processing. IEEE, 2013: 171-175.

[37] TANG H, CHEN C, PEI X. Visual Saliency Detection Via Sparse Residual and Outlier Detection[J]. IEEE Signal Processing Letters, 2016, 23(12): 1736-1740.

[38] RAHIM S H, CONRAD B A, GUSTAVO D V. An Information Fidelity Criterion for Image Quality Assessment Using Natural Scene Statistics[J]. IEEE Transactions on Image Processing: a Publication of the IEEE Signal Processing Society, 2005, 14(12): 2117-2128.

[39] ZHANG L, ZHANG L, MOU X. RFSIM: A Feature Based Image Quality Assessment Metric Using Riesz Transforms[C]// 2010 IEEE International Conference on Image Processing, 2010: 321-324.

[40] XUE W, ZHANG L, MOU X, et al. Gradient Magnitude Similarity Deviation: A Highly Efficient Perceptual Image Quality Index[J]. IEEE Transactions on Image Processing, 2013, 23(2): 684-695.

[41] KIM J, NGUYEN A D, SANGHOON L. Deep CNN-Based Blind Image Quality Predictor[J]. IEEE Trans Neural Netw Learning Syst, 2019, 30(1): 11-24.

Full Reference Image Quality Assessment Based on Visual Saliency and Perception Similarity Index

WANG Qian1, ZHENG Bin-jun1, KONG Ling-jun2, GU Ping2

(1. University of Shanghai for Science and Technology, Shanghai 200093, China;2. Shanghai Publishing and Printing College, Shanghai 200093, China)

Image Quality Assessment (IQA) is designed to use computational models to automatically measure image quality in line with the subjective assessment of the human visual system and to apply them to relevant practical problems. Firstly, the reference image and the distorted image are input, and the visual saliency model is used to calculate the feature mapping of the local similarity of the image, which is used as the weighting function in the quality score pooling stage. At the same time, in view of the deficiency of the visual saliency map as a single feature mapping, the gradient amplitude is increased, then the image is transformed into the color space to extract the color features, and finally the corresponding weight is allocated to calculate the image similarity. Results the comparative test on four large data sets shows that while maintaining a moderate computational complexity, vspsi has improved the prediction accuracy compared with other representative models. In particular, the SROCC on the tid2013 data set reaches 0.905 5. The results tell that VSPSI is an IQA with excellent performance. It has good performance in different data sets and different distortion types, and has strong robustness. It can be used to assess the objective quality of multi class distorted images. At the same time, the performance of VSPSI can be further improved by optimizing the visual saliency model.

image quality assessment; visual saliency; human visual system

TN911.73

A

1001-3563(2022)09-0239-10

10.19554/j.cnki.1001-3563.2022.09.032

2021–10–25

一流?？聘叩嚷殬I(yè)教育專業(yè)建設(shè)項(xiàng)目（2020ylxm–1）

王茜（1994—），女，上海理工大學(xué)碩士生，主攻藝術(shù)復(fù)制品質(zhì)量客觀評價(jià)。

孔玲君（1972—），女，博士，上海出版印刷高等?？茖W(xué)校教授，主要研究方向?yàn)閳D文信息處理與色彩再現(xiàn)，數(shù)字印刷及質(zhì)量評價(jià)等。

責(zé)任編輯：曾鈺嬋