一種基于遮蔽效應(yīng)的圖像質(zhì)量評(píng)價(jià)研究

孔紫劍，周冬明，聶仁燦，王長(zhǎng)城

(云南大學(xué) 信息學(xué)院，云南 昆明 650500)

數(shù)字圖像在經(jīng)歷采集、處理、壓縮、傳輸、儲(chǔ)存等過(guò)程后會(huì)造成不同形式的失真，這些失真往往會(huì)導(dǎo)致圖像視覺(jué)質(zhì)量的退化.圖像質(zhì)量評(píng)價(jià)（Image Quality Assessment，IQA）是用于計(jì)算圖像質(zhì)量退化的程度或評(píng)價(jià)圖像處理過(guò)程中參數(shù)的優(yōu)化水平，在近10年被提出并得到了廣泛的應(yīng)用.

IQA的指標(biāo)根據(jù)參考圖像是否存在分為全參考、無(wú)參考和半?yún)⒖糩1].全參考質(zhì)量評(píng)價(jià)指標(biāo)常將參考圖像看作是完美圖像，將其與對(duì)應(yīng)的質(zhì)量退化圖像作比較；參考圖像不存在的稱為無(wú)參考或“盲的”圖像質(zhì)量評(píng)價(jià)指標(biāo)；半?yún)⒖假|(zhì)量評(píng)價(jià)指參考圖像的部分信息是存在的.

本文針對(duì)全參考質(zhì)量評(píng)價(jià)指標(biāo)進(jìn)行研究.輸入為參考圖像和該圖像的失真版本，輸出為失真圖像的視覺(jué)質(zhì)量預(yù)測(cè)值，評(píng)價(jià)指標(biāo)的有效性[2]通過(guò)計(jì)算預(yù)測(cè)值和主觀測(cè)試中人眼感知失真圖像的“真實(shí)值”之間的映射關(guān)系得到.最傳統(tǒng)的基于全參考的圖像質(zhì)量評(píng)價(jià)指標(biāo)為峰值信噪比（Peak Signal Noise Ratio，PSNR）[3]和均方誤差（Mean Squared Error，MSE）[4]，它們的原理是在像素域中計(jì)算參考圖像和失真圖像灰度值的統(tǒng)計(jì)差異，因其數(shù)學(xué)特性簡(jiǎn)單，得到了廣泛的應(yīng)用.但這兩種僅僅是基于失真能量的算法，沒(méi)有考慮像素之間的結(jié)構(gòu)關(guān)系，因此與人的主觀判斷差異較大.

通常情況下，人眼都是經(jīng)過(guò)圖像處理過(guò)程的最終接收者，然而采用基于人眼的主觀評(píng)價(jià)方式耗費(fèi)大量人力，無(wú)法實(shí)時(shí)地處理圖像，并且評(píng)判的結(jié)果魯棒性差.因此在近數(shù)十年，研究人員通過(guò)模擬人類視覺(jué)系統(tǒng)（Human Visual System，HVS）感知圖像質(zhì)量的方式，將基于HVS的客觀評(píng)價(jià)方法嵌入到圖像處理系統(tǒng)中，自動(dòng)高效地解決主觀判斷上存在的問(wèn)題.以HVS為導(dǎo)向的客觀評(píng)價(jià)方法大致可以分為自底向上和自頂向下兩種策略.

第1種策略受人眼刺激驅(qū)動(dòng)，流程圖如圖1所示.首先，從人類視覺(jué)系統(tǒng)視覺(jué)路徑的角度出發(fā)，在預(yù)處理階段先將圖像空間轉(zhuǎn)換到更符合人眼的色彩空間；然后，圖像經(jīng)過(guò)變換域分解，模擬HVS視覺(jué)早期階段的“感知分解過(guò)程”，利用對(duì)比度敏感度函數(shù)（Contrast Sensitive Function，CSF）[5]補(bǔ)償人眼對(duì)于不同空間頻率信號(hào)的對(duì)比靈敏度，在誤差歸一化階段考慮近閾值的心理特性如遮蔽效應(yīng)[6]、差異恰可識(shí)別差異模型等，將可視誤差信號(hào)歸一化；最后，在圖像空間域上沿著不同的通道（頻帶）池化所有誤差信號(hào)，得到一個(gè)標(biāo)量值.Larson等[7]提出的最明顯失真（Most Apparent Distortion，MAD）是目前基于自底而上策略最有效的方法，采用兩種感知圖像質(zhì)量的模型解決了圖像存在多種失真難以評(píng)判的問(wèn)題.HVS在評(píng)判圖像質(zhì)量時(shí)，會(huì)根據(jù)圖像的失真水平自適應(yīng)地調(diào)整感知策略，當(dāng)圖像中存在近閾值失真時(shí)，失真圖像的質(zhì)量相對(duì)較高，算法利用CSF和遮蔽效應(yīng)因子[5-6]計(jì)算圖像之間的可視性誤差信號(hào)采用來(lái)模擬HVS針對(duì)較高質(zhì)量圖像；當(dāng)圖像中存在超閾值失真時(shí)，失真圖像的質(zhì)量相對(duì)較低，算法利用Log-Gabor濾波器統(tǒng)計(jì)子帶信息差異，采用內(nèi)容分辨的策略表征HVS針對(duì)較低質(zhì)量圖像. 雖然算法結(jié)果和主觀評(píng)價(jià)有很好的關(guān)聯(lián)性，但是計(jì)算復(fù)雜度較高，且對(duì)不同圖像失真類型的魯棒性較差.

圖1 基于HVS自底而上的策略Fig.1 Bottom-up strategy based on HVS

第2種策略受任務(wù)驅(qū)動(dòng)，通過(guò)模擬HVS的某些特征，以“假說(shuō)”的形式來(lái)構(gòu)建一個(gè)全局的評(píng)價(jià)方法.Sheikh等認(rèn)為圖像的質(zhì)量退化過(guò)程會(huì)嚴(yán)重?cái)_亂圖像信號(hào)的統(tǒng)計(jì)特性，因此提出了視覺(jué)信息保真度（Visual Information Fidelity，VIF）[8]和信息保真度標(biāo)準(zhǔn)（Information Fidelity Criterion，IFC）[9]量化參考圖像和失真圖像之間的統(tǒng)計(jì)信息，通過(guò)計(jì)算圖像之間互信息的多少來(lái)評(píng)價(jià)圖像質(zhì)量，其結(jié)果對(duì)于超閾值失真圖像（相對(duì)低質(zhì)量圖像）有很好的評(píng)判，但是對(duì)近閾值失真圖像（相對(duì)高質(zhì)量圖像）評(píng)判較差，最終導(dǎo)致結(jié)果與HVS不一致.經(jīng)典的結(jié)構(gòu)相似性（Structural Similarity，SSIM）[10]方法基于HVS能高度自適應(yīng)地提取圖像中的結(jié)構(gòu)化信息，捕捉結(jié)構(gòu)損失的假說(shuō)，計(jì)算失真圖像與參考圖像在局部亮度、對(duì)比度和結(jié)構(gòu)信息的相似程度來(lái)評(píng)判圖像的失真水平.Zhang等[11]證明了該方法好于目前的其他方法，但是它在池化得分時(shí)對(duì)圖像每一個(gè)位置采用了相同的權(quán)重值，低估了邊緣失真對(duì)圖像感知質(zhì)量的影響，導(dǎo)致圖像感知質(zhì)量的預(yù)測(cè)結(jié)果與主觀評(píng)價(jià)不一致.隨后很多學(xué)者在SSIM基礎(chǔ)上進(jìn)行改進(jìn)，如邊緣結(jié)構(gòu)相似性(E-SSIM)[12]根據(jù)邊緣信息劃分圖像區(qū)域；考慮多尺度結(jié)構(gòu)相似性（MS-SSIM）[13]對(duì)圖像進(jìn)行多尺度分解，首先在原尺度上計(jì)算圖像亮度、對(duì)比度和結(jié)構(gòu)相似度信息，然后在其他4個(gè)尺度上計(jì)算對(duì)比度和結(jié)構(gòu)相似度，最后根據(jù)HVS的特性權(quán)重分配系數(shù)，得到最終的圖像質(zhì)量評(píng)價(jià)指標(biāo)；信息加權(quán)結(jié)構(gòu)相似性（IW-SSIM）[13]結(jié)合小波分解和多尺度模型進(jìn)行系數(shù)加權(quán)；文獻(xiàn)[14-15]提到基于特征似性（Feature Similarity,FSIM）的方法進(jìn)行圖像質(zhì)量評(píng)價(jià)，將相位一致性（Phase Congruency,PC）作為視覺(jué)顯著特征探測(cè)視覺(jué)上較重要區(qū)域，同時(shí)補(bǔ)充梯度值（Gradient Magnitude,GM）作為計(jì)算對(duì)比度和結(jié)構(gòu)信息的第二特征，該方法要優(yōu)于VIF、SSIM等傳統(tǒng)算法，然而計(jì)算相位一致性需要在頻域內(nèi)多次濾波和傅里葉變換才能完成，其計(jì)算復(fù)雜度較高[16]，結(jié)果并不令人滿意.

視覺(jué)注意是HVS在視覺(jué)場(chǎng)景中驅(qū)動(dòng)視覺(jué)信息選擇的一種機(jī)制，在計(jì)算機(jī)視覺(jué)的研究中，通常這種自底而上、受刺激驅(qū)動(dòng)的注意力機(jī)制稱為視覺(jué)顯著性[17].近些年來(lái)，研究者逐漸發(fā)現(xiàn)HVS對(duì)視覺(jué)場(chǎng)景的顯著區(qū)域相當(dāng)敏感，同時(shí)超閾值失真會(huì)極大地改變圖像的視覺(jué)顯著圖（Visual Saliency Map，VSM）的分布.因此利用視覺(jué)顯著性來(lái)表征人類更加關(guān)注的區(qū)域是圖像質(zhì)量評(píng)價(jià)優(yōu)秀的手段.

Zhang等提出了視覺(jué)顯著性算法（Visual Saliency-Induced，VSI）[18]，利用視覺(jué)顯著探測(cè)模型提取失真圖像中的顯著性區(qū)域，分別計(jì)算參考圖像和失真圖像之間的顯著區(qū)域相似性、梯度相似性和色度相似性，利用池化函數(shù)提取局部質(zhì)量圖的視覺(jué)顯著性區(qū)域，得到圖像質(zhì)量評(píng)價(jià)指標(biāo).Wen等[19]提出了一種基于視覺(jué)顯著性加權(quán)的全參考圖像質(zhì)量度量方法，結(jié)合PSNR和梯度結(jié)構(gòu)相似性指標(biāo)（GSSIM），同時(shí)加強(qiáng)對(duì)寬頻帶信號(hào)和結(jié)構(gòu)變化較大的信號(hào)處理，利用視覺(jué)顯著性圖經(jīng)過(guò)加權(quán)函數(shù)分別作用于兩個(gè)快速IQA方法，對(duì)圖像每個(gè)像素施加一個(gè)權(quán)重.Zhang等[20]認(rèn)為顯著區(qū)域的視覺(jué)偽影比非顯著性區(qū)域的視覺(jué)偽影對(duì)圖像感知質(zhì)量的影響更大，因此研究顯著性偏差和圖像質(zhì)量退化之間的關(guān)系，該方法避開(kāi)了使用顯著性模型作為顯著性加權(quán)函數(shù)，通過(guò)量化了視覺(jué)偽影產(chǎn)生的視覺(jué)顯著性偏差，分別計(jì)算參考圖像和失真圖像之間的全局、局部和色度部分的顯著性偏差，直接評(píng)估圖像質(zhì)量.Iwashima等[21]提出了結(jié)合視覺(jué)顯著性和特征圖的全參考圖像質(zhì)量評(píng)價(jià)模型，實(shí)驗(yàn)證明通過(guò)引入包含亮度、顏色、邊緣方向等特征分布的顯著性圖可以提高圖像質(zhì)量評(píng)價(jià)的精度.

一幅失真圖像往往存在著不止一種失真形式，此時(shí)通常把每種失真類型看作一種信號(hào)，當(dāng)HVS觀察圖像時(shí)，如圖2所示，（a）圖為“狒狒”的參考圖像，（b）圖是經(jīng)過(guò)基于離散余弦變換濾波器處理后得到包含遮掩信號(hào)的失真圖像.觀察可以發(fā)現(xiàn)，（b）圖狒狒面部上毛發(fā)的復(fù)雜紋理信息遮蔽了眼窩處和臉頰兩側(cè)的噪聲信號(hào)失真，使感知到的圖像失真程度并沒(méi)有PSNR這類僅考慮圖像統(tǒng)計(jì)特性的算法計(jì)算得那么高，因此所提算法根據(jù)信號(hào)的遮蔽效應(yīng)進(jìn)行建模，用來(lái)模擬HVS的這一行為.另一方面HVS具有多點(diǎn)注視的機(jī)制，能夠自適應(yīng)地感知到圖像中視覺(jué)系統(tǒng)感興趣的局部區(qū)域. 因此引入視覺(jué)注意機(jī)制來(lái)提取圖像當(dāng)中的視覺(jué)顯著性區(qū)域.

圖2 “狒狒”對(duì)比圖像Fig.2 Images of“Baboon”for comparison

本文提出的算法基于梯度遮蔽效應(yīng)和視覺(jué)顯著相似性模型，根據(jù)遮蔽效應(yīng)對(duì)信號(hào)的影響改進(jìn)梯度相似性指標(biāo)[22]并計(jì)算梯度相似度，利用顯著性模型(Saliency Detection by combining Simple Priors,SDSP)[23]作為顯著性特征計(jì)算參考圖像和失真圖像之間的顯著性相似度，將二者與色彩相似度相結(jié)合，考慮到視覺(jué)顯著性能反應(yīng)局部區(qū)域?qū)VS的感知重要性，最后采用視覺(jué)顯著圖作為局部質(zhì)量圖（Local Quality Map,LQM）的加權(quán)函數(shù).該算法解決了上述對(duì)圖像邊緣信息處理不足、與人眼的視覺(jué)特性不一致、計(jì)算復(fù)雜度較高的問(wèn)題.實(shí)驗(yàn)結(jié)果表明，在公開(kāi)的數(shù)據(jù)集，所提度量圖像失真的指標(biāo)能有效解決梯度信號(hào)之間的遮蔽效應(yīng)，算法計(jì)算效率較高，在主觀一致性和單調(diào)性的指標(biāo)上都優(yōu)于當(dāng)今流行的絕大多數(shù)算法.

1 梯度的遮蔽效應(yīng)

1.1 梯度算子的選擇大部分計(jì)算梯度幅度值的算法[24]都會(huì)在Sobel，Prewitt和Scharr算子中選擇一種計(jì)算每個(gè)圖像塊x在水平和豎直方向上的梯度算子Gx（x）和Gy（x），然后再計(jì)算梯度值G（x）.然而這些梯度算子的核函數(shù)只有3×3，不足以充分包含圖像塊的相鄰信息.因此本算法使用較大的5×5梯度算子并計(jì)算水平豎直和斜對(duì)角線方向上的梯度，以增強(qiáng)圖像塊的局部相關(guān)性.梯度算子如圖3所示，P1，P2分別是水平和豎直方向的梯度算子，用于檢測(cè)縱向和橫向的邊緣區(qū)域；P3和P4是對(duì)角線方向的梯度算子.

圖3 梯度算子用于計(jì)算梯度值Fig.3 Operators for calculating the gradient value

梯度幅度值G（x）分兩步計(jì)算：第1步計(jì)算圖像塊x在對(duì)角線、水平和豎直方向上的梯度值，加權(quán)系數(shù)Pk隨著與中心像素距離的增加而減小；第2步計(jì)算圖像塊在某個(gè)方向上的最大梯度幅度值，將其作為圖像塊的梯度值G.梯度值的計(jì)算如下：

式中，?表示卷積運(yùn)算，|(·)|表示計(jì)算最大的梯度幅度值，作為圖像塊的梯度值.

梯度相似性g（x）可以定義為：

式中，G1和G2表示參考和失真圖像的梯度幅度值，C1是一個(gè)避免分母為0的常數(shù)（取C1=10?5）.g（x）的取值范圍為[0，1]，其值越大表示失真圖像的質(zhì)量越高.

1.2 梯度信號(hào)的遮蔽效應(yīng)遮蔽效應(yīng)是HVS基于心理學(xué)上的屬性，反映信號(hào)之間的相互作用.在圖像質(zhì)量評(píng)價(jià)中，遮蔽效應(yīng)表現(xiàn)為一個(gè)圖像分量的存在會(huì)降低另一圖像分量在空域、時(shí)域或頻域的可見(jiàn)性，利用其原理提出了亮度遮蔽、對(duì)比敏感度、對(duì)比遮蔽中心凹點(diǎn)等模型，這些模型表達(dá)了人眼對(duì)于圖像失真的容忍度.而梯度的遮蔽效應(yīng)反映的是梯度信號(hào)之間相互影響的情況.為了研究梯度信號(hào)的遮蔽效應(yīng)，對(duì)梯度相似性g（x）進(jìn)行改寫(xiě)成SG（x）：

式中，A=max(G1,G2)，B=min(G1,G2).

簡(jiǎn)化式（3）得：

梯度遮蔽因子表示為：

R是一個(gè)梯度變化和梯度遮蔽信號(hào)相關(guān)的遮蔽因子，取值范圍為[0，1]，其值越大表示梯度遮蔽信號(hào)的影響越大.

結(jié)合式（4）和（5），可以看出：當(dāng)G1=G2時(shí)，R=0， SG(x)=1，此時(shí)測(cè)試圖像塊與參考圖像塊的梯度值完全相同；當(dāng)G1或G2=0時(shí)，R=1， SG(x)=0，此時(shí)可以說(shuō)是原圖像塊是一個(gè)平滑圖像塊或是一個(gè)非平滑的圖像塊失真成為一個(gè)平滑圖像塊.由此可見(jiàn)，梯度相似性的值隨著R值的減小而增大.除此之外，當(dāng)梯度變化一定時(shí)，遮蔽信號(hào)與梯度變化的比值越大，梯度相似敏感度越低，這個(gè)結(jié)論與HVS對(duì)高遮蔽對(duì)比度不敏感的情況是一致的.

1.3 優(yōu)化梯度相似性模型在式（4）和（5）中，存在因遮蔽效應(yīng)導(dǎo)致的對(duì)圖像失真水平高估的特殊情況，即在圖像某一區(qū)域 max(G1,G2)和|G1?G2|的值都很小時(shí)，遮蔽信號(hào)和被遮蔽信號(hào)也很小，其梯度誤差本應(yīng)不可視，然而會(huì)得到一個(gè)較大的R值，最終導(dǎo)致在這個(gè)區(qū)域圖像塊的梯度相似性比實(shí)際情況要偏低，圖像的失真水平被高估.究其原因是梯度相似性模型對(duì)于低遮蔽對(duì)比度過(guò)于敏感.因此在這里需要調(diào)整梯度相似性公式，以改變上述失真水平高估的問(wèn)題.對(duì)此考慮調(diào)整參數(shù)K值滿足以下兩個(gè)條件：①K值不能過(guò)大到影響SG（x）的結(jié)果.②增大K值以覆蓋低遮蔽對(duì)比度區(qū)域?qū)D像失真水平高估的問(wèn)題，使得此時(shí)SG（x）的值趨近于1.注意到公式（4）中 2?2R和 1 +(1?R)2的取值范圍均為[0，2]，因此K值自適應(yīng)于m ax(G1,G2)，這里分別取K<10 和K>40 來(lái)滿足上述條件.此時(shí)基于遮蔽效應(yīng)的梯度相似性SG′(x)表示為：

式 中，K=K′/max(G1,G2)，對(duì) 于 情 況①、②時(shí)max(G1,G2)取值范圍為[5，50]，因此K′的取值范圍為[200,500]（在本實(shí)驗(yàn)中取K′=200）.

2 基于梯度遮蔽和視覺(jué)顯著性

2.1 SDSP顯著性模型基于梯度遮蔽改進(jìn)后的模型可以對(duì)近閾值失真圖像做出很好的評(píng)判，但為了提高IQA與主觀判斷的一致性，使結(jié)果更符合HVS的判斷，補(bǔ)充SDSP視覺(jué)顯著性模型.這個(gè)模型可以直觀地反映一個(gè)局部區(qū)域的感知質(zhì)量對(duì)于HVS有多顯著.

SDSP模型具有較高預(yù)測(cè)性能和較低計(jì)算成本，是1個(gè)結(jié)合3個(gè)先驗(yàn)知識(shí)的顯著性檢測(cè)方法.首先，人眼會(huì)更關(guān)注于圖像當(dāng)中的顯著物體，而LG（Log-Gabor）帶通濾波器信號(hào)的響應(yīng)形式與人類視覺(jué)系統(tǒng)一致，因此利用它來(lái)模擬人類視覺(jué)系統(tǒng)，檢測(cè)自然場(chǎng)景下的顯著區(qū)域；其次，人們更有可能將注意力集中在圖像的中心位置；再次，對(duì)人眼而言，暖色比冷色吸引力更大；最后，通過(guò)3個(gè)簡(jiǎn)單的數(shù)學(xué)模型表征上述先驗(yàn)知識(shí).Zhang等[23]的實(shí)驗(yàn)證明SDSP顯著性模型在當(dāng)今流行的顯著性模型中預(yù)測(cè)準(zhǔn)確性最高，計(jì)算時(shí)間較短.

2.2 基于梯度遮蔽的視覺(jué)顯著性模型計(jì)算圖像的視覺(jué)顯著性區(qū)域、梯度值和色彩信息，以此建立一個(gè)結(jié)合梯度遮蔽效應(yīng)和視覺(jué)顯著性模型的圖像評(píng)價(jià)指標(biāo).算法流程如圖4所示.假設(shè)參考圖像為f1，失真圖像為f2，S（x）為圖像f1和f2的局部相似性指標(biāo)，V1(x)、V2(x)和G1(x)、G2(x)分別是從f1，f2得到的視覺(jué)顯著圖和基于遮蔽效應(yīng)的梯度相似性圖.由于色彩信息也會(huì)影響HVS對(duì)圖像的感知，因此它對(duì)視覺(jué)感知和視覺(jué)質(zhì)量評(píng)價(jià)具有重要意義.對(duì)于RGB彩色圖像，將其轉(zhuǎn)換到式（7）表示的LAB色彩空間[25]，補(bǔ)充對(duì)色彩信息的考量.

圖4 VS-GSSIM算法流程圖Fig.4 The algorithm flow chart of VS-GSSIM

式中，L通道用于計(jì)算梯度值，M1、M2從M通道獲取，N1、N2從N通道獲取，兩個(gè)色彩通道用來(lái)計(jì)算因顏色失真引起的感知質(zhì)量下降.色彩空間轉(zhuǎn)換的權(quán)重是根據(jù)HVS進(jìn)行優(yōu)化得到的[26].第1階段分別計(jì)算視覺(jué)顯著相似性，受遮蔽影響的梯度相似性以及色彩相似性；第2階段池化相似性圖得到一個(gè)基于HVS的感知質(zhì)量分?jǐn)?shù).

視覺(jué)顯著性相似圖Svs（x）定義為：

式中，C2為一個(gè)保持Svs（x）穩(wěn)定性的較小的常數(shù).

色彩通道的相似性圖Sc（x）定義為：

式中，C3是一個(gè)與C2作用相同的常數(shù).

在實(shí)驗(yàn)中，固定C2，C3的值以便我們對(duì)于數(shù)據(jù)庫(kù)中所有的圖像保持客觀數(shù)據(jù)的一致性.則對(duì)于圖像f1，f2位于x的局部質(zhì)量圖表示為：

式中，α 和β分別用于調(diào)整梯度信息和色彩信息的相對(duì)重要性，在實(shí)驗(yàn)中固定參數(shù)作用于數(shù)據(jù)庫(kù)所有圖像.

2.3 池化局部質(zhì)量圖所有質(zhì)量評(píng)價(jià)指標(biāo)的最后池化階段都是從空間域上計(jì)算每一個(gè)圖像塊在不同的通道下所有的歸一化誤差信號(hào).通常采用一個(gè)如下的Minkowski形式：

式中，el,k表示在第l通道第k個(gè)系數(shù)的歸一化誤差信號(hào)，β是一個(gè)介于1到4的常數(shù).

考慮到不同的區(qū)域?qū)τ贖VS感知整個(gè)圖像有不同的影響，比如圖像的顯著性區(qū)域比平滑區(qū)域承載在更重要的區(qū)域，并且視覺(jué)顯著性圖表征著圖像顯著區(qū)域的分布圖，發(fā)生視覺(jué)顯著區(qū)域的圖像失真，比在其他位置更加影響HVS對(duì)圖像整體質(zhì)量的感知.因此本文將視覺(jué)顯著圖作為在池化階段的誤差歸一化策略.

與FSIM[14]的池化形式相同，假設(shè)圖像f1和f2在某一位置x處有較大的值，這就意味著這個(gè)區(qū)域應(yīng)該被更多地關(guān)注，因此我們用Vm(x)=max(V1(x),V2(x))來(lái)權(quán)衡LQM指標(biāo)在全局上的重要性分布.池化策略如下所示：

式中，S（x）表示參考圖像和失真圖像之間的局部質(zhì)量圖，Vm（x）遍歷了圖像空間域Ω中所有位置，公式符合Minkowski形式.

3 實(shí)驗(yàn)與結(jié)果分析

3.1 實(shí)驗(yàn)數(shù)據(jù)庫(kù)與評(píng)價(jià)指標(biāo)為驗(yàn)證本文VSGSSIM算法的評(píng)價(jià)性能，采用公開(kāi)數(shù)據(jù)庫(kù)TID2008[27]和CSIQ[28]作為實(shí)驗(yàn)數(shù)據(jù)庫(kù).TID2008是評(píng)價(jià)圖像失真水平較為完備的數(shù)據(jù)庫(kù)，它由25組參考圖像、17種失真類型組合成1 700組失真圖像，主觀得分指標(biāo)平均意見(jiàn)分?jǐn)?shù)（Mean Opinion Score，MOS）的取值范圍為0到9，其值越大表示圖像的視覺(jué)質(zhì)量越好.CSIQ由30組參考圖片、866幅失真圖像組成，其中包含模糊、對(duì)比度偏移、JPEG壓縮等6種不同失真類型，主觀得分指標(biāo)微分平均意見(jiàn)得分（Differential Mean Opinion Score，DMOS）值的范圍歸一化到0到1的區(qū)間，其值越小表示圖像視覺(jué)質(zhì)量越好.CSIQ數(shù)據(jù)庫(kù)中存在很多難以區(qū)分的圖像，這就對(duì)算法衡量圖像失真水平提出了很高的要求.需要注意的是我們認(rèn)為數(shù)據(jù)庫(kù)每幅圖像對(duì)應(yīng)的主觀得分為參考的“相對(duì)真實(shí)值”.

通常情況下，用客觀IQA算法的單調(diào)性和與主觀評(píng)價(jià)水平的一致性來(lái)衡量評(píng)價(jià)算法的好壞.常用4種評(píng)價(jià)IQA質(zhì)量的指標(biāo)為皮爾曼等級(jí)相關(guān)函數(shù)（Spearman Rank Order Correlation Coefficient，SROCC），肯德?tīng)柕燃?jí)相關(guān)函數(shù)（Kendall Rank Order Correlation Coefficient，KROCC），皮爾遜線性相關(guān)函數(shù)（Pearson Linear Correlation Coefficient，PLCC）以及均方根誤差（Root Mean Square Error，RMSE）.SROCC和KROCC[29]不受任何非線性單調(diào)映射影響，只作用在數(shù)據(jù)點(diǎn)的秩上，因此常用于預(yù)測(cè)IQA算法的單調(diào)性，其值越接近于1說(shuō)明算法的相關(guān)性越好；PLCC和RMSE用于預(yù)測(cè)IQA算法與主觀評(píng)分的一致性.PLCC值越接近于1，說(shuō)明算法精準(zhǔn)度越好，而RMSE越小說(shuō)明算法誤差越小.

為消除在主觀評(píng)分過(guò)程出現(xiàn)的得分非線性問(wèn)題，將主觀得分和算法的客觀分?jǐn)?shù)調(diào)整到同一可比較區(qū)間，因此采用五參數(shù)邏輯映射的函數(shù)[30]對(duì)算法客觀輸出值f（x）和對(duì)應(yīng)的主觀評(píng)分值x進(jìn)行曲線擬合，即：

式中， βi（i=1,2,3,4,5） 為邏輯映射參數(shù)，調(diào)整參數(shù)使得f（x）與客觀得分x的均方誤差最小.在文中參數(shù)設(shè)為 β1=5， β2=min(x)，β3=mean(f(x))， β4=0.1，β5=10.

3.2 梯度遮蔽效應(yīng)的驗(yàn)證實(shí)驗(yàn)用梯度遮蔽公式（6）替換FSIM算法中的梯度相似性，梯度算子[16]與所提相同.假設(shè)用梯度遮蔽替代的方法稱為θFSIM?M，則改寫(xiě)后的公式為：

式中，Spc(x)和Pcm(x)分別表示圖像f1、f2某一區(qū)域x的相位相似圖和取到的較大相位一致性值.

采用來(lái)自于文獻(xiàn)[31]的圖像測(cè)試集驗(yàn)證FSIM-M與主觀評(píng)價(jià)的一致性，它包括1張參考圖像和18張失真圖像，參考圖像如圖5所示.表1中列出了兩種不同失真，即加性高斯噪聲（Gaussian Noise，GN）和空間相關(guān)性噪聲（Spatial Correlation Noise，SCN），3個(gè)不同失真等級(jí)（數(shù)字越大表示失真水平越高），遮蔽影響的不同程度（N—無(wú)遮蔽，L—輕遮蔽程度，H—高遮蔽程度）的失真圖像的信息以及FSIM，F(xiàn)SIM-M的指標(biāo)得分.

表1 FSIM和FSIM-M算法在遮蔽測(cè)試集上的評(píng)價(jià)指標(biāo)對(duì)比Tab.1 Comparison of evaluation indicators of FSIM and FSIM-M algorithms on the masking test set

圖5 遮蔽測(cè)試參考圖像Patter nsFig.5 Reference image Patterns for masking test

采用相對(duì)平方誤差（Relative Squared Error，RSE）表示參考圖像和失真圖像之間的主觀差異，其值越小說(shuō)明質(zhì)量越高.通過(guò)指標(biāo)KROCC和SROCC以及PLCC和RMSE值評(píng)判算法的單調(diào)性和與主觀評(píng)價(jià)的一致性.

從表2的實(shí)驗(yàn)結(jié)果看，F(xiàn)SIM-M在各個(gè)指標(biāo)下均優(yōu)于FSIM，尤其是在RMSE指標(biāo)上要遠(yuǎn)優(yōu)于FSIM.因此考慮了梯度信息之間相互遮蔽的問(wèn)題可以使算法更符合HVS的評(píng)判.

表2 FSIM和FSIM-M算法的相關(guān)性對(duì)比Tab.2 Comparison of the correlation between FSIM and FSIM-M algorithms

3.3 VS-GSSIM預(yù)測(cè)圖像質(zhì)量的能力選取TID2008數(shù)據(jù)庫(kù)中參考圖像I04及其失真圖像I04-01-2、I04-03-2、I04-04-2、I04-08-2、I04-10-2，編號(hào)表示的失真類型分別是加性高斯噪聲、空間位置相關(guān)噪聲、遮蔽噪聲、高斯模糊和JPEG壓縮.如圖6所示，（a）表示參考圖像，（b）～（f）為失真圖像.HVS是一個(gè)高度自適應(yīng)的系統(tǒng)，因此不同的失真會(huì)產(chǎn)生不同的視覺(jué)感知質(zhì)量，5幅失真圖像的MOS值如表3所示，其值越大表示圖像的感知質(zhì)量越高.因此失真圖像的感知質(zhì)量從好到差分別是（d）、（e）、（f）、（b）、（c），分別對(duì)比VS-GSSIM和幾種算法的客觀得分，這幾種算法分別是未使用人類視覺(jué)系統(tǒng)模型但廣泛應(yīng)用的UIQ（Universal Image Quality）；基于數(shù)學(xué)統(tǒng)計(jì)特征信息的峰值信噪比PSNR，最廣泛認(rèn)可的基于圖像結(jié)構(gòu)信息SSIM及其多尺度的變體形式MS-SSIM，以及同樣采用視覺(jué)注意力機(jī)制的VSI和結(jié)合彩色信息特征相似性算法的指標(biāo)FSIMc，對(duì)應(yīng)的圖像感知質(zhì)量排名如表4所示.實(shí)驗(yàn)結(jié)果表明所提算法因?yàn)榭紤]了梯度遮蔽的問(wèn)題，與算法VSI和FSIMc相同，且與主觀評(píng)判一致.

圖6 TID2008 I0 4測(cè)試圖像Fig.6 TID2008 I04 test images

表3 幾種IQA算法對(duì)圖6的得分Tab.3 Scores of several IQA algorithms for Fig.6

表4 幾種IQA算法對(duì)圖6客觀得分與主觀評(píng)價(jià)一致性驗(yàn)證Tab.4 Consistent verification of objective score and subjective evaluation of several IQA algorithms for Fig.6

3.4 對(duì)比測(cè)試VS-GSMM的評(píng)價(jià)在CSIQ數(shù)據(jù)庫(kù)測(cè)試不同的IQA算法的整體評(píng)價(jià)性能，為體現(xiàn)算法的優(yōu)越性，挑選性能較好的PSNR、VIF、IFC、SSIM、MS-SSIM、GSSIM、FSIMc和MAD算法參與對(duì)比.其中VIF和IFC算法的普適性較高，MAD算法是時(shí)下普遍認(rèn)為結(jié)果較好的算法.實(shí)驗(yàn)中的算法除GSSIM外，均采用作者提供的源代碼，參數(shù)均為默認(rèn)值，主觀得分DMOS/MOS均采用各個(gè)算法在CSIQ數(shù)據(jù)庫(kù)中給出的得分.需要注意的是，GSSIM算法作者沒(méi)有上傳源代碼，考慮到它作為對(duì)比算法有著重要的比較意義，因此根據(jù)文獻(xiàn)復(fù)現(xiàn)此算法，參數(shù)為該論文中所提及的參數(shù).在表5中列出了各個(gè)算法分別計(jì)算SROCC，KROCC，PLCC和RMSE得分后的結(jié)果（對(duì)于各個(gè)算法的4種評(píng)價(jià)指標(biāo)均使用文獻(xiàn)[30]中算法的默認(rèn)值計(jì)算得出），排名前三的結(jié)果值已用黑體表示.實(shí)驗(yàn)結(jié)果表明：在9個(gè)算法當(dāng)中，本算法有3個(gè)指標(biāo)排名前三，且排名第四的RMSE指標(biāo)與第三位的值非常接近，綜合排名超過(guò)FSIM算法排在第二位.

圖7中列出IQA指標(biāo)主觀評(píng)價(jià)與客觀得分的散點(diǎn)分布圖，圖中的點(diǎn)與擬合曲線越接近，說(shuō)明算法預(yù)測(cè)的結(jié)果與主觀評(píng)價(jià)的一致性越好.（a）～（i）圖分別對(duì)應(yīng)表5中的各個(gè)指標(biāo)，對(duì)比（g）、（b）和（i）圖，可以看出（g）圖的點(diǎn)密集分布在曲線兩側(cè)，其一致性最優(yōu)，（b）圖因?yàn)橛写罅糠稚⒌狞c(diǎn)位于客觀得分的中部區(qū)間（[0.4，0.6]），所以聚合性不如（i）圖；除此之外，可以直觀地感受到（i）圖點(diǎn)與曲線的聚合程度要優(yōu)于包括（h）圖FSIM和（f）圖GSSIM算法在內(nèi)的其他所有算法，因此本文所提的VSGSMM指標(biāo)的準(zhǔn)確性和主觀一致性要優(yōu)于當(dāng)今流行的絕大部分算法.

圖7 IQA模型客觀得分與MOS/DMOS之間的散點(diǎn)圖Fig.7 Scatter plots between objective scores of several IQA models and MOS/DMOS

表5 各種算法在CSIQ數(shù)據(jù)庫(kù)上評(píng)價(jià)指標(biāo)對(duì)比Tab.5 Comparison of evaluation indicators of various algorithms on the CSIQ database

3.5 算法運(yùn)行時(shí)間比較表6中列出了各IQA算法評(píng)價(jià)一對(duì)384×512彩色圖像所需的執(zhí)行時(shí)間，為了減小誤差，在同一臺(tái)計(jì)算機(jī)上以多次運(yùn)行求平均時(shí)間的方式進(jìn)行比較.從表6中可以看出，VSGSSIM具有較低的計(jì)算復(fù)雜度，其計(jì)算時(shí)間要低于FSIMc，運(yùn)行效率要遠(yuǎn)遠(yuǎn)高于MAD，GSSIM和SSIM算法.這表明VS-GSSIM更有利于應(yīng)用到需要計(jì)算大量失真圖像質(zhì)量的場(chǎng)景.

表6 各種IQA算法運(yùn)行時(shí)間比較Tab.6 Comparison of runtime of various IQA algorithms

4 總結(jié)與展望

本文提出了一種基于遮蔽效應(yīng)的全參考圖像質(zhì)量評(píng)價(jià)指標(biāo)VS-GSSIM，結(jié)合梯度的遮蔽效應(yīng)和視覺(jué)顯著性模型，同時(shí)解決了梯度相似性指標(biāo)與HVS不一致的問(wèn)題，其計(jì)算復(fù)雜度較低.與GSSIM相比，所提方法在SROCC、KROCC、PLCC和RMSE的指標(biāo)性能上分別優(yōu)化了5.9%、11.4%、6.0%和20.5%，超過(guò)絕大多數(shù)指標(biāo). 然而本文低估了模糊失真的影響，今后的研究將從多失真類型的角度進(jìn)行.