基于CSF和梯度相似度的紅外圖像質(zhì)量評(píng)價(jià)

劉弋名,王曉明,趙 昕

(華北光電技術(shù)研究所,北京 100015)

1 引 言

紅外圖像質(zhì)量評(píng)價(jià)研究具有重要意義與價(jià)值。首先,紅外圖像的質(zhì)量是對(duì)該成像系統(tǒng)性能進(jìn)行評(píng)估的重要指標(biāo)。其次,對(duì)不同算法處理過的紅外圖像進(jìn)行有效地評(píng)價(jià)是對(duì)不同算法性能進(jìn)行評(píng)估的先決條件。圖像質(zhì)量評(píng)價(jià)方法主要包括主觀評(píng)價(jià)和客觀評(píng)價(jià)兩種[1]。主觀評(píng)價(jià)方法最有效,但易受個(gè)人因素等影響,且無法應(yīng)用于實(shí)時(shí)系統(tǒng),因此實(shí)際應(yīng)用中還是應(yīng)用客觀方法?？陀^評(píng)價(jià)方法可分為全參考、半?yún)⒖己蜔o參考三種類型[2],文中重點(diǎn)介紹的為全參考類型。

最簡單的全參考評(píng)價(jià)方法主要有峰值信噪比(Peak Signal to Noise Ratio,PSNR)和均方誤差(Mean Square Error,MSE)等[3]。這兩種方法計(jì)算簡單且便于優(yōu)化,但僅是對(duì)像素點(diǎn)的誤差進(jìn)行的純數(shù)學(xué)統(tǒng)計(jì),沒有考慮其相關(guān)性和人類視覺系統(tǒng)(Human VisualSystem,HVS)的感知特點(diǎn),很多情況下不夠符合人的主觀感受。在考慮了HVS的客觀圖像質(zhì)量評(píng)價(jià)研究的進(jìn)展上,Zhou Wang等人[2,4]提出了基于結(jié)構(gòu)相似度(Structural Similarity,SSIM)的圖像質(zhì)量評(píng)價(jià)方法。SSIM 可以在一定程度上符合人眼主觀感知,但仍有不足之處,主要原因是其前提假設(shè)圖像的每部分區(qū)域重要程度都相同,這與人的視覺興趣區(qū)域特性不一致[5],從這方面來說單純的SSIM結(jié)果并不能與主觀結(jié)果相一致。

針對(duì)以上所提方法的不足,本文在SSIM模型基礎(chǔ)上,將圖像梯度幅值應(yīng)用其中,又結(jié)合了人眼對(duì)比敏感度特性,提出一種基于CSF和梯度相似度的紅外圖像質(zhì)量評(píng)價(jià)方法。

2 基于CSF和梯度相似度的算法模型

2.1 結(jié)構(gòu)相似度模型

Zhou Wang[2,4]等人提出的結(jié)構(gòu)相似度(SSIM)圖像質(zhì)量評(píng)價(jià)方法是將圖像結(jié)構(gòu)和外界照明兩者信息獨(dú)立進(jìn)行檢測的。SSIM就是通過亮度、對(duì)比度以及圖像的結(jié)構(gòu)這三個(gè)相互獨(dú)立的通道對(duì)圖像質(zhì)量進(jìn)行表征的。具體模型如下:

SSIM(x,y)=[l(x,y)]α·[c(x,y)]β·[s(x,y)]γ

(1)

(2)

(3)

(4)

式中,x,y分別代表失真圖像和參考圖像；l(x,y),c(x,y),s(x,y)分別為圖像x,y的亮度、對(duì)比度和結(jié)構(gòu)信息,其中參數(shù)α,β,γ均為正數(shù),用以調(diào)節(jié)上述三者權(quán)重；C1,C2,C3為常數(shù),防止分母為0的情況出現(xiàn)；μx,μx分別為圖像x,y的均值,σx,σy分別為圖像x,y的標(biāo)準(zhǔn)差；σxy為圖像x,y的協(xié)方差[6]。SSIM的值越大,表明失真圖像和參考圖像差別越小,即失真圖像的質(zhì)量越高。

2.2 圖像梯度

圖像梯度反映了圖像亮度變化最顯著的部分,包含理解圖像場景至關(guān)重要的視覺信息,因此提取梯度幅值作為圖像特征進(jìn)行圖像質(zhì)量評(píng)價(jià)效果較好。Chen等人[7]提出的基于梯度的結(jié)構(gòu)相似度模型GSSIM,就是以SSIM方法為基礎(chǔ),計(jì)算過程中將用來計(jì)算對(duì)比度和結(jié)構(gòu)兩部分的原圖像用梯度圖像來代替,效果優(yōu)于SSIM。

求梯度幅值常見的掩模算子有Sobel算子、Prewitt 算子和Scharr算子。圖像的梯度幅值(Gradient Magnitude,GM)為:

(5)

其中,Gx,Gy分別為x方向和y方向的梯度圖像(幅值分量的圖像)。實(shí)驗(yàn)發(fā)現(xiàn)Sobel算子的效果最好[8],因此本文采用Sobel算子提取圖像的梯度幅值。梯度相似度模型就是以SSIM方法為基礎(chǔ),計(jì)算過程中將用來計(jì)算對(duì)比度和結(jié)構(gòu)兩部分的原圖像用梯度圖像來代替。x′和y′為參考圖像和失真圖像的梯度圖像,則:

(6)

(7)

式中,cg(x,y)和sg(x,y)為梯度圖像的對(duì)比度和結(jié)構(gòu)信息。

2.3 人眼對(duì)比敏感度特性

對(duì)比敏感度函數(shù)(Contrast Sensitivity Function,CSF)[9]反映了人眼在頻域上的敏感度特性。Mannos和Sakrison等人根據(jù)大量的實(shí)驗(yàn)建立的CSF的函數(shù)模型為:

A(f)=2.6(0.192+0.114f)exp[-(0.114f)1.1]

(8)

對(duì)于一個(gè)M×M的圖像,空間頻率計(jì)算如下[10]:

(9)

(10)

(11)

式中,空間頻率的單位為“周期/度”;fx,fy分別代表水平和垂直兩個(gè)方向上的周期頻率;I(i,j)代表該選定圖像塊的像素值。

人眼對(duì)于水平和豎直兩方向的刺激最敏感,對(duì)角方向的敏感性比較弱。因此本文采用水平和垂直方向上的對(duì)比敏感度特性,得到歸一化后的CSF特性曲線如圖1所示。

圖1 水平或垂直方向上歸一化的CSF特性曲線

2.4 本文評(píng)價(jià)模型

(1)把分圖像塊計(jì)算SSIM方法中的參考圖像和失真圖像對(duì)比度和結(jié)構(gòu)用其梯度圖像的兩者代替,得到基于梯度圖像的SSIM map,即GSSIM map。

(2)由對(duì)比敏感度特性計(jì)算每個(gè)GSSIM map的權(quán)值,并由下式對(duì)權(quán)值進(jìn)行歸一化處理:

(12)

其中,λ(i)為歸一化后的第i個(gè)圖像塊的權(quán)值;CSFi(f)為第i個(gè)圖像塊的對(duì)比敏感度特性值;N為圖像塊的總數(shù)。

(3)加權(quán)計(jì)算整幅圖的評(píng)價(jià)值。將N個(gè)圖像塊的GSIM值進(jìn)行加權(quán)求和,得到結(jié)合CSF和GSIM圖像質(zhì)量評(píng)價(jià)方法的計(jì)算表達(dá)式為:

(13)

3 實(shí)驗(yàn)結(jié)果及分析

由于圖像無論經(jīng)過怎樣的處理、傳輸?shù)?最終都是要給人看的。由人眼直接觀察圖像來判定圖像的好壞即為圖像質(zhì)量的主觀評(píng)價(jià)。主觀評(píng)價(jià)是最為直接準(zhǔn)確的,比較不同客觀評(píng)價(jià)算法的性能也即比較其結(jié)果與主觀評(píng)價(jià)結(jié)果的符合程度。

簡要來說,主觀評(píng)價(jià)一般按照國際電信聯(lián)盟(ITU)提出的主觀評(píng)價(jià)標(biāo)準(zhǔn),給一組觀察者觀察原始圖像及失真圖像,并按照某種標(biāo)準(zhǔn)為失真圖像打分,表1即為一種常用標(biāo)準(zhǔn)。

表1 一種圖像質(zhì)量評(píng)價(jià)標(biāo)準(zhǔn)

按照上述標(biāo)準(zhǔn)按照滿分100分打分后,求取平均值即為平均主觀分?jǐn)?shù)(mean opinion scores,MOS),也可用主觀差異評(píng)分(difference mean opinion score,DMOS)法來表征圖像質(zhì)量,DMOS為MOS和滿分(100)的差值[6],取值范圍為[0,100],取值越小表明圖像質(zhì)量越好。

本實(shí)驗(yàn)分為兩部分,第一部分采用美國TEXAS大學(xué)圖像與視頻工程實(shí)驗(yàn)室(Lab of Image and Video Engineer,LIVE)所提供的圖像質(zhì)量評(píng)價(jià)數(shù)據(jù)庫進(jìn)行實(shí)驗(yàn)。該數(shù)據(jù)庫為使用最為廣泛的圖像質(zhì)量評(píng)價(jià)數(shù)據(jù)庫之一,并且已經(jīng)給出專業(yè)人員的主觀評(píng)差異評(píng)分。一部分為紅外圖像實(shí)驗(yàn)。由于沒有針對(duì)紅外圖像的質(zhì)量評(píng)價(jià)數(shù)據(jù)庫,因此需先建立紅外圖像庫,然后找一組(20人)具有紅外領(lǐng)域知識(shí)的觀察者嚴(yán)格按照表1評(píng)價(jià)標(biāo)準(zhǔn)對(duì)樣本圖像進(jìn)行主觀評(píng)價(jià),給出失真圖像主觀評(píng)價(jià)值,并求取主觀差異值。樣本圖像在3.1節(jié)會(huì)詳細(xì)介紹。

為比較不同評(píng)價(jià)模型的性能,采用視頻質(zhì)量專家組(video Quality Experts Group,VGEQ)推薦的模型評(píng)估指標(biāo)[11]中的四個(gè):Pearson線性相關(guān)系數(shù)(Pearson Correlation Coefficient,PCC),均方根誤差(Root Mean Square Error,RMSE),平均絕對(duì)誤差(Mean Absolute Error,MAE),Spearman等級(jí)相關(guān)系數(shù)(Rank Order Correlation Coefficient,ROCC)。其中,PCC和ROCC是客觀評(píng)價(jià)值回歸后的結(jié)果與DMOS值直接一致性的指標(biāo),值越大表明模型性能越好；MAE和RMSE是客觀評(píng)價(jià)值回歸后結(jié)果與DMOS值之間的距離,值越小表明模型性能越好[6]。

3.1 LIVE圖像數(shù)據(jù)庫實(shí)驗(yàn)

LIVE圖像數(shù)據(jù)庫中包含29幅原始圖像及5種類型的失真圖像982幅。并給出了所有失真圖像的DMOS值。

首先用不同方法算出該圖像庫所有圖像的客觀評(píng)價(jià)值,然后與圖像庫提供的與之對(duì)應(yīng)的DMOS進(jìn)行非線性擬合,本文采用文獻(xiàn)[12]中所推薦的最常用的回歸函數(shù)作為擬合函數(shù):

(14)

最后使用上文中四個(gè)指標(biāo)來評(píng)估幾個(gè)不同算法的性能(與主觀評(píng)價(jià)符合程度)。實(shí)驗(yàn)中用了兩個(gè)傳統(tǒng)評(píng)價(jià)方法PSNR和SSIM,基于梯度相似度的算法GSSIM以及本文提出的結(jié)合CSF和梯度結(jié)構(gòu)相似度VGSSIM共四個(gè)圖像質(zhì)量評(píng)價(jià)方法。圖2分別給出了上述四種算法的客觀值結(jié)果與主觀值的散點(diǎn)圖。表1給出了四種算法的評(píng)價(jià)指標(biāo)。

圖2 LIVE圖像庫實(shí)驗(yàn)客觀評(píng)價(jià)值與主觀值散點(diǎn)圖

表2 4種算法性能對(duì)比

由圖2結(jié)合表2可知,PSNR和SSIM兩種傳統(tǒng)方法散點(diǎn)擬合曲線基本不滿足線性條件,且散點(diǎn)沿?cái)M合曲線分布不均勻、不集中,表明這兩種傳統(tǒng)算法與人的主觀評(píng)價(jià)一致性較低。與兩種傳統(tǒng)模型相比,GSSIM和本文的提出的VGSSIM模型散點(diǎn)沿?cái)M合曲線分布更均勻,聚合度更好,擬合曲線也更接近直線,表明這兩種方法明顯由于傳統(tǒng)的PSNR和SSIM兩種方法。

結(jié)合擬合曲線和表2性能指標(biāo)對(duì)比GSSIM和本文的VGSSIM模型,相對(duì)于本文所提的VGSSIM模型,GSSIM模型的MAE和RMSE的值略小,代表模型散點(diǎn)沿其擬合曲線的聚合度稍高。

但從擬合曲線來看,本文所提出的VGSSIM模型散點(diǎn)擬合曲線幾乎是一條直線,這點(diǎn)明顯優(yōu)于GSSIM模型。且從擬合曲線與DMOS軸的交點(diǎn)來看,VGSSIM模型計(jì)算出來的客觀值評(píng)價(jià)范圍與主觀評(píng)價(jià)值能更好地對(duì)應(yīng)起來。且結(jié)合表2的性能指標(biāo),PCC和SROCC是回歸后結(jié)果與DMOS值直接一致性指標(biāo),取值越大表示算法性能越好,VGSSIM模型的這兩個(gè)指標(biāo)也優(yōu)于GSSIM模型。而MAE和RMSE兩指標(biāo)僅是對(duì)模型散點(diǎn)沿?cái)M合曲線的聚合程度的考量,其對(duì)性能評(píng)價(jià)的重要程度相對(duì)于擬合曲線是否接近線性及范圍是否能和主觀結(jié)果更一致以及PCC和SROCC四部分而言起到補(bǔ)充和參考的作用。因此,綜合幾種指標(biāo),本文所提算法性能要優(yōu)于GSSIM。

綜合分析可知,文中算法VGSSIM明顯優(yōu)于 PSNR和SSIM兩種傳統(tǒng)算法,并在一定程度上優(yōu)于GSSIM算法,更符合人的主觀感受。

3.2 紅外圖像評(píng)價(jià)實(shí)驗(yàn)

紅外圖像實(shí)驗(yàn)共使用10幅某型640×512元探測器熱像儀采集的包含不同場景信息的紅外圖像作為參考圖像,對(duì)每幅原始圖像(參考圖像)分別采用6種不同方法進(jìn)行不同程度降質(zhì)處理,分別為白噪聲污染,高斯噪聲污染,運(yùn)動(dòng)模糊,加椒鹽噪聲,JPEG壓縮和JPEG2000壓縮,共得到240幅失真圖像。10幅原始圖像如圖3所示。

圖3 紅外圖像評(píng)價(jià)實(shí)驗(yàn)參考圖像

其中一幅圖像及經(jīng)過降質(zhì)處理后的圖像如圖4所示。

圖4 紅外圖像評(píng)價(jià)實(shí)驗(yàn)原始圖像及6種降質(zhì)圖像

對(duì)上述紅外圖像,首先嚴(yán)格按照主觀評(píng)價(jià)的標(biāo)準(zhǔn)對(duì)樣本圖像進(jìn)行主觀評(píng)價(jià),建立圖像數(shù)據(jù)庫,給出失真圖像主觀評(píng)價(jià)值,計(jì)算出主觀差異值。然后用上述四種不同算法計(jì)算出客觀評(píng)價(jià)值,繪制出與主觀評(píng)價(jià)差異值的散點(diǎn)圖,同樣利用式(14)作為擬合函數(shù)進(jìn)行曲線擬合。最后采用上文所提MAE、RMSE、PCC、ROCC四個(gè)指標(biāo)來評(píng)價(jià)各算法的性能如表3所示。

圖5 紅外圖像試驗(yàn)評(píng)價(jià)的模型散點(diǎn)圖

表3 紅外圖像實(shí)驗(yàn)中4種算法性能對(duì)比

由圖5和表3可看出,對(duì)于4個(gè)模型,紅外圖像實(shí)驗(yàn)與LIVE圖像庫實(shí)驗(yàn)的結(jié)果基本一致,并且從性能評(píng)價(jià)指標(biāo)上看,本文提出的VGSSIM模型與傳統(tǒng)的PSNR和SSIM兩種模型相比優(yōu)勢更明顯,由于紅外圖像實(shí)驗(yàn)主觀評(píng)價(jià)人數(shù)及實(shí)驗(yàn)樣本遠(yuǎn)小于LIVE圖像數(shù)據(jù)庫,相比而言本實(shí)驗(yàn)有一定的隨機(jī)性。后續(xù)還需繼續(xù)進(jìn)行大量的實(shí)驗(yàn)進(jìn)行進(jìn)一步驗(yàn)證本文算法的優(yōu)越性。

4 結(jié) 論

本文提出了一種將對(duì)比敏感度函數(shù)與梯度結(jié)構(gòu)相似度模型結(jié)合的圖像質(zhì)量評(píng)價(jià)方法。該方法以分塊SSIM方法為基礎(chǔ),計(jì)算過程中將用來計(jì)算對(duì)比度和結(jié)構(gòu)部分的原圖像用梯度圖像來代替,最后利用對(duì)比敏感度函數(shù)確定圖像塊的權(quán)值加權(quán)得到最終評(píng)價(jià)值。實(shí)驗(yàn)結(jié)果表明,新模型的性能明顯優(yōu)于PSNR、SSIM兩個(gè)傳統(tǒng)模型,并且在一定程度上改善了GSSIM模型,能夠更好地與人的主觀感受相符合。對(duì)紅外圖像而言,實(shí)際的失真類型是多種多樣的,且可能沒有原始圖像做參考。研究適應(yīng)更多類型失真的半?yún)⒖蓟驘o參考紅外圖像質(zhì)量評(píng)價(jià)模型,會(huì)成為進(jìn)一步的研究方向。

參考文獻(xiàn):

[1] WANG Zhou,BOVIK A C.Modern image quality assessment [M].New York:Morgan and Claypool Publishing Company,2006:20-30.

[2] WANG Zhou,BOVIK A C,SHEIKH H R,et al. Image quality assessment:from error visibility to structural similarity [J]. IEEE Trans on Image Processing,2004,13(4):600-612.

[3] AVCIBAS I,SANBUR B,SAYOOD K.Statistical evaluation ofimage quality measures [J].Journal of Electronic Imaging,2002,11(2):206-213.

[4] WANG Zhou,BOVIK A C.A universal image quality index [J].IEEE Trans Signal Processing,2002,9(3):91-94.

[5] ZHU Hanjiang.Research and Implementation of the Image Quality Assessment Method[D].Xi′an:XiDian University,2014.(in Chinese)

朱晗江.圖像質(zhì)量評(píng)價(jià)方法的研究與實(shí)現(xiàn)[D].西安:西安電子科技大學(xué),2014.

[6] MA Xudong, YAN Li,CAO Wei,et al.A new image quality assessment model based on the gradient information[J]. Geomatics and Information Science of Wuhan University,2014,39(12):1412-1418.(in Chinese)

馬旭東,閆利,曹緯,等.一種新的利用梯度信息的圖像質(zhì)量評(píng)價(jià)[J].武漢大學(xué)學(xué)報(bào):信息科學(xué)版,2014,39(12):1412-1418.

[7] CHEN Guanhao,YANG Chunling,XIE Shengli.Gradientbasedstructure similarity for image quality assessment[C]//Proc of International Conference on Image Processing,2006:2929-2932.

[8] XIE Lizhi, LI Yuhui,LI Bo.An Image quality assessment method based on visual features weighting[J].Computer Technology and Development,2016,26(8):177-181.(in Chinese)

謝立志,李玉惠,李勃.一種基于視覺特性加權(quán)的圖像質(zhì)量評(píng)價(jià)方法[J].計(jì)算機(jī)技術(shù)與發(fā)展,2016,26(8):177-181.

[9] YAO Juncai. Image quality assessment method based on contrast sensitivity characteristics of human vision system [J].Chinese Journal of liquid Crystals and Displays,2011,26(3):390-396.(in Chinese)

姚軍財(cái).基于人眼對(duì)比度敏感視覺特性的圖像質(zhì)量評(píng)價(jià)方法[J].液晶與顯示,2011,26(3):390-396.

[10] HU Xuming, ZHANG Dengfu,NAN dong,et al. Method of image visual quality evaluation based on human visual characteristics[J]. Journal of Computer Applications,2012,32(7):1882-1884.(in Chinese)

胡許明,張登福,南棟,等.基于人眼視覺特性的圖像視覺質(zhì)量評(píng)價(jià)方法[J].計(jì)算機(jī)應(yīng)用,2012,32(7):1882-1884.

[11] Rohaly A M, Corriveau P J,Libert J M,et al.Video quality experts group:current results and future directions[C]. SPIE:Visual Communications and Image Processing,Perth,Australia,2000.

[12] Sheikh H R,Sabir M F,Bovik A C. A statistical evaluation of recent full reference image quality assessment algorithms[J]. Image Processing,IEEE Transactions on,2006,15(11):3440-3451.