基于SSIM_NCCDFT的超分辨率復原評價方法研究

張振東，陳健，2，3，*，王偉國，劉廷霞

基于SSIM_NCCDFT的超分辨率復原評價方法研究

張振東1，陳健1，2，3，*，王偉國1，劉廷霞1

(1．中國科學院長春光學精密機械與物理研究所，吉林長春130033; 2．中國科學院大學，北京100049; 3．吉林大學通信工程學院，吉林長春130012)

傳統(tǒng)的圖像質量評價方法很多，但是并非針對超分辨率復原算法的特定評價指標。一種超分辨率復原算法復原性能的好壞，至今沒有一個統(tǒng)一的評價標準，這使得超分辨率復原算法的發(fā)展受到很大限制。針對傳統(tǒng)的超分辨率復原評價體系只關注圖像某一方面統(tǒng)計特性的問題，提出一種基于SSIM_NCCDFT的超分辨率復原評價方法。該評價方法結合了空間域的灰度均值、對比度以及頻域自相關，能夠同時評價超分辨率復原結果在空間域的復原效果和對頻率域信息的復原精度。實驗結果表明:SSIM_NCCDFT可以準確反映圖像退化的程度。相對于PSNR，SSIM_NCCDFT的優(yōu)勢是其同時反映了頻域和空域復原的精度，評價更加全面。本文提出的基于SSIM_NCCDFT的超分辨率復原評價方法同時考慮了超分辨率復原中頻率域和空間域的復原性能，評價結果較為全面，能夠有效地評價復原圖像中的噪聲和模糊等現象，對超分辨率復原方法的評價具有一定的指導意義。

結構相似度;歸一化傅立葉互相關系數;峰值信噪比;超分辨率復原;圖像評價

1 引言

數字圖像的超分辨率復原發(fā)展至今已經半個多世紀，學者們提出了各種各樣的復原算法，廣泛用于計算機視覺、遙感成像、醫(yī)學圖像分析和數字電視信號增強等領域，在軍事和民用方面均起到了巨大的推動作用。但是，一種超分辨率復原算法性能是好是壞，至今仍然沒有一個統(tǒng)一的評價標準。這使得超分辨率復原算法的應用受到很大限制。因此，研究超分辨率復原圖像質量評價體系，具有十分重要的現實意義。

一般而言，所有的圖像質量評價方法均可以分為主觀評價方法和客觀評價方法。主觀評價方法是指憑借人眼的主觀感受，去評價圖像質量的好壞，主觀評價方法與評價人的個人認知、喜好和背景等關系密切;客觀評價方法是指根據不同的模型，從公式計算出量化指標，用以評價圖像質量的好壞?？陀^評價方法不以人的意志為轉移，但是往往著眼于圖像的某一方面性質，具有一定的片面性［1-4］。

圖像的超分辨率復原是通過低分辨率圖像，復原出超過成像系統(tǒng)衍射極限之上的頻譜信息的過程，因此復原圖像的頻譜信息是否與原始圖像相似，是評價超分辨率復原算法是否有效的一個重要指標。同時，在圖像的空間域上，也要求復原的高分辨率圖像與原始高分辨率圖像在對比度和灰度均值等指標上相似，所提指標中也需要包含這些空間域信息?；谝陨戏治?，本文提出基于SSIM_NCCDFT的超分辨率復原評價方法［5-9］。

2 基于SSIM_NCCDFT的超分辨率復原評價方法

客觀評價指標是指可以定量計算的，不以人的意志為轉移的圖像質量評價指標。一直以來，人們都在尋找可以準確描述圖像逼真度和可信度的定量指標，但目前的客觀描述指標均無法完全達到這樣的效果。根據有無參考圖像，客觀評價指標可以分為全參考評價、半參考評價和無參考評價三類方法。

全參考評價是指原始參考圖像完全已知，通過計算原始參考圖像和復原圖像之間的誤差，從而衡量復原算法的好壞。典型的全參考評價方法有絕對均值誤差(MAE)、均方誤差(MSE)、峰值信噪比(PSNR)、相關系數(CC)和高頻分量相關系數(HFCC)［10-11］。

半參考評價不需要參考圖像所有的像素信息，而只需要其部分統(tǒng)計信息，因此稱為半參考評價。典型的半參考評價方法有結構相似度(SSIM)和交叉熵(CE)。

若參考圖像的任何信息都是未知的，則只能使用復原圖像自身的信息進行評價。無參考評價的實質就是計算出待評價圖像自身重要的屬性。典型的無參考評價方法有空間頻率、標準差和信息熵［12-14］。

2．1結構相似度(SSIM)

結構相似度(SSIM)考慮的是兩幅圖像之間的亮度、對比度和相關性之間的相似性［15-16］，用到了兩幅圖像的均值和方差，計算公式如式(1)所示。

公式(1)中:l(x，y)、c(x，y)和s(x，y)的定義分別如式(2)、式(3)和式(4)所示。

公式(2)、(3)和(4)中，C1、C2、C3稱為結構常數。為了簡化運算，通常取α=β=γ=1，C3=則公式(1)變?yōu)槿缡?5)所示。

式中:μx和μy表示兩幅圖像的均值表示兩幅圖像的方差，SSIM越大，表示兩幅圖像越相似。SSIM指標的取值區(qū)間為(0，1)。

2．2歸一化傅立葉變換互相關系數

要獲得圖像的頻域信息，需要進行傅立葉變換。將離散傅立葉變換推廣到二維空間，對于尺寸為N×N的圖像f(x，y)，其傅立葉變換如式(6)所示。

傅立葉變換的頻譜示意圖如圖1所示。

圖1 傅立葉變換的頻譜示意圖Fig．1Spectrumschematicdiagramofthe Fourier transform

二維圖像的傅立葉變換描述的是圖像在互相垂直的兩個方向上的變化程度。在圖中的四個角(0，0)、(0，N－1)、(N－1，0)、(N－1，N－1)附近集是高頻分量。因為圖像中大部分能量集中在低頻部分，所以傅立葉變換圖表現為四周亮而中間暗的分布，這不利于對其進行分析。為此，利用傅立葉變換的周期性和共軛對稱性對其進行變換，將低頻分量集中到頻譜圖的中心，而將高頻分量分散至頻譜圖的四周。

Lena圖像的分辨率為512×512，測試Lena圖像的傅立葉變換如圖2所示。

圖2 測試Lena圖像的傅立葉變換Fig．2Fourier transform of the testing Lena image

Barbara圖像的分辨率為512×512，測試Barbara圖像的傅立葉變換如圖3所示。

圖3測試Barbara圖像的傅立葉變換Fig．3Fourier transform of the testing Barbara image

圖2 和圖3表示的是兩幅經典的測試圖像Lena和Barbara及其傅立葉變換，可以看到Lena的傅立葉變換能量基本集中在低頻部分，四個角上的高頻部分幾乎沒有信號。而Barbara雖然大部分能量也是集中在中心的低頻區(qū)域，但是離中心較遠的高頻區(qū)域也有較強的信號。對應到圖像空間域上，表現為Barbara的邊緣細節(jié)較多，例如衣服、桌椅上的紋理等，而Lena的突變邊緣較少，圖像比較均勻。因此，傅立葉可以很好描述圖像包含的信息。

對兩幅圖像分別加入方差為0．01的高斯白噪聲，并對其進行傅立葉變換。

Lena圖像加入高斯噪聲之后的分辨率為512 ×512，測試Lena圖像加入高斯噪聲之后的傅立葉變換如圖4所示。

圖4 測試Lena圖像加入高斯噪聲之后的傅立葉變換Fig．4Fourier transform of the testing Lena image after adding Gaussian noise

Barbara圖像加入高斯噪聲之后的分辨率為512×512，測試Barbara圖像加入高斯噪聲之后的傅立葉變換如圖5所示。

圖5測試Barbara圖像加入高斯噪聲之后的傅立葉變換Fig．5Fourier transform of the testing Barbara image after adding Gaussian noise

圖4 和圖5表明，高斯噪聲經過傅立葉變換之后，在變換圖的各個位置均勻分布，這是因為高斯噪聲在譜域上是一個定值，帶寬是無限的。

對兩幅圖像分別加入方向為45°，長度為20的運動模糊，并對其進行傅里葉變換。

Lena圖像加入運動模糊之后的分辨率為512 ×512，測試Lena圖像加入運動模糊之后的傅立葉變換如圖6所示。

圖6 測試Lena圖像加入運動模糊之后的傅立葉變換Fig．6Fourier transform of the testing Lena image after adding motion blur

Barbara圖像加入運動模糊之后的分辨率為512×512，測試Barbara圖像加入運動模糊之后的傅立葉變換如圖7所示。

圖7測試Barbara圖像加入運動模糊之后的傅立葉變換Fig．7Fourier transform of the testing Barbara image after adding motion blur

圖6 和圖7表明運動模糊會在圖像的傅立葉變換低頻分量對應角度加入干擾信息。

由以上分析可知，圖像的傅立葉變換可以表征圖像原始信息、噪聲信息及運動模糊信息，是一種有效描述圖像信號的工具。

在超分辨率圖像復原中，假設原始高分辨率圖像為g(x，y)，尺寸為N×N，其傅立葉變換為G(u，v)。復原后得到的高分辨率圖像是對g(x，y)的估計，記為g^(x，y)，其傅立葉變換為g^(u，v)。復原效果越好，則g^(x，y)與g(x，y)越接近，那么必然g^(u，v)也越接近G(u，v)。為此本文提出歸一化傅立葉互相關系數(NormalizedCross Correlation of DFT，NCCDFT)的概念，使用傅立葉變換的相似程度來衡量超分辨率復原效果的好壞如式(7)所示。

公式(7)中:G(u，v)和G^(u，v)分別是g(x，y)和g^(x，y)的傅立葉變換，NCCDFT∈(0，1］。NCCDFT越大，表示傅立葉變換越相似，超分辨率復原的質量也就越好。

2．3結構相似與頻域相關指數(SSIM_NCCDFT)

2．2節(jié)中提出的NCCDFT是對復原圖像在頻域的質量進行評價。同時，如果復原的質量足夠好，復原得到的高分辨率圖像g^(x，y)與原始高分辨率圖像g(x，y)在空間域也應該足夠相似。評價圖像在空間域相似的方法有很多，其中SSIM在亮度、對比度和相關性三個方面衡量圖像特性，比較全面和直觀。因此，選用SSIM指標作為超分辨率復原空間域相似的衡量指標如式(8)所示。

公式(8)中:μ和σ分別表示圖像的均值和方差。

為了將空間域和頻率域指標相結合，本文提出基于SSIM_NCCDFT的超分辨率復原評價方法如式(9)所示。

公式(9)中:α、β分別稱為空間域權重因子和頻率域權重因子，用以調節(jié)空間域和頻率域相似度在評價指標中所占的比重。一般而言，若無特殊需求，可取α=β=0．5。

基于SSIM_NCCDFT的超分辨率復原評價方法既在空間域衡量了復原后的圖像和原始高分辨率圖像在亮度和對比度等統(tǒng)計特性上的相似程度，同時又考慮了復原圖像對于信號在頻率域部分的恢復程度，全面地評價了超分辨率復原圖像的效果，對于超分辨率復原圖像質量評價體系具有一定的指導意義［17］。

3 基于SSIM_NCCDFT的超分辨率復原評價方法的實驗評價

為了驗證基于SSIM_NCCDFT的超分辨率復原評價方法的有效性，主要是衡量該指標對于圖像噪聲和模糊的區(qū)分能力。仍然選用Lena圖像和Barbara圖像，對其加入不同的噪聲參數和模糊參數。

Lena圖像加入高斯噪聲之后的分辨率為512 ×512，測Lena圖像加入高斯噪聲之后的效果如圖8所示。

圖8 測試Lena圖像加入高斯噪聲之后的效果Fig．8Effect of the testing Lena image after adding Gaussian noise

Lena圖像加入運動模糊之后的分辨率為512× 512，測試Lena圖像加入運動模糊之后的效果如圖9所示。

Barbara圖像加入高斯噪聲之后的分辨率為512× 512，測試Barbara圖像加入高斯噪聲之后的效果如圖10所示。

Barbara圖像加入運動模糊之后的分辨率為512×512，測試Barbara圖像加入運動模糊之后的效果如圖11所示。

分別計算不同噪聲圖像與原始圖像的PSNR指標，計算結果如表1所示。

圖10 測試Barbara圖像加入高斯噪聲之后的效果Fig．10Effect of the testing Barbara image after adding Gaussian noise

表1 PSNR評價噪聲圖像Tab．1PSNR evaluating noise image

分別計算不同模糊圖像與原始圖像的PSNR指標，計算結果如表2所示。

圖11 測試Barbara圖像加入運動模糊之后的效果Fig．11Effect of the testing Barbara image after adding motion blur

表2 PSNR評價模糊圖像Tab．2PSNR evaluating blur image

表1和表2表明，隨著噪聲強度的增加或者模糊程度的增加，PSNR是遞減的，也就是說PSNR可以很好地反映圖片的視覺效果。當然在某些特殊情況下，噪聲或者模糊參數小時的PSNR反而比噪聲或者模糊參數大時更小，這是因為PSNR是一個統(tǒng)計值，在整體上計算參考圖片和復原圖片之間的差別，這種差別無法在局部得到體現。人眼視覺效果在局部受到許多因素的干擾:人眼對亮度的差異比顏色的差異更加敏感;人眼在圖片平滑的地方發(fā)現邊緣的能力更強等。這些原因都可能導致PSNR與主觀評價不一致。

分別計算不同噪聲圖像與原始圖像的SSIM_ NCCDFT指標，計算結果如表3所示。

表3 SSIM_NCCDFT評價噪聲圖像Tab．3SSIM_NCCDFT evaluating noise image

分別計算不同模糊圖像與原始圖像的SSIM_NCCDFT指標，計算結果如表4所示。

表4 SSIM_NCCDFT評價模糊圖像Tab．4SSIM_NCCDFT evaluating blur image

表3和表4表明隨著噪聲參數的變大和模糊步長的加大，圖像的質量下降，SSIM_NCCDFT值越來越小，這種趨勢與表1和表2列出的PSNR相同。這說明SSIM_NCCDFT可以準確反映圖像退化的程度?？梢灶A見，在超分辨率復原中，如果復原圖像的質量較差(例如包含噪聲較多或者模糊嚴重)，則其SSIM_NCCDFT值也越小。因此，完全可以將SSIM_NCCDFT評價指標應用于超分辨率復原的算法評價中。相對于PSNR，SSIM_ NCCDFT的優(yōu)勢是其同時反映了頻域和空域復原的精度，評價更加全面。

表4表明，在相同的模糊步長下，Barbara的SSIM_NCCDFT比Lena的SSIM_NCCDFT下降得更快，這是因為Barbara包含的細邊緣較為豐富，在模糊之后造成的降質更加嚴重。

4 結論

針對傳統(tǒng)的超分辨率復原評價體系只關注圖像某一方面統(tǒng)計特性的缺點，提出了基于SSIM_ NCCDFT的超分辨率復原評價方法。該評價方法結合了空間域的灰度均值、對比度以及頻率域自相關，能夠同時評價超分辨率復原結果在空間域的復原效果和對頻率域信息的復原精度，實驗表明該評價方法能夠很好地評價超分辨率復原的結果，對超分辨率評價方法具有一定的指導意義。

5 展望

本文建立了超分辨率復原紅外圖像質量評價體系，通過實驗驗證了此評價體系的有效性。但是此評價體系還存在一定的局限性，例如在空間域，參考SSIM系數，僅僅利用了灰度和對比度信息，對于圖像的梯度、紋理等特征并沒有過多的考慮。在今后的研究中，還要考慮圖像性質的各個方面，進一步建立更高效的評價體系，同時將此評價體系推廣到超分辨率圖像復原的其他領域。有了高效統(tǒng)一的評價體系，可以對各種超分辨率復原算法的性能進行有效的評價，也將為后續(xù)超分辨率圖像復原的研究提供理論依據。

［1］劉貴喜，陳文錦，楊萬海．融合參數對對比度塔形分解圖像融合方法性能的影響研究［J］．電路與系統(tǒng)學報，2006，2 (11):40-46．

Liu G X，Chen W J，Yang W H．Study on the influence of fusion parameters on the performance of contrast pyramid decomposition based image fusion scheme［J］．Journal of Circuits and Systems，2006，2(11):40-46．(in Chinese)

［2］周景超，戴汝為，肖柏華．圖像質量評價研究綜述［J］．計算機科學，2008，35(7):1-8．

Zhou J C，Dai R W，Xiao B H．Overview of image quality assessment research［J］．Computer Science，2008，35(7):1-8．(in Chinese)

［3］許廷發(fā)，李俊濤，張一舟，等．真彩色傳遞雙波段圖像融合［J］．中國光學，2014，7(3):402-410．

Xu T F，Li J T，Zhang Y Z，et al．True color transfer for dual band image fusion［J］．Chinese Optics，2014，7(3):402-410．(in Chinese)

［4］劉書琴，毋立芳，宮玉，等．圖像質量評價綜述［J］．中國科技論文在線，2011，6(7):501-523．

Liu S Q，Wu L F，Gong Y，et al．Overview of image quality assessment［J］．Sciencepaper Online，2011，6(7):501-523．(in Chinese)

［5］張穎穎，張帥，張萍，等．融合對比度和分布性的圖像顯著性區(qū)域檢測［J］．光學精密工程，2014，22(4):1012-1019

Zhang Y Y，Zhang S，Zhang P，et al．Detection of salient maps by fusion of contrast and distribution［J］．Optics and Precision Engineering，2014，22(4):1012-1019．(in Chinese)

［6］龔衛(wèi)國，潘飛宇，李進明．用雙層重建法實現單幅圖像的超分辨率重建［J］．光學精密工程，2014，22(3):720-729．

Gong W G，Pan F Y，Li J M．Single-image super-resolution reconstruction via double layer reconstructing［J］．Optics and Precision Engineering，2014，22(3):720-729．(in Chinese)

［7］褚江，陳強，楊曦晨．全參考圖像質量評價綜述［J］．計算機應用研究，2014，31(1):13-22．

Chu J，Chen Q，Yang X C．Review on full reference image quality assessment algorithms［J］．Application Research of Computers，2014，31(1):13-22．(in Chinese)

［8］王宇慶，王索建．紅外與可見光融合圖像的質量評價［J］．中國光學，2014，7(3):396-401

Wang Y Q，Wang S J．Quality assessment method of IR and visible fusion image［J］．Chinese Optics，2014，7(3):396-401．．(in Chinese)

［9］林海祥，張忻．無參考圖像質量評價綜述［J］．電腦知識與技術，2009，28(5):8043-8046

Lin H X，Zhang X．A survey of no reference image quality assessment［J］．Computer Knowledge and Technology，2009，28 (5):8043-8046．(in Chinese)

［10］樓斌，沈海斌，趙武鋒，等．基于自然圖像統(tǒng)計的無參考圖像質量評價［J］．浙江大學學報，2010，44(2):248-252

Lou B，Shen H B，Zhao W F，et al．No reference image quality assessment based on statistical model of natural image［J］．Journal of Zhejiang University，2010，44(2):248-252．(in Chinese)

［11］陳愷，陳芳，戴敏，等．基于螢火蟲算法的二維熵多閾值快速圖像分割［J］．光學精密工程，2014，22(2):517-523．

Chen K，Chen F，Dai M，et al．Fast image segmentation with multi-level threshold of two-dimensional entropy based on firefly algorithm［J］．Optics and Precision Engineering，2014，22(2):517-523．(in Chinese)

［12］朱麗娟，趙青蘭．基于結構相似性的全參考圖像質量評價［J］．信息通信，2013，123(1):1-2．

Zhu L J，Zhao Q L．A full reference image quality assessment algorithm based on SSIM［J］．Information and communications，2013，123(1):1-2．(in Chinese)

［13］朱里，李喬亮，張婷，等．基于結構相似性的圖像質量評價方法［J］．光電工程，2007，34(7):108-113．

Zhu L，Li Q L，Zhang T，et al．Metric of image quality based on structural similarity［J］．Opto-Electronic Engineering，2007，34(7):108-113．(in Chinese)

［14］彭真明，景亮，何艷敏，等．基于多尺度稀疏字典的多聚焦圖像超分辨率融合［J］．光學精密工程，2014，22(1): 169-176．

Peng Z L，Jing L，He Y M，et al．Super resolution fusion of multi-focus image based on multi-scale sparse dictionary［J］．Optics and Precision Engineering，2014，22(1):169-176．(in Chinese)

［15］楊桄，童濤，陸松巖，等．基于多特征的紅外與可見光圖像融合［J］．光學精密工程，2014，22(2):489-496．

Yang G，Tong T，Lu S Y，et al．Fusion of infrared and visible images based on multi-features［J］．Optics and Precision Engineering，2014，22(2):489-496．(in Chinese)

［16］李航，路羊，崔慧娟，等．基于頻域的結構相似度的圖像質量評價方法［J］．清華大學學報，2009，49(4):559-562．

Li H，Lu Y，Cui H J，et al．Image quality assessment based on frequency domain of structural similarities［J］．J Tsinghua Univ，2009，49(4):559-562．(in Chinese)

［17］陳?。赑OCS的紅外弱小目標超分辨率復原算法研究［D］．長春:中國科學院大學，2014．

Chen J．Research on infrared dim-small target super-resolution restoration arithmetic based on POCS［D］．Changchun:U-niversity of Chinese Academy of Sciences，2014．(in Chinese)

Evaluation method of super-resolution restoration based on SSIM_NCCDFT

ZHANG zhen-dong1，CHEN Jian1，2，3，*，WANG Wei-guo1，LIU Ting-xia1
(1．Changchun Institute of Optics，Fine Mechanics and Physics，Chinese Academy of Sciences，Changchun 130033，China) 2．University of Chinese Academy of Sciences，Beijing 100049，China; 3．College of Communication Engineering，Jilin University，Changchun 130012，China)

There were many traditional methods of image quality assessment．But they were not specific evaluation method for super-resolution restoration．So far there is no uniform evaluation criteria for super-resolution restoration，which largely restricted the development of super-resolution restoration algorithm．For the disadvantage of the traditional super-resolution restoration evaluation system only concerning about a particular aspect of the statistical properties of the image，this paper proposed the super-resolution restoration evaluation method based on SSIM_NCCDFT，which combined the gray value and contrast of the spatial domain and the autocorre-lation of frequency domain．Therefore，the proposed evaluation method can evaluate the results of the super-resolution restoration in both spatial domain and frequency domain．Experimental results showed that SSIM_NCCDFT can accurately reflect the degree of image degradation．Relative to PSNR，SSIM_NCCDFT reflected both frequency and spatial accuracy．SSIM_NCCDFT was a more comprehensive evaluation．The evaluation method of super-restoration method based on SSIM_NCCDFT proposed in this paper can evaluate the results of the superresolution restoration in both spatial domain and frequency domain．It got more comprehensive evaluation results．It can evaluate the image noise and blur．Furthermore this evaluation method has some significance for super-resolution restoration evaluation．

SSIM;NCCDFT;PSNR;super-resolution restoration;image evaluation

TP751．1

A

10．3788/YJYXS20153004．0713

陳健(1981－)，男，吉林長春人，博士，助理研究員，2014年畢業(yè)于中國科學院大學獲得博士學位，主要高精度快速數字伺服系統(tǒng)研究。E-mail:chenjian4500@163．com

1007-2780(2015)04-0713-09

2014-09-18;

2014-10-23．

吉林省重大科技攻關專項(No．20126015)

*通信聯(lián)系人，E-mail:chenjian4500@163．com