基于頻域的SSIM立體圖像評價(jià)方法

楊　蕾， 牛林林， 宋曉煒， 劉清麗

(中原工學(xué)院, 鄭州 450007)

基于頻域的SSIM立體圖像評價(jià)方法

楊蕾， 牛林林， 宋曉煒， 劉清麗

(中原工學(xué)院, 鄭州 450007)

摘要：針對空域SSIM(Structural Similarity)在立體圖像評價(jià)中存在的人類視覺系統(tǒng)感知敏感性問題，提出了基于頻域的SSIM立體圖像質(zhì)量評價(jià)算法。實(shí)驗(yàn)結(jié)果表明，相比其他圖像質(zhì)量評價(jià)方法，該算法更符合人類視覺系統(tǒng)的特性。

關(guān)鍵詞：圖像質(zhì)量評價(jià)； 立體圖像； 結(jié)構(gòu)相似度

平面圖像質(zhì)量評價(jià)有客觀評價(jià)方法與主觀評價(jià)方法兩種。主觀評價(jià)方法是最準(zhǔn)確的方法，但是存在著評價(jià)步驟復(fù)雜、實(shí)時(shí)性不好等問題，不能在圖像處理系統(tǒng)中直接應(yīng)用。與主觀評價(jià)方法不同，客觀評價(jià)方法通過建立一定的數(shù)學(xué)模型，計(jì)算相應(yīng)的參數(shù)或量化指標(biāo)來判斷平面圖像的質(zhì)量。目前使用最多的二維圖像質(zhì)量客觀評價(jià)方法是均方誤差(MSE)和峰值信噪比(PSNR)兩種方法。這兩種方法雖然計(jì)算簡單，但有時(shí)和人眼的視覺感知不一致，造成客觀評價(jià)結(jié)果不符合主觀評價(jià)。近年來出現(xiàn)了許多結(jié)合人類視覺系統(tǒng)的二維圖像評價(jià)模型。其中，HVS對于圖像的低頻分量敏感度比較高，對比敏感度函數(shù)(Contrast Sensitivity Function,CSF)可以用來模擬HVS的評價(jià)行為[1-6]。

與二維圖像不同，立體圖像是由左右兩個(gè)視點(diǎn)的圖像組成的。在對立體圖像質(zhì)量進(jìn)行客觀評價(jià)時(shí)，若使用MSE和PSNR方法不能進(jìn)行正確的評價(jià)。近些年，Wang Z等認(rèn)為：人眼可以高度自適應(yīng)地提取出圖像場景中的結(jié)構(gòu)信息，于是提出了基于結(jié)構(gòu)相似度(SSIM)的評價(jià)模型。他們的實(shí)驗(yàn)結(jié)果表明，這個(gè)方法的性能比PSNR好[7-8]。此后，其他學(xué)者提出了很多對SSIM的改進(jìn)算法，例如：基于梯度結(jié)構(gòu)和邊緣結(jié)構(gòu)的相似度[9]、基于頻域的結(jié)構(gòu)相似度[10-11]、多尺度的結(jié)構(gòu)相似度[12]及將SSIM和其他的圖像質(zhì)量評價(jià)方法加權(quán)結(jié)合[1]等。這些改進(jìn)方法在嚴(yán)重模糊圖像的評價(jià)中取得了比較好的結(jié)果[11]。

本文通過研究二維圖像評價(jià)中的SSIM方法，提出基于頻域的結(jié)構(gòu)相似度的立體圖像質(zhì)量評價(jià)方法。實(shí)驗(yàn)結(jié)果表明，頻域結(jié)構(gòu)相似度評價(jià)方法比PSNR方法更加符合人類的視覺特性。

1空域結(jié)構(gòu)相似度

空域結(jié)構(gòu)相似度算法用于比較原始圖像和失真圖像的亮度分量、結(jié)構(gòu)分量和對比度分量。

(1)

(2)

(3)

式中：x表示原始圖像塊；y表示和原始圖像相對應(yīng)的失真圖像塊；μx和μy是x與y之間的均值；σx、σy代表原始圖像塊和失真圖像塊的方差；σxy代表協(xié)方差；C1、C2和C3是為防止分母等于0而設(shè)置的常數(shù)[7,13]。

將原始圖像X和失真圖像Y進(jìn)行分塊處理，然后計(jì)算原始圖像和失真圖像相對應(yīng)分塊的SSIM(xi,yi)：

SSIM(xi,yi)=[l(xi,yi)]α·[c(xi,yi)]β·[s(xi,yi)]γ

(4)

其中，α>0、β>0和γ>0用于調(diào)整l(x,y)、c(x,y)和s(x,y)這3個(gè)成分的相對比重。

整幅圖像的平均結(jié)構(gòu)相似度(Mean Structural Similarity,MSSIM)是所有圖像塊SSIM的平均值：

(5)

式中,M表示分塊數(shù)值。

空域結(jié)構(gòu)相似度明確地反映了圖像亮度、對比度和結(jié)構(gòu)相似度的變化。因此，它對JPEG壓縮、濾波等失真問題，可以很好地進(jìn)行評價(jià)。

2立體圖像質(zhì)量評價(jià)

2.1CSF頻率響應(yīng)

HVS的對比敏感度特性表明，圖像的失真是否可以被人察覺與它的空間頻率的幅度和方向是有關(guān)系的[14]。從公式(1)-(5)中可以看出，SSIM并沒涉及人眼失真的視覺可見性和空間頻率之間的關(guān)系。實(shí)驗(yàn)證明，CSF函數(shù)可以表示人眼感知對于空間頻率的變化[15]。

對比敏感度是指當(dāng)信號(圖像的某種失真)在人眼可以察覺的范圍內(nèi)時(shí)，這個(gè)信號的對比度的倒數(shù)[16]。信號的空間頻率和對比敏感度的關(guān)系可用CSF函數(shù)描述。CSF的空間頻率響應(yīng)為：

(6)

(7)

Sa(u,v)=S(ω)O(ω,θ)

(8)

2.2基于頻域的SSIM立體圖像評價(jià)方法

人眼對頻率的信息敏感程度是不相同的，對可以反映圖像邊緣輪廓的頻率分量的變化比較敏感。圖像的頻域信息能夠有效地反映出圖像的紋理特征，并可以通過人眼對不同頻率的敏感程度進(jìn)行不同處理。因此，本文以頻域信息作為圖像的主要結(jié)構(gòu)信息，提出基于頻域的結(jié)構(gòu)相似度的立體圖像質(zhì)量評價(jià)方法。

本文針對立體圖像的左右圖像分別進(jìn)行了質(zhì)量評價(jià)。其算法如圖1所示。考慮到人眼對頻率的敏感性，采用經(jīng)離散余弦變換后的交流系數(shù)進(jìn)行結(jié)構(gòu)相似度計(jì)算。

圖1　圖像質(zhì)量評價(jià)框圖

將左右圖像進(jìn)行8×8分塊，得到圖像塊的頻域信息：

(9)

其中：0≤u≤7,0≤v≤7。

(10)

在式(9)中，f(x,y)為原始圖像塊，F(xiàn)(u,v)為變換后的頻域系數(shù)，圖像塊的大小為8×8。變換后直流系數(shù)FDC(Direct Coefficient,DC)和交流系數(shù)FAC(Alternating Coefficient,AC)為：

(11)

其中：0≤u≤7,0≤v≤7,u·v≠0

對交流系數(shù)進(jìn)行加權(quán)后可以得到圖像塊的頻域相似度函數(shù)：

(12)

其中，σFx和σFy分別為x和y的頻域加權(quán)標(biāo)準(zhǔn)差。

(13)

(14)

(15)

其中：μFx、μFy分別為x、y的頻域加權(quán)平均值；σFxy為x和y的頻域加權(quán)協(xié)方差；wu，v是對頻率FAC(u,v)的感知加權(quán)系數(shù)，是根據(jù)JPEG壓縮標(biāo)準(zhǔn)[17]中DCT系數(shù)的量化參數(shù)計(jì)算，并歸一化后得到的。

由此得到基于頻域的結(jié)構(gòu)相似度：

DCTFSSIM(xi,yi)=[l(xi,yi)]α·[c(xi,yi)]β·[sF(xi,yi)]γ

(16)

式中，α>0、β>0和γ>0是控制三部分權(quán)重的參數(shù)。為簡化計(jì)算，令它們都等于1。對各圖像塊的DCTFSSIM求取平均值就可得到整幅圖像的頻域結(jié)構(gòu)相似度：

(17)

在計(jì)算頻域結(jié)構(gòu)相似度后，可利用HVS的對比敏感度性質(zhì)進(jìn)行CSF濾波處理。

3實(shí)驗(yàn)結(jié)果及分析

本文針對中值濾波、模糊失真、JPEG壓縮3種情況進(jìn)行了實(shí)驗(yàn)。圖2為實(shí)驗(yàn)室flea2拍攝的路口車輛圖片。將每種情況分為左右圖像，分別進(jìn)行MSSIM實(shí)驗(yàn)，經(jīng)空域、頻域和CSF濾波后，SSIM值越大表示圖像質(zhì)量越好。

圖2表示用于實(shí)驗(yàn)的左右視點(diǎn)的原始圖像，圖3-圖5是各種情況下的實(shí)驗(yàn)結(jié)果。由圖3可知，頻域得到SSIM的值好于空域得到的值，CSF濾波后的SSIM值好于濾波前。由圖4可知，以模糊次數(shù)為變量得到的左右圖像結(jié)果都有改善。由圖5可知，以JPEG壓縮率為變量，濾波后得到的SSIM值優(yōu)于空域和頻域的SSIM值。隨著壓縮率的增大，濾波后的SSIM值沒有大的變化。

(a)左圖像

(b)右圖像圖2　 原始的左右視點(diǎn)圖像

(a)左視點(diǎn)

(b)右視點(diǎn)圖3　中值濾波情況下左右視點(diǎn)的SSIM變化圖

(a)左視點(diǎn)

(b)右視點(diǎn)圖4　模糊失真情況下左右視點(diǎn)的SSIM變化圖

(a)左視點(diǎn)

(b)右視點(diǎn)圖5　JPEG壓縮情況下左右視點(diǎn)的SSIM變化圖

4結(jié)語

本文針對空域SSIM算法在立體圖像評價(jià)中的不足，選用了頻域和CSF濾波的方法。CSF濾波考慮了空間頻率的幅度和方向，更符合HVS系統(tǒng)的感知特性。同時(shí)，以人眼頻域信息作為結(jié)構(gòu)信息，可以較好地對分別經(jīng)過中值濾波、模糊和JPEG圖像壓縮的圖像質(zhì)量進(jìn)行評估。實(shí)驗(yàn)結(jié)果表明，頻域和CSF濾波算法優(yōu)于空域SSIM算法，能較好地評價(jià)立體圖像質(zhì)量。

參考文獻(xiàn):

[1]佟雨兵,張其善,祁云平.基于PSNR與SSIM聯(lián)合的圖像質(zhì)量評價(jià)模型[J].中國圖象圖形學(xué)報(bào),2006,11(12): 1758-1763.

[2]馬麗紅,龔紫平.頻率與方向敏感SSIM的圖像質(zhì)量評價(jià)方法[J].計(jì)算機(jī)工程, 2012, 38(5): 19-24.

[3]Bradley A P. A Wavelet Visible Difference Predictor[J]. IEEE Transactions on Image Processing, 1999, 8(1): 717-730.

[4]Sarnoff Corporation. JNDmetrix Technology[EB/OL].(2010-05-10)[2014-03-06].http://www.sarnoff.com.

[5]Lubin J. Method and Apparatus for Assessing the Visibility of Differences Between Two Image Sequences: USA Patent,5974159[P]. 1999.

[6]Watson A B, Solomon J A. A Model of Visual Contrast Gain Control and Pattern Masking[J]. Journal of the Optical Society of America, 1997, 14(9): 2378-2390.

[7]Wang Z, Bovik A C,Sheikh H R, et al. Image Quality Assessment: From Error Visibility to Structural Similarity[J].IEEE Transactions on Image Processing, 2004, 13(4): 600-612.

[8]Wang Z, Bovik A C, Simoncelli E P. Structural Approaches to Image Quality Assessment[M]. New York:Academic Press, 2005：961-974.

[9]Wang Z,Simoncelli E P,Bovik A C.Multi-scale Structural Similarity for Image Quality Assessement [C]//Proc. IEEE Asilomar Conference on Signals,Systems and Computers.Beijing, 2003: 1398-1402.

[10]楊春玲,陳冠豪,謝勝利.基于梯度信息的圖像質(zhì)量評判方法的研究[J].電子學(xué)報(bào)， 2007， 35(7)： 1313-1317.

[11]李航，路羊，崔慧娟，等.基于頻域的結(jié)構(gòu)相似度的圖像質(zhì)量評價(jià)方法[J].清華大學(xué)學(xué)報(bào)：自然科學(xué)版， 2009, 49(4)： 559-562.

[12]呂丹，畢篤彥.基于結(jié)構(gòu)相似的DCT域圖像質(zhì)量評價(jià)[J].吉林大學(xué)學(xué)報(bào):工學(xué)版, 2011, 41(6): 1771-1776.

[13]Daniel D L, Sebastian H S. Learning the Parts of Objects by Non-negative Matrix Factorization[J]. Nature, 1999, 401(6755): 788-791.

[14]Glenn W E. Digital Image Compression Based on Visual Perception[M]. USA: MIT Press, 1993：392-398.

[15]Zhou H, Chen M, Webster M F.Comparative Evaluation of Visualization and Experimental Results Using

Image Comparison Metrics[C]//Proceeding of the Conference on Visualization. USA:IEEE Computer Society, 2002: 315-322.

[16]王麗娜，郭遲，李鵬.信息隱藏技術(shù)實(shí)驗(yàn)教程[M].武漢：武漢大學(xué)出版社,2004：154-168.

[17]JPEG/ISO/ IEC JTC 1/SC2/ WG8/ISO CD10918, Digital Compression and Coding of Continuous Tone Still Images SIO/IEC/JTCI/SC2/WG10[S].1991.

(責(zé)任編輯：王長通)

Frequency Domain Based SSIM Stereo Image Assessment Method

YANG Lei, NIU Lin-lin, SONG Xiao-wei, LIU Qing-li

(Zhongyuan University of Technology, Zhengzhou 450007, China)

Abstract:The spatial domain SSIM (structural similarity)in stereo image assessment has the problem of not considering the sensitivity of the human visual system. To solve this problem this paper presents an algorithm based on frequency domain SSIM for image quality assessment. The results from our experiments show that the proposed method is more consistent with the human visual system than other image quality assessment methods.

Key words:image quality assessment; stereo image; structural similarity

基金項(xiàng)目：國家自然基金數(shù)學(xué)天元青年項(xiàng)目(1132167);河南省高等學(xué)校重點(diǎn)科研項(xiàng)目(15A110045)

文章編號：1671-6906(2015)01-0044-04 1671-6906(2015)01-0009-04

作者簡介：張瑞文(1963-)，男，河南寧陵人，教授，研究方向?yàn)榛瘜W(xué)纖維紡絲成型與改性。 程東旭(1980-)，男，河南孟州人，講師，碩士，研究方向?yàn)閳D像處理。

收稿日期：2013-12-25 2014-04-28

中圖分類號：TN911.73

文獻(xiàn)標(biāo)志碼：ADOI:10.3969/j.issn.1671-6906.2015.01.002