基于非下采樣輪廓波變換的模糊圖像質(zhì)量評(píng)價(jià)

文繼李，丁立新，萬潤澤

(武漢大學(xué) 計(jì)算機(jī)學(xué)院，湖北 武漢 430072)

0　引　言

根據(jù)是否有人的參與可以將模糊圖像質(zhì)量評(píng)價(jià)分為主觀方法和客觀方法兩類?？陀^評(píng)價(jià)方法相比較于主觀評(píng)價(jià)方法具有簡單、實(shí)時(shí)、可重復(fù)、易集成等優(yōu)勢(shì)，成為圖像質(zhì)量評(píng)價(jià)體系中的熱門研究方向[1]?？陀^圖像質(zhì)量評(píng)價(jià)算法根據(jù)依賴原始圖像的程度可以將其分為全參考算法、部分參考算法和無參考算法[2]。目前無參考算法中針對(duì)某一種失真類型的研究成果較多，當(dāng)中又以模糊失真類型為代表[3]。例如，Niranjan等提出了一種基于JNB的CPBD算法，具有不錯(cuò)的評(píng)價(jià)效果；桑慶兵等[4]提出了一種基于DCT的算法；Phong等[5]提出了一種基于快速小波的算法，用于全局和局部圖像清晰度估計(jì)(fast image sharpness，F(xiàn)ISH)，以及此算法的變種基于塊的FISH(block-based fish，F(xiàn)ISHBB)算法；Leclaire等[6]提出了一種利用傅里葉相位信息清晰度指標(biāo)進(jìn)行盲去模糊的算法(s_index算法)；Blanchet等[7]提出了一種基于全局相位相干的顯式清晰度指數(shù)算法(S_Index算法)。本文提出了一種基于NSCT的無參考算法。該算法充分考慮了圖像的頻域性與多尺度性，在評(píng)價(jià)模糊圖像時(shí)具有很好的魯棒性和準(zhǔn)確性。

1　非下采樣輪廓波變換

圖像處理領(lǐng)域的研究人員經(jīng)常把非下采樣輪廓波變換應(yīng)用到各種研究中[8-10]，比如圖像去噪、圖像增強(qiáng)。非下采樣輪廓波變換去掉了Contourlet兩級(jí)變換中的下采樣過程，構(gòu)造了相應(yīng)的非下采樣濾波器，其結(jié)構(gòu)如圖1所示[11]。NSCT對(duì)應(yīng)的濾波帶具有更好的頻域選擇性和規(guī)則性，能夠得到更好的子帶分解。理想的頻帶分解如圖2所示[12]。假設(shè)用I(x,y)表示圖像，其中0

(1)

圖1　非下采樣輪廓波變換濾波器組結(jié)構(gòu)

圖2　非下采樣輪廓波變換頻域分解

由于非下采樣輪廓變換的多尺度分解和方向分解這兩個(gè)過程是相互獨(dú)立的，出于這個(gè)原因可以將每個(gè)頻帶視為獨(dú)立的并從中提取特征。

2　本文提出的方法

對(duì)于本文提出的方法NSCTBIQS，整體模型如圖3所示。

圖3　NSCTBIQS方法模型

2.1　特征提取

正如前面所討論的，將2D圖像采用NSCT進(jìn)行多尺度分解，得到原始圖像4個(gè)尺度上的16個(gè)方向子帶。濾波器選用“maxflat”和“dmaxflat7”。取每個(gè)子帶的平均系數(shù)值作為特征，因此16個(gè)子帶將產(chǎn)生16個(gè)特征，由此得到了一個(gè)維數(shù)為16的特征向量，這個(gè)特征向量包含了圖像清晰度的相關(guān)信息。通過式(2)計(jì)算分解子帶系數(shù)的平均值作為特征

(2)

式中：E為子帶的特征值，N為每個(gè)子帶的像素個(gè)數(shù)，C為子帶的系數(shù)。

2.2　支持向量回歸

支持向量回歸被廣泛用于圖像質(zhì)量評(píng)價(jià)當(dāng)中[13-15]。本文LIBSVM軟件包進(jìn)行支持向量回歸，使用ε-SVR作為模型，徑向基函數(shù)(radial basis function，RBF)作為內(nèi)核函數(shù)。原始圖像的第四級(jí)分解會(huì)得到16個(gè)方向子帶，每個(gè)子帶的平均系數(shù)作為特征，支持向量回歸模型使用這些特征和數(shù)據(jù)集提供的DMOS評(píng)分進(jìn)行訓(xùn)練。

2.3　特征選擇

在機(jī)器學(xué)習(xí)問題中，如果提取出的特征向量維數(shù)過大就會(huì)影響精度和性能。為了解決這個(gè)問題，需要使用一些特征選擇算法用來降低特征向量的維數(shù)從而提升性能。序列后向選擇(sequential backward selection，SBS)算法在特征數(shù)量不大時(shí)表現(xiàn)效果很好，因此本文選用SBS算法來選擇最佳特征。

算法1： 序列后向選擇算法

輸入： 全部特征。

輸出： 最優(yōu)特征集。

(1)從特征全集開始， 令Fk={U}；

(2)選擇一個(gè)特征從Fk中剔除， 使得評(píng)價(jià)函數(shù)f*=argmaxJ(Fk-f)最優(yōu), 其中f∈Fk；

(3)更新Fk-1=Fk-f*；k=k-1；

(4)返回到(2)直到k=0。

令F={fj|j=1,…,16}是具有16個(gè)特征的特征集，目標(biāo)是找到子集FN(N<16)使得目標(biāo)函數(shù)J(FN)達(dá)到最優(yōu)，J(FN)可以是以下3個(gè)函數(shù)中的任意一個(gè)。

J(FN)=SROCC(NSCTBIQ(FN),DMOSd)

(3)

J(FN)=PLCC(NSCTBIQ(FN),DMOSd)

(4)

J(FN)=RMSE(NSCTBIQ(FN),DMOSd)

(5)

其中，NSCTBIQS(nonsubsampled contourlet transform blurred image quality score)表示非下采樣輪廓變換模糊圖像質(zhì)量分?jǐn)?shù),DMOSd(differential mean opinion score of a database d)是數(shù)據(jù)集d的差分平均主觀得分，SROCC(spearman rank order correlation coefficient)是斯皮爾曼等級(jí)相關(guān)系數(shù)，PLCC(pearson linear correlation coefficient)是皮爾遜線性相關(guān)系數(shù)，RMSE是均方根誤差。對(duì)于式(6)和式(7)，絕對(duì)值越大則相關(guān)性越強(qiáng)，對(duì)于式(8)，值越小表示測(cè)量精度越高。斯皮爾曼等級(jí)相關(guān)系數(shù)定義如下

(6)

式中：di是數(shù)據(jù)庫的第i個(gè)圖像的主觀DMOS等級(jí)和客觀圖像質(zhì)量評(píng)分等級(jí)之間的差，i=1,2，…,N。皮爾遜線性相關(guān)系數(shù)定義如下

(7)

(8)

式中：N是數(shù)據(jù)集D中的圖像總數(shù)，xi是第i個(gè)圖像的主觀DMOS評(píng)分，yi是第i個(gè)圖像的客觀圖像質(zhì)量評(píng)分。

3　實(shí)驗(yàn)結(jié)果與分析

為了驗(yàn)證本文提出的方法有效性，我們?cè)诠_可用的圖像質(zhì)量評(píng)價(jià)的標(biāo)準(zhǔn)數(shù)據(jù)集上進(jìn)行驗(yàn)證。本文使用了兩種類型的統(tǒng)計(jì)分析方法來驗(yàn)證提出的方法是符合人類視覺系統(tǒng)(human visual system，HVS)特性的評(píng)價(jià)指標(biāo)的。第一種類型的分析方法是評(píng)估預(yù)測(cè)單調(diào)性，式(6)中提到的斯皮爾曼等級(jí)相關(guān)系數(shù)(SROCC)是用于評(píng)估預(yù)測(cè)單調(diào)性的度量方法。另一種類型的分析方法是評(píng)估預(yù)測(cè)精度，式(7)中提到的皮爾遜線性相關(guān)系數(shù)(PLCC)和式(8)中提到的均方根誤差(RMSE)是用于評(píng)估預(yù)測(cè)精度的度量方法。SROCC的值和PLCC的值越接近1就表示越接近于人類的主觀感知。RMSE的值越低則誤差越小，意味著更接近于人類的主觀感知。

根據(jù)視頻質(zhì)量專家組(video quality experts group，VQEG)的推薦，客觀算法對(duì)圖像質(zhì)量主觀評(píng)價(jià)的預(yù)測(cè)值具有一定的非線性，因此，利用客觀算法對(duì)圖像質(zhì)量評(píng)價(jià)時(shí)首先應(yīng)當(dāng)去除這種非線性因素，然后再進(jìn)行相關(guān)性驗(yàn)證。本文選用的邏輯回歸方法是

(9)

式中：β1,β2,β3,β4,β5是回歸參數(shù)，Q和QP分別是回歸前和回歸后的預(yù)測(cè)圖像的質(zhì)量評(píng)分。隨機(jī)選取實(shí)驗(yàn)數(shù)據(jù)集中80%圖像作為訓(xùn)練圖像，剩余的20%作為測(cè)試圖像，保證訓(xùn)練和測(cè)試圖像內(nèi)容上完全獨(dú)立。將訓(xùn)練圖像經(jīng)非下采樣計(jì)算得到的特征向量作為輸入，相應(yīng)的DMOS值作為輸出，利用ε-SVR模型訓(xùn)練得到圖像質(zhì)量預(yù)測(cè)模型。經(jīng)隨機(jī)選擇訓(xùn)練和測(cè)試樣本100次，得到平均測(cè)試結(jié)果。為了便于比較，用本文提出的方法與一些主流客觀圖像質(zhì)量評(píng)價(jià)方法包括PSNR，SSIM，JNB，CPBD，F(xiàn)ISH，F(xiàn)ISHBB以及相位相干的方法(S_Index和s_index)進(jìn)行對(duì)比實(shí)驗(yàn)并根據(jù)實(shí)驗(yàn)結(jié)果進(jìn)行分析。

3.1　LIVE數(shù)據(jù)集

在LIVE數(shù)據(jù)集中，本文選用了從29幅參考圖像生成的145幅模糊圖像進(jìn)行實(shí)驗(yàn)。表1給出了本文提出的方法NSCTBIQS與全參考圖像質(zhì)量評(píng)價(jià)方法，無參考圖像質(zhì)量評(píng)價(jià)方法的實(shí)驗(yàn)結(jié)果?？梢钥吹?，在LIVE數(shù)據(jù)集上本文提出的方法NSCTBIQS與無參考圖像質(zhì)量評(píng)價(jià)算法FISHBB效果相當(dāng)，并且優(yōu)于其它無參考圖像質(zhì)量評(píng)價(jià)算法和全參考圖像質(zhì)量評(píng)價(jià)方法。

表1　LIVE數(shù)據(jù)集實(shí)驗(yàn)結(jié)果

3.2　VCL@FER數(shù)據(jù)集

在VCL@FER數(shù)據(jù)集中，本文選用了從23幅參考圖像生成的138幅模糊圖像進(jìn)行實(shí)驗(yàn)。表2給出了本文提出的方法NSCTBIQS與全參考圖像質(zhì)量評(píng)價(jià)方法，無參考圖像質(zhì)量評(píng)價(jià)方法的實(shí)驗(yàn)結(jié)果?？梢钥吹剑赩CL@FER數(shù)據(jù)集上本文提出的方法NSCTBIQS要優(yōu)于表2中其它的方法。

3.3　CSIQ數(shù)據(jù)集

在CSIQ數(shù)據(jù)集中，本文選用了從30幅參考圖像生成的150幅模糊圖像進(jìn)行實(shí)驗(yàn)。表3給出了本文提出的方法NSCTBIQS與全參考圖像質(zhì)量評(píng)價(jià)方法，無參考圖像質(zhì)量評(píng)價(jià)方法的實(shí)驗(yàn)結(jié)果?？梢钥吹?，在CSIQ數(shù)據(jù)集上本文提出的方法NSCTBIQS與無參考圖像質(zhì)量評(píng)價(jià)方法FISHBB效果相當(dāng)并且要優(yōu)于其它無參考圖像質(zhì)量評(píng)價(jià)方法。

表2　VCL@FER數(shù)據(jù)集實(shí)驗(yàn)結(jié)果

表3　CSIQ數(shù)據(jù)集實(shí)驗(yàn)結(jié)果

3.4　TID2013數(shù)據(jù)集

在TID2013數(shù)據(jù)集中，本文選用了從25幅參考圖像生成的150幅模糊圖像進(jìn)行實(shí)驗(yàn)。表4給出了本文提出的方法NSCTBIQS與全參考圖像質(zhì)量評(píng)價(jià)方法，無參考圖像質(zhì)量評(píng)價(jià)方法的實(shí)驗(yàn)結(jié)果?？梢钥吹?，在CSIQ數(shù)據(jù)集上無參考圖像質(zhì)量評(píng)價(jià)類算法中基于相位相干方法效果較好，本文提出的方法NSCTBIQS與基于相位相干的無參考圖像質(zhì)量評(píng)價(jià)方法s_index和S_Index效果相當(dāng)并且要優(yōu)于其它無參考圖像質(zhì)量評(píng)價(jià)方法。

表4　TID2013數(shù)據(jù)集實(shí)驗(yàn)結(jié)果

4　結(jié)束語

本文提出了一種利用非下采樣輪廓波變換特點(diǎn)并結(jié)合機(jī)器學(xué)習(xí)中支持向量回歸模型的模糊圖像質(zhì)量評(píng)價(jià)方法。正如實(shí)驗(yàn)結(jié)果得出的一樣，本文給出的方法是符合人類視覺系統(tǒng)特性評(píng)價(jià)指標(biāo)的。由于序列后向選擇算法在特征數(shù)量較少時(shí)效果很好，但當(dāng)特征數(shù)量較多時(shí)算法會(huì)非常耗時(shí)。諸如遺傳算法，模擬退火算法等啟發(fā)式算法可以提供更快速和有效的方式來選擇期望的特征。如何結(jié)合更好的算法來進(jìn)一步提高模糊圖像質(zhì)量評(píng)價(jià)效果將是未來工作的重點(diǎn)。

參考文獻(xiàn)：

[1]WANG Zhiming.Review ofno-reference image quality assessment[J].Acta Automatica Sinica,2015,41(6):1062-1079(in Chinese).[王志明.無參考圖像質(zhì)量評(píng)價(jià)綜述[J].自動(dòng)化學(xué)報(bào),2015,41(6):1062-1079.]

[2]Golestaneh SA,Karam LJ.Reduced-reference quality assessment based on the entropy of DWT coefficients of locally weighted gradient magnitudes[J].IEEE Transactions on Image Processing,2016,25(11):5293-5303.

[3]ZENG Taiying,SHAO Xue,WANG Zuhui.No-reference blur image quality assessment based on local discrete wavelet transform[J].Journal of Optoelectronics·Laser,2016,27(7):754-760(in Chinese).[曾臺(tái)英,邵雪,汪祖輝.基于局部離散小波變換的無參考模糊圖像質(zhì)量評(píng)價(jià)方法[J].光電子.激光,2016,27(7):754-760.]

[4]SANG Qingbing,QI Huixin,WU Xiaojun,et al.No-refe-rence image blur assessment method based on DCT coefficients[J].Chinese Journal of Scientific Instrument,2013,34(11):2599-2604(in Chinese).[桑慶兵,齊會(huì)新,吳小俊,等.基于DCT系數(shù)無參考模糊圖像質(zhì)量評(píng)價(jià)方法[J].儀器儀表學(xué)報(bào),2013,34(11):2599-2604.]

[5]Vu PV,Chandler DM.A fast wavelet-based algorithm for global and local image sharpness estimation[J].IEEE Signal Processing Letters,2012,19(7):423-426.

[6]Leclaire A,Moisan L.No-reference image quality assessment and blind deblurring with sharpness metrics exploiting Fourier phase information[J].Journal of Mathematical Imaging and Vision,2015,52(1):145-172.

[7]Blanchet G,MoisanL.An explicit sharpness index related to global phase coherence[C]//IEEE International Conference on Acoustics,Speech and Signal Processing,2012:1065-1068.

[8]WEI Xing,LIU Qing,GUO Yizheng,et al.Image denoising algorithm based on joint bilateral filter and multi-resolution analysis[J].Computer Engineering and Design,2016,37(12):3327-3333(in Chinese).[衛(wèi)星,劉清,郭依正,等.聯(lián)合雙邊濾波器耦合多分辨率的圖像降噪算法[J].計(jì)算機(jī)工程與設(shè)計(jì),2016,37(12):3327-3333.]

[9]LIU Gang,ZHOU Heng,LIAO Xiaogeng,et al.Image re-gistration algorithm for infrared and visble light based on nonsubsampled contourlet transform[J].Computer Science,2016,43(11):313-316(in Chinese).[劉剛,周珩,梁曉庚,等.非下采樣輪廓波域紅外與可見光圖像配準(zhǔn)算法[J].計(jì)算機(jī)科學(xué),2016,43(11):313-316.]

[10]OUYANG Ning,ZHENG Xueying,YUAN Hua.Multi-focus image fusion based on NSCT and sparse representation[J].Computer Engineering and Design,2017,38(1):177-182(in Chinese).[歐陽寧,鄭雪英,袁華.基于NSCT和稀疏表示的多聚焦圖像融合[J].計(jì)算機(jī)工程與設(shè)計(jì),2017,38(1):177-182.]

[11]YANG Shu,WANG Yude.Image retrieval algorithm based on Contourlet transform and Hu invariant moments[J].Infrared and Laser Engineering,2014,43(1):306-310(in Chinese).[楊舒,王玉德.基于Contourlet變換和Hu不變矩的圖像檢索算法[J].紅外與激光工程,2014,43(1):306-310.]

[12]Lu F,Zhao Q,Yang G.A no-reference image quality assessment approach based on steerable pyramid decomposition using natural scene statistics[J].Neural Computing and Applications,2015,26(1):77-90.

[13]Saad MA,Bovik AC,Charrier C.Blind image quality assessment:A natural scene statistics approach in the DCT domain[J].IEEE Transactions on Image Processing,2012,21(8):3339-3352.

[14]SANG Qingbing,LIANG Dilin,WU Xiaojun,et al.No-reference quality assessment algorithm for blur and noise images using support vector regression[J].Journal of Optoelectronics·Laser,2014(3):595-601(in Chinese).[桑慶兵,梁狄林,吳小俊,等.基于支持向量回歸的無參考模糊和噪聲圖像質(zhì)量評(píng)價(jià)方法[J].光電子·激光,2014(3):595-601.]

[15]SHEN Junmin,LI Junfeng,DAI Wenzhan.No-reference image quality assessment based on structure information and luminance statistics[J].Acta Electronica Sinica,2016,44(4):804-812(in Chinese).[沈軍民,李俊峰,戴文戰(zhàn).結(jié)合結(jié)構(gòu)信息和亮度統(tǒng)計(jì)的無參考圖像質(zhì)量評(píng)價(jià)[J].電子學(xué)報(bào),2016,44(4):804-812.]