基于小波分析的圖像稀疏保真度評(píng)價(jià)

陳 勇 樊 強(qiáng) 帥 鋒

?

基于小波分析的圖像稀疏保真度評(píng)價(jià)

陳 勇*樊 強(qiáng) 帥 鋒

(重慶郵電大學(xué)工業(yè)物聯(lián)網(wǎng)與網(wǎng)絡(luò)化控制教育部重點(diǎn)實(shí)驗(yàn)室 重慶 400065)

該文針對(duì)傳統(tǒng)的圖像質(zhì)量評(píng)價(jià)方法無法有效模擬人類視覺系統(tǒng)(HVS)存在的不足，提出基于小波分析的加權(quán)稀疏保真度(Weighting Sparse Fidelity, WSF)圖像評(píng)價(jià)算法。算法以模擬人類視覺系統(tǒng)的神經(jīng)網(wǎng)絡(luò)為切入點(diǎn)，對(duì)圖像進(jìn)行一階小波分解得到4個(gè)不同方向的子帶圖像，然后將子帶圖像分成8×8大小的圖像塊，采用快速獨(dú)立分量分析(FastICA)的方法對(duì)各個(gè)圖像塊進(jìn)行訓(xùn)練并提取圖像特征檢測矩陣，根據(jù)特征檢測矩陣計(jì)算各子帶圖像塊的稀疏特征值并建立稀疏保真度質(zhì)量評(píng)價(jià)模型。在此基礎(chǔ)上，根據(jù)細(xì)節(jié)信息的不同對(duì)低頻子帶圖像進(jìn)行區(qū)間劃分并設(shè)置視覺權(quán)重，使之更加接近人眼的主觀視覺。實(shí)驗(yàn)中對(duì)LIVE庫中所有圖像進(jìn)行算法驗(yàn)證，其結(jié)果表明，所提方法能很好地對(duì)各種失真類型的圖像進(jìn)行評(píng)價(jià)?；谛〔ǚ治龅南∈璞Ｕ娑仍u(píng)價(jià)算法能夠有效模擬人類視覺系統(tǒng)的多頻特性和視覺皮層感知機(jī)制，彌補(bǔ)現(xiàn)有圖像質(zhì)量評(píng)價(jià)方法在此方面的不足。

圖像質(zhì)量評(píng)價(jià)；稀疏保真度；獨(dú)立分量分析；視覺加權(quán)；主客觀一致性

1 引言

隨著信息技術(shù)的不斷發(fā)展，人們越來越多地依靠圖像進(jìn)行傳輸。圖像在編碼、壓縮和傳輸?shù)忍幚磉^程中會(huì)產(chǎn)生不同形式、不同程度的失真。因此，針對(duì)失真圖像質(zhì)量評(píng)價(jià)的研究具有重要的現(xiàn)實(shí)意義[1,2]。

圖像評(píng)價(jià)分為主觀與客觀評(píng)價(jià)。主觀評(píng)價(jià)以人眼的主觀感知作為評(píng)價(jià)標(biāo)準(zhǔn)；客觀評(píng)價(jià)又可分為無參考和有參考。無參考圖像質(zhì)量評(píng)價(jià)主要針對(duì)一些具體失真的圖像，如壓縮失真的無參考圖像質(zhì)量評(píng)價(jià)[3]、模糊失真[4]等；有參考圖像質(zhì)量評(píng)價(jià)通過定量描述失真圖像與參考圖像的差別來衡量失真圖像的質(zhì)量。峰值信噪比(Peak Signal-to-Noise Ratio, PSNR)和均方根誤差(Mean Squared Error, MSE)是常用的有參考圖像質(zhì)量的評(píng)價(jià)方法，若PSNR越大，MSE越小，表明圖像質(zhì)量越好。Wang等人[5]從視覺心理學(xué)角度出發(fā)采用模擬人類視覺系統(tǒng)(Human Visual System, HVS)的策略，提出了基于結(jié)構(gòu)相似度(Structural SIMilarity, SSIM)的圖像質(zhì)量評(píng)價(jià)方法。該方法通過對(duì)比原始圖像與失真圖像的亮度、對(duì)比度和結(jié)構(gòu)等3個(gè)局部特征的相似程度來評(píng)價(jià)圖像質(zhì)量，其效果優(yōu)于PSNR和MSE方法。由于未考慮到人類視覺系統(tǒng)的多頻特性，因此，Sheikh等人[6]采用小波域高斯混合模型對(duì)圖像進(jìn)行建模，提出了視覺信息保真度(Visual Information Fidelity, VIF)準(zhǔn)則。VIF在度量圖像局部失真上有一定的進(jìn)展，但缺乏可靠的計(jì)算模型。在綜合信息量與最優(yōu)感知權(quán)值之間的關(guān)系的基礎(chǔ)上，文獻(xiàn)[7]提出了信息量加權(quán)結(jié)構(gòu)化相似度(Information Weighting for SSIM, IW-SSIM)圖像質(zhì)量評(píng)價(jià)方法。此外，Zhang等人[8]提出了一種基于低層視覺特性相似的評(píng)價(jià)模型特征結(jié)構(gòu)相似度(Features SIMilarity index, FSIM)評(píng)價(jià)算法。文獻(xiàn)[9]采用稀疏編碼的方法從視覺神經(jīng)網(wǎng)絡(luò)的角度進(jìn)一步研究人類視覺特性。文獻(xiàn)[10]基于上述思想把多維獨(dú)立分量分析(Independent Component Analysis, ICA)方法用于自然圖像處理；文獻(xiàn)[11]通過ICA算法提取視頻幀的運(yùn)動(dòng)數(shù)據(jù)進(jìn)而評(píng)價(jià)視頻質(zhì)量；文獻(xiàn)[12]將彩色圖像R, G, B等3個(gè)空間的圖像塊簡單地拉伸為1維列向量，然后采用ICA算法對(duì)多個(gè)列向量進(jìn)行訓(xùn)練與分析，但缺乏對(duì)像素空間特性的考慮。

本文基于稀疏編碼的思想，通過小波變換將圖像分解到不同頻率的子帶空間，然后采用快速獨(dú)立分量分析(FastICA)方法提取圖像的特征檢測矩陣，在此基礎(chǔ)上根據(jù)各子帶圖像的不同頻率特性提取相應(yīng)的稀疏特征值計(jì)算圖像的局部稀疏保真值。此外，結(jié)合人眼對(duì)圖像不同部分的感知差異對(duì)圖像進(jìn)行區(qū)間劃分并設(shè)置不同的加權(quán)值，得到了加權(quán)稀疏保真度(Weighting Sparse Fidelity, WSF)評(píng)價(jià)方法。實(shí)驗(yàn)中采用LIVE數(shù)據(jù)庫驗(yàn)證本文算法，其結(jié)果表明與HVS的一致性優(yōu)于相關(guān)文獻(xiàn)方法的效果。

2 基于ICA的圖像稀疏保真度

2.1 獨(dú)立分量(ICA)分析

2.2 圖像特征檢測矩陣提取

小波分析應(yīng)用于信息處理領(lǐng)域，類似于人類系統(tǒng)的多通道濾波模型。在圖像處理中采用小波分解方法對(duì)圖像信號(hào)進(jìn)行不同尺度的濾波處理。

圖1 小波變換示意圖

按照上述算法進(jìn)行分離訓(xùn)練，直到算法收斂，可得到白化空間的特征檢測矩陣。而原始空間的特征檢測矩陣則可由式(11)得到：

2.3圖像稀疏保真度

2.4視覺加權(quán)的稀疏保真度

2.4.1視覺加權(quán)的引入 通過式(15)求取圖像的均值稀疏保真度，但并未考慮圖像中不同區(qū)域的細(xì)節(jié)差異對(duì)圖像主觀視覺的影響。為反映圖像中不同細(xì)節(jié)區(qū)域在失真過程中的變化與人類主觀視覺的關(guān)系，本文根據(jù)模糊程度遞增從圖像庫CSIQ (Computational Perception and Image Quality Lab)選取了如圖2(a)~圖2(d)所示的4幅圖像。本文隨機(jī)選取圖中3塊細(xì)節(jié)信息明顯不同的區(qū)域A, B, C(如圖2中方框)并計(jì)算圖像均值稀疏保真度，其中，A區(qū)域的細(xì)節(jié)信息最多，B次之，C最少。由此說明，在同一幅圖像中人眼對(duì)不同部分的主觀感知取決于該區(qū)域細(xì)節(jié)信息的豐富程度。因此可按照細(xì)節(jié)信息的不同對(duì)圖像進(jìn)行分區(qū)，考慮到分區(qū)過多帶來的復(fù)雜性和不確定性，本文將圖像分為3個(gè)區(qū)間，并對(duì)每一個(gè)區(qū)間設(shè)置不同的加權(quán)值。

圖2 ‘boston’ 3塊區(qū)間在不同失真條件下的變化

2.4.2圖像區(qū)間的劃分 圖像的區(qū)間劃分理由與步驟：

(2)根據(jù)邊緣圖像塊中非零值的個(gè)數(shù)不同可將圖像分為平滑、普通紋理和高紋理3個(gè)區(qū)間。區(qū)間劃分可通過引入兩個(gè)閾值參數(shù)和來確定。邊緣圖像塊中非零值的個(gè)數(shù)小于的區(qū)域?yàn)槠交瑓^(qū)；紋理區(qū)分為普通和高紋理區(qū)。普通紋理區(qū)為非零值個(gè)數(shù)大于小于的區(qū)域；高紋理區(qū)為非零值個(gè)數(shù)大于的區(qū)域。

(3)根據(jù)圖像塊的不同區(qū)間設(shè)置不同的視覺加權(quán)值。其中，平滑區(qū)域所含細(xì)節(jié)信息過少，加權(quán)值為0；普通紋理區(qū)也是圖像塊最集中的區(qū)域，加權(quán)值為；高紋理區(qū)細(xì)節(jié)信息最多，其加權(quán)值為。

2.4.3視覺加權(quán)圖像稀疏保真度 對(duì)于每一組待測圖像塊及其對(duì)應(yīng)的參考圖像塊，首先將參考圖像塊分為3個(gè)區(qū)間，設(shè)置不同的視覺加權(quán)值，則該失真圖像的加權(quán)稀疏保真度(WSF of Image, IWSF)為

2.4.4區(qū)域劃分參數(shù)的確定 本文對(duì)LIVE數(shù)據(jù)庫[13]中的圖片進(jìn)行測試，確定參數(shù),和與評(píng)價(jià)函數(shù)的性能指標(biāo)Spearman等級(jí)相關(guān)系數(shù)(SROCC)之間的關(guān)系。測試發(fā)現(xiàn)的取值對(duì)圖像的區(qū)間劃分影響不大，但由于,與評(píng)價(jià)函數(shù)的性能關(guān)系必須由已知的參數(shù)確定，因此，可先在0~1之間選取一個(gè)的初始值，建立參數(shù),與評(píng)價(jià)函數(shù)的性能指標(biāo)SROCC之間的關(guān)系如圖3所示，SROCC值越大則的性能越好。當(dāng)SROCC取得峰值點(diǎn)時(shí)，參數(shù),可得到最佳值分別為0, 25。根據(jù),的最佳值可建立參數(shù)與SROCC之間的關(guān)系如圖4所示，當(dāng)= 0.8時(shí)，SROCC可得到峰值點(diǎn)。因此，當(dāng),,時(shí)，的評(píng)價(jià)性能為最好。

圖3 參數(shù), 與SROCC關(guān)系

圖4 參數(shù)b與SROCC關(guān)系

3 實(shí)驗(yàn)結(jié)果與分析

3.1評(píng)價(jià)數(shù)據(jù)庫選擇

為了全面地評(píng)價(jià)本文算法對(duì)圖像各種失真類型的評(píng)價(jià)效果，采用美國TEXAS大學(xué)視頻工程實(shí)驗(yàn)室的LIVE圖像數(shù)據(jù)庫[13]提供的圖像作為測試圖像。該數(shù)據(jù)庫包含了982幅圖像，涵蓋了5種失真類型：JP2K(JPEG2000), JPEG(JPEG), WN(White Noise), GBLUR(Gauss BLUR)和FF(Fast-Fading Rayleigh channel model)。各種失真類型均由29幅標(biāo)準(zhǔn)參考圖像經(jīng)過人工處理得到。該數(shù)據(jù)庫提供了所有圖像的主觀差異評(píng)分值(DMOS)，其值越小圖像的主觀觀測質(zhì)量越好?？紤]到客觀評(píng)價(jià)與主觀視覺的非線性關(guān)系，采用文獻(xiàn)[14]中的Logistic函數(shù)進(jìn)行線性補(bǔ)償如式(17)所示：

3.2擬合圖分析

選用PSNR, SSIM[5], VSNR[15], IW-SSIM[7], IFC[16], VIF[6], FSIM[8]和SFF[12]等方法作為本文算法的對(duì)比算法。其中，F(xiàn)SIM是在考慮相位一致性對(duì)圖像結(jié)構(gòu)的影響的情況下提出的基于底層視覺特性的特征結(jié)構(gòu)相似度評(píng)價(jià)方法；IW-SSIM則是分析信息量與最優(yōu)感知權(quán)值之間的關(guān)系的基礎(chǔ)上提出的一個(gè)基于信息加權(quán)的結(jié)構(gòu)相似度模型；VIF主要從信息通信和共享的角度解決圖像質(zhì)量評(píng)估問題；IFC則是從信息保真度的角度衡量圖像質(zhì)量。圖5為上述各評(píng)價(jià)算法與DMOS的擬合曲線圖。

圖5 客觀評(píng)價(jià)算法與DMOS的擬合曲線

分析可知，PSNR(如圖5(a))和SSIM(如圖5(b)) 明顯比其他幾種方法更為發(fā)散；在DMOS<40即圖像失真不太嚴(yán)重時(shí)，IW-SSIM(如圖5(d))和FSIM(如圖5(g))的擬合曲線散點(diǎn)分布與擬合曲線接近，但當(dāng)圖像失真較為嚴(yán)重時(shí)(即DMOS>40)，散點(diǎn)分布趨于發(fā)散；包括本文算法(圖5(i))的其余方法(如圖5(f))均能夠在一定程度上與主觀感知一致性吻合。

3.3 客觀數(shù)據(jù)分析

試驗(yàn)選用Pearson線性相關(guān)系數(shù)(Linearly Correlation Coefficient, LCC), Spearman等級(jí)相關(guān)系數(shù)(SROCC), Kendell等級(jí)相關(guān)系數(shù)(Kendell Rank Correlation Coefficient, KRCC)，均方根誤差(Root-Mean-Square Error, RMSE)，平均絕對(duì)誤差(Mean Absolute Error, MAE)等算法評(píng)價(jià)指標(biāo)。其中，LCC, SROCC, KRCC等值越大，RMSE, MAE越小，表示被評(píng)價(jià)算法的性能越好。

(1)算法的性能比較： 由表1分析可知，本文所提算法的LCC, SROCC和KRCC等3個(gè)指標(biāo)的值最大，而RMSE和MSE等最小，說明本文算法在主觀與客觀的一致性方面好于其他幾種對(duì)比算法。

表1算法的性能比較

(2)失真類型對(duì)比分析： 為了進(jìn)一步對(duì)比各評(píng)價(jià)方法對(duì)不同失真類型的圖像評(píng)價(jià)效果，本文選擇LIVE圖像數(shù)據(jù)庫中JP2K, JPEG, WN, GBLUR和FF等5種不同失真類型的圖像庫進(jìn)行測試。表2給出了上述9種算法針對(duì)5種不同失真類型下的LCC, SROCC, KRCC, RMSE和MAE的值。為便于比較需特別說明：對(duì)每種類型的失真，分別用粗體標(biāo)出各評(píng)價(jià)指標(biāo)最好的前3種，并將其中評(píng)價(jià)指標(biāo)最優(yōu)的數(shù)據(jù)用下劃線標(biāo)出。

表2分類失真圖像測試

3.4算法復(fù)雜度分析

測試試驗(yàn)平臺(tái)：AMD速龍2處理器，2 GB內(nèi)存，WIN7專業(yè)版操作系統(tǒng)，Matlab7.0仿真軟件。從表3可以看出，本文算法處理時(shí)間相比于PSNR, SSIM, SFF有所增加，但評(píng)價(jià)效果遠(yuǎn)優(yōu)于上述算法；與評(píng)價(jià)效果較為接近的IW-SSIM, VIF, IFC, FSIM等算法相比，本文算法在評(píng)價(jià)過程中特征檢測矩陣環(huán)節(jié)只需訓(xùn)練一次，其結(jié)果可作為一個(gè)常量來分析與調(diào)用，因而降低了運(yùn)算的復(fù)雜度，實(shí)時(shí)性得到提高。

表3算法運(yùn)行時(shí)間測試(s/圖像)

4 結(jié)論

本文從稀疏保真度的角度模擬人類視覺系統(tǒng)的視覺皮層感知機(jī)制，提出了加權(quán)稀疏保真度(WSF)評(píng)價(jià)方法。該算法選用小波變換將圖像分解到多個(gè)不同頻率特性的子帶空間，并采用快速獨(dú)立向量分析的方法提取各子帶空間的稀疏特征值，針對(duì)各子帶圖像對(duì)主觀視覺的不同重要性，建立模擬人類視覺系統(tǒng)的皮層感知機(jī)制以及多分辨率特性的模型。實(shí)驗(yàn)證明，本文算法能夠有效提高現(xiàn)有算法在模擬人類視覺感知特性方面存在的不足，具有一定參考價(jià)值。

參考文獻(xiàn)

[1] 蔣剛毅, 黃大江, 王旭, 等. 圖像質(zhì)量評(píng)價(jià)方法研究進(jìn)展[J]. 電子與信息學(xué)報(bào), 2010, 32(1): 219-226.

Jiang Gang-yi, Huang Da-jiang, Wang Xu,.. Overview on image quality assessment methods[J].&, 2010, 32(1): 219-226.

[2] 陳勇, 李愿, 呂霞付, 等. 視覺感知的彩色圖像質(zhì)量積極評(píng)價(jià)[J]. 光學(xué)精密工程, 2013, 21(3): 742-750.

Chen Yong, Li Yuan, Lü Xia-fu,.. Active assessment of color image quality based on visual perception[J]., 2013, 21(3): 742-750.

[3] 郭迎春, 于明, 朱秋明. 基于子帶相似性分析的 JPEG2000 圖像無參考質(zhì)量評(píng)價(jià)[J]. 電子與信息學(xué)報(bào), 2011, 33(6): 1496-1500.

Guo Ying-chun, Yu Ming, and Zhu Qiu-ming. No reference image quality assessment based on subbands similarity and statistical analysis for JPEG2000[J].&, 2011, 33(6): 1496-1500.

[4] Vu P V and Chandler D M. A fast wavelet-based algorithm for global and local image sharpness estimation[J]., 2012, 19(7): 423-426.

[5] Wang Z, Bovik A C, Sheikh H R,.. Image quality assessment: from error visibility to structural similarity[J]., 2004, 13(4): 600-612.

[6] Sheikh H R and Bovik A C. Image information and visual quality[J]., 2006, 15(2): 430-444.

[7] Li C and Bovik A C. Content-partitioned structural similarity index for image quality assessment[J].:, 2010, 25(7): 517-526.

[8] Zhang L, Zhang D, and Mou X. FSIM: a feature similarity index for image quality assessment[J]., 2011, 20(8): 2378-2386.

[9] 李柯蒙, 邵楓, 蔣剛毅, 等. 基于稀疏表示的立體圖像客觀質(zhì)量評(píng)價(jià)方法[J]. 光電子激光, 2014, 25(11): 2227-2233.

Li Ke-meng, Shao Feng, Jiang Gang-yi,.. An objective quality assessment of stereoscopic image based on sparse representation[J]., 2014, 25(11): 2227-2233.

[10] Bell A J and Sejnowski T J. An information-maximization approach to blind separation and blind deconvolution[J]., 1995, 7(6): 1129-1159.

[11] Saad M A and Bovik A C. Natural motion statistics for no-reference video quality assessment[C]. IEEE International Workshop on Quality of Multimedia Experience, San Diego, CA, USA, 2009: 163-167.

[12] Chang H W, Yang H, Gan Y,.. Sparse feature fidelity for perceptual image quality assessment[J]., 2013, 22(10): 4007-4018.

[13] Sheikh H R, Wang Z, Cormack L,.. LIVE image quality assessment database release 2[OL]. http://live.ece.utexas. edu/research/quality. 2014.4.

[14] VQEG. Final report from the video quality experts group on the validation of objective models of video quality assessment [OL]. ftp://ftp.its.bldrdoc.gov/dist/ituvidq/Boulder_VQEG _jan_04/VQEG_PhaseII_FRTV_Final_Report_SG9060

E.doc, 2003.

[15] Chandler D M and Hemami S S. VSNR: a wavelet-based visual signal-to-noise ratio for natural images[J]., 2007, 16(9): 2284-2298.

[16] Sheikh H R, Bovik A C, and De Veciana G. An information fidelity criterion for image quality assessment using natural scene statistics[J]., 2005, 14(12): 2117-2128.

Sparse Image Fidelity Evaluation Based on Wavelet Analysis

Chen Yong Fan Qiang Shuai Feng

(&,,,400065,)

To overcome the limitations of traditional image quality assessment methods, which are not well consistent with subjective human evaluation, a quality assessment algorithm of Weighting Sparse Fidelity (WSF) based on wavelet analysis is proposed. The arithmetic simulates nerve network of Human Vision System (HVS) as research point, the image is decomposed with wavelet into four-sub band images, which are divided into blocks at size of, then using Fast Independent Component Analysis training (FastICA) method to train the image blocks. Then, each image block sparse character matrix is extracted to calculate the sparse feature fidelity of the image and build the sparse fidelity quality evaluation model. On this basis, the image is divided into a plurality of interval according to the different details of the visual image information and a visual weight is set in each section, which can be consistent with subjective human evaluation. The experiment results on LIVE database show that the proposed method has a good evaluation of all kinds of distortion types and is highly consistent with human subjective evaluations. The proposed algorithm can effectively simulate the weighted visual cortex of the human visual system perception mechanisms, which compensates for deficiencies of existing image quality assessment methods.

Image quality assessment; Sparse feature fidelity; Independent Component Analysis (ICA); Human visual weighted; Consistency between subjective and objective evaluations

TN911.73

A

1009-5896(2015)09-2055-07

10.11999/JEIT150173

陳勇 chenyong@cqupt.edu.cn

2015-01-30收到，2015-05-05改回，2015-06-26網(wǎng)絡(luò)優(yōu)先出版

國家自然科學(xué)基金(60975008)和重慶市教委科學(xué)技術(shù)研究項(xiàng)目(KJ1400434)資助課題

陳 勇： 男，1963年生，教授，研究方向?yàn)閳D像處理與模式識(shí)別.

樊 強(qiáng)： 男，1989年生，碩士生，研究方向?yàn)閳D像處理.

帥 鋒： 男，1990年生，碩士生，研究方向?yàn)閳D像處理.