基于小波包分解的無參考立體圖像質(zhì)量評價

沈麗麗 彭科

摘 要：立體圖像質(zhì)量評價在立體圖像處理領(lǐng)域中應用廣泛.基于小波包分解的精細分辨率，提出了一種全新的無參考立體圖像質(zhì)量評價算法.選取合值圖和差值圖作為融合圖來評估立體圖像，首先，對立體圖像對進行小波包分解，基于雙眼競爭和雙眼抑制原理，將分解后的左右視圖進行融合得到合值圖和差值圖.然后，分別在融合圖上提取自然場景統(tǒng)計（NSS）特征和信息熵；另外，考慮到左右視圖之間的內(nèi)在相關(guān)聯(lián)系，提取結(jié)構(gòu)相似度特征.最后，運用支持向量回歸（SVR）來建立感知特征和主觀分數(shù)模型并預測得到客觀評價分數(shù).采用該算法在LIVE 3D立體圖像數(shù)據(jù)庫上進行測試，實驗結(jié)果表明，該算法與人眼主觀評價結(jié)果一致性較高，優(yōu)于當前主流的立體圖像質(zhì)量評價算法，符合人眼視覺感知特性.

關(guān)鍵詞：立體圖像質(zhì)量評價；小波包；無參考；結(jié)構(gòu)相似度

中圖分類號：TP391 文獻標志碼：A

Abstract：Stereoscopic image quality evaluation is widely employed in the field of stereo image processing. Based on accurate resolution of waveletpacket， a novel algorithm for noreference stereoscopic image quality assessment is proposed. It evaluates stereo image quality via fusion map， which consists of cyclopean map and difference map. First， the stereo image pair is decomposed by waveletpacket， and afterwards the decomposed left and right views are fused to obtain cyclopean map and difference map based on the principle of binocular rivalry and binocular suppression. Then， Natural Scene Statistics （NSS） features and information entropy are extracted on the fusion map； besides， the structural similarity feature is extracted by taking into account the internal relations between the left and right views. Finally， the Support Vector Regression （SVR） is used to establish model between the perception features and subjective scores， which can predict the objective evaluation score. The experimental results on LIVE 3D image databases show that the proposed algorithm has high consistency with the subjective evaluation results， and it outperforms stateoftheart stereoscopic image quality assessment algorithms and is in accordance with the human visual perception characteristics.

Key words： stereoscopic image quality assessment（SIQA）； waveletpacket； noreference（NR）； structural similarity

近年來，立體電視、立體游戲等立體技術(shù)已逐漸深入到人們的日常生活當中，為人們帶來了極佳的視覺體驗和心理震撼.相比于二維平面圖像，立體圖像可以使人們身臨其境地感受到立體感及臨場感，逐漸地成為信息技術(shù)研究的主流方向[1].然而，在3D立體圖像成像過程中，圖像信息采集、壓縮、傳輸、解碼、渲染等會存在各種各樣的失真，失真程度非常嚴重的立體圖像會使人觀看不舒服，甚至出現(xiàn)疲勞、頭暈等現(xiàn)象.因此，對立體圖像進行質(zhì)量評估非常重要.

目前，平面2D圖像客觀質(zhì)量評價方法已經(jīng)相對成熟[2-4]，相對于平面圖像而言，立體圖像質(zhì)量評價不但要考慮左右視點質(zhì)量，還要考慮到舒適度、視差信息等，所以對于立體圖像客觀質(zhì)量評價方法的研究仍然是一個較復雜的難題.早期的立體圖像質(zhì)量評價方法都是借助2D圖像質(zhì)量評價方法進行，分別計算左右視圖獲得的質(zhì)量，然后平均得到一個綜合質(zhì)量，如將2D質(zhì)量評價中取得比較成功的算法MSSSIM[2]、BRISQUE[3]運用到立體圖像中能取得一定的效果，但評價過程中沒有考慮到任何立體感知因素.因此，在評價立體圖像時需要添加立體深度信息， Chen等根據(jù)雙眼競爭原理提出Cyclopean模型[5]，并在文獻[6]中基于Cyclopean和視差圖、不確定圖分別提取2D特征和3D特征，王珊珊[7]等基于雙目能量響應提取出不同頻率、不同方向和不同視差下的局部特征，Lin[8]等運用差分高斯模型并用增益控制模型來結(jié)合左右視點，Shao[9]等充分考慮到雙眼視覺特性，提出全參考的感知模型，Gu[10]等根據(jù)非線性疊加和視差補償模型提出無參考評價模型，Zhou[11]等模擬視覺感知并提出雙眼特征自相似度模型，以上算法都具有很好的評價性能，但與人眼主觀感知仍有一定差距，尤其在評價非對稱失真圖像時存在著許多不足.

因此，本文利用小波包分解[12]提取對人眼敏感的圖像信息，提出一種無參考立體圖像質(zhì)量評價方法，采用合值圖和差值圖來描述立體圖像在視覺感知中融合過程.通過主觀數(shù)據(jù)庫測試顯示，所提出的算法具有高效性且與人眼主觀感知一致性較高.

1 小波包分解

大量主觀實驗研究結(jié)果表明，單眼細胞在感知圖像信息的過程中，能夠使用分析模型來表示[13]，例如離散小波分解、Gabor變換、DCT變換、Contourlet變換或其他濾波器變換.相比以上模型，小波包分解是一種更為精細的分解方法，它在全頻帶進行多層次的頻帶劃分，對多分辨率分析沒有細分的高頻部分進一步分解[14]，在精細尺度上更能反映出圖像質(zhì)量受失真影響的程度.

人類視覺系統(tǒng)（Human Visual System，HVS）對不同頻率的敏感程度是有差異的，經(jīng)過小波包分解之后的立體圖像能提供頻域中的局部化信息，所攜帶的圖像質(zhì)量信息較多，可以精確地量化自然圖像的統(tǒng)計特征，本文首次將小波包分解應用到立體圖像質(zhì)量評價上，可以較好地模擬人類視覺系統(tǒng)的多分辨率特性.

采用Daubechies小波系對立體圖像進行兩級分解.以左視圖為例，用VL表示，經(jīng)過小波包兩層分解之后為WL，其中第一級分解后有4個子帶，第二級分解是在第一級分解的4個頻域子帶上再次進行分解得到16個頻域子帶，同樣，右視圖VR在小波包分解后得到的小波包子帶為WR.因此，立體圖像對經(jīng)過2級小波包分解之后得到左右視點各20個子帶圖像.

2 立體圖像質(zhì)量評價模型

在評估立體圖像質(zhì)量時，需要考慮左右視圖對立體感即深度信息的影響.本文采用小波包分解分別對立體圖像左右視圖進行分解，分解之后的圖像能夠表示空間頻域信息，具有與人眼一致的高分辨率特性.然后基于雙眼競爭和雙眼抑制原理，對分解后的左右視圖進行融合，得到合值圖和差值圖，然后在融合圖上提取NSS特征和信息熵.另外，為了更有效的表示左右視點內(nèi)在聯(lián)系，本文分別計算左右子帶視圖結(jié)構(gòu)信息，然后得到結(jié)構(gòu)信息相似度.最后，運用SVR在公開LIVE Phase I和LIVE Phase II兩大立體數(shù)據(jù)庫上進行訓練和測試，最終得到客觀評價分值.圖1為本文所提出的基于小波包分解的無參考立體圖像質(zhì)量評價模型算法示意圖.

2.1 融合圖

立體視覺感知是一個復雜的視覺系統(tǒng)，雙眼競爭和雙眼抑制在雙眼感知立體圖像時占據(jù)非常重要的作用.因此，本文也基于雙眼感知屬性，將小波包分解后的頻域子帶圖像進行融合，融合過程分為合值圖和差值圖.

2.1.1 合值圖

對于LIVE Phase II一幅立體圖像的非對稱5種不同類型失真圖，圖4顯示了小波包分解后子帶的合值圖和差值圖GGD擬合分布圖，可以看出合值圖分布中不同失真類型區(qū)分較明顯，在差值圖系數(shù)分布中，主要集中在數(shù)據(jù)分布形態(tài)的頂峰位置，表明合值圖和差值圖GGD擬合是能夠體現(xiàn)立體圖像的失真程度.因此，本文選取方差δ2、形狀參數(shù)γ、峰度k和偏度s參數(shù)來表示立體視圖NSS特征，這樣，對合值圖和差值圖分別提取這4維特征，在20個子帶上共提取立體視圖160維NSS特征.

2.2.3 左右視圖結(jié)構(gòu)相似度特征提取

現(xiàn)有的大多數(shù)算法主要考慮單獨在左右視點或融合圖基礎(chǔ)上進行特征提取，而忽略了立體圖像左右視圖之間的內(nèi)在聯(lián)系.對于立體圖像左右視圖，雙眼視覺所觀看到的是兩幅具有細微不同的場景圖，由對稱性失真引起的立體圖像場景圖不同主要體現(xiàn)在左右視點的視差，不同的視差會影響到人觀看立體圖像的感知，而對于非對稱性失真，既表現(xiàn)在視差的不同，也因左右視圖失真位置、失真程度大小等的不同而顯現(xiàn)差別，這都會影響人眼的立體感知質(zhì)量.因此，本文用結(jié)構(gòu)相似度來衡量左右視圖的變化程度，即分別表示小波包分解之后的左右子帶視圖的結(jié)構(gòu)信息，然后提取兩者局部相似度因子作為特征.

本文選擇用相位一致性（Phase Congruency，PC）和高斯拉普拉斯（Laplace of Gaussian，LoG）來表示20對左右子帶視圖局部結(jié)構(gòu)特征.LoG主要是一種利用頻域空間進行圖像邊緣檢測的方法，能夠比較準確獲取圖像各個方向因亮度改變而帶來的變化.

2.3 立體圖像質(zhì)量預測

針對立體圖像提取的特征矢量，通過回歸函數(shù)與相應的主觀差值分數(shù)（Difference Mean Opinion Scores，DMOS）建立映射關(guān)系，相比其它回歸函數(shù)，SVR [19]更注重于全局優(yōu)化，在處理低樣本、高維特征數(shù)據(jù)方面是一種特別有效的機器學習方法，因此廣泛運用于分類回歸模型.SVR預測立體圖像質(zhì)量分數(shù)主要分為訓練部分和測試部分，訓練部分是用訓練立體圖像提取的特征和對應的DMOS值作為SVR的輸入，然后輸出得到最優(yōu)化回歸模型，測試部分在測試集上運用回歸模型，獲得測試集圖像的客觀預測分數(shù).

3 實驗結(jié)果與分析

3.1 數(shù)據(jù)庫和評價指標

為了有效地驗證本文所提出的立體質(zhì)量評價表現(xiàn)性能，在LIVE 3D立體圖像數(shù)據(jù)庫上進行訓練和性能測試.LIVE 3D數(shù)據(jù)庫包括LIVE Phase I數(shù)據(jù)庫[20]和LIVE Phase II數(shù)據(jù)庫[6].其中LIVE Phase I是對稱失真立體圖像數(shù)據(jù)庫，包括20張原始圖像以及由這20張參考圖像經(jīng)過不同失真類型及程度獲得失真圖像共365幅，包括45幅高斯模糊（Gblur）以及JPEG、JP2K、高斯白噪聲（WN）、快速衰落（FF）失真類型圖片各80張.LIVE Phase II數(shù)據(jù)庫包含8幅不同的原始圖像，同樣的由5類失真類型組成，每類有9種程度失真共72幅失真圖像，由此生成360幅失真圖像，按照立體圖像失真的對稱性，可以分為120幅對稱立體圖像對和240幅非對稱立體圖像對.每一幅失真圖像都有唯一的DMOS值與之對應，LIVE Phase I和LIVE Phase II是互不相同的，主要針對立體圖像左右視圖對稱性失真和非對稱性失真.

在實驗結(jié)果測試中，三個比較常用的性能指標：斯皮爾曼等級相關(guān)系數(shù)（Spearmans rank ordered correlation coefficient，SROCC）、線性相關(guān)系數(shù)（Linear correlation coefficient，LCC）和均方根誤差（Root mean squared error，RMSE）被用來度量實驗結(jié)果的表現(xiàn)性能，評價與主觀感受的一致性程度.其中，RMSE值越小表示評價指標性能越好，而SROCC和LCC的值越大表明與人主觀判斷一致性越好.

在具體的實驗過程中，首先將數(shù)據(jù)庫隨機劃分為無交叉重疊的訓練集和測試集兩部分子集，其中訓練集圖像占數(shù)據(jù)庫總數(shù)80%，測試集圖像比例占20%，然后運用SVR進行訓練和測試，最終得到客觀評價值的SROCC、LCC和RMSE值.上述訓練和測試程序無重疊隨機進行1 000次迭代，取中值結(jié)果為最終質(zhì)量分數(shù).

3.2 算法性能分析

在探究本文所提出的立體圖像評價方法的有效性時，比較了一些常見的全參考和無參考算法評價方法，表1給出了在LIVE 3D數(shù)據(jù)庫上不同評價算法的性能比較，性能比較好的數(shù)值用加粗表示.從整體上看，由于LIVE Phase II圖像庫有對稱失真和非對稱失真，較為復雜，所以整體效果上沒有LIVE Phase I性能好，但本文充分考慮到立體深度信息，不僅計算左右視點合值圖和差值圖，也分析了左右視點相應局部結(jié)構(gòu)相似度信息，這對于模擬非對稱失真立體圖像非常有效.因此，算法在LIVE Phase II上性能表現(xiàn)優(yōu)越.

在兩大數(shù)據(jù)庫上可以明顯看出本文所提出的算法性能明顯優(yōu)于其他評價算法，其中MSSSIM[2]和BRISQUE[3]屬于平面圖像質(zhì)量評價方法，可以看出這兩個平面算法在LIVE Phase I和LIVE Phase II上有明顯的差別，這主要是因為LIVE Phase II中左右圖像失真不對稱導致平均加權(quán)得到的值大大降低，其余3D算法均考慮到了立體圖像屬性，可以看出Shao等[21]利用聯(lián)合稀疏表示在LIVE Phase I效果較好，與以上優(yōu)秀的算法相比，本文算法在LIVE Phase I和LIVE Phase II上LCC值分別達到0.956和0.955，顯得更有競爭力.

為了驗證本文算法在不同失真類型下的表現(xiàn)性能，在單一失真類型下分別進行實驗，為了節(jié)省空間，表2僅給出不同算法在LIVE Phase I和LIVE Phase II上不同失真類型的SROCC值比較結(jié)果.通過與其他算法進行比較，本文提出的算法在LIVE Phase I和LIVE Phase II上測試的結(jié)果取得了比較好的效果，除了對部分失真略有不足，整體上明顯優(yōu)于其他算法.

同時，為了更直觀地描述本文算法與人主觀評價的一致性比較，圖6畫出了在LIVE Phase I和LIVE Phase II上的散點圖.圖中所有的離散點橫坐標表示算法客觀評價分數(shù)，縱坐標表示DMOS，圖中曲線是進行非線性擬合而繪制的曲線.可以觀察到本算法客觀質(zhì)量評價與人眼感知高度吻合.

3.3 融合圖性能分析

對于感知立體圖像質(zhì)量，模擬雙眼融合行為是非常重要的因素，通過以上分析，本文選取在小波包分解域上得到的合值圖和差值圖作為融合圖，取得了較好的效果.傳統(tǒng)經(jīng)典的融合模型，都是在原圖像上通過以頻譜能量或PCA特征為權(quán)值來進行左右視點融合，在實驗中發(fā)現(xiàn)其復雜度遠高于合值圖但并未提升實驗效果.另外，考慮到左右視圖存在一定視差，特別是對于非對稱失真的立體圖像，許多視差匹配算法描述的效果并不好，本文以差值圖來表現(xiàn)深度信息，實現(xiàn)復雜度既簡單，又能與人眼視覺較一致.

考慮到僅用生成的融合圖來描述立體圖像特征并不全面，忽略了左右視點之間的關(guān)系，因此，本文還提出左右視圖結(jié)構(gòu)相似度特征.表3列出了是否有左右視圖結(jié)構(gòu)相似度特征兩者性能的實驗結(jié)果.從表3中可以觀察得出，構(gòu)建融合圖模型來模擬人眼感知是非常有效的，在引入左右視點結(jié)構(gòu)相似度之后，能使算法的有效性再次提升.

3.4 魯棒性分析

魯棒性分析是進一步衡量算法性能的一個標準，分別在LIVE Phase I和LIVE Phase II數(shù)據(jù)庫上將訓練集圖像所占比例由80%降為60%、40%、20%，然后重新進行訓練回歸模型來實驗，最終得到的SROCC、LCC和RMSE值如表4所示.從表中可以看出隨著訓練圖像比例的增大，LCC和SROCC值也顯著增大，RMSE值也隨之減小，評價性能越來越好.即使訓練集圖像比例為40%，LIVE Phase I圖像庫LCC值也能達到0.938，LIVE Phase II圖像庫LCC值也能達到0.934.因此，本文算法對訓練集大小并不敏感，具有較好的魯棒性.

3.5 復雜度分析

為了評估所提出算法的計算復雜度，本文與已公開代碼的算法進行了比較，表5記錄了每個算法在LIVE Phase I上處理每張圖片的平均耗時.算法實現(xiàn)的平臺為Windows 7 64位，CPU為Inter Core i5-6500，3.20GHz，內(nèi)存為8G RAM，軟件為Matlab 2014a.

由于視差圖的計算較為復雜，所以Chen[5]算法應用合成圖需要很高的復雜度；另一方面，因為MSSSIM[2]和BRISQUE[3]都沒有考慮任何立體深度信息，雖然計算復雜度比較快，但是性能較差.而本文所提出的算法復雜度由于需要圖像分解和多維特征提取，所以略低于平面算法，但遠快于Chen[5]算法.

4 結(jié) 論

立體技術(shù)的迅速普及，使得立體圖像質(zhì)量評價成為亟待研究的問題.本文模擬人眼視覺性能，提出了基于小波包分解的無參考立體圖像質(zhì)量客觀評價算法，分別在合值圖和差值圖上提取圖像大量特征，還提取左右視點結(jié)構(gòu)相似度特征.實驗結(jié)果表明，該方法是一種與人眼感知高度一致的評價模型.相比全參考和部分參考立體圖像評價算法，該算法高效可靠，可以實時動態(tài)地評估立體圖像、視頻傳輸過程中的質(zhì)量，即對接收端接受的立體圖像幀及時評價質(zhì)量好壞，并以此作為反饋來對受損圖像進行處理.為進一步提升立體圖像觀看舒適度提供重大參考.

參考文獻

[1] 周武杰， 郁梅， 蔣剛毅，等. 基于視覺感知和零水印的部分參考立體圖像質(zhì)量評價模型[J]. 電子與信息學報， 2012， 34（8）：1786-1792.

ZHOU W J， YU M， JIANG G Y， et al. Reducedreference quality assessment model of stereoscopic image based on visual perception zerowatermark[J]. Journal of Electronics & Information Technology， 2012， 34（8）：1786-1792. （In Chinese）

[2] WANG Z， SIMONCELLI E P， BOVIK A C. Multiscale structural similarity for image quality assessment[C]// Signals， Systems and Computers， USA： Conference Record of the ThirtySeventh Asilomar Conference on IEEE，2004：1398-1402.

[3] MITTAL A， MOORTHY A K， BOVIK A C. Noreference image quality assessment in the spatial domain[J]. IEEE Transactions on Image Processing， 2012， 21（12）：4695-4708.

[4] 侯春萍， 劉月， 岳廣輝，等. 沃爾什哈達瑪變換域的無參考圖像質(zhì)量評價[J]. 湖南大學學報（自然科學版）， 2017， 44（8）：137-144.

HOU C P， LIU Y， YUE G H， et al. Noreference image quality assessment on Walsh Hadamard transform domain[J]. Journal of Hunan University （Nature Sciences）， 2017， 44（8）：137-144.（In Chinese）

[5] CHEN M J， SU C C， KWON D K， et al. Fullreference quality assessment of stereopairs accounting for rivalry[J]. Signal Processing Image Communication， 2013， 28（9）：1143-1155.

[6] CHEN M J， CORMACK L K， BOVIK A C. Noreference quality assessment of natural stereopairs[J]. IEEE Transactions on Image Processing， 2013， 22（9）：3379-3391.

[7] 王珊珊， 邵楓， 蔣剛毅，等. 基于雙目能量響應的無參考立體圖像質(zhì)量評價[J]. 光電子·激光， 2014（4）：741-747.

WANG S S， SHAO F， JIANG G Y， et al. Noreference image quality assessment based on binocular energy response[J]， Journal of Optoelectronics·Laser， 2014（4）：741-747. （In Chinese）

[8] LIN Y H， WU J L. Quality assessment of stereoscopic 3D image compression by binocular integration behaviors[J]. IEEE Transactions on Image Processing， 2014， 23（4）：1527-1542.

[9] SHAO F， LIN W， GU S， et al. Perceptual fullreference quality assessment of stereoscopic images by considering binocular visual characteristics[J]. IEEE Transactions on Image Processing， 2013， 22（5）：1940-1953.

[10]GU K， ZHAI G， YANG X， et al. Noreference stereoscopic IQA approach： from nonlinear effect to parallax compensation[J]. Journal of Electrical and Computer Engineering， 2012（5）：1-12.

[11]ZHOU W， ZHANG S， PAN T， et al. Blind 3D image quality assessment based on selfsimilarity of binocular features[J]. Neurocomputing， 2016， 224：128-134.

[12]HADIZADEH H， BAJIC I V. Noreference image quality assessment using statistical waveletpacket features[J]. Pattern Recognition Letters， 2016， 80：144-149.

[13]FLEET D J， WAGNER H， HEEGER D J. Neural encoding of binocular disparity： energy models， position shifts and phase shifts[J]. Vision Research， 1996， 36（12）：1839-1857.

[14]王旭紅， 何怡剛. 基于小波包和Elman神經(jīng)網(wǎng)絡(luò)的異步電機轉(zhuǎn)子斷條故障診斷方法[J]. 湖南大學學報（自然科學版）， 2010， 37（5）：45-48.

WANG X H， HE Y G. Method of fault diagnosis for induction machine rotor broken bar based on wavelet package and elman neural network[J]. Journal of Hunan University （Nature Sciences）， 2010，37（5）：45-48.（In Chinese）

[15]MA L， WANG X， LIU Q， et al. Reorganized DCTbased image representation for reduced reference stereoscopic image quality assessment[J]. Neurocomputing， 2016， 215（C）：21-31.

[16]RUDERMAN D L. The statistics of natural images[J]. Network Computation in Neural Systems， 2009， 5（4）：517-548.

[17]LIU L， LIU B， HUANG H， et al. Noreference image quality assessment based on spatial and spectral entropies[J]. Signal Processing Image Communication， 2014， 29（8）：856-863.

[18]KOVESI P. Phase congruency detects corners and edges[C]// Pattern Recognition Society Conference. Australia： DICTA ，2003：309-318.

[19]ANDREW A M. An introduction to support vector machines and other kernelbased learning methods[J]. Kybernetes， 2001， 32（1）：1-28.

[20]MOORTHY A K， SU C C， MITTAL A， et al. Subjective evaluation of stereoscopic image quality[J]. Signal Processing Image Communication， 2013， 28（8）：870-883.

[21]SHAO F， LI K， LIN W， et al. Learning blind quality evaluator for stereoscopic images using joint sparse representation[J]. IEEE Transactions on Multimedia， 2016， 18（10）：210-220.