基于雙目能量模型立體圖像質(zhì)量客觀評(píng)價(jià)方法

張引玉，王 慈

(上海交通大學(xué) 電子工程系，上海200240)

在娛樂(lè)行業(yè)和科學(xué)應(yīng)用的推動(dòng)下，3D影像成為近年來(lái)重要的研究對(duì)象。彩色立體圖像質(zhì)量評(píng)價(jià)(Stereo Color Image Quality Assessment，SCIQA)可以給出人眼觀看立體圖片真實(shí)度的判斷依據(jù)。

圖像質(zhì)量評(píng)價(jià)分為主觀和客觀質(zhì)量評(píng)價(jià)兩種。圖像質(zhì)量的主觀評(píng)價(jià)(Subjective Measurement，Mean Opinion Score，MOS)應(yīng)用廣泛，但也存在顯而易見(jiàn)的缺點(diǎn)，如耗時(shí)耗力、成本昂貴。相反，圖像質(zhì)量的客觀評(píng)價(jià)能在很短時(shí)間內(nèi)客觀地給出圖像質(zhì)量的衡量結(jié)果，這在實(shí)時(shí)應(yīng)用中是非常重要的。

3D圖像的質(zhì)量評(píng)價(jià)比傳統(tǒng)的2D圖像質(zhì)量評(píng)價(jià)更為復(fù)雜。它不僅需要考慮影響視覺(jué)的2D因素，如壓縮損失、塊效應(yīng)、模糊等，還要考慮3D圖像顯示大小和顯示技術(shù)等因素給觀察者帶來(lái)的影響。研究表明，3D視頻的顯示格式和對(duì)應(yīng)的編碼方法也與感知的立體效果有著緊密聯(lián)系［1-2］。

早期的研究試圖將傳統(tǒng)2D圖像質(zhì)量評(píng)價(jià)方法直接應(yīng)用于對(duì)3D圖像的質(zhì)量評(píng)價(jià)，對(duì)左右通道的圖像分別使用2D評(píng)價(jià)方法進(jìn)行評(píng)價(jià)，然后計(jì)算兩個(gè)通道的均值得到3D圖像的質(zhì)量評(píng)價(jià)結(jié)果。但是這種評(píng)價(jià)方法與人眼視覺(jué)系統(tǒng)HVS的雙目感知機(jī)理是不吻合的，所以評(píng)價(jià)結(jié)果也很難與立體圖像的主觀評(píng)價(jià)結(jié)果進(jìn)行擬合［3］。由此可知，在立體圖像質(zhì)量評(píng)價(jià)過(guò)程中充分考慮人眼視覺(jué)對(duì)3D因素的感知特性對(duì)于準(zhǔn)確地評(píng)價(jià)3D圖像是非常重要的。

現(xiàn)階段大多數(shù)立體圖像質(zhì)量客觀評(píng)價(jià)方法都集中在信號(hào)處理方面。主要有以下兩個(gè)途徑:將深度信息與二維質(zhì)量評(píng)價(jià)方法結(jié)合;將由左右圖像產(chǎn)生的差距圖和cyclopean圖的評(píng)價(jià)結(jié)果結(jié)合。Benoit等在文獻(xiàn)［4-5］中試圖將深度信息與2D質(zhì)量評(píng)價(jià)方法結(jié)合起來(lái)，利用深度信息度量差距圖的失真，并通過(guò)分別取左右圖像失真的平均值來(lái)度量2D圖像失真，最后將二者結(jié)合產(chǎn)生一種新的SIQA(Stereo Image Quality Assessment)方法。Malaouf等在文獻(xiàn)［6-7］中分別產(chǎn)生了原始圖像和失真圖像的差距圖和cyclopean圖，并將這兩者的評(píng)價(jià)值結(jié)合起來(lái)與主觀評(píng)價(jià)的MOS值進(jìn)行擬合。

近年來(lái)，隨著對(duì)人眼視覺(jué)系統(tǒng)研究的不斷深入，對(duì)立體圖像客觀質(zhì)量評(píng)價(jià)的研究也由傳統(tǒng)的誤差統(tǒng)計(jì)方法轉(zhuǎn)到考慮視覺(jué)感知特性的方法上來(lái)，出現(xiàn)了許多基于人眼基本視覺(jué)特性的圖像質(zhì)量評(píng)價(jià)模型，于是也產(chǎn)生了一些基于人眼視覺(jué)特征的立體圖像質(zhì)量客觀評(píng)價(jià)方法。Yang等在文獻(xiàn)［8］中分析了影響人類(lèi)立體視覺(jué)的因素，通過(guò)沿用基于人眼視覺(jué)的圖像質(zhì)量評(píng)價(jià)模型，提出了一種評(píng)價(jià)立體圖像的方法，該方法分圖像質(zhì)量和圖像立體感兩部分對(duì)立體圖像進(jìn)行客觀評(píng)價(jià)，實(shí)驗(yàn)結(jié)果與主觀評(píng)價(jià)結(jié)果基本一致，能夠反映圖像質(zhì)量和立體感的優(yōu)劣。Rafik等在文獻(xiàn)［9］中提出了一種針對(duì)彩色立體圖像的利用視覺(jué)能量模型的質(zhì)量評(píng)價(jià)方法。

1 雙目能量模型

雙眼視差(Binocular Disparity)簡(jiǎn)稱(chēng)視差，兩眼從稍有不同的兩個(gè)角度去觀察客觀三維世界的景物，景物像點(diǎn)落在左右兩眼視網(wǎng)膜上的像就在不同的位置上。這種兩眼視網(wǎng)膜上位置的差異稱(chēng)為雙眼視差，它反映了客觀景物的深度，大腦的視覺(jué)系統(tǒng)正是利用上述視差才能夠感知立體感。視差經(jīng)腦部區(qū)域融合，產(chǎn)生立體視覺(jué)，雙眼視差的大小由雙眼視差角的大小決定。

3D圖像在HVS系統(tǒng)中的重建質(zhì)量首先取決于人單眼視網(wǎng)膜上接收到的圖像信息，這些信息之后從視網(wǎng)膜傳入視覺(jué)皮層進(jìn)行雙目信息的融合，獲得感知的3D景象。JCA Read等人提出的V1細(xì)胞雙目視覺(jué)能量模型［10］如圖1所示。在視覺(jué)皮層，分別有簡(jiǎn)單細(xì)胞和復(fù)雜細(xì)胞來(lái)負(fù)責(zé)處理雙目接收信息的融合工作，這些細(xì)胞的接收?qǐng)鲇刑囟ǖ姆较蚝痛笮　Ｆ渲?，?jiǎn)單細(xì)胞又分為單目簡(jiǎn)單細(xì)胞(Monocular Simple Cells，MS)和雙目簡(jiǎn)單細(xì)胞(Binocular Simple Cells，BS)。圖像被人眼接收后，先經(jīng)過(guò)單目簡(jiǎn)單細(xì)胞的處理，單目簡(jiǎn)單細(xì)胞的接收?qǐng)隹梢杂枚SGabor函數(shù)描述，將視網(wǎng)膜中的圖像與接收?qǐng)龊瘮?shù)內(nèi)積之后，產(chǎn)生一個(gè)響應(yīng)強(qiáng)度信號(hào)，這個(gè)強(qiáng)度信號(hào)被饋入雙目簡(jiǎn)單細(xì)胞進(jìn)行能量計(jì)算，之后兩對(duì)雙目簡(jiǎn)單細(xì)胞的輸出被送入復(fù)雜細(xì)胞(Complex Cells，CX)進(jìn)行V1細(xì)胞的綜合響應(yīng)能量計(jì)算。

圖1 V1細(xì)胞雙目視覺(jué)能量模型

2 本文算法

2.1 簡(jiǎn)單細(xì)胞

簡(jiǎn)單細(xì)胞接收?qǐng)龅捻憫?yīng)函數(shù)可以用一個(gè)空間線性濾波器ρ(x，y)來(lái)描述，它代表了在視網(wǎng)膜上位置為(x，y)處單位亮度刺激能引起的響應(yīng)大小。ρ(x，y)的正值部分代表了接收?qǐng)鲋械腛N區(qū)域，負(fù)值部分代表了接收?qǐng)鲋械腛FF區(qū)域。在ON區(qū)域，亮的刺激使接收?qǐng)龅捻憫?yīng)增大;而在OFF區(qū)域，暗的刺激使響應(yīng)增大。如果使用I(x，y)表示視網(wǎng)膜中感受到的圖像，其中，I(x，y)的正值代表圖像中亮的刺激，而負(fù)值代表暗的刺激，于是一個(gè)線性單目簡(jiǎn)單細(xì)胞(MS)對(duì)該圖像刺激的響應(yīng)就是視網(wǎng)膜圖像與接收?qǐng)龊瘮?shù)的內(nèi)積，如式(1)所示

在本文算法中，首先將彩色圖像從RGB空間轉(zhuǎn)換到CIEL*a*b*空間，這是因?yàn)楹笳吣苷_地表示HVS感知圖像信息的色彩組成。于是，立體圖像的左圖和右圖就分別被一個(gè)亮度分量L*和兩個(gè)正交的色度分量a*和b*代表，如圖2所示。

圖2 圖像CIEL*a*b*空間顯示結(jié)果

因?yàn)橐曈X(jué)系統(tǒng)中存在單目和雙目?jī)煞N信息，與之對(duì)應(yīng)，在視覺(jué)皮層中也存在兩種簡(jiǎn)單細(xì)胞——單目簡(jiǎn)單細(xì)胞和雙目簡(jiǎn)單細(xì)胞。單目簡(jiǎn)單細(xì)胞負(fù)責(zé)分別接收左右視網(wǎng)膜中的圖像信息，而雙目簡(jiǎn)單細(xì)胞具有雙目的接收?qǐng)?，且由大小、相位和方向這幾個(gè)特性來(lái)表征。每對(duì)雙目簡(jiǎn)單細(xì)胞之間有90°的相位差，一對(duì)單目簡(jiǎn)單細(xì)胞的輸出連接到一個(gè)單目復(fù)雜細(xì)胞，而一對(duì)雙目簡(jiǎn)單細(xì)胞的輸出連接到一個(gè)雙目復(fù)雜細(xì)胞。

一對(duì)簡(jiǎn)單細(xì)胞的響應(yīng)通常是如下形式:C(x)=ρ(x)eφ(x)，為了表示細(xì)胞的這種兼具大小、幅度、相位和方向的空間—頻率特性，需要選取一種合適的方向小波，它需具有多分辨率、空間定位、無(wú)冗余等特性。本文采用以下3種數(shù)學(xué)模型來(lái)模擬細(xì)胞的這種特性，分別是復(fù)雜小波變換(CWT)、離散小波變換(DWT)和Bandelet變換。

Kingsbury［11］在1999年提出了DT-CWT(對(duì)偶樹(shù)復(fù)小波變換變換，Dual Tree-Complex Wavelet Transform)，它是基于實(shí)數(shù)小波變換實(shí)現(xiàn)復(fù)數(shù)小波變換，通過(guò)2個(gè)并行的實(shí)數(shù)濾波器組計(jì)算得到實(shí)部和虛部系數(shù)。相較于傳統(tǒng)的實(shí)離散小波變換(2d-DWT)，DT-CWT具有近似平移不變性、良好的方向選擇性、有限的數(shù)據(jù)冗余4∶1、完備重構(gòu)及計(jì)算復(fù)雜度低等優(yōu)點(diǎn)。本文采用DT-CWT在每一個(gè)尺度下分解生成6個(gè)復(fù)系數(shù)高頻帶子圖，分別代表±15°，±45°和±75°方向的脈沖響應(yīng)。

對(duì)圖像的亮度分量(L*)使用CWT變換得到亮度分量的實(shí)部和虛部，同時(shí)對(duì)兩個(gè)色度分量分別使用DWT，得到色度分量(a*，b*)的實(shí)部和虛部，結(jié)果如圖3所示。

圖3 圖像亮度CWT結(jié)果和圖像色度DWT結(jié)果顯示

對(duì)于幾何正則圖像，小波分解的高頻子帶大幅值系數(shù)主要沿圖像的幾何流分布，為了得到更多的零系數(shù)，Mallat和Peyre在2006年提出Bandelet變換［12］，對(duì)各高頻子帶實(shí)施Bandelet化，實(shí)現(xiàn)小波系數(shù)的進(jìn)一步壓縮。Bandelet化是在二維小波變換的基礎(chǔ)上，沿著高頻子帶系數(shù)的幾何流對(duì)小波系數(shù)進(jìn)行重采樣，得到一維信號(hào)，再對(duì)一維信號(hào)做小波變換，并在局部區(qū)域用一組平行直線逼近該區(qū)域的幾何流走向。由于不同區(qū)域內(nèi)幾何流方向不同，因此必須對(duì)高頻子帶進(jìn)行分割。經(jīng)過(guò)Bandelet變換之后，得到與簡(jiǎn)單細(xì)胞對(duì)應(yīng)的四叉分割結(jié)果和每個(gè)分割塊的方向信息。

于是，對(duì)于一幅彩色立體圖像的左圖或者右圖，經(jīng)過(guò)CWT，DWT和Bandelet變換之后，可以使用如下4個(gè)分量來(lái)表示，即Re［CWT(L*)］，lm［CWT(L*)］，DWT［C(a*)］和DWT［C(b*)］。

2.2 復(fù)雜細(xì)胞

復(fù)雜細(xì)胞的大小跟簡(jiǎn)單細(xì)胞是一致的，區(qū)別在于它們對(duì)方向和位置信息不敏感。經(jīng)過(guò)CWT和Bandelet變換確定圖像小波系數(shù)的分塊和每塊的方向之后，需要根據(jù)得到的方向進(jìn)行左右圖像中對(duì)應(yīng)塊的匹配，本文采用的是在同一水平位置的搜索方法。對(duì)右邊的某幅圖像，如果有特定的方向，就在左圖中跟它同一水平位置找到相近的對(duì)應(yīng)匹配塊。對(duì)于那些沒(méi)有明顯方向的塊，選擇不進(jìn)行匹配。圖4為其中一對(duì)圖像在最大小波分解層次時(shí)水平方向的匹配塊對(duì)應(yīng)圖。

圖4 左右小波匹配塊對(duì)應(yīng)圖

將左右圖中的對(duì)應(yīng)塊全部匹配好之后，需要模擬復(fù)雜細(xì)胞的工作模式，進(jìn)行最終的能量計(jì)算?？梢杂肅l(x)=ρl(x)eφl(shuí)(x)和Cr(x)=ρr(x)eφr(x)分別代表左右對(duì)應(yīng)匹配塊的響應(yīng)值，用E(x)表示一個(gè)雙目復(fù)雜細(xì)胞的響應(yīng)能量值。

匹配塊之間的位置和方向關(guān)系有以下3種情況:

1)左右圖像間的2個(gè)匹配塊具有相同的位置和方向，雙目響應(yīng)能量為

其中，ρi(x)是單目響應(yīng)幅度，由亮度或色度分量的實(shí)部和虛部通過(guò)以下公式計(jì)算得到)

Δφ(x)表示左右對(duì)應(yīng)像素間的相位差，Δφ(x)=φl(shuí)(x)-φr(x)。單目響應(yīng)相位是匹配塊除大小、位置和方向之外另一個(gè)重要特征描述量，通過(guò)式(4)計(jì)算得到

2)左右圖像間兩個(gè)匹配塊的方向相同位置不同，存在雙目水平差距d，Cr(x)是Cl(x)平移之后的值，即Cr(x)=Cl(x-d)。因?yàn)槲恼轮豢紤]校正過(guò)的圖像，所以雙目差距只存在水平方向的位移。于是，相位關(guān)系為φr(x)=φl(shuí)(x-d)，對(duì)雙目相位差進(jìn)行泰勒展開(kāi)，即

雙目響應(yīng)能量為

3)當(dāng)雙目水平差距d繼續(xù)增大，左右圖像間的兩個(gè)匹配塊不僅位置不同，方向也會(huì)發(fā)生改變，這使得雙目相位差需要用差距d和方向改變?chǔ)う貋?lái)表示，如式(7)所示

雙目響應(yīng)能量為

2.3 雙目能量和評(píng)價(jià)分?jǐn)?shù)計(jì)算

本文進(jìn)行全參考圖像的立體圖像客觀質(zhì)量評(píng)價(jià)。其中失真圖像與參考圖像的匹配塊具有相同的位置和大小，但是兩者的方向卻是不一樣的。這是因?yàn)閳D像失真導(dǎo)致圖像的幾何流方向有所改變，同時(shí)簡(jiǎn)單細(xì)胞的感知方向也有所相應(yīng)的改變。同時(shí)，由于小波變換的系數(shù)跟空間失真是有直接關(guān)系的，所以失真圖像的實(shí)部和虛部系數(shù)相對(duì)于參考圖像是有改變的，于是在計(jì)算雙目能量的時(shí)候，幅度ρ(x)和相位φ(x)都跟參考圖像的對(duì)應(yīng)結(jié)果存在差別。

在本文中，最終的質(zhì)量評(píng)價(jià)是通過(guò)比較失真圖像和參考圖像的雙目能量實(shí)現(xiàn)的

將圖像小波分解為L(zhǎng)個(gè)等級(jí)，于是小波分解的子帶總數(shù)為S=(3×L)+1;Ni是對(duì)應(yīng)第i個(gè)子帶中簡(jiǎn)單細(xì)胞，即匹配塊的個(gè)數(shù);C是色彩空間分量個(gè)數(shù)，在該算法中，C=2，分別對(duì)應(yīng)亮度分量和色度分量。

3 實(shí)驗(yàn)結(jié)果

本文在評(píng)估算法時(shí)采用文獻(xiàn)［13］的立體圖像庫(kù)。由于數(shù)據(jù)庫(kù)的限制，只評(píng)價(jià)了JPEG壓縮對(duì)彩色立體圖像質(zhì)量的影響。首先使用由VQEG［14］建議的方法，根據(jù)得到的客觀評(píng)價(jià)值和主觀分?jǐn)?shù)進(jìn)行非線性映射，映射公式為

式中:s是輸入的客觀評(píng)價(jià)值，在本文算法中就是由式(9)計(jì)算出的能量分?jǐn)?shù)值;M(s)是得到的映射分?jǐn)?shù);β1，β2，β3，β4是在曲線擬合過(guò)程中決定的自由參數(shù)。然后根據(jù)M(s)和主觀評(píng)價(jià)值做線性擬合，如圖5所示，圖中橫坐標(biāo)為得到的M(s)，縱坐標(biāo)為主觀MOS值。

圖5 本文算法擬合結(jié)果

本文使用的圖像庫(kù)中，JPEG壓縮有7個(gè)質(zhì)量等級(jí)(Quality Score，QS)，分別為QS=10，15，27，37，55，79，100，QS越高，圖像質(zhì)量越好。一共采用了11組圖像，所以圖中存在77個(gè)數(shù)據(jù)點(diǎn)。圖6為仿真文獻(xiàn)［11］的算法并且使用相同的擬合方法得到的數(shù)據(jù)結(jié)果。可以看到，圖5比圖6在擬合效果上更好。

圖6 文獻(xiàn)［11］算法擬合結(jié)果

通過(guò)計(jì)算由VQEG建議的4個(gè)統(tǒng)計(jì)參數(shù)值來(lái)評(píng)估本文算法結(jié)果跟主觀評(píng)價(jià)值的一致性，分別是非線性回歸條件下的線性相關(guān)系數(shù)(Correlation Coefficient，CC)、Spearman排序相關(guān)系數(shù)(Spearman Rank Order Correlation Coefficient，SROCC)、絕對(duì)誤差均值(Mean Absolute Error，MAE)和均方差的平方根(Root Mean Squared Error，RMSE)。同時(shí)比較了本文算法與仿真文獻(xiàn)［11］中算法得到的數(shù)據(jù)，結(jié)果見(jiàn)表1。

表1 不同算法結(jié)果數(shù)據(jù)的比較

根據(jù)以上結(jié)果可以看到，本文算法相較于文獻(xiàn)［11］中的算法與主觀評(píng)價(jià)值具有更好的擬合度，即具有更大的CC和ROCC，更小的MAE和RMAE。

4 小結(jié)

本文提出一種針對(duì)彩色立體圖像的全參考圖像質(zhì)量客觀評(píng)價(jià)算法，通過(guò)模擬視覺(jué)系統(tǒng)對(duì)視網(wǎng)膜圖像的響應(yīng)達(dá)到評(píng)價(jià)圖像質(zhì)量的目的。首先通過(guò)用復(fù)雜小波變換、離散小波變換來(lái)模擬視覺(jué)皮層細(xì)胞接收?qǐng)龅淖饔茫偻ㄟ^(guò)Bandelet變換來(lái)模擬視覺(jué)系統(tǒng)中簡(jiǎn)單細(xì)胞的組成結(jié)構(gòu)，繼而根據(jù)視覺(jué)系統(tǒng)中簡(jiǎn)單細(xì)胞和復(fù)雜細(xì)胞的合作方式構(gòu)建出能量模型，最終將能量計(jì)算結(jié)果作為人腦對(duì)彩色立體圖像的響應(yīng)大小，并判斷這個(gè)能量響應(yīng)大小與主觀評(píng)價(jià)值的相符性。實(shí)驗(yàn)結(jié)果表明，該算法的結(jié)果與引用圖像庫(kù)的主觀評(píng)價(jià)結(jié)果有較好的擬合度，能較好地評(píng)價(jià)彩色立體圖像質(zhì)量。

［1］LAMBOOIJ M，IJSSELSTEIJN W，HEYNDERICKX I.Visual discomfort in stereoscopic displays:a review［C］//Proc.SPIE 6490，Stereoscopic Displays and Virtual Reality Systems XIV.San Jose，CA，USA:SPIE Press，2007:1-13.

［2］成于慶，姜秀華.立體電視視頻質(zhì)量影響因素分析［J］.電視技術(shù)，2011，35(12):80-83.

［3］CAMPISI P，CALLET P L，MARINI E.Stereoscopic images quality assessment［EB/OL］.［2012-11-02］.http://www.irccyn.ec-nantes.fr/～lecallet/paper/lecallet-Eusipco07.pdf.

［4］BENOIT A，CALLET P L，CAMPISI P，et al.Using disparity for quality assessment of stereoscopic images［C］//Proc.ICIP’08.［S.l.］:IEEE Press，2008:389-392.

［5］BENOIT A，CALLET P L，CAMPISI P，et al.Quality assessment of stereoscopic images［EB/OL］.［2012-11-02］.http://www.irccyn.ecnantes.fr/～lecallet/paper/lecallet-Eusipco07.pdf.

［6］MAALOUF A，LARABI M C.CYCLOP:a stereo color image quality assessment metric［C］//Proc.ICASSP 2011.［S.l.］:IEEE Press，2011:1161-1164.

［7］BOEV A，GOTCHEV A，EGIAZARIAN K.Towards compound stereovideo quality metric:a specific encoder-based framework［C］//Proc.IEEE Southwest Symposium Image Analysis and Interpretation.Denver，CO，USA:IEEE Press，2006:218-222.

［8］YANG J，HOU C，ZHOU Y，et al.Objective quality assessment method of stereo images［C］//Proc.IEEE 3DTV Conference.Potsdam，Germany:IEEE Press，2009:1-4.

［9］BENSALMA R，CHAKER M.Towards a perceptual quality metric for color stereo images［C］//Proc.IEEE 17th International Conferences on Image Processing.Hong Kong:IEEE Press，2010:26-29.

［10］READ J，PARKER A J，CUMMING B G.A simple model accounts for the response of disparity-tuned V1 neurons to anticorrelated images［J］.Visual Neuroscience，2002(19):735-753.

［11］KINGSBURY N.The dual-tree complex wavelet transform:a new technique for shift invariance and directional filters［C］//Proc.8th IEEE DSP Workshop.Bryce Canyon，USA:IEEE Press，1998:319-322.

［12］PEYRE G，MALLAT S.Surface compression with geometric bandelets［J］.ACM Transactions on Graphics，2005，24(3):601-608.

［13］SAZZAD Z，YAMANAKA S，KAWAYOKE Y，et al.Stereoscopic image quality prediction［C］//Proc.IEEE QoMEX.San Diego，CA，USA:IEEE Press，2009:29-31.

［14］VQEG final report of FR-TV phase II validation test 2003［EB/OL］.［2012-11-02］.http://www.vqeg.org.