應(yīng)用人類視覺特性的立體圖像質(zhì)量評價方法

沈麗麗 ，侯春萍

(1. 天津大學(xué)電子信息工程學(xué)院，天津 300072；2. 國家海洋技術(shù)中心，天津 300112)

傳統(tǒng)的平面圖像質(zhì)量評價分為2類：主觀評價和客觀評價．主觀評價方法的準(zhǔn)則(mean opinion score，MOS)[1]可能不同，但基本原理都類似，主觀質(zhì)量評價過程需要挑選大量的觀察者，每個觀察者要對多個測試圖像進(jìn)行大量反復(fù)的實驗，耗時長且費用高，易受被測試者個人心理和生理變化的復(fù)雜性和差異性的影響，操作難度較大且無法做到實時性．因此如何建立與主觀評價結(jié)果相吻合的客觀質(zhì)量評價方法成為亟待解決的研究課題．

傳統(tǒng)的基于數(shù)學(xué)統(tǒng)計量的圖像質(zhì)量客觀評價方法，主要有均方誤差(mean squared error，MSE)和峰值信噪比(peak signal-noise ratio，PSNR)方法，以及派生出來的均方根誤差(root mean squared error，RMSE)方法等．這類方法的優(yōu)點是簡單易行，因此在很多應(yīng)用中被廣泛使用；缺點是沒有考慮這些差異對于人類的視覺感知的影響以及圖像本身的特點，有時不能真實地反映視覺信息的質(zhì)量，結(jié)果往往與主觀評價有較大的差異．

近幾年出現(xiàn)了一些與立體圖像質(zhì)量評價有關(guān)的文獻(xiàn)[2]．Seunti?ns[3]提出 3,DTV 主觀質(zhì)量評價應(yīng)該從圖像深度、圖像質(zhì)量、立體感是否存在、立體感是否自然、立體感舒適程度和立體感是否符合視覺經(jīng)驗等多方面進(jìn)行評價．Saygih等[4]在進(jìn)行大量的主觀測試后指出參考視點的編碼質(zhì)量高時，輔助視點的編碼質(zhì)量只要大于最低門限值，立體視頻的質(zhì)量下降不明顯．而該最低門限值與顯示方式、失真類型有關(guān)．Alexandre等[5-6]提出了一種立體圖像客觀質(zhì)量評價方法，該方法考慮了2類失真：視差失真與平面圖像質(zhì)量失真，計算2類失真后，綜合給出了最終的評價指標(biāo)，但由于樣本數(shù)量過少而受到了學(xué)者的質(zhì)疑．筆者[7-8]也提出過基于人類生理視覺特性的立體圖像的客觀質(zhì)量評價方法．

對于立體圖像的客觀質(zhì)量評價尚無統(tǒng)一的判定標(biāo)準(zhǔn)，因此，研究立體圖像質(zhì)量的評價方法將具有重要的意義，可以為立體圖像的壓縮傳輸處理研究提供新的思路，也可為制作出具有更好視覺舒適度的立體圖像提供理論依據(jù)．本文提出了一種立體圖像的質(zhì)量評價方法，提取出能夠表征立體圖像的特征參數(shù)作為判定要素，通過利用心理立體視覺感知圖像的方式來分割立體圖像的特征信息，用灰度聚類的方法模擬人眼觀察圖像信息的過程，基于結(jié)構(gòu)相似性理論對不同深度層次上的圖像進(jìn)行加權(quán)，最后得到立體圖像的質(zhì)量評價指標(biāo)．

1 系統(tǒng)設(shè)計

對于立體圖像的客觀質(zhì)量評價，分析影響立體圖像視覺效果的因素，準(zhǔn)確地提取影響立體圖像質(zhì)量的特征因子，是建立有效的質(zhì)量評價方法的前提和基礎(chǔ)．本算法提取了用來表征立體視覺信息的 2類特征參數(shù)：立體圖像的絕對差異信息和視差信息．生理心理學(xué)已經(jīng)證明，人類觀看立體圖像、感知信息時，距離越遠(yuǎn)，立體感越不明顯．運用圖像分割算法對視差信息進(jìn)行聚類分割后，基于結(jié)構(gòu)相似性理論對不同深度層次上的圖像進(jìn)行加權(quán)．顯然，對于一幅立體圖像，近處的景物立體感很強(qiáng)，分割后應(yīng)當(dāng)分配較大的權(quán)重，而遠(yuǎn)處景物的立體感較差，可以降低權(quán)重，甚至不予考慮．

筆者所提出的質(zhì)量評價方法考慮了人類的生理和心理視覺特性，如圖1所示．

圖1 聯(lián)合立體視覺的質(zhì)量評價模型Fig.1 Quality assessment model with joint stereo vision

1) 立體圖像的絕對差異信息

人眼觀看立體圖像與平面圖像區(qū)別很大．在觀看平面圖像時，兩只眼睛看到的是同一幅圖像；而觀看立體圖像時，兩只眼睛看到的是2幅具有雙目視差的左圖像和右圖像．從單只眼睛觀看的角度和效果來講，平面圖像與立體圖像沒有區(qū)別，看到的都是同一幅圖像．但是從兩只眼睛觀看的角度以及融合效果來講，平面圖像與立體圖像有很大區(qū)別：人雙眼觀看立體圖像時看到的是視點對，人類大腦內(nèi)部能夠用視點對中的雙目視差信息形成立體感；觀看平面圖像時則不會有這種現(xiàn)象．

下面以一幅雙視點圖像為例來闡述絕對差異(差值)信息對立體圖像質(zhì)量的影響．圖 2是一幅具有雙目視差的立體圖像的左右視點對．該圖像源于美國Middlebury stereo datasets立體圖像庫[9]．該庫給出了不同類型的多幅雙視點原始參考立體圖像，圖像的原始大小為436× 3 60× 2 4，設(shè)左圖像各點像素值為 L，右圖像各點像素值為R．

圖2 雙視點立體圖像TeddyFig.2 Two viewpoint pairs named ‘Teddy’

圖3是圖2所示立體圖像的絕對差異圖像，觀察此圖會發(fā)現(xiàn)，具有雙目視差的視點對，其絕對差異圖像是單幅視圖的近似輪廓線，而視差在物體邊緣處表現(xiàn)最明顯．

設(shè)視點對的絕對差異值為 Diff，在計算時取絕對值，則有

人的雙眼視軸并非完全平行，而是稍稍向內(nèi)傾斜，而且兩眼相距一定距離(瞳距)，所以當(dāng)人們觀看一個物體時，左眼和右眼看到的物體是不一樣的，不但角度不同，看到的范圍也不同，不僅如此，物體離人眼的距離不同在視網(wǎng)膜上對應(yīng)的位置和印記也不同，正是由于雙眼存在視差，人眼才會形成立體視覺．具有人眼標(biāo)準(zhǔn)視差的視點對，它們的絕對差值圖像是一幅圖像的輪廓線[7]．這一幅差值圖像是兩眼看到的不同信息，包含立體視差相關(guān)信息．越接近原始圖像對的差值圖，立體圖像的質(zhì)量就越好．因此，筆者利用差值圖來對圖像質(zhì)量進(jìn)行客觀評價．

圖3 立體圖像的絕對差異Fig.3 Absolute disparity of stereo image

2) 立體圖像的深度信息——視差圖

在立體視覺系統(tǒng)中，視差是一個重要的物理量，間接反映了景物的深度信息．人們認(rèn)識到當(dāng)兩眼從稍有不同的2個角度觀察三維景物時，2個視網(wǎng)膜上的映像略有不同，大腦視覺皮層區(qū)域通過檢測投影在左右眼視網(wǎng)膜上的圖像之間的細(xì)微差別和圖像特征等與深度相關(guān)的信息，進(jìn)行三維數(shù)據(jù)重建，獲得深度感知．雙眼視差則體現(xiàn)的是觀看的物體深度信息，是產(chǎn)生立體視覺的主要因素．

本實驗中用到的視差提取方法是基于圖像分割的立體匹配算法[10]，圖 4是通過上述算法得到的原始立體圖像的視差，用此算法提取的視差圖看起來平滑、邊緣處誤差較少，比較準(zhǔn)確．

圖4 原始立體圖像的視差Fig.4 Disparity map of original stereo image

筆者所提出的立體圖像質(zhì)量評價方法主要有以下幾個部分：首先，按照上述 2種辦法提取出立體圖像的特征參數(shù)；利用聚類的算法對得到的特征量進(jìn)行分割，本文用 K-means算法[11]實現(xiàn)；用基于加權(quán)結(jié)構(gòu)相似性的評價法則對分割后的數(shù)據(jù)進(jìn)行擬合得到評價指標(biāo)．

1.1 聚類分割

圖像分割的任務(wù)是把圖像分成互不交疊的有意義的區(qū)域，以便進(jìn)一步的處理、分析、應(yīng)用．在圖像分析和理解中，分割的精確程度影響下一步分析的精確程度．圖像分割的主要方法可以分為 3大類：①邊界方法，這種方法假設(shè)圖像分割結(jié)果的某個子區(qū)域在原來圖像中一定會有邊緣的存在；②區(qū)域方法，這種方法假設(shè)圖像分割結(jié)果的某個子區(qū)域一定會有相同的性質(zhì)，而不同區(qū)域的像素則沒有共同的性質(zhì)；③將前2類方法結(jié)合起來，形成混合圖像分割方法．

本文評價算法中采用的圖像分割方法屬于第 1類．如果 2個相鄰的區(qū)域有亮度的突變，人們就能感受到邊緣的存在，通過邊緣灰度的變化檢測，可以表明一個類與另一個類的區(qū)別．灰度圖像都具有一些特有的性質(zhì)：圖像里的每個區(qū)域都由不同的灰度值構(gòu)成；圖像中每個區(qū)域的灰度信息都可以用一些近似的量化的值代替，而不丟失原來圖像的特征；在 2個不同事物的交界處，灰度值呈跳躍變化，這是基于灰度分割圖像的出發(fā)點．具體實現(xiàn)時使用 K-means聚類算法[11]來對圖像進(jìn)行分割．這里采用歐氏距離來表示，基于這種距離度量的算法趨向于發(fā)現(xiàn)具有相近密度和尺寸的類，即

式中：xi,j為各類中的數(shù)據(jù)對象；zi,j為各類的均值；d( xi,j, zi,j)為對象i和類的中心在第 j維變量上的距離或相似度．

輸入條件為聚類個數(shù)K，以及包含n個數(shù)據(jù)對象的樣本集；輸出條件為滿足方差最小標(biāo)準(zhǔn)的K個聚類．

對轉(zhuǎn)換后的灰度圖像做 K-means聚類分割，模擬人眼視覺觀看自然景物時習(xí)慣于將相似性強(qiáng)的物體進(jìn)行聚類的特點．經(jīng)過實驗發(fā)現(xiàn) K＝2～3時用本算法得到的客觀評價值與主觀結(jié)果的一致性較好．圖 5是基于 K-means算法對原始立體圖像的絕對差異圖像(特征參數(shù)之一)分割后得到的類圖．

1.2 平均結(jié)構(gòu)相似性法則

結(jié)構(gòu)相似性度量將失真建模為 3個不同因素的組合：亮度l、對比度c和結(jié)構(gòu)s．用均值(μX,μY)作為亮度的估計，用標(biāo)準(zhǔn)差(σX,σY) 作為對比度的估計，用協(xié)方差σXY作為結(jié)構(gòu)相似程度的度量，于是，結(jié)構(gòu)相似度量(structural similarity，SSIM)定義為

式中：α,β,γ＞ 0 ，3個參數(shù)用來調(diào)整亮度、對比度和結(jié)構(gòu)信息的權(quán)重．

圖5 類圖Fig.5 Class-map

平均結(jié)構(gòu)相似度(mean structural similarity，MSSIM)法則是將原始參考圖像 X、失真圖像 Y以相同大小的窗口進(jìn)行互不重疊的分塊，分塊總數(shù)為 M，利用滑動窗口操作將窗口沿圖像逐像素地從左上角向右下角移動，計算每次窗口對應(yīng)子圖像的 SSIM值，對所有子圖像的SSIM值進(jìn)行平均．

觀察分割后的2類特征圖像，發(fā)現(xiàn)類圖1為近景圖像，是立體圖像的主要景象，立體感最強(qiáng)；類圖 2其次；如果有更多分類，則根據(jù)聚類算法原理，越后面的類，距離越遠(yuǎn)，則多背景，觀察時不引人注意；這也與人眼感知立體視覺信息的過程相一致．這幾類圖像對于合成后立體圖像立體感和圖像質(zhì)量貢獻(xiàn)大小不同，影響也不同，因此可以對圖像進(jìn)行加權(quán)，其公式為

式中：org(Classi)、dis(Classi)分別為原始立體圖像的視差信息經(jīng)過分割后得到的類圖和失真立體圖像的視差信息經(jīng)過分割后的類圖；D_SSIM為用本文的方法得到的客觀評價值；wi為加權(quán)系數(shù)，其表達(dá)式為

式中：im為類i的灰度均值；N為分類數(shù)目．

2 仿真條件

仿真實驗在一臺普通 PC機(jī)上進(jìn)行，利用美國Middlebury stereo datasets提供的圖像，圖像大小為436× 3 60× 2 4，用 teddy.bmp、baby3.bmp、Art.bmp、Dolls.bmp、tsukuba.bmp等多個立體圖像作為測試圖像．對每個視點對中的左視點進(jìn)行失真處理，得到一系列不同失真情形下的立體圖像．觀看設(shè)備采用天津三維成像技術(shù)有限公司生產(chǎn)的立體視窗“3D WINDOWS-19A01型”計算機(jī)立體成像器．圖 6列出了名為teddy的立體圖像的單幅視點的12種失真情況中的4種．

圖6 圖像失真類型Fig.6 Distortion type of images

3 仿真結(jié)果

圖 7給出了 3種客觀質(zhì)量評價算法的評估曲線(3D_SSIM1、3D_SSIM2、PPSNR)和主觀MOS值曲線，橫坐標(biāo)代表不同的失真情況，縱坐標(biāo)是用4種客觀評價方法得到的評價值．3D_SSIM1、3D_SSIM2分別是本文方法得到的客觀評價值，即以立體圖像的絕對值信息和視差信息作為特征參數(shù)的算法實現(xiàn)．PPSNR(parallax peak signal-to-noise ratio)值通過計算原始立體圖像和失真立體圖像的絕對差異圖像之間的PSNR得到，即有

圖7 客觀算法和主觀算法的評價值Fig.7 Objective assessment values and MOS value

式中：MN為圖像的大??；D ifforg(i, j)為原始左右視圖的絕對差異信息；D iffdis(i, j)為失真后左右視圖的絕對差異信息．

從圖7可以看出，不同失真情況下，3D_SSIM評價值的曲線與 MOS值的曲線看起來變化趨勢很相似，而 PPSNR評價值與 MOS值的相似程度不及本方案得到的評價值3D_SSIM1和3D_SSIM2．為了更直觀地比較3種算法與主觀MOS值是否相符，本文又分別給出了 3個客觀評價值 3D_SSIM1、3D_SSIM2和PPSNR與主觀MOS值之間的絕對差曲線，如圖 8所示，本算法得到的評價值 3D_SSIM1和3D_SSIM2與主觀MOS值之間的誤差最?。诔浞謶?yīng)用人類視覺特性的方法中，采用立體圖像的深度信息作為輸入時，算法復(fù)雜度要高于絕對差異信息作為輸入的情況，但是與主觀評價的總體契合度優(yōu)于PPSNR算法.

本文還給出了主客觀評價值之間的相關(guān)系數(shù)，其中PPSNR值和MOS值的相關(guān)系數(shù)為R(PPSNR)＝0.658,3，說明這種評價方法與主觀評價的相關(guān)性較弱；而用本算法得到的 3D_SSIM1、3D_SSIM2值和MOS值的相關(guān)系數(shù)分別為 0.806,6和 0.892,5．上述分析均表明通過本算法得到的質(zhì)量評價結(jié)果與主觀評價結(jié)果相關(guān)性較強(qiáng)，更符合人眼的視覺特性．

圖8 主客觀評價值之間的絕對差曲線Fig.8 Absolute deviation between objective and MOS values

4 結(jié) 語

本文提出了一種聯(lián)合生理和心理立體視覺特性的質(zhì)量評價方法，并分別用立體圖像的視差信息和絕對差異信息作為特征參數(shù)，給出了2種不同的實現(xiàn)方式．實驗結(jié)果表明，2種復(fù)雜度不同的方法均能很好地用于立體圖像的質(zhì)量評價，且所提出的評價方法簡捷有效，能較好地與人眼的主觀質(zhì)量評價結(jié)果相匹配．

［1］Rec. ITU-R BT. 500-11. Methodology for the subjective assessment of the quality of television pictures [EB/OL].http：//www. dii. unisi. it/～menegaz/DoctoralSchool 2004/papers/ITU-R_BT. 500-11. pdf，2002.

［2］Aldo Maalouf，Mohamed-Chaker Larabi．CYCLOP：A stereo color image quality assessment metric[C]//IEEE International Conference on Acoustics，Speech，and Signal Processing. Prague，Czech Republic，2011：1161-1164.

［3］Seuntiens˙P J H. Visual Experience of 3,DTV[D]. Netherlands：the Eindhoven University of Technology and Philips Research Eindhoven，2006.

［4］Saygih G，Goktug Gurler C，Murat Tekalp A．Quality assessment of asymmetric Stereo video coding[C]//IEEE 17th International Conference on Image Processing. Hongkong，China，2010：4009-4012.

［5］Alexandre B，Patrick L C，Patrizio C，et al. Using disparity for quality assessment of stereoscopic images[C]//Image Processing，ICIP 15th IEEE International Conference．San Diego，United States，2008：389-392.

［6］Alexandre B，Patrick L C，Patrizio C，et al．Quality assessment of stereoscopic images [J]．EURASIP Journal on Image and Video Processing，2008：390-392.

［7］沈麗麗，侯春萍，楊嘉琛，等. 適合立體壓縮圖像的客觀質(zhì)量評價方法[J]. 天津大學(xué)學(xué)報，2009，42(12)：1083-1088.

Shen Lili，Hou Chunping，Yang Jiachen，et al. Objective measurement for stereo compressed images[J].Journal of Tianjin University，2009，42(12)：1083-1088(in Chinese)．

［8］沈麗麗，侯春萍，張卓筠，等. 基于三維特征和結(jié)構(gòu)相似度的立體圖像質(zhì)量評價方法[J]. 光電子·激光，2010，21(11)：1713-1719.

Shen Lili，Hou Chunping，Zhang Zhuoyun，et al. A stereo image quality evaluation method based on three dimensional characteristics and structural similarity [J].Journal of Optoelectronics·Laser，2010，21(11)：1713-1719(in Chinese)．

［9］Scharstein D，Szeliski R．A taxonomy and evaluation of dense two-frame stereo correspondence algorithms[J].International Journal of Computer Vision，2002，47(1/2/3)：7-42．

［10］Klaus A，Sormann M，Karner K. Segment-based stereo matching using belief propagation and a self-adapting dissimilarity measure[C]//The 18th International Conference on Pattern Recognition.Hongkong，China，2006：15-18.

［11］Xiong Hui，Wu Junjie，Chen Jian. K-means clustering versus validation measures：A data-distribution perspective[J].IEEE Transaction on Systems，Man and Cybernetics，2009，39(2)：318-331.