基于視覺顯著性圖的立體圖像視疲勞評價

譚澤富，丁妍芝，雷國平，彭 霞

(1.重慶郵電大學(xué) 通信與信息工程學(xué)院，重慶 400065；2.重慶三峽學(xué)院 信號與信息處理重點(diǎn)實(shí)驗(yàn)室，重慶 404100)

?

基于視覺顯著性圖的立體圖像視疲勞評價

譚澤富1,2，丁妍芝1，雷國平2，彭 霞1

(1.重慶郵電大學(xué) 通信與信息工程學(xué)院，重慶 400065；2.重慶三峽學(xué)院 信號與信息處理重點(diǎn)實(shí)驗(yàn)室，重慶 404100)

隨著立體顯示技術(shù)的飛速發(fā)展，立體圖像帶來的視疲勞問題引發(fā)了人們的廣泛關(guān)注。視覺顯著性區(qū)域決定著立體圖像的性質(zhì)，而雙目視差和觀看時間是影響立體圖像視疲勞程度的兩個重要因素。為了評價觀看立體圖像后產(chǎn)生的視疲勞，提出了立體圖像視疲勞的評價模型。該模型基于視覺顯著性圖，根據(jù)視差和觀看時間得到對立體圖像視疲勞的評價。生理心理實(shí)驗(yàn)表明，該模型預(yù)測結(jié)果的可靠率到達(dá)了93%以上，依據(jù)該評價模型可由視差和觀看時間快速、準(zhǔn)確地評價立體圖像視疲勞，為立體圖像視疲勞的評價及立體圖像的改進(jìn)提供了依據(jù)。

立體圖像；視疲勞；評價模型

立體圖像顯示系統(tǒng)模仿人眼視覺系統(tǒng)，基于雙目視差原理，利用光柵或者立體眼鏡等工具，讓雙眼分別接收到視角輕微不同的兩幅圖像，經(jīng)大腦融合得到基于雙目視差的深度信息，產(chǎn)生立體感，使觀眾沉浸在立體圖像所呈現(xiàn)的場景之中。

在自然情況下，人眼的輻輳和調(diào)節(jié)是一致的，但觀看立體圖像時卻有所不同。觀看立體圖像時，調(diào)節(jié)距離是人眼與屏幕間的距離，是固定的，而輻輳距離卻隨著虛擬物象位置的變化而變化，造成了輻輳-調(diào)節(jié)沖突[1-2]，這是引發(fā)立體影像視疲勞的主要因素之一。

立體圖像的雙目視差決定了其輻輳-調(diào)節(jié)沖突的程度，因此，在評判立體圖像視疲勞時，雙目視差是必不可少的重要因素。目前已經(jīng)有一些文獻(xiàn)研究了對立體圖像的視疲勞評價，文獻(xiàn)[3-4]研究了立體圖像視疲勞評價與平面圖像視疲勞評價的異同；文獻(xiàn)[5]研究了立體圖像視疲勞的客觀評價方法；文獻(xiàn)[6]研究了立體顯示視疲勞的主觀評價方法；文獻(xiàn)[7]通過主、客觀實(shí)驗(yàn)，測量了雙目視差對立體圖像視疲勞的影響；文獻(xiàn)[8]研究表明，正向視差與負(fù)向視差對立體圖像視疲勞的影響效果不同。

然而這些研究都沒有綜合考慮視差、觀看時間及視覺注意力對立體圖像視疲勞的影響。本文通過生理心理實(shí)驗(yàn)，綜合考慮雙目視差和觀看時間對立體圖像視疲勞的影響，提出了基于視覺顯著性圖的立體圖像視疲勞評價模型。

1 實(shí)驗(yàn)環(huán)境

實(shí)驗(yàn)過程中環(huán)境亮度保持為200 lx，環(huán)境溫度和濕度為恒定值。有30名受試者，年齡在18～40歲之間，其中男、女各15人。所有受試者在評價立體圖像視疲勞之前都接受了視覺檢查，以確保其雙目視覺功能正常。

立體圖像顯示設(shè)備是分辨率為1 920×1 080的27 in(1 in=2.54 cm)主動快門式立體電視，屏幕比例為16∶9。遵照電視圖像質(zhì)量主觀評定方法(ITU-R BT.500-13)，實(shí)驗(yàn)時的觀影距離是屏幕高度的3倍，約為1 010 mm，人的平均瞳間距離為65 mm，則立體圖像深度與視差的關(guān)系如表1所示。

表1 立體圖像視疲勞與視差的關(guān)系

2 建立評價模型

基于立體圖像視疲勞的建模過程分為3個部分，首先利用3ds Max軟件合成視差單一的立體圖像，并結(jié)合生理心理實(shí)驗(yàn)，建立視差及觀看時間與視疲勞關(guān)系的模型；然后提取出現(xiàn)實(shí)場景立體圖像的視覺顯著性圖，運(yùn)用空間匯集技術(shù)求得基于視覺顯著性圖的視差，帶入模型即可得基于視覺顯著性圖的立體圖像視疲勞評價；最后分析和比較基于視覺顯著性圖的評價結(jié)果和基于全局模型的評價結(jié)果，驗(yàn)證基于視覺顯著性圖的立體圖像視疲勞評價模型的有效性。

2.1 立體圖像視疲勞建模

利用3ds Max軟件構(gòu)建出符合實(shí)驗(yàn)要求的立體場景，得到所需的單一視差的立體圖像組。本實(shí)驗(yàn)構(gòu)建的立體場景為一個懸浮在空中的足球。調(diào)整3ds Max的相機(jī)參數(shù)，依據(jù)屏幕尺寸、觀看距離和深度與視差的關(guān)系，將同一場景渲染成視差分別為-1.5°～+1.5°的11幅單一視差立體圖像，其中“-”表示負(fù)向視差，此時有出屏的效果；“+”表示正向視差，此時有入屏的效果。

實(shí)驗(yàn)前，先讓受試者閉目5 min，讓眼睛得到放松，以消除受試者已有視疲勞。接著，用2 min讓受試者做立體圖像視疲勞的問卷，得到觀看立體圖像前視疲勞的基準(zhǔn)值。然后，讓受試者觀看不同視差的11組立體圖像，每組圖放映結(jié)束后，受試者再利用2 min時間填寫問卷調(diào)查，然后進(jìn)行下一輪實(shí)驗(yàn)。每位受試者的連續(xù)實(shí)驗(yàn)過程不超過1 h。每幅立體圖像分別放映10次，每次放映的時間為1～10 min。

視疲勞問卷中包含立體圖像視疲勞的8個指標(biāo)，對每一個指標(biāo)用五分制評判(1分表示“完全沒有”；2分表示“輕微”的；3分表示“有一些”；4分表示“糟糕的”；5分表示“難以忍受”的)。指標(biāo)的內(nèi)容和權(quán)重如表2所示[9]，將每個指標(biāo)的評判得分加權(quán)求和，即得立體圖像視疲勞程度的總體評價。

整理生理心理實(shí)驗(yàn)問卷數(shù)據(jù)，可得到不同視差和觀看時間條件下立體圖像視疲勞程度的評價得分。用多項(xiàng)式f(d)=k0+k1d+k2d2+k3d3擬合受試者觀看不同視差立體圖像10 min后視疲勞程度的數(shù)據(jù)，其中d表示立體圖像的雙目視差，f(d)表示受試者的視疲勞程度，ki(i=0,1,2,3)為模型參數(shù)。依據(jù)最小二乘準(zhǔn)則求得模型參數(shù)ki(i=0,1,2,3)，可以得到

表2 視疲勞指標(biāo)及其權(quán)重

f(d)=1.062 7-0.106 3d+1.506 1d2-0.075 5d3

(1)

觀看立體圖像10 min后視疲勞程度與視差的關(guān)系如圖1所示。從中可以看出，隨著雙眼視差的增大，視疲勞程度增加明顯，而且負(fù)向視差比正向視差更容易產(chǎn)生視疲勞。

圖1 雙目視差與視疲勞關(guān)系

用多項(xiàng)式f(d,t)=α0+α1d+α2d2+α3d3+α4t+α5t2+α6t3擬合立體圖像視疲勞程度與立體圖像視差及觀看時間的關(guān)系，其中d表示立體圖像雙目視差，t表示觀看立體圖像的時間，f(d,t)表示雙目視差為d并且觀看時間為t時，觀看者的視疲勞程度。依據(jù)實(shí)驗(yàn)數(shù)據(jù)，并基于最小二乘準(zhǔn)則求得參數(shù)αi(i=0～6)，可得立體圖像視疲勞評價模型為

f(d,t)=1.259 3-0.042 2d+0.742 2d2-0.062 0d3+

0.016 1t+0.017 2t2-0.000 5t3

(2)

通過此模型可由立體圖像的雙目視差及觀看時間來預(yù)測觀看者的立體圖像視疲勞程度。

立體圖像視疲勞程度與視差及觀看時間的關(guān)系如圖2所示，從中可以看出立體圖像的雙目視差和觀看時間是影響立體圖像視疲勞程度的重要因素。隨著視差的增大和觀看時間的增加，立體圖像視疲勞程度增加明顯。

2.2 基于視覺顯著性圖的立體圖像視疲勞評價

此部分的實(shí)驗(yàn)圖像為3D相機(jī)(富士3DW3)拍攝的40幅現(xiàn)實(shí)場景的立體圖像，每幅圖像都由包含大量不同景深、不同視差的景物。

觀看立體圖像時，人的注意力通常集中于圖像的某些區(qū)域，這部分區(qū)域即所謂的視覺顯著性區(qū)域，用視覺顯著性圖表示。相比圖像中的其他區(qū)域，視覺顯著性區(qū)域吸引了觀看者絕大多數(shù)的視覺注意力，因?yàn)樘岢鲆曈X顯著性區(qū)域極可能是影響立體圖像視疲勞評價得分的決定性因素。在此假設(shè)下，建立了基于視覺顯著性區(qū)域的立體圖像視疲勞評價模型，用視覺顯著性區(qū)域的立體特征結(jié)合視疲勞評價模型評價現(xiàn)實(shí)場景的立體圖像視疲勞。

圖2 視疲勞關(guān)系與雙目視差及觀看時間建模

基于視覺顯著性圖的立體圖像視疲勞評價是指根據(jù)立體圖像特征提取出視覺顯著性圖，結(jié)合空間匯集技術(shù)求得基于視覺顯著性圖的立體圖像視差，帶入立體圖像視疲勞評價模型，得到立體圖像視疲勞評價。

立體圖像的色彩分布、邊緣輪廓以及視差是影響人視覺注意力的3個最重要的因素。因此，為了獲得視覺顯著性圖必須先提取出色彩顯著性圖、邊緣顯著性圖和視差圖。首先根據(jù)立體圖像的左眼視圖提取出色彩顯著性圖和邊緣顯著性圖，并根據(jù)左、右視圖運(yùn)用圖割算法求取立體圖像視差圖。再根據(jù)式(3)得到合成圖A，即

A=α1C+α2E+α3D

(3)

式中：A表示合成圖；C表示色彩顯著性圖；E表示邊緣顯著性圖；D表示立體圖像的視差圖。α1，α2，α3分別表示對應(yīng)的權(quán)重，取值為α1=0.4，α2=0.3，α3=0.3[10]。將圖A以0.5為閾值進(jìn)行二值化處理，即得到視覺顯著性圖。

與用3ds Max軟件制作的單一視差立體圖像不同，現(xiàn)實(shí)場景立體圖像中不同區(qū)域的視差是不一致的，為了獲取現(xiàn)實(shí)場景立體圖像的視差，引入了空間匯集技術(shù)。基于視覺顯著性圖的立體圖像視疲勞評價，即基于視覺顯著性圖，運(yùn)用空間匯集技術(shù)，將圖像的視覺顯著性區(qū)域按照一定的方式劃分為多個板塊，并依據(jù)圖像的特征匯集統(tǒng)計(jì)方法對每個板塊的視差進(jìn)行處理，最終得到單一的立體圖像視差統(tǒng)計(jì)表達(dá)D′，即立體圖像的整體雙目視差值可用D′表示。將D′帶入視疲勞評價模型，最終得到基于視覺顯著性圖的立體圖像視疲勞評價。

用皮爾遜相關(guān)系數(shù)和皮爾遜等級相關(guān)系數(shù)比較基于全局的視疲勞評價模型和基于視覺顯著性區(qū)域的視疲勞評價模型，其中皮爾遜相關(guān)系數(shù)表示生理心理實(shí)驗(yàn)評價視疲勞主觀得分與視疲勞評價模型預(yù)測得分的線性相關(guān)性，斯皮爾曼等級相關(guān)系數(shù)表示視疲勞評價模型預(yù)測分?jǐn)?shù)與雙目視差的相關(guān)關(guān)系，求取的相關(guān)系數(shù)如表3所示。從表3可以看出，與基于全圖相比，基于視覺顯著性圖視疲勞評價模型的預(yù)測結(jié)果與視疲勞主觀評價得分的相關(guān)度高，基于視覺顯著性模型的視差與主觀視疲勞評價得分的斯皮爾曼等級相關(guān)度高。

表3 兩種模型皮爾遜相關(guān)系數(shù)及皮爾遜等級相關(guān)系數(shù)比較

這驗(yàn)證了此前的假設(shè)，即與基于全圖的視疲勞評價模型相比，基于視覺顯著性圖的立體圖像視疲勞評價模型能夠給出更加合理并且接近視疲勞真實(shí)水平的預(yù)測值。這是因?yàn)橛^看者的視覺注意力集中于視覺顯著性區(qū)域，即視覺顯著性區(qū)域決定了觀看者的生理、心理反應(yīng)。

3 普適性驗(yàn)證

為了驗(yàn)證立體圖像視疲勞評價模型，另選取了30幅由3D照相機(jī)拍攝出來的立體圖像進(jìn)行普適性驗(yàn)證。每幅立體圖像的主觀評價分?jǐn)?shù)可由生理心理實(shí)驗(yàn)并結(jié)合如圖2所示的主觀視疲勞評價問卷得到。同時依據(jù)基于視覺顯著性圖的立體圖像視疲勞評價模型得到視疲勞的預(yù)測值。若視疲勞評價模型的預(yù)測分?jǐn)?shù)與主觀評價分?jǐn)?shù)的差異在主觀評價分?jǐn)?shù)的5%以內(nèi)，則認(rèn)為視疲勞評價模型的預(yù)測結(jié)果正確。

統(tǒng)計(jì)評價數(shù)據(jù)，其中正確評價的立體圖像為28幅，即正確評價率為93.3%。實(shí)驗(yàn)結(jié)果表明，該視疲勞評價模型的立體圖像視疲勞預(yù)測結(jié)果與主觀評價結(jié)果有較高的一致性，即該立體圖像視疲勞評價模型普適性好，能夠解決主觀視疲勞評價方法耗時長、過程繁瑣和可移植性差的缺點(diǎn)。

4 小結(jié)

通過3ds Max制作出不同視差的單一視覺刺激的立體圖像，通過生理、心理實(shí)驗(yàn)，得到立體圖像視疲勞與視差及觀看時間的關(guān)系并用多項(xiàng)式描述，并基于最小二乘準(zhǔn)則擬合多項(xiàng)式系數(shù)，得到立體圖像視疲勞的評價模型。為了評價現(xiàn)實(shí)場景立體圖像，提出了基于視覺顯著性圖的立體圖像視疲勞評價模型。首先根據(jù)色彩顯著性圖、邊緣顯著性圖和視差圖獲取立體圖像的視覺顯著性圖，用空間匯集技術(shù)提取出基于視覺顯著性圖的視差，并將其帶入視疲勞評價模型，即可得到基于視覺顯著性圖的立體圖像視疲勞評價。通過比較基于視覺顯著性區(qū)域的視疲勞評價模型和基于全圖的視疲勞評價模型的皮爾遜相關(guān)系數(shù)和斯皮爾曼等級相關(guān)系數(shù)，驗(yàn)證了基于視覺顯著性區(qū)域的視疲勞評價模型的預(yù)測結(jié)果更加接近真實(shí)值，即基于視覺顯著性區(qū)域的評價模型有更優(yōu)的評價結(jié)果。最后通過普適性實(shí)驗(yàn)，驗(yàn)證了基于視覺顯著性圖的視疲勞評價模型的普適性。

依據(jù)本文提出的視疲勞評價模型，能夠由視覺顯著性區(qū)域的視差和觀眾的觀看時間預(yù)測出立體圖像視疲勞的程度，能夠快速、準(zhǔn)確地刪選出不易使人產(chǎn)生視疲勞的立體圖像，并為立體圖像的改進(jìn)提供了方向。

[1]韓振雷.3DTV的立體顯像技術(shù)[J].電視技術(shù)，2012，36(6)：77-79.

[2]TAM W J, SPERANZA F, YANO S, et al.Stereoscopic 3D-TV:Visual comfort[J].IEEE Trans.Broadcasting，2011，57(2)：335-346.

[3]成于慶，姜秀華.立體電視視頻質(zhì)量影響因素分析[J].電視技術(shù)，2011，35(12)：80-83.

[4]PHAN P, ANDROUTSOS D.Robust semi-automatic depth map generation in unconstrained images and video sequences for 2D to stereoscopic 3D conversion[J].IEEE Trans.Multimedia，2014，16(1)：122-136.

[5]LIH-C O, SEO J, KHAM K, et al.Measurement of 3D visual fatigue using event-related potential (ERP):3D oddball paradigm[C]//Proc.3DTV Conference: The True Vision-Capture, Transmission and Display of 3D Video.Istanbul:IEEE Press,2008: 213-216.

[6]杜祥坤,姜秀華,王彩虹.立體電視視頻質(zhì)量主觀評價方法研究[J].電視技術(shù)，2013，37(23)：241-245.

[7]SHAO F, LIN W, GU S, et al.Perceptual full-reference quality assessment of stereoscopic images by considering binocular visual characteristics[J].IEEE Trans.Image Processing，2013，22(5)：1940-1953.

[8]KIM D, JUNG Y J, KIM E, et al.Human brain response to visual fatigue caused by stereoscopic depth perception[C]//Proc.2011 17th International Conference on Digital Signal Processing.Corfu: IEEE Press，2011：1-5.

[9]ATALLAH P, PELAH A, WILKINS A.Visual stress symptoms from stereoscopic television[C]//Proc.2012 International Conference on 3D Imaging.Liege：IEEE Press，2012：1-7.

[10]FANG Y, WANG J, NARWARIA M, et al.Saliency detection for stereoscopic images[J].IEEE Trans.Image Processing，2014，23(6)：2625-2636.

譚澤富(1969— )，碩士，教授，主研3D立體電視、移動數(shù)字電視技術(shù)和寬帶信號處理等；

丁妍芝(1991— )，碩士生，主研3D立體電視、移動多媒體廣播；

雷國平(1983— )，碩士，講師，主研3D立體電視、移動數(shù)字電視；

彭 霞(1991— )，碩士生，主研3D立體電視、移動多媒體廣播。

責(zé)任編輯：薛 京

Attention Model-Based Visual Discomfort Evaluation Model of Stereoscopic Display

TAN Zefu1,2, DING Yanzhi1, LEI Guoping2, PENG Xia1

(1.DepartmentofCommunicationandInformationEngineering,ChongqingUniversityofPostsandTelecommunication,Chongqing400065,China；2.KeyLaboratoryofSignalandInformationProcessing,ChongqingThreeGorgesUniversity,Chongqing404100,China)

With the rapid development of stereoscopic display, broad attention of evaluating visual discomfort caused by stereoscopic display has been attracted.The nature of stereoscopic display is depended on perceptually significant regions, and both binocular disparity and viewing time are the dominant factors of stereoscopic discomfort.To evaluate visual discomfort caused by stereoscopic display, visual discomfort evaluation model is developed.Based on perceptually significant regions of stereoscopic images, the degree of visual discomfort is evaluated by the amount of binocular disparities as well as viewing time.According to psychophysical experiments, the reliability of the evaluation model reaches up to 93%.According to this evaluation model, visual discomfort caused by stereoscopic images can be assessed by binocular disparity and viewing time rapidly and accurately, and this model provides a basis to evaluate visual discomfort caused by stereoscopic as well as the development of stereoscopic display technology.

stereoscopic images; visual discomfort; evaluation model

TN949.13

A

10.16280/j.videoe.2015.07.025

2014-09-12

【本文獻(xiàn)信息】譚澤富，丁妍芝，雷國平，等.基于視覺顯著性圖的立體圖像視疲勞評價[J].電視技術(shù),2015，39(7).