眨眼特征與顏色不對稱立體圖像視覺舒適度的相關(guān)性分析

張鎧鴻，陳載清，陳建兵，黃小喬，邰永航，石俊生

(1.云南師范大學(xué) 信息學(xué)院，云南 昆明 650500;2.云南省光電信息技術(shù)重點(diǎn)實(shí)驗(yàn)室，云南 昆明 650500;3.云南師范大學(xué) 網(wǎng)絡(luò)與信息中心，云南 昆明 650500)

立體顯示技術(shù)作為能夠提供更加真實(shí)立體視覺體驗(yàn)的新一代顯示技術(shù)，已廣泛應(yīng)用于多個領(lǐng)域，具有很大的市場前景，是未來顯示技術(shù)的主要發(fā)展方向[1-3].由于成年人左右眼的分布大約有 65 mm 的水平距離，使得被觀測對象投射到左右視網(wǎng)膜上的圖像具有輕微的差異，人眼視覺系統(tǒng)因此感知到立體感，這一視覺差異被稱為雙目視差(binocular).當(dāng)前的立體顯示技術(shù)主要通過分像技術(shù)向觀看者的左右眼分別提供具有輕微差異的視差圖像來產(chǎn)生立體感，但是這一過程極易造成視覺不舒適[4].

視覺不舒適一直被認(rèn)為是阻礙立體顯示發(fā)展和應(yīng)用的關(guān)鍵問題[1,5].目前的立體顯示技術(shù)在立體圖像采集、制作、編碼、傳輸及顯示各過程中極易生成雙目不對稱信息[2]，從而導(dǎo)致立體顯示觀看視覺不舒適.不舒適的雙目不對稱信息主要包括形狀的不對稱、亮度的不對稱與顏色的不對稱[6].其中，立體圖像的顏色信息作為左右視圖的重要匹配線索，當(dāng)左右圖像顏色失真或不對稱時，就不再是穩(wěn)定線索，現(xiàn)實(shí)感知中的顏色一致性假設(shè)也不再有效，這加劇了觀看立體內(nèi)容時的視覺不舒適[7].在先前的研究中通過主觀評價實(shí)驗(yàn)，得到了顏色不對稱立體圖像的視覺舒適度的主觀評分，經(jīng)過統(tǒng)計(jì)分析后發(fā)現(xiàn)隨著左右圖像色調(diào)不對稱等級的逐漸增大，立體圖像的視覺不適感隨之加強(qiáng)，當(dāng)左右視圖的平均色調(diào)不對稱等級達(dá)到76°時，觀看者將感覺到視覺不舒適[8-9].

文中將基于眼動生理指標(biāo)研究顏色不對稱立體圖像視覺舒適度的客觀評價方法.對于立體圖像視覺舒適度的評價，Qi等[10]通過提取立體圖像的方向梯度直方圖及局部紋理特征來表示雙目的不對稱性，并建立客觀模型對視覺舒適度進(jìn)行預(yù)測，另外Chang等[11]提出了一種基于膨脹卷積來模擬人眼視覺的多尺度特性評價方法評價立體圖像的質(zhì)量.文中試圖使用眼動數(shù)據(jù)中的眨眼數(shù)據(jù)來對顏色不對稱立體圖像進(jìn)行視覺舒適度客觀評價.設(shè)計(jì)了一個立體顯示下的眼球追蹤實(shí)驗(yàn)，通過眼動儀記錄了人眼觀看不同等級顏色不對稱立體圖像時的人眼視覺特征，包括眨眼，注視，掃視，瞳孔直徑等數(shù)據(jù).其中眨眼是關(guān)閉和打開眼瞼的基本功能，有多種肌肉分布在眼睛周圍控制眨眼的反射，負(fù)責(zé)濕潤眼睛和防止刺激.眨眼機(jī)制可能受到視覺刺激、眼睛損傷、藥物和疾病的影響[12-13].Kim等[14-15]通過記錄觀看立體視頻時的眨眼頻率和眨眼持續(xù)時間等眨眼特征用于評估觀看立體視頻的時間與視覺舒適度的關(guān)系.研究發(fā)現(xiàn)隨著觀看立體內(nèi)容的時間的增加，眨眼的頻率變高，眨眼持續(xù)時間增長，視覺舒適感降低.Iana等[16]與Kim做了相似的研究， Iana得出了眨眼特征不僅與觀看立體視頻的時間有關(guān)，也與立體視頻的內(nèi)容有關(guān)，即立體視頻內(nèi)容的類型、亮度、顏色等會影響眨眼行為.因此，假設(shè)被試者在觀看顏色色調(diào)不對稱立體圖像時的眨眼持續(xù)時間以及眨眼次數(shù)與視覺舒適度具有相關(guān)性.與Kim和Iana的研究不同的是，為了驗(yàn)證上述猜想，運(yùn)用了一種主觀評價與眼球追蹤實(shí)驗(yàn)相結(jié)合的實(shí)驗(yàn)方法，并且將刺激呈現(xiàn)的時間控制在 10 s 這一較短時間，試圖消除觀看顏色不對稱立體圖像時，時間這一因素對視覺舒適度的影響，以得到更加可靠、穩(wěn)定的實(shí)驗(yàn)結(jié)論.

1 實(shí)驗(yàn)

1.1 實(shí)驗(yàn)環(huán)境及設(shè)備

根據(jù)國際電信聯(lián)盟標(biāo)準(zhǔn)[17]，實(shí)驗(yàn)全程在暗室中進(jìn)行，在實(shí)驗(yàn)開始前，顯示器及配套設(shè)備開機(jī) 2 h 進(jìn)行預(yù)熱.主要實(shí)驗(yàn)設(shè)備為:

1) 立體顯示平臺 立體顯示平臺是一臺可分別為左右眼呈現(xiàn)不同視圖的臺式計(jì)算機(jī)，它的配置為英特爾 3.6 Ghz I7-7700 CPU、8G內(nèi)存，顯卡為NVIDIA Geforce GTX1080，包括一臺23英寸三星S23A950D立體顯示器(1 920×1 080 分辨率、120 Hz 刷新頻率)和一副三星主動式立體眼鏡.

2) 眼動儀 為了保證實(shí)驗(yàn)中記錄的眼動數(shù)據(jù)的精確性，采用由SR-Research公司出產(chǎn)的EyeLink 1000 Plus視頻眼動儀，其核心部件包括主機(jī)、紅外高速圖像采集端和安裝支架.主機(jī)的功能是分析和記錄雙眼眼動數(shù)據(jù)，并通過網(wǎng)絡(luò)連接，以高達(dá) 2 000 Hz 的速度將眼動數(shù)據(jù)實(shí)時輸出到其他設(shè)備.該眼動儀不用在頭部佩戴其他電子設(shè)備，能使被試者處于自然觀看狀態(tài)，并且能夠同時追蹤2只眼睛，從而對于捕捉眼部運(yùn)動具有更好的魯棒性，即使一只眼睛無法被眼睛跟蹤器所獲取，跟蹤也能繼續(xù).

1.2 被試者

招募了20名云南師范大學(xué)健康學(xué)生作為被試者(12名男性，8名女性)，被試者的年齡在22歲到30歲之間，其中13名戴眼鏡，7名不戴眼鏡，被試者矯正視力均在1.0以上，且具有正常色覺和立體視覺，無屈光不正，無弱視斜視等眼科疾病.被試者均簽署了實(shí)驗(yàn)知情同意書，試驗(yàn)符合《赫爾辛基宣言》規(guī)定的標(biāo)準(zhǔn)[18].

1.3 顏色不對稱立體圖像刺激

刺激內(nèi)容采用先前研究中所創(chuàng)建的3D圖像數(shù)據(jù)庫[19]，其中包含6幅分辨率為 1 920×1 080 像素的原始立體圖像作為顏色對稱參考圖像，每幅原始圖像又在CIELAB顏色空間下生成9個不同級別的色調(diào)不對稱立體圖像.原始參考圖像可區(qū)分為2種類型，一類為使用3D數(shù)碼相機(jī)拍攝的3幅自然圖像，另一類是從NVIDIA 3D圖像庫中選擇的3幅計(jì)算機(jī)生成圖像.因此，該3D圖像數(shù)據(jù)庫中總共有60幅立體圖像，包括54幅色調(diào)不對稱圖像和6幅參考圖像.相關(guān)資源代碼和補(bǔ)充材料可前往https://www.researchgate.net/publication/339439218_Hue-asymmetry_stereoscopic_image_database下載查看.

1.4 實(shí)驗(yàn)過程

1.4.1 主觀實(shí)驗(yàn)

如圖1所示，實(shí)驗(yàn)過程為被試者呈現(xiàn)的立體圖像包括一個參考序列(S1)，其左右眼視圖為顏色對稱的圖像對，持續(xù) 10 s，一個測試序列(S3)，即左右眼視圖為顏色不對稱的圖像對，持續(xù) 10 s，在測試序列到來之前設(shè)置一個中灰圖像序列(S2)，測試序列結(jié)束以后也會設(shè)置一個中灰圖像序列(S4)，均持續(xù) 3 s，目的是為了保證被試者的雙眼得到足夠的休息并消除觀看圖像后對眼睛的影響.每次測試過程時間持續(xù) 26 s，一共進(jìn)行54次測試.為了避免長時間的實(shí)驗(yàn)導(dǎo)致被試者眼部疲勞從而影響實(shí)驗(yàn)結(jié)果，每次測試之前均保證被試者的眼睛在得到足夠的休息之后再進(jìn)行下一次測試.

圖1 包含10個顏色色調(diào)不對稱等級的立體刺激圖像

圖2 實(shí)驗(yàn)流程圖

立體圖像的視覺舒適度貫穿于整個視覺感知過程，在進(jìn)行評價時，視覺舒適度作為一種主觀感受，目前還沒有相應(yīng)的評價標(biāo)準(zhǔn)，有的研究人員傾向于使用類似圖像質(zhì)量評價的方法定制的舒適度量表來代替.為了測量顏色不對稱立體圖像的視覺舒適度，采用雙刺激損傷量表(DSIS)的修正版本對前述立體圖像庫進(jìn)行了視覺舒適度主觀評價，如表1，量表分為5級(5：未感覺到色調(diào)變化，且視覺舒適；4：感覺到色調(diào)變化，但視覺舒適；3：感覺到視覺輕微不適，影響觀看；2：感覺到視覺不舒適，有頭暈、眼花等癥狀；1：感覺到嚴(yán)重視覺不舒適)[20].雙刺激損傷量表法作為一種代替方法，可以在觀看不同級別的色調(diào)不對稱立體圖像時得出更為可靠的結(jié)果.

由此得到了不同色調(diào)不對稱等級下立體圖像對應(yīng)的視覺舒適度主觀評分，并計(jì)算出每一幅顏色色調(diào)不對稱立體圖像的平均分?jǐn)?shù)VCA(visual comfort assessments)：

(1)

其中A表示視覺舒適度主觀評分，i表示被試者，h表示立體圖像顏色色調(diào)不對稱等級，j表示對應(yīng)的圖像，t表示實(shí)驗(yàn)次數(shù)，N表示被試者總?cè)藬?shù).

1.4.2 眼球追蹤實(shí)驗(yàn)

依照主觀評價的過程，眼球追蹤實(shí)驗(yàn)過程設(shè)計(jì)如下：

1) 所有參與者的客觀實(shí)驗(yàn)都在避免了高強(qiáng)度用眼的情況下進(jìn)行，以消除被試者因?yàn)檠劬Ρ旧淼牟贿m對實(shí)驗(yàn)造成影響；

2) 根據(jù)眼動儀手冊，實(shí)驗(yàn)的每一部分都從校準(zhǔn)程序開始，一次測試由一系列色調(diào)不對稱立體圖像對d1，d2，d2，…，dn組成，差異的排序被隨機(jī)化，以避免學(xué)習(xí)效應(yīng)；

3) 每次測試，刺激的呈現(xiàn)方式與主觀評價實(shí)驗(yàn)保持一致.

2 結(jié)果與討論

2.1 數(shù)據(jù)分析

主觀實(shí)驗(yàn)參與者對不同顏色色調(diào)不對稱等級的立體圖像視覺舒適度評分結(jié)果如圖3所示，隨著色調(diào)差異的增大，立體圖像視覺舒適度降低，這個結(jié)果和先前的研究結(jié)論相符[11].

圖3 視覺舒適度主觀評分分布圖

采集眼動實(shí)驗(yàn)過程中S1和S3序列中眨眼持續(xù)時間以及眨眼次數(shù)數(shù)據(jù)作為分析對象.并對采集的數(shù)據(jù)進(jìn)行滑動濾波處理，將處理之后的眨眼持續(xù)時間以及眨眼次數(shù)取平均值作為每名被試者在觀看顏色色調(diào)不對稱的立體圖像時對應(yīng)的平均眨眼持續(xù)時間以及平均眨眼次數(shù)，所有被試者的平均眨眼持續(xù)時間以及平均眨眼次數(shù)分布如圖4所示.

從圖4(a)中可以看出，在立體圖像顏色色調(diào)不對稱等級從20°增加到100°的過程中，隨著色調(diào)不對稱等級的增加，被試者的平均注視持續(xù)時間不斷變長，但是當(dāng)立體圖像顏色色調(diào)不對稱等級大于100°時，隨著色調(diào)不對稱等級的增加，被試者的平均注視持續(xù)時間不斷降低.圖4(b)顯示平均眨眼次數(shù)隨著立體圖像顏色色調(diào)不對稱等級的增加而增加.

(a)平均眨眼持續(xù)時間 (b)平均眨眼次數(shù)圖4 被試者眨眼數(shù)據(jù)分布圖

2.2 眨眼持續(xù)時間以及眨眼次數(shù)與視覺舒適度的相關(guān)性分析

為了進(jìn)一步研究平均眨眼持續(xù)時間以及平均眨眼次數(shù)指標(biāo)與視覺舒適度的相關(guān)性，對不同顏色色調(diào)不對稱水平下的平均眨眼持續(xù)時間以及平均眨眼次數(shù)與主觀實(shí)驗(yàn)中得到的舒適度評價分?jǐn)?shù)VCA根據(jù)皮爾斯公式進(jìn)行相關(guān)性分析：

(2)

圖5 平均眨眼次數(shù)與視覺舒適度分?jǐn)?shù)相關(guān)性分析

另外性別的不同以及是否佩戴眼鏡對平均眨眼次數(shù)的變化產(chǎn)生的影響也需要進(jìn)一步的分析，將被試者的平均眨眼次數(shù)指標(biāo)按照男女，以及是否佩戴眼鏡分組，并進(jìn)行統(tǒng)計(jì)分析比較，結(jié)果如圖6所示.并對數(shù)據(jù)進(jìn)行方差分析，如表2所示.

(a)性別 (b)是否戴眼鏡圖6 眨眼數(shù)據(jù)分組對比

根據(jù)圖6可以看出不同性別的被試者以及被試者是否配戴眼鏡在觀看色調(diào)不對稱立體圖像時的平均眨眼次數(shù)的變化趨勢均與整體數(shù)據(jù)保持一致，且在觀看同一色調(diào)不對稱等級的立體圖像時的平均眨眼次數(shù)沒有顯著性區(qū)別，表2所列的方差分析的結(jié)果也顯示出p值均接近1，由此可以得出結(jié)論，被試者的性別以及是否佩戴眼鏡并不會對文中的實(shí)驗(yàn)結(jié)果產(chǎn)生影響，平均眨眼次數(shù)與顏色色調(diào)不對稱立體圖像視覺舒適度的相關(guān)性研究具有普適性.

文中對不同顏色色調(diào)不對稱水平下的平均眨眼次數(shù)進(jìn)行方差分析(ANOVA)，方差分析結(jié)果顯示不同色調(diào)不對稱等級下平均眨眼次數(shù)F=42.776 4，p<=0.05，說明其在0.05水平下，總體均值是顯著不同的,即立體圖像顏色色調(diào)不對稱的等級差異對視覺舒適度有影響，同時也導(dǎo)致觀看色調(diào)不對稱立體圖像時的平均眨眼次數(shù)顯著變化.圖7給出了觀看不同色調(diào)不對稱等級立體圖像時的視覺舒適度評分(VCA)和平均眨眼次數(shù)的變化曲線圖.

圖7 不同色調(diào)不對稱水平下的平均眨眼次數(shù)與視覺舒適度主觀評分曲線圖

在圖7中隨著立體圖像顏色色調(diào)不對稱等級的增加，視覺舒適度逐漸降低，平均眨眼次數(shù)增加，這意味著在立體感知中，較大的雙目色差會導(dǎo)致更強(qiáng)的視覺不適.為了得出更加可靠的結(jié)果,文章將各色調(diào)不對稱等級對應(yīng)的平均眨眼次數(shù)進(jìn)行兩兩比較，以分析立體圖像的色調(diào)對眨眼次數(shù)的影響.結(jié)果發(fā)現(xiàn)眨眼次數(shù)在立體圖像色調(diào)不對稱等級小于100°時兩兩比較的p值均小于0.05，具有顯著性區(qū)別，當(dāng)色調(diào)不對稱等級大于100°時，色調(diào)不對稱等級為120°與色調(diào)不對稱等級為140°的平均眨眼次數(shù)，色調(diào)不對稱等級為140°與色調(diào)不對稱等級為160°的平均眨眼次數(shù)以及色調(diào)不對稱等級為160°與色調(diào)不對稱等級為180°的平均眨眼次數(shù)均不具有顯著性區(qū)別.圖4(a)平均結(jié)果顯示眨眼持續(xù)時間以100°色調(diào)不對稱等級為界限，變化趨勢發(fā)生了改變.結(jié)合被試者的實(shí)驗(yàn)記錄分析發(fā)現(xiàn)，這是因?yàn)楫?dāng)立體圖像顏色色調(diào)不對稱等級在20°到100°之間時，眨眼機(jī)制調(diào)節(jié)視覺不舒適的原因是增加眨眼的持續(xù)時間，所以隨著色調(diào)不對稱等級的增加，視覺舒適度降低，眨眼持續(xù)時間不斷變長，但是增長幅度不大，使得平均眨眼持續(xù)時間與主觀舒適度評價分?jǐn)?shù)沒有明顯的相關(guān)性，而當(dāng)色調(diào)不對稱等級大于100°時，增加眨眼的持續(xù)時間無法緩解視覺不適感，于是眨眼機(jī)制通過頻繁眨眼緩解視覺不適，眨眼次數(shù)因此增加，眨眼持續(xù)時間不斷減少，因此色調(diào)不對稱等級大于100°時，眨眼持續(xù)時間呈下降趨勢.另外當(dāng)立體圖像的色調(diào)不對稱等級達(dá)到120°時，被試者開始出現(xiàn)了雙目競爭現(xiàn)象.在實(shí)驗(yàn)的過程中，記錄了被試者出現(xiàn)顏色競爭現(xiàn)象的色調(diào)不對稱等級，其中12名被試者在色調(diào)差異達(dá)到120°時開始出現(xiàn)顏色競爭現(xiàn)象，5名被試者在140°時會出現(xiàn)顏色競爭現(xiàn)象,另外3名被試者在160°時出現(xiàn)顏色競爭現(xiàn)象.這一結(jié)果說明當(dāng)立體圖像色調(diào)不對稱等級逐漸增大到一定等級時，眨眼機(jī)制調(diào)節(jié)視覺不舒適的作用也隨之到達(dá)極限，因此會導(dǎo)致色調(diào)不對稱等級為120°、140°、160°以及180°時的平均眨眼次數(shù)數(shù)據(jù)不具有顯著性差別.

2.3 基于眨眼次數(shù)的立體圖像視覺舒適度預(yù)測

Rahimi-Nasrabadi H等[22]的研究證明了在應(yīng)對不同的視覺刺激時，大腦皮層的神經(jīng)元會釋放出不同的信號，而眨眼反射則是這些信號的一種感知覺表征，在Nieder[23-24]以及Seppe[25]的研究中,感知覺的表征遵循心理物理學(xué)中的韋伯-費(fèi)希納定律,其表達(dá)式為：

E=klgI+C.

(3)

其中E表示為感知覺強(qiáng)度，k、C為常數(shù)，I為刺激強(qiáng)度，表明感知覺強(qiáng)度是刺激強(qiáng)度的非線性對數(shù)函數(shù).本文根據(jù)韋伯-費(fèi)希納定律建立基于眨眼次數(shù)的顏色不對稱立體圖像視覺舒適度預(yù)測模型，用方程表示為：

f(x)=a0+a1lnx+a2ln(x)2+…+anln(x)n.

(4)

其中，x為觀看顏色不對稱立體圖像時對應(yīng)的平均眨眼次數(shù)，f(x)反映顏色不對稱立體圖像的視覺舒適度，lnx的冪級數(shù)展開式表示立體圖像的視覺舒適度受多因素影響，an表示第n項(xiàng)的系數(shù)，可以根據(jù)眨眼次數(shù)進(jìn)行擬合來確定.

如表3所示，當(dāng)n=1,2時，R2均小于0.99，當(dāng)n=3，R2大于0.99.故選擇n=3進(jìn)行回歸分析，擬合結(jié)果如圖8所示.基于眨眼次數(shù)的視覺舒適度預(yù)測模型如下：

(5)

根據(jù)給出的客觀模型，當(dāng)眨眼次數(shù)等于0時，認(rèn)為視覺舒適度評分為100，通過計(jì)算，當(dāng) 10 s 內(nèi)眨眼次數(shù)大于9.99時，視覺舒適度評分低于60分，表明在觀看色調(diào)不對稱立體圖像時大腦開始感覺到視覺不適.

表3 不同n的回歸性能分析

圖8 眨眼次數(shù)與視覺舒適度評分?jǐn)M合曲線

3 結(jié)語

文中試圖從眼動生理指標(biāo)角度去評價立體內(nèi)容的視覺舒適度.選用顏色色調(diào)不對稱的立體圖像進(jìn)行了視覺舒適度的主觀評價實(shí)驗(yàn)，并開展了記錄眨眼數(shù)據(jù)的眼球追蹤實(shí)驗(yàn)，通過對主客實(shí)驗(yàn)數(shù)據(jù)的分析，驗(yàn)證了在色調(diào)不對稱立體圖像的刺激下眨眼次數(shù)與視覺舒適度呈高度負(fù)相關(guān)關(guān)系，并且給出了基于眨眼次數(shù)的立體圖像視覺舒適度客觀評價模型，最終結(jié)果給出，觀看顏色色調(diào)不對稱立體圖像 10 s 內(nèi)平均眨眼次數(shù)超過9.99次時，大腦開始感覺到視覺不舒適.研究結(jié)果可為立體顯示的視覺適度評價提供借鑒，對立體顯示內(nèi)容生產(chǎn)和立體顯示技術(shù)發(fā)展有一定的指導(dǎo)意義.

在實(shí)際應(yīng)用中, 眨眼的次數(shù)經(jīng)常受到觀看時間的影響.為了避免觀看時間過長造成的疲勞對結(jié)果產(chǎn)生影響，實(shí)驗(yàn)僅改變圖像中色調(diào)的變化，所有刺激持續(xù)時間控制在 10 s 這一較短的范圍內(nèi)，以后的工作將繼續(xù)研究觀看顏色不對稱立體圖像時長與眨眼數(shù)據(jù)的關(guān)系.