一種基于眨眼頻率的視覺舒適度評(píng)價(jià)方法

張怡然，林麗媛，劉冠軍

(1.天津科技大學(xué)電子信息與自動(dòng)化學(xué)院，天津 300222；2.軍事科學(xué)院系統(tǒng)工程研究院衛(wèi)勤保障技術(shù)研究所，天津 300161)

隨著高速移動(dòng)網(wǎng)絡(luò)的發(fā)展和移動(dòng)端顯示設(shè)備的普及，人們的生活已與各種類型的屏幕息息相關(guān).特別是各類短視頻，通過幾秒到幾分鐘不等的視頻推送，占據(jù)了人們的碎片化時(shí)間，直接延長了人們每日觀看屏幕的時(shí)間.《2020中國網(wǎng)絡(luò)視聽發(fā)展研究報(bào)告》[1]顯示，截至 2020年 6月，我國網(wǎng)民規(guī)模為9.40億，其中短視頻用戶規(guī)模達(dá)8.18億，占網(wǎng)民整體的 87.0%，日均觀看時(shí)長為 110min.長時(shí)間地觀看屏幕會(huì)增加視覺負(fù)荷，導(dǎo)致視疲勞的出現(xiàn)[2]，對(duì)人眼感知和視覺健康產(chǎn)生負(fù)面影響.視覺舒適度是衡量視覺感知舒適程度的重要指標(biāo)，用來度量人眼視物時(shí)的主觀舒適感受.視覺舒適度問題貫穿在整個(gè)信息系統(tǒng)中，無論是圖像/視頻的處理、通信和顯示，還是標(biāo)準(zhǔn)的制定，都需要一套科學(xué)的視覺舒適度評(píng)價(jià)理論，或用來說明所生成的圖像/視頻的效果，或用來說明處理、傳輸技術(shù)對(duì)圖像/視頻的損傷程度，或用來說明顯示技術(shù)的正確性，或用來評(píng)測顯示產(chǎn)品的優(yōu)劣，以便能規(guī)范企業(yè)的產(chǎn)品生產(chǎn).因此，研究一種能更加客觀地度量視覺舒適度的評(píng)價(jià)方法十分重要，這也是本文的研究重點(diǎn).

目前對(duì)于視覺舒適度的研究主要有兩大類.第一類是通過調(diào)整顯示端內(nèi)容或外部環(huán)境來評(píng)價(jià)、優(yōu)化視覺舒適度.Wang等[3]利用反向傳播BP神經(jīng)網(wǎng)絡(luò)，通過顯示器亮度和色溫控制系統(tǒng)結(jié)合環(huán)境光傳感器，實(shí)現(xiàn)了對(duì)視覺舒適度的預(yù)測.Jiang等[4]通過計(jì)算顏色顯著性、紋理顯著性、空間緊湊性、深度顯著性，提出基于視覺舒適度的立體三維圖像顯著性計(jì)算模型，得出了高/低舒適度三維圖像的不同顯著性計(jì)算規(guī)則.Shi等[5]使用機(jī)器學(xué)習(xí)算法構(gòu)建日光預(yù)測模型，通過計(jì)算日光照度、日光炫光指數(shù)、日光炫光概率和眼睛垂直照度，并結(jié)合氣候與時(shí)間信息，建立室內(nèi)視覺舒適度預(yù)測模型.第二類是在視覺生理層面上對(duì)視覺舒適度進(jìn)行評(píng)價(jià).Hu等[6]在測試模式反轉(zhuǎn)視覺誘發(fā)電位的同時(shí)記錄了受試者的視覺舒適度，利用模糊熵分析主觀感受和客觀生理參數(shù)的相關(guān)性.Iatsun等[7]調(diào)查分析了眼球運(yùn)動(dòng)、眨眼、瞳孔大小變化強(qiáng)度和大腦活動(dòng)之間的關(guān)系，最終得到了一種基于視頻特征和視覺幀前狀態(tài)的模型.Abromavi?ius 等[8]采集了28名受試者的視線、瞳孔大小、腦電圖數(shù)據(jù)，并分析了焦點(diǎn)數(shù)量、瞳孔大小變化、視差水平和額葉腦電圖活動(dòng)等特征，用來建立視覺舒適度預(yù)測模型.

以上兩類研究模型在評(píng)價(jià)方法以及應(yīng)用場景上都存在局限性.一方面，基于顯示內(nèi)容或外部環(huán)境的視覺舒適度的評(píng)價(jià)方法重點(diǎn)研究影響視覺舒適感知的顯示條件，忽略了影響視覺舒適度評(píng)價(jià)的最直接、有效的眼部生理信息.另一方面，考慮生理層面的視覺舒適度評(píng)價(jià)方法需要依靠專業(yè)設(shè)備采集信息，還依賴多種生理信號(hào)分析，提高了評(píng)價(jià)的成本，難以遷移到實(shí)際應(yīng)用中去.除此之外，研究大都面向立體視頻、虛擬現(xiàn)實(shí)視頻(VR視頻)，而不是人們?nèi)粘ｉL時(shí)間接觸的視頻類型，在應(yīng)用領(lǐng)域上也存在局限性.因此，本文結(jié)合當(dāng)前流行的短視頻模式，通過主客觀實(shí)驗(yàn)，研究人眼生理反應(yīng)與視覺舒適度的相關(guān)性，提出了一種基于眨眼頻率的視覺舒適度評(píng)價(jià)方法.

1 實(shí)驗(yàn)設(shè)計(jì)

1.1 實(shí)驗(yàn)設(shè)備及素材

實(shí)驗(yàn)使用 53.15cm×29.90cm(24英寸)的 Acer GN246HL型顯示器作為顯示端，使用ZD480R型紅外 CMOS攝像頭作為采集設(shè)備，自主編寫了眼球生理信息采集系統(tǒng)，可實(shí)現(xiàn)對(duì)瞳孔面積、瞳孔面積波動(dòng)情況、眨眼時(shí)間間隔、眨眼耗時(shí)、眨眼次數(shù)的統(tǒng)計(jì)和計(jì)算[9].

挑選了9段風(fēng)格迥異的視頻素材，視頻素材信息見表1.視頻素材的選擇避開了驚悚、恐怖等對(duì)受試者的觀看感受影響較大的視頻片段，以及默片等較為特殊的視頻素材，減少視頻素材內(nèi)容對(duì)視覺舒適度的影響.所有視頻播放窗口尺寸統(tǒng)一為 14.61cm×8.18cm(6.6英寸).

表1 視頻素材信息Tab.1 Video material information

1.2 實(shí)驗(yàn)相關(guān)標(biāo)準(zhǔn)和受試者信息

1.2.1 視覺舒適度評(píng)價(jià)標(biāo)準(zhǔn)

實(shí)驗(yàn)采用目前主流的主觀評(píng)價(jià)方法[10]，建立 5級(jí)視覺舒適度評(píng)價(jià)標(biāo)準(zhǔn)，以此對(duì)當(dāng)前視覺狀態(tài)進(jìn)行評(píng)價(jià)并量化評(píng)分，視覺舒適度評(píng)價(jià)等級(jí)與規(guī)則見表2.

表2 視覺舒適度評(píng)價(jià)等級(jí)與規(guī)則Tab.2 Rating and rules of visual comfort evaluation

舒適度評(píng)價(jià)分為 5級(jí).等級(jí)越低，量化評(píng)分越高，也就是人眼疲勞程度越低，舒適度越高.最高分為5.0分，最低分為0分，分度為0.1.

1.2.2 受試者信息

為確保實(shí)驗(yàn)的準(zhǔn)確性和有效性，招募并篩選了年齡區(qū)間為19～35歲的20名受試者，其中男性7人，女性 13人，10人戴眼鏡，9人曾有過評(píng)價(jià)類實(shí)驗(yàn)經(jīng)歷.使用穿孔卡片法[11]測定所有受試者的主視眼，受試者均無眼部疾病，裸眼視力正?；虺C正視力正常.

1.3 實(shí)驗(yàn)過程

實(shí)驗(yàn)時(shí)間控制在上午9時(shí)到下午5時(shí).實(shí)驗(yàn)時(shí)，室內(nèi)保持自然光照(不存在受試者感到刺眼或者過暗的情況)，人眼到顯示器的距離保持在(48±2)cm，以消除測試環(huán)境差異產(chǎn)生的影響.在正式實(shí)驗(yàn)前，向受試者介紹實(shí)驗(yàn)內(nèi)容和規(guī)則(包括詳細(xì)的實(shí)驗(yàn)流程以及舒適度評(píng)價(jià)標(biāo)準(zhǔn))，并進(jìn)行 2min的預(yù)實(shí)驗(yàn)以便受試者能夠提前適應(yīng)實(shí)驗(yàn)流程和環(huán)境.實(shí)驗(yàn)過程中，受試者將下頜放置在信息采集平臺(tái)上，調(diào)節(jié)采集攝像頭位置，如圖1所示.實(shí)驗(yàn)通過眼球生理信息采集系統(tǒng)采集眨眼頻率、瞳孔面積變化的生理信息.在切換下一視頻前，安排受試者休息 3min，保證眼睛充分休息的同時(shí)完成視覺舒適度主觀的評(píng)分(評(píng)分規(guī)則詳見表2).通過實(shí)驗(yàn)期望能建立眼球生理信息與視覺舒適度的模型.

圖1 采集方法示意圖及真實(shí)場景圖Fig.1 Schematic diagram of collection method and real scene diagram

2 實(shí)驗(yàn)數(shù)據(jù)分析

2.1 數(shù)據(jù)定義

由于瞳孔面積受個(gè)體生理因素的影響，所以在進(jìn)行分析前需對(duì)瞳孔面積變化情況進(jìn)行歸一化處理.將瞳孔面積變化率定義為：在觀看一段視頻過程中，瞳孔面積與觀看完成后瞳孔面積的平均值的最大差值與瞳孔面積的平均值的比值.瞳孔面積變化率越大表明瞳孔面積變化情況越劇烈.該指標(biāo)可以有效避免由于采集位置的差異引起的瞳孔面積的較大差別，同時(shí)消除了由受試者個(gè)體差異產(chǎn)生的影響.瞳孔面積的平均值及瞳孔面積變化率的計(jì)算公式見式(1)與式(2).

式中：R為瞳孔面積變化率.

2.2 數(shù)據(jù)分析

2.2.1 數(shù)據(jù)整理

20位受試者觀看 9個(gè)視頻片段，共生成 180組數(shù)據(jù)，采用 SPSS軟件進(jìn)行數(shù)據(jù)分析，相關(guān)描述統(tǒng)計(jì)見表3.

表3 描述統(tǒng)計(jì)Tab.3 Descriptive statistics

實(shí)驗(yàn)分別探究眨眼頻率、瞳孔面積變化率與主觀舒適度的關(guān)系，從而建立眼球生理信息與舒適度關(guān)系的數(shù)學(xué)模型，達(dá)到評(píng)價(jià)主觀視覺舒適度的目的.

采用皮爾遜相關(guān)系數(shù)(rP)及顯著性差異分析(雙尾)，對(duì)瞳孔面積變化率、眨眼頻率、舒適度評(píng)分進(jìn)行分析.定義|rP|≥0.7為高度相關(guān)性，0.5≤|rP|＜0.7為中度相關(guān)性，0.3≤|rP|＜0.5為低度相關(guān)性，|rP|＜0.3為無相關(guān)性；P＞0.05為差異性不顯著，0.01＜P≤0.05為差異性顯著，P≤0.01為差異性極顯著.

2.2.2 瞳孔面積變化率與舒適度評(píng)分關(guān)系

實(shí)驗(yàn)采集得到的瞳孔面積變化率、舒適度評(píng)分?jǐn)?shù)據(jù)如圖2所示，圖2(a)是舒適度評(píng)分與瞳孔面積變化率散點(diǎn)圖，圖2(b)是不同視頻素材瞳孔面積變化率的箱式圖.

圖2(a)中右側(cè)孤立的多點(diǎn)與圖2(b)中的極端異常值均出自同一受試者 M-4，由于該受試者在實(shí)驗(yàn)過程中未按照預(yù)實(shí)驗(yàn)流程操作，導(dǎo)致實(shí)驗(yàn)結(jié)果出現(xiàn)極大誤差，因此在分析瞳孔面積變化率與舒適度評(píng)分關(guān)系時(shí)，刪除受試者M(jìn)-4的數(shù)據(jù).

圖2 瞳孔面積變化率與舒適度評(píng)分Fig.2 Change rate of pupil area and comfort score

同一受試者觀看不同視頻素材時(shí)瞳孔面積變化率與舒適度評(píng)分間的相關(guān)性分析結(jié)果見表4，大部分?jǐn)?shù)據(jù)差異性均不顯著.具體為15人的數(shù)據(jù)顯示低度/無相關(guān)性，占比78.9%；僅4人的數(shù)據(jù)表現(xiàn)了中度/高度相關(guān)性，但存在正相關(guān)、負(fù)相關(guān)并存的情況.

表4 同一受試者瞳孔面積變化率與舒適度評(píng)分相關(guān)性分析Tab.4 Correlation analysis between the change rate of pupil area and comfort score for the same subject

不同受試者觀看同一視頻素材時(shí)，瞳孔面積變化率與舒適度評(píng)分間的相關(guān)性分析結(jié)果見表5.分析表5可知，除F、B視頻外，大部分視頻數(shù)據(jù)均顯示無相關(guān)性，占比77.8%，且均差異性不顯著；視頻編號(hào)為F的數(shù)據(jù)顯示差異性顯著的中度相關(guān)、視頻編號(hào)為 B的數(shù)據(jù)顯示差異性不顯著的低度相關(guān)，且兩種情況下的相關(guān)性相反.

表5 同一視頻下瞳孔面積變化率與舒適度評(píng)分相關(guān)性分析Tab.5 Correlation analysis between the change rate of pupil area and comfort score for the same video

由表4、表5可知，大部分?jǐn)?shù)據(jù)并未體現(xiàn)瞳孔面積變化率與視覺舒適度之間的相關(guān)性，即二者不具有線性相關(guān)性，因此瞳孔面積變化率不能作為視覺舒適度的評(píng)價(jià)指標(biāo).

2.2.3 眨眼頻率與舒適度評(píng)分關(guān)系

實(shí)驗(yàn)采集得到的眨眼頻率、舒適度評(píng)分?jǐn)?shù)據(jù)如圖3所示.

圖3 眨眼頻率與舒適度評(píng)分Fig.3 Blink frequency and comfort score

圖3(a)是舒適度評(píng)分與眨眼頻率散點(diǎn)圖，圖3(b)是不同視頻素材的眨眼頻率的箱式圖.圖3(a)中雖然有偏離較多的點(diǎn)，但并未出現(xiàn)極端異常點(diǎn)，故不對(duì)眨眼頻率數(shù)據(jù)進(jìn)行刪減.

使用與 2.2.1節(jié)中相同的方法進(jìn)行相關(guān)性分析.同一受試者觀看不同視頻素材時(shí)眨眼頻率與舒適度評(píng)分間的相關(guān)性分析結(jié)果見表6.

表6 同一受試者眨眼頻率與舒適度評(píng)分相關(guān)性分析Tab.6 Correlation analysis between the blink frequency and comfort score for the same subject

有 17名受試者的眨眼頻率與視覺舒適度呈現(xiàn)中度/高度相關(guān)性，占比85.0%；僅有3人數(shù)據(jù)表現(xiàn)無相關(guān)性，且差異性均不顯著.

不同受試者觀看同一視頻素材時(shí)，眨眼頻率與舒適度評(píng)分間的相關(guān)性分析結(jié)果見表7.

表7 同一視頻下眨眼頻率與舒適度評(píng)分相關(guān)性分析Tab.7 Correlation analysis between the blink frequency and comfort score for the same video

對(duì)于不同的視頻素材，9個(gè)視頻素材數(shù)據(jù)均表明眨眼頻率與舒適度評(píng)分存在相關(guān)性，其中差異性極顯著且高度相關(guān)的占比為77.8%.

通過上述分析可以看出，眨眼頻率與主觀舒適度存在相關(guān)性，且從受試者個(gè)體和視頻素材都能證明眨眼頻率與舒適度評(píng)分?jǐn)?shù)據(jù)具有顯著性差異.即不論受試者個(gè)體以及視頻素材是否存在差異，眨眼頻率均能用于衡量視覺舒適度.

為進(jìn)一步探究舒適度評(píng)分和眨眼頻率的定量關(guān)系，在控制實(shí)驗(yàn)環(huán)境的條件下(見 1.3節(jié))，使用線性回歸的方法得到舒適度評(píng)分與眨眼頻率的一次函數(shù)表達(dá)式.

式中：Vt為舒適度主觀評(píng)分；f為眨眼頻率，次/min.

采用殘差直方圖驗(yàn)證本模型的正態(tài)性，所得回歸標(biāo)準(zhǔn)化殘差直方圖和正態(tài)P-P圖如圖4所示.標(biāo)準(zhǔn)化殘差直方圖呈正態(tài)分布，且正態(tài)P-P圖的散點(diǎn)數(shù)據(jù)在第一象限沿對(duì)角線方向分布，表明舒適度評(píng)分與眨眼頻率相關(guān)性高，模型服從正態(tài)分布.

圖4 回歸標(biāo)準(zhǔn)化殘差直方圖和正態(tài)P-P圖Fig.4 Regression normalized residual histogram and normal P-P plot

2.2.4 結(jié)果驗(yàn)證

從20位受試者中隨機(jī)選擇 4位受試者，進(jìn)行驗(yàn)證測試，采集眨眼頻率，記錄舒適度主觀評(píng)分Vt，根據(jù)式(3)計(jì)算模型預(yù)測得分，并計(jì)算誤差，誤差計(jì)算公式為

式中：e為預(yù)測誤差，Vf為模型預(yù)測的舒適度評(píng)分.

測試素材選用 600～900s的三維游戲畫面場景，驗(yàn)證測試的結(jié)果見表8.由表8的結(jié)果可以計(jì)算出平均誤差為 2.07%，模型平均準(zhǔn)確率為 97.9%.實(shí)驗(yàn)結(jié)果表明，該模型可對(duì)觀看視頻時(shí)的視覺舒適度進(jìn)行有效評(píng)價(jià).

表8 驗(yàn)證實(shí)驗(yàn)的結(jié)果Tab.8 Results of confirmatory experiments

3 結(jié) 語

本文通過采集20名受試者在觀看9段不同內(nèi)容短視頻時(shí)的眼球生理信息以及相應(yīng)的主觀評(píng)價(jià)分?jǐn)?shù)，探究瞳孔面積變化率、眨眼頻率與視覺舒適度主觀評(píng)價(jià)的關(guān)系，提出一種基于眨眼頻率的視覺舒適度評(píng)價(jià)方法，建立一個(gè)眨眼頻率與視覺舒適度的線性關(guān)系模型.該評(píng)價(jià)方法將人眼生理信息作為評(píng)價(jià)的依據(jù)，為視覺舒適度評(píng)價(jià)提供了新的實(shí)驗(yàn)方法和評(píng)估指標(biāo)，具有重要的現(xiàn)實(shí)意義.

眨眼頻率既可通過計(jì)算機(jī)視覺方法獲取，又可借助生物電信號(hào)獲得，多種獲取手段有利于使用本文方法對(duì)多媒體用戶的視覺舒適度情況進(jìn)行動(dòng)態(tài)評(píng)估，有利于保護(hù)公眾的用眼健康.人眼生理信息復(fù)雜多樣，未來將在此基礎(chǔ)上進(jìn)一步研究融合多種有效的生理信息協(xié)同評(píng)價(jià)視覺舒適度.