基于腦電的水平運(yùn)動(dòng)立體影像視疲勞評(píng)估

沈麗麗，邢 陽(yáng)

(天津大學(xué)電氣自動(dòng)化與信息工程學(xué)院，天津 300072)

立體影像所帶來(lái)的強(qiáng)烈的真實(shí)感和沉浸感以及視覺(jué)沖擊力是傳統(tǒng) 2D影像所無(wú)法比擬的，這也是其得到廣泛應(yīng)用并深受大眾喜愛(ài)的重要原因.但是由于立體影像中存在視差這一影響因素，以及立體顯示設(shè)備中存在著一定的干擾，如頻閃、串?dāng)_、色度均衡性等，導(dǎo)致觀看一定時(shí)長(zhǎng)的立體視頻產(chǎn)生不同程度的視覺(jué)不舒適感.

國(guó)內(nèi)外大量研究結(jié)果表明長(zhǎng)時(shí)間觀看立體影像后被試普遍會(huì)出現(xiàn)疲勞、頭痛、惡心等不良反應(yīng)[1]，且立體深度信息與視覺(jué)疲勞程度之間具有很強(qiáng)的相關(guān)性[2].由于 EEG信號(hào)只需采集頭皮表面電位即可反映腦神經(jīng)細(xì)胞的電生理活動(dòng)，且信號(hào)采集具有連續(xù)性和實(shí)時(shí)性，同時(shí)包含豐富的生理心理信息，不易受被試主觀心理因素的影響，因此國(guó)內(nèi)外相關(guān)領(lǐng)域已經(jīng)將研究轉(zhuǎn)移到該方向上來(lái).Lambooij等[3]指出 EEG信號(hào)為立體視覺(jué)疲勞的評(píng)估與研究提供了可靠保證.早期對(duì) EEG信號(hào)的分析主要采用時(shí)域分析法，其具有物理意義明確、直觀性強(qiáng)等優(yōu)點(diǎn)，但這些方法更適用于波形特征顯著的腦電信號(hào)，存在一定的局限性[4].研究表明，EEG 信號(hào)幅值較低且隨機(jī)性強(qiáng)[5]，相比時(shí)域特性，其頻域特性更加顯著，用頻域分析或頻譜分析法更能凸顯其優(yōu)勢(shì).Chen等[6]將δ、θ、α、β相對(duì)能量以及比值參數(shù)(α+θ)/β、α/β、(α+θ)/(α+β)和θ/β與主觀評(píng)價(jià)相結(jié)合，將其作為評(píng)價(jià)3DTV疲勞程度的客觀指標(biāo).近年來(lái)，也有研究人員通過(guò)提取腦電信號(hào)的時(shí)頻域特征與非線性特征等對(duì)EEG信號(hào)進(jìn)行研究與分析，但將其應(yīng)用在評(píng)估立體視覺(jué)疲勞方面的研究較少.

本文采用單一運(yùn)動(dòng)形式的水平立體視頻刺激為實(shí)驗(yàn)素材，將腦電信號(hào)的時(shí)頻域特征與非線性特征作為聯(lián)合特征進(jìn)行立體視覺(jué)疲勞評(píng)估，應(yīng)用 FCSI算法、SVM、基于互信息的特征選擇算法等方法篩選出評(píng)估水平立體運(yùn)動(dòng)視疲勞的最佳指標(biāo).實(shí)驗(yàn)證明，此指標(biāo)能夠很好地區(qū)分立體視覺(jué)疲勞與否的兩類腦電信號(hào).

1 實(shí)驗(yàn)方案和方法

1.1 實(shí)驗(yàn)材料與流程

實(shí)驗(yàn)素材由Maya軟件制作而成.藍(lán)天白云作為背景，利用灰色環(huán)狀物標(biāo)記零視差位置，運(yùn)動(dòng)目標(biāo)為石頭狀物體，目標(biāo)沿水平方向做往復(fù)運(yùn)動(dòng).運(yùn)動(dòng)速度等級(jí)分為6種，每種運(yùn)動(dòng)速度的視頻時(shí)長(zhǎng)為4s.

實(shí)驗(yàn)被試共有9人(4女5男)，均具有正常的立體視覺(jué)、視力(或矯正后)，實(shí)驗(yàn)前簽署知情同意書，了解該實(shí)驗(yàn)的注意事項(xiàng)，且在實(shí)驗(yàn)后給予被試相應(yīng)報(bào)酬.實(shí)驗(yàn)包括主觀評(píng)估與客觀腦電信號(hào)采集兩部分.每一被試在做完 2D主觀實(shí)驗(yàn)后，均需在隔天相同時(shí)間進(jìn)行3D實(shí)驗(yàn).

主觀評(píng)估分為主觀問(wèn)卷與反應(yīng)能力判斷兩部分，根據(jù)主觀實(shí)驗(yàn)結(jié)果挑選出對(duì)水平運(yùn)動(dòng)立體視頻較為敏感的6名被試(3女3男)進(jìn)行客觀腦電實(shí)驗(yàn)，腦電實(shí)驗(yàn)分為ERP與 EEG兩部分.采集觀看 50min視頻刺激前后各2min閉眼靜息狀態(tài)下的EEG信號(hào)作為疲勞與非疲勞狀態(tài)下的 EEG信號(hào)樣本，記為時(shí)段1和時(shí)段2.

正式實(shí)驗(yàn)前，被試要進(jìn)行適當(dāng)練習(xí)訓(xùn)練.整個(gè)實(shí)驗(yàn)要在暗的環(huán)境中進(jìn)行，避免電磁干擾，周圍要保持相對(duì)安靜.腦電數(shù)據(jù)采集采用國(guó)際 10～20系統(tǒng)，嵌入式 34導(dǎo)腦電帽與Neuroscan系統(tǒng).參考電極使用左耳電極A1.采樣頻率為1kHz.

1.2 腦電數(shù)據(jù)特征提取與分類

腦電數(shù)據(jù)特征提取與分類流程如圖 1所示.首先，對(duì)預(yù)處理后的 EEG信號(hào)分別進(jìn)行小波包分解和樣本熵計(jì)算，提取時(shí)頻域特征與非線性特征；之后，通過(guò) FCSI算法與 SVM 分類結(jié)合完成電極篩選；最后，利用基于互信息的特征篩選方法篩選出評(píng)估水平運(yùn)動(dòng)立體視覺(jué)疲勞的最佳指標(biāo).

圖1 腦電數(shù)據(jù)特征提取與分類流程Fig.1 Flowchart of EEG data feature extraction and classification

1.2.1 預(yù)處理

預(yù)處理中首先對(duì) EEG信號(hào)進(jìn)行 1～30Hz的帶通濾波，去除工頻干擾和無(wú)用成分；接著利用獨(dú)立成分分析(ICA)去掉肌電、眼電等偽跡；之后分別提取出觀看立體視頻前后2min腦電信號(hào)樣本，同時(shí)將每個(gè)電極觀看前后 2min的腦電信號(hào)樣本切片為 120段1s長(zhǎng)的腦電片段用于后續(xù)分析.

1.2.2 小波包分解

預(yù)處理結(jié)束后，采用 Db4作為正交基函數(shù)分別對(duì)兩類腦電信號(hào)樣本段進(jìn)行4層小波包分解，把信號(hào)劃分成16個(gè)頻帶寬度為2Hz的子頻帶，每個(gè)子頻帶對(duì)應(yīng)一個(gè)小波包分解樹(shù)節(jié)點(diǎn).綜合以往的研究[7-8]，θ、α、β3個(gè)波段與立體視覺(jué)疲勞關(guān)系最為密切，其頻率范圍在0.5～30.0Hz之間，對(duì)應(yīng)本實(shí)驗(yàn)的子帶節(jié)點(diǎn)范圍為(4，2)～(4，10)，其中(4，2)與(4，3)對(duì)應(yīng)θ波段，(4，4)與(4，5)對(duì)應(yīng)α波段，其余節(jié)點(diǎn)對(duì)應(yīng)β波段.本實(shí)驗(yàn)，提取θ、α、β3個(gè)波段小波系數(shù)的均值及其比值α/β、α/θ、θ/(α+β)、(α+θ)/β、θ/β、(α+θ)/(α+β)作為時(shí)頻域特征.

1.2.3 樣本熵

通過(guò)樣本熵分析觀看立體視頻刺激前后的腦電信號(hào)序列的復(fù)雜度.樣本熵一般用 SampEn(m，r，N)表示，其中r是相似容限，N是長(zhǎng)度，m是維數(shù)，其定義為

式中Bn+1(r)與Bn(r)分別為預(yù)處理后的腦電信號(hào)與根據(jù)嵌入維度n+1和n構(gòu)造成的新序列在相似容限r(nóng)下匹配的概率.提取樣本熵作為腦電信號(hào)的非線性特征[9]，本文m＝2，標(biāo)準(zhǔn)差r＝0.2，N＝1000.

1.2.4 FCSI算法

FCSI算法是一種特征選擇算法，Wang等[10]曾將其應(yīng)用在肌電通道選擇中并得到了良好的效果.電極c的FCSI值的計(jì)算式為

式中：K表示類別的總數(shù)，本實(shí)驗(yàn)K＝2；i和j分別表示疲勞與非疲勞狀態(tài)兩個(gè)不同的類別；mc和vc分別為電極c上所提取特征向量的均值和方差.所得FCSI值越大的電極，越適合于類別的區(qū)分.

1.2.5 SVM分類器

利用 SVM 分類器對(duì)所選電極疲勞前后的腦電信號(hào)樣本進(jìn)行分類評(píng)估，比較其可分性.本實(shí)驗(yàn)中，SVM 核函數(shù)采用高斯核函數(shù)，為保證分類結(jié)果的準(zhǔn)確性，訓(xùn)練樣本和測(cè)試樣本的選取采用十折交叉驗(yàn)證的方式.

1.2.6 基于互信息的特征篩選

最后，對(duì)平均分類精度最高的電極上的所有特征采用基于互信息的特征篩選方法進(jìn)行排序，從而篩選出最合適的評(píng)估指標(biāo).

互信息常常被用來(lái)描述一組事件和另一組事件之間的相關(guān)性[11].互信息被定義為聯(lián)合分布與邊緣分布之間的相對(duì)熵，其計(jì)算式為

式中E＝{E1，…，En，…，EN}、F＝{F1，…，F(xiàn)m，…，F(xiàn)M}分別為疲勞與非疲勞狀態(tài)下 EEG信號(hào)的特征集.P＝{p1，…，pn，…，pN}、Q＝{q1，…，qm，…，qM}分別為對(duì)應(yīng)的概率分布.

2 實(shí)驗(yàn)結(jié)果及數(shù)據(jù)分析

2.1 主觀實(shí)驗(yàn)結(jié)果

9名被試各個(gè)疲勞癥狀的評(píng)分結(jié)果如圖 2所示.可見(jiàn)，觀看兩類視頻后，被試均出現(xiàn)較為嚴(yán)重的視力模糊、眼睛沉重、頭沉、頭痛的疲勞癥狀，且 3D 顯示所帶來(lái)的疲勞感比2D顯示更強(qiáng).對(duì)立體視頻刺激前后各項(xiàng)疲勞癥狀的主觀評(píng)分進(jìn)行單因素方差分析均出現(xiàn)顯著性差異，驗(yàn)證了本實(shí)驗(yàn)素材的合理性.

同時(shí)，與未觀看視頻相比，觀看兩類視頻后判斷的準(zhǔn)確率均有所下降，且觀看 3D視頻后判斷的準(zhǔn)確率均比2D視頻低.這表明在相同刺激條件下，3D顯示比傳統(tǒng)2D顯示更容易使人產(chǎn)生視疲勞.

2.2 腦電實(shí)驗(yàn)結(jié)果

2.2.1 ERP結(jié)果分析

圖 3為觀看前后 CZ電極的 ERP波形圖.對(duì)比清醒狀態(tài)，疲勞狀態(tài)下的 N200和 P300成分幅值明顯下降，而潛伏期略有增加.這說(shuō)明疲勞狀態(tài)下被試對(duì)刺激的興奮程度有所降低，同時(shí)對(duì)刺激認(rèn)知加工過(guò)程的處理速度也有所下降[12].

2.2.2 觀看前后腦電地形圖分析

根據(jù) 10～20電極導(dǎo)聯(lián)系統(tǒng)電極名稱匹配一覽表，將 30個(gè)電極劃分為 5個(gè)腦區(qū)，分為額區(qū)(FP1，F(xiàn)P2，F(xiàn)3，F(xiàn)Z，F(xiàn)4，F(xiàn)C3，F(xiàn)CZ，F(xiàn)C4)、中央?yún)^(qū)(C3，CZ，C4)、頂區(qū)(CP3，CPZ，CP4，P3，PZ，P4，P7，P8)、枕區(qū)(O1，OZ，O2)、顳區(qū)(F7，F(xiàn)8，F(xiàn)T7，F(xiàn)T8，T7，T8，TP7，TP8).計(jì)算對(duì)應(yīng)小波節(jié)點(diǎn)系數(shù)的平方作為θ、α、β3個(gè)波段的平均相對(duì)能量值并繪制 6名被試的腦電地形圖，如圖4所示.

圖3 被試觀看立體視頻前后ERP波形Fig.3 ERP waveforms before and after watching the stereo videos

圖4 被試觀看立體視頻前后θ、α、β 3個(gè)波段平均相對(duì)能量腦電地形圖Fig.4 Average relative energy EEG topographic maps of the three bands ofθ，α andβbefore and after watching the stereo videos

由圖4可見(jiàn)，觀看刺激后θ波的平均相對(duì)能量在前額區(qū)出現(xiàn)明顯的下降現(xiàn)象；α波則在前額區(qū)明顯上升，枕區(qū)與頂區(qū)也有所上升；觀看刺激后，β波在整體上均呈下降趨勢(shì)，但在前額區(qū)和頂區(qū)的變化尤為顯著.

2.2.3 樣本熵分析

圖 5所示為 6名被試疲勞前后各個(gè)通道平均樣本熵值的散點(diǎn)圖.

可以發(fā)現(xiàn)，大部分電極疲勞后的樣本熵值與清醒時(shí)相比均有所降低，說(shuō)明該特征與被試的疲勞狀態(tài)相關(guān)，能夠作為評(píng)估立體視覺(jué)疲勞的指標(biāo).進(jìn)一步也表明疲勞狀態(tài)下的信號(hào)，其復(fù)雜度會(huì)有所降低.

圖5 觀看立體視頻前后樣本熵值散點(diǎn)圖Fig.5 Scatter plot of sample entropy before and after watching the stereo videos

3 腦電指標(biāo)選取

將時(shí)頻域特征與非線性特征作為聯(lián)合特征，采用FCSI算法對(duì)所有被試的 30個(gè)電極進(jìn)行排序，前 12個(gè)電極排列如表1所示.

表1 權(quán)值排序前12個(gè)電極Tab.1 Top 12 electrodes of weight sorting

可見(jiàn)，疲勞前后差異度較大的前3個(gè)電極分別為CP3、F4、TP7，結(jié)合腦區(qū)分析發(fā)現(xiàn)排名靠前的電極集中在頂區(qū)與前額區(qū)的較多，可能這兩個(gè)腦區(qū)與水平運(yùn)動(dòng)立體視頻關(guān)系最為密切.利用 SVM 分類器對(duì)CP3、F4、TP7這 3個(gè)電極上兩類信號(hào)樣本進(jìn)行分類驗(yàn)證并比較其可分性，將十次十折交叉驗(yàn)證結(jié)果的平均值作為最終的分類結(jié)果，得到的分類率結(jié)果如表 2所示.

表2 3個(gè)電極分類精度Tab.2 Classification accuracies of three electrodes

根據(jù)分類結(jié)果來(lái)看，3個(gè)電極平均分類精度均在70%及以上，具備一定的可分性.6名被試在 CP3電極上的平均分類精度最高，為 73.19%，因此 CP3電極更適用于評(píng)估水平運(yùn)動(dòng)立體視覺(jué)疲勞.進(jìn)一步對(duì)CP3電極上的特征利用基于互信息的特征篩選方法進(jìn)行排序，結(jié)果如表3所示.

表3 特征排序Tab.3 Feature sorting

結(jié)果表明α/θ、(α+θ)/β、α是排序最靠前的 3 個(gè)特征.綜上來(lái)看，就有效性而言，CP3電極的α/θ、(α+θ)/β、α及其組合對(duì)水平立體視覺(jué)疲勞的識(shí)別最優(yōu)越，但結(jié)合頻段提取及計(jì)算復(fù)雜度，推測(cè)CP3電極上的α/θ這一指標(biāo)是評(píng)估水平運(yùn)動(dòng)立體視覺(jué)疲勞的最佳指標(biāo).使用配對(duì)t檢驗(yàn)對(duì) CP3電極上的α/θ、(α+θ)/β、α這 3個(gè)腦電指標(biāo)進(jìn)行觀看刺激前后的分析，結(jié)果如表4所示.

表4 觀看刺激前后 CP3電極腦電指標(biāo)配對(duì)t檢驗(yàn)分析結(jié)果Tab.4t-test analysis results of the CP3 electrode EEG index before and after stimulation

由此可見(jiàn)，CP3 電極上的α/θ、(α+θ)/β、α這 3個(gè)腦電指標(biāo)在觀看刺激前后均具有顯著性差異.觀看刺激后，α/θ、(α+θ)/β明顯減小，α增加，且α/θ指標(biāo)的顯著性差異最明顯.因此，CP3電極上的α/θ這一指標(biāo)是評(píng)估水平運(yùn)動(dòng)立體視覺(jué)疲勞的最佳指標(biāo).

4 結(jié) 語(yǔ)

本研究通過(guò)主觀實(shí)驗(yàn)與客觀實(shí)驗(yàn)兩種手段對(duì)水平運(yùn)動(dòng)立體視頻引發(fā)的視覺(jué)疲勞進(jìn)行了評(píng)估與研究.根據(jù)主觀實(shí)驗(yàn)結(jié)果發(fā)現(xiàn)，3D與2D視頻均能夠使被試在一定程度上產(chǎn)生視覺(jué)疲勞現(xiàn)象，且 3D顯示比傳統(tǒng) 2D顯示對(duì)人的影響更大.在腦電實(shí)驗(yàn)中，綜合分析被試觀看水平運(yùn)動(dòng)立體視頻前后θ、α、β3個(gè)波段的平均相對(duì)能量的變化以及疲勞前后差異度較大的電極的腦區(qū)分布情況，頂區(qū)與前額區(qū)與水平運(yùn)動(dòng)立體視頻關(guān)系最為密切.經(jīng)過(guò)導(dǎo)聯(lián)與特征篩選，評(píng)估水平運(yùn)動(dòng)視覺(jué)疲勞的最佳特征參數(shù)為 CP3電極上的α/θ.

今后，將在特征提取算法以及分類器的選擇上進(jìn)行更深入的研究以提高分類的正確率，為應(yīng)用腦電信號(hào)對(duì)視覺(jué)疲勞的甄別及評(píng)價(jià)打下基礎(chǔ)，并進(jìn)一步結(jié)合視差、運(yùn)動(dòng)速度等因素進(jìn)行深入研究.