基于腦電和眼動信號的人機(jī)交互意圖識別

王崴，趙敏睿，高虹霓，朱帥，瞿玨,2,*

1. 空軍工程大學(xué) 防空反導(dǎo)學(xué)院，西安 710051 2. 西北工業(yè)大學(xué) 航空學(xué)院，西安 710072

提高飛行器人機(jī)交互系統(tǒng)對飛行員的意圖感知和狀態(tài)識別能力是飛行器人機(jī)交互智能化的關(guān)鍵目標(biāo)之一[1]，可為自適應(yīng)飛行器人機(jī)交互系統(tǒng)設(shè)計(jì)提供理論依據(jù)和技術(shù)支持，并減少操作過程中的人為差錯(cuò)[2]。人機(jī)交互意圖指的是用戶在進(jìn)行計(jì)算機(jī)系統(tǒng)操作時(shí)的目標(biāo)和期望，傳統(tǒng)人機(jī)交互意圖識別方法主要依靠腦電信號或眼動信號。

腦機(jī)接口(Brain-Computer Interface, BCI)是腦電信號的應(yīng)用形式，可在人腦與外部設(shè)備建立通信關(guān)系，進(jìn)而通過大腦控制外部設(shè)備[3-5]。BCI已經(jīng)應(yīng)用在醫(yī)學(xué)[6]、神經(jīng)生物學(xué)[7-8]和心理學(xué)[9-10]等領(lǐng)域。運(yùn)動想象(Motor Imagery, MI)腦電圖(Electroencephalogram, EEG)具有靈活、非侵入性、環(huán)境要求低和分辨率高的特點(diǎn)，因此MI是BCI廣泛應(yīng)用的形式之一[11]。運(yùn)動想象過程中EEG信號的頻帶功率會隨MI任務(wù)的內(nèi)容變化，這被稱為事件相關(guān)的同步化和去同步化(Event Related Synchronization/Desynchronization, ERS/ERD)[12]，ERS/ERD的產(chǎn)生與內(nèi)部或外部事件相關(guān)，當(dāng)人的一側(cè)肢體進(jìn)行運(yùn)動或進(jìn)行運(yùn)動想象時(shí)，大腦對側(cè)的感覺運(yùn)動區(qū)μ節(jié)律和β節(jié)律能量減少，同側(cè)運(yùn)動感覺區(qū)μ節(jié)律和β節(jié)律能量增加。這種規(guī)律使得ERS/ERD控制外部設(shè)備或進(jìn)行運(yùn)動想象意圖識別成為可能[13]。蔣貴虎等基于固有時(shí)間尺度分解和支持向量機(jī)(Support Vector Machine, SVM)算法對第3屆BCI競賽的Dataset Ⅲa數(shù)據(jù)集和第4屆BCI競賽的Dataset 2a數(shù)據(jù)集進(jìn)行了分類，最終分類結(jié)果分別達(dá)到94.65%和90.63%[14]。徐寶國等設(shè)計(jì)實(shí)驗(yàn)通過MI控制機(jī)械臂完成連續(xù)抓取任務(wù)，成功率達(dá)到85%[11]，但這些意圖識別方式都僅依賴腦電信號，沒有融合眼動信號的優(yōu)點(diǎn)，識別準(zhǔn)確率有待進(jìn)一步提高。

研究表明，視覺通道提供給人80%以上的外界信息[15]，近年來，有許多學(xué)者依據(jù)人的視覺行為對用戶人機(jī)交互意圖進(jìn)行研究。Deng和Gu利用眼動數(shù)據(jù)分析用戶的行為意圖和情感體驗(yàn)[16]，趙其杰等通過檢測眼睛與頭部動作確定用戶交互意圖，其中注視意圖關(guān)注區(qū)域正確率為92%[17]。此外，眼動追蹤還廣泛應(yīng)用于用戶交互行為分析[18]、用戶視覺搜索分析[19]和視覺刺激興趣分析[20]等領(lǐng)域，這些方法僅依靠眼動信號，沒有融合腦電信號，未能充分利用腦電信號對人腦認(rèn)知狀態(tài)的分析。

近年來，很多學(xué)者嘗試將多生理信息進(jìn)行融合，以期提高人的搜索意圖、動作意圖或認(rèn)知狀態(tài)識別準(zhǔn)確率。Park等融合腦電和眼動信號對人在視覺搜索過程中的隱式交互意圖進(jìn)行識別，發(fā)現(xiàn)融合腦電和眼動信號識別準(zhǔn)確率比依靠單一生理信號準(zhǔn)確率高5%左右[21]。Postelnicu等融合眼動、腦電和手勢特征對6自由度機(jī)械臂進(jìn)行操控，結(jié)果顯示，可用性量表(System Usability Scale, SUS)分?jǐn)?shù)高于平均水平[22]。謝平等融合腦電、心電和肌電信號對駕駛疲勞進(jìn)行評估，結(jié)果表明多生理特征融合識別準(zhǔn)確率明顯高于單獨(dú)生理信號識別率[23]；融合腦電信號與肌電信號對動作模式進(jìn)行識別，結(jié)果表明，腦肌電融合信號識別正確率為98%，高于單純依靠腦電特征識別的準(zhǔn)確率75%[24]。這說明多生理信號融合可提高對人認(rèn)知和意圖的識別準(zhǔn)確率，但上述研究未涉及人機(jī)交互意圖識別。

綜上，本文提出了基于腦電、眼動信號特征融合并引入決策層融合的人機(jī)交互意圖識別方法，可在用戶進(jìn)行人機(jī)交互時(shí)進(jìn)行意圖識別。具體實(shí)現(xiàn)過程為：采集用戶腦電和眼動信號進(jìn)行特征提?。徊捎媚Ｊ阶R別算法對生理信號特征進(jìn)行分類識別；對分類器分類算法進(jìn)行決策級融合得到最終結(jié)果，設(shè)計(jì)用戶意圖誘發(fā)實(shí)驗(yàn)，驗(yàn)證方法可行性。本文還比較了不同腦電特征提取方法和不同機(jī)器學(xué)習(xí)算法對識別準(zhǔn)確率的影響。

1 多生理信號特征提取

1.1 腦電信號特征提取

1.1.1 基于小波變換的腦電信號特征提取

小波變換(Wavelet Transform, WT)采用聯(lián)合時(shí)間-尺度對原始信號進(jìn)行分析，通過隨機(jī)改變頻率窗和時(shí)間窗同時(shí)獲得較好的時(shí)間分辨率和頻率分辨率，適用于處理非平穩(wěn)信號，如腦電信號。

現(xiàn)有研究表明，運(yùn)動想象的ERS/ERD特征主要出現(xiàn)在α波、β波和γ波3個(gè)波段，因此這3個(gè)頻段的腦電波被廣泛應(yīng)用于運(yùn)動想象評估。本文擬通過提取小波能量系數(shù)和小波熵作為腦電信號特征。

本文選用Daubechies 4小波基函數(shù)對采樣頻率為128 Hz的腦電信號s(t)進(jìn)行3層離散小波變換，s(t)的離散小波變換定義為

〈s(t),φj,k〉j,k∈Z

(1)

(2)

式中：l′為小波分解層數(shù)；Al′為低頻分量；Dj為不同頻率下的細(xì)節(jié)分量，具體頻帶范圍如表1所示。

表1 各子帶信號對應(yīng)頻率范圍Table 1 Frequency range of sub-band signals

各子帶對應(yīng)近似系數(shù)cAl′，小波系數(shù)cDj。單一尺度下小波能量Ei定義為該尺度下小波系數(shù)的平方，因此，總小波能量的定義為

(3)

(4)

小波熵可反映原信號在不同空間分布的有序程度，因此可用于定量描述原信號在時(shí)域上的能量分布特征。

1.1.2 基于共空域模式的腦電信號特征提取

共空域模式(Common Spatial Patterns, CSP)算法在基于ERS/ERD的腦電信號分析中被證明十分有效，但CSP模式算法是針對二分類問題提出的，因此針對多分類問題，需要對CSP算法進(jìn)行改進(jìn)，對任意2類進(jìn)行一一比較。CSP通過對原始信號進(jìn)行空間投影，找到最佳投影方向，滿足第1類信號在某方向方差最大，第2類信號方差最小，得到2類差別最大的投影方向。

設(shè)E為去除直流成分處理后的腦電信號矩陣，維數(shù)為N×T，其中N為腦電數(shù)據(jù)通道數(shù)目，T為每個(gè)通道的采樣點(diǎn)數(shù)。則腦電數(shù)據(jù)的平均協(xié)方差矩陣為

(5)

式中：trace(EET)為矩陣EET的跡。平均協(xié)方差矩陣之和為

Cc=C1+C2

(6)

對Cc采用特征值分解，有

(7)

I=PCcPT

(8)

式中：I為單位矩陣。對C1、C2進(jìn)行變換，有

Si=PCiPTi∈{1,2}

(9)

式中：S1、S2有相同的特征向量，且對應(yīng)的特征值和為1，換言之，在S1最大特征值的方向上，S2特征值取得最小；反之，在S1最小特征值的方向上，S2特征值達(dá)到最大。

若

S1=Bλ1BT

(10)

則有

(11)

投影矩陣W為

W=BTP

(12)

式中：B為任意與λi(i∈{1,2})乘法相容的矩陣?？梢钥闯觯琖為N×N階矩陣，原始信號E通過投影，得到新信號

Z=WE

(13)

選取經(jīng)過W投影的信號前n行和后n行共2n行新信號進(jìn)行如下變化，得到最終特征值：

(14)

式中：Zj為矩陣Z的第j行；var(Zj)為Zj的方差。

對3類信號中每2類都采用CSP進(jìn)行處理，可得3個(gè)投影矩陣W，對每個(gè)矩陣W前后各選取4個(gè)最佳方向，共8個(gè)最佳方向，可得3×8=24維特征向量。然后采用Fisher判別法進(jìn)行降維，可將24維特征向量降為3維特征向量。此處最佳方向的選取數(shù)量和降維后特征向量的維數(shù)選取是依據(jù)反復(fù)實(shí)驗(yàn)確定的，選取了分類效果最好的參數(shù)。最后，采用貝葉斯分類器，根據(jù)先驗(yàn)概率思想對降維后的特征進(jìn)行分類：

(15)

式中：P(yi)為標(biāo)簽為i的數(shù)據(jù)先驗(yàn)概率；P(yi|f)為特征為f的樣本屬于第i類的后驗(yàn)概率；P(f|yi)為第i類樣本產(chǎn)生特征f的似然比。分類結(jié)果為后驗(yàn)概率最大的i；C為數(shù)據(jù)類型總數(shù)。

1.2 眼動信號特征提取

本文采用RED-M型眼動儀采集眼動數(shù)據(jù)，采樣頻率可達(dá)60 Hz。眼動特征可以反映用戶的眼動行為。本文中采集了注視點(diǎn)X坐標(biāo)(Fixation pointXcoordinate,FX)、注視點(diǎn)Y坐標(biāo)(Fixation pointYcoordinate,FY)、瞳孔直徑(Pupil Diameter, PD)、注視時(shí)間(Fixation Time, FT)和眼跳幅度(Saccade Amplitude, SA)5個(gè)生理特征進(jìn)行分析。由于眼動指標(biāo)反映的認(rèn)知狀態(tài)并不完全確定，因此，本文所提到的眼動指標(biāo)和認(rèn)知狀態(tài)的關(guān)系僅對類似實(shí)驗(yàn)環(huán)境和實(shí)驗(yàn)任務(wù)有效。

FX和FY表征用戶在進(jìn)行人機(jī)交互時(shí)的注視點(diǎn)X方向和Y方向的坐標(biāo)，可以反映用戶在屏幕上的注視點(diǎn)位置[24]。

PD可作為反映用戶實(shí)時(shí)認(rèn)知負(fù)荷的指標(biāo)之一，當(dāng)認(rèn)知負(fù)荷增大時(shí)，瞳孔直徑增大；反之，瞳孔直徑減小，因此該指標(biāo)可反映用戶認(rèn)知狀態(tài)[25]。

FT可反映用戶對視覺信息處理的難易程度，當(dāng)用戶面對復(fù)雜信息時(shí)，處理時(shí)間會加長[26]，因此該指標(biāo)可反映用戶的認(rèn)知狀態(tài)。

SA通常反映為注視點(diǎn)之間跳動幅度，可反映用戶對視覺信息的難易程度，當(dāng)用戶對視覺信息進(jìn)行粗加工時(shí)，眼跳幅度較大；反之，當(dāng)用戶對視覺信息進(jìn)行精加工時(shí)，則眼跳幅度較小[27-28]，因此可以反映用戶的認(rèn)知狀態(tài)。

2 基于SVM-DS的數(shù)據(jù)融合分析

2.1 SVM分類算法

SVM分類算法是一種基于統(tǒng)計(jì)學(xué)習(xí)理論的機(jī)器學(xué)習(xí)分類算法，與普通尋優(yōu)算法追求經(jīng)驗(yàn)風(fēng)險(xiǎn)最小不同，SVM算法通過追求結(jié)構(gòu)化風(fēng)險(xiǎn)最小提高了算法的泛化能力，最小化經(jīng)驗(yàn)風(fēng)險(xiǎn)和置信范圍，較好地解決了小樣本條件下模式識別算法中的過學(xué)習(xí)、模型選擇、維數(shù)災(zāi)難和非線性問題。該算法的基本思想是找到使2類之間分類間隔最大的最優(yōu)分類平面。

設(shè)樣本集為

D={(x1,y1),(x2,y2)，…,(xl,yl)}

xi∈R,yi∈{+1,-1}

(16)

式中：l為樣本數(shù)目。則分類平面為n維超平面，可表示為

〈w,x〉+b=0

w∈Rn,b∈R,x=[x1x2…xl]

(17)

則分類間隔為2/‖w‖，顯然，‖w‖取最小值時(shí)，分類間隔達(dá)到最大。因此，求最大分類間隔可轉(zhuǎn)化為求如下的約束優(yōu)化問題

(18)

當(dāng)問題線性可分時(shí)，解向量w*即支持向量，SVM的分類功能由支持向量決定。支持向量機(jī)即描述最優(yōu)分類超平面的決策函數(shù)，可表示為

f(x)=sgn(〈w*,x〉+b)

(19)

當(dāng)問題線性不可分時(shí)，通常采用將樣本非線性變換投影到高維空間的方法，使樣本在這個(gè)高維特征空間可分，根據(jù)Mercer條件，此時(shí)決策函數(shù)為

(20)

式中：K1(x,xi)為核函數(shù)；αi為拉式乘子。

2.2 D-S證據(jù)理論

D-S證據(jù)理論是Dempster提出，由Shafer完善的一種不精確推理方法，可用于處理不確定信息，且需要的條件比貝葉斯概率論更弱。該理論不但能處理由不精確先驗(yàn)知識產(chǎn)生的不確定性，而且可以處理由不知道產(chǎn)生的不確定性。

設(shè)Θ為識別框架，m為區(qū)間[0,1]上的可信度分配函數(shù)，也稱Mass函數(shù)，表示證據(jù)支持事件A發(fā)生的程度。m(?)=0，且滿足

(21)

對于?{A,B,C}?Θ，根據(jù)Dempster合成規(guī)則，Θ上任意2個(gè)Mass函數(shù)m1、m2的合成方法為

(22)

(23)

對于?A?Θ，根據(jù)Dempster合成規(guī)則，Θ上任意有限個(gè)Mass函數(shù)m1,m2,…,mn的合成方法為

m(A)=(m1⊕m2⊕…⊕mn)(A)=

(24)

(25)

2.3 決策級融合的人機(jī)交互意圖識別

決策級融合的流程如圖1所示，首先對采集到的生理信號進(jìn)行預(yù)處理和特征提取，得到對應(yīng)生理信號的特征向量，然后對腦電和眼動信號特征向量分別采用分類器進(jìn)行分類，最后將各分類器分類結(jié)果采用D-S證據(jù)理論進(jìn)行融合，得到?jīng)Q策層融合結(jié)果。

圖1 基于SVM-DS理論的決策級人機(jī)交互意圖識別原理圖Fig.1 Diagram of decision-level human-computer interaction intention recognition based on SVM-DS theory

假設(shè)A1,A2,…,Ak為k種認(rèn)知意圖，通過n類生理信號進(jìn)行了分類，則識別框架為

Θ={A1,A2,…,Ak}

(26)

每一種生理信號特征的識別算法對各類型意圖可信度分配函數(shù)為

mi(A1,A2,…,Ak,Θ)=

(piqi1,piqi2,…,piqik,1-pi)

i=1，2，…,n；j=1，2，…,k

(27)

式中：pi為第i種生理特征識別算法正確率；qij為第i種生理特征識別判定樣本為第j種認(rèn)知意圖的可信度。

對于識別框架Θ中任意認(rèn)知意圖Aj，采用多生理特征分類結(jié)果的Dempster決策規(guī)則為

m(Aj)=(m1⊕m2⊕…⊕mn)(Aj)

j=1,2,…,k

(28)

由式(27)、式(28)和式(23)可得

(29)

(30)

式中：算法正確率pi通?？扇∮?xùn)練集樣本正確率，采用D-S決策級融合交互意圖判別方法不僅可以輸出未知樣本的類別，還可以輸出樣本屬于每一類的概率。D-S證據(jù)理論中可信度分配賦值問題通過機(jī)器學(xué)習(xí)算法訓(xùn)練得到的總體分類正確率得到了有效直觀的解決。

3 實(shí)驗(yàn)與結(jié)果分析

3.1 實(shí)驗(yàn)設(shè)置

為驗(yàn)證所提出的人機(jī)交互意圖識別方法的科學(xué)性和有效性，需要采集用戶在進(jìn)行人機(jī)交互時(shí)的腦電和眼動數(shù)據(jù)。本文招募男性用戶22人(其中2人因數(shù)據(jù)采集率低于50%不能作為有效受試者)，年齡范圍為18～22歲(均值M=22.3，標(biāo)準(zhǔn)差SD=1.8)。在實(shí)驗(yàn)前每位用戶都熟悉了實(shí)驗(yàn)流程和注意事項(xiàng)并簽署了知情同意書。

實(shí)驗(yàn)環(huán)境如圖2所示，實(shí)驗(yàn)中保持窗簾關(guān)閉，每次實(shí)驗(yàn)只允許實(shí)驗(yàn)用戶和操作人員進(jìn)入并關(guān)閉其他電子設(shè)備，以消除光線變化和其他電磁信號的干擾。實(shí)驗(yàn)設(shè)備包括DELL計(jì)算機(jī)、RED-M型眼動試驗(yàn)儀(SMI Company, Berlin, Germany)和Neuroscan NuAmps 32導(dǎo)腦電儀(Synamps2, Scan4.3, EI Paso, USA)。眼動信號采樣頻率為60 Hz；顯示器分辨率為1 280 pixel×1 024 pixel， 屏幕亮度為300 cd/m2；被試用戶與屏幕距離大約60 cm，被試用戶雙眼與屏幕中心大致處于同一高度。腦電儀電極分布采用10-20國際標(biāo)準(zhǔn)導(dǎo)聯(lián)系統(tǒng)，選取左側(cè)乳突為參考電極，中前額葉為接地電極，采集垂直和水平2個(gè)通道眼電信號，采樣頻率為250 Hz，進(jìn)行50 Hz陷波和0.05～10 Hz在線帶通濾波，并確保電極阻抗小于5 kΩ，采集信號后對肌電和眼電偽跡進(jìn)行剔除，電極具體位置如圖3所示。

本文采用經(jīng)典運(yùn)動想象實(shí)驗(yàn)范式，如圖4所示，操作想象開始前屏幕呈現(xiàn)“放松”字樣，持續(xù)2 s，被試用戶放松心情準(zhǔn)備開始；隨后屏幕呈現(xiàn)“準(zhǔn)備”字樣，持續(xù)1 s，提示用戶準(zhǔn)備開始操作想象；接下來，屏幕呈現(xiàn)操作界面，實(shí)驗(yàn)界面如圖5所示，用戶操作包括“向左移動”“向右移動”和“發(fā)射導(dǎo)彈”，需要進(jìn)行用戶操作想象時(shí)圖標(biāo)會轉(zhuǎn)變?yōu)辄S色，用戶根據(jù)提示的不同進(jìn)行不同的操作想象。每次操作想象總時(shí)間為9 s。

圖2 實(shí)驗(yàn)環(huán)境Fig.2 Experimental environment

圖3 電極位置Fig.3 Physical location of electrodes

圖4 運(yùn)動想象實(shí)驗(yàn)范式Fig.4 Experimental paradigm of motor imagery

圖5 運(yùn)動想象實(shí)驗(yàn)界面Fig.5 Experimental interface of motor imagery

3.2 結(jié)果分析

在3.1節(jié)的實(shí)驗(yàn)中，本文采集了注視點(diǎn)X坐標(biāo)(FX)、注視點(diǎn)Y坐標(biāo)(FY)、瞳孔直徑(PD)、注視時(shí)間(FT)和眼跳幅度(SA)5項(xiàng)眼動參數(shù)，將FX與FY合成一類特征，作為注視點(diǎn)位置特征。將提取到的被試用戶4類眼動特征作為算法分類依據(jù)，將20名受試對象的眼動數(shù)據(jù)進(jìn)行預(yù)處理和特征提取后60%作為訓(xùn)練集，40%作為測試集，用SVM算法進(jìn)行操作想象分類，分類準(zhǔn)確率如表2所示。從表2中可以看出，眼動指標(biāo)數(shù)目越多，識別準(zhǔn)確率越高，且注視點(diǎn)位置特征對準(zhǔn)確率影響更大。這說明注視點(diǎn)位置特征可較好反映用戶的意圖，但由于實(shí)驗(yàn)中注視點(diǎn)不穩(wěn)定，因此需要結(jié)合其他眼動特征提高識別可靠性。本文選取的5項(xiàng)眼動特征對認(rèn)知意圖實(shí)驗(yàn)的準(zhǔn)確率可達(dá)87.42%， 說明眼動指標(biāo)的選取是有效的。

為了探究不同機(jī)器學(xué)習(xí)方法和數(shù)據(jù)預(yù)處理方法對人機(jī)交互意圖識別的影響，本文選取SVM、WT+SVM、CSP+SVM、CSP+Fisher這4種方法對20名受試者腦電數(shù)據(jù)集進(jìn)行識別，60%作為訓(xùn)練集，40%作為測試集，最終得到每名受試者識別準(zhǔn)確率如圖6所示，圖中縱坐標(biāo)為腦電數(shù)據(jù)處理方法，橫坐標(biāo)為分類準(zhǔn)確率(Accuracy, ACC)，P1～P20為受試者編號?？梢妼τ诓煌茉囌撸惴ㄗR別的準(zhǔn)確率與標(biāo)準(zhǔn)差略有不同。識別算法的識別結(jié)果如表3所示，CSP+SVM算法識別準(zhǔn)確率顯著高于另外3種算法(假設(shè)檢驗(yàn)顯著性水平P<0.05)，且這種方法的標(biāo)準(zhǔn)差最小，說明該算法的敏感性低，泛化能力強(qiáng)，適合對腦電數(shù)據(jù)進(jìn)行處理。表3中前2～4列為采用SVM算法對腦電的分類結(jié)果，從識別準(zhǔn)確率看，同樣采用SVM算法的條件下，采用WT方法和采用CSP方法平均識別準(zhǔn)確率均顯著高于不采用特征提取方法的平均準(zhǔn)確率(方差分析F(2,57)=18.35,P=0.000 3<0.05)。表3中后2列為同樣采用CSP特征提取方法對腦電數(shù)據(jù)的識別結(jié)果，從識別準(zhǔn)確率看，SVM算法的識別準(zhǔn)確率顯著高于Fisher算法識別準(zhǔn)確率(F(1,39)=9.016,P=0.004 7<0.05)。

表2 不同特征組合下的眼動分類預(yù)測準(zhǔn)確率

圖6 不同受試者識別準(zhǔn)確率Fig.6 Recognition accuracy of different participants

表3 不同腦電處理方法下的平均分類預(yù)測準(zhǔn)確率

本文對于腦電數(shù)據(jù)采用CSP+SVM方法進(jìn)行預(yù)處理后對SVM算法進(jìn)行訓(xùn)練，對于眼動數(shù)據(jù)進(jìn)行特征提取，選取注視點(diǎn)位置(FX&FY)、瞳孔直徑(PD)、注視時(shí)間(FT)和眼跳幅度(SA)4類眼動特征采用SVM算法進(jìn)行訓(xùn)練，采用交叉對比法確定SVM算法參數(shù)，訓(xùn)練集識別結(jié)果見表4。

由D-S理論，本實(shí)驗(yàn)中3種認(rèn)知意圖構(gòu)成一個(gè)識別框架Θ={左移,右移,發(fā)射導(dǎo)彈}，采用表4中20名受試者樣本平均值作為識別準(zhǔn)確率，則有{p1,p2}={0.874,0.770}，眼動和腦電識別方法由不知道而產(chǎn)生的不確定性為{m1(Θ),m2(Θ)}={0.126,0.230}。將與訓(xùn)練樣本對應(yīng)的測試樣本分別進(jìn)行SVM算法單獨(dú)分類和基于D-S理論的決策級融合分類，識別結(jié)果如表5所示。

實(shí)驗(yàn)結(jié)果表明，測試樣本識別率較訓(xùn)練樣本有所下降，但降幅不大，眼動數(shù)據(jù)準(zhǔn)確率下降0.99%， 腦電數(shù)據(jù)識別準(zhǔn)確率下降0.72%，這表明SVM算法具有較強(qiáng)的泛化能力。比較眼動與腦電數(shù)據(jù)識別準(zhǔn)確率，發(fā)現(xiàn)眼動數(shù)據(jù)識別準(zhǔn)確率顯著高于腦電數(shù)據(jù)識別準(zhǔn)確率(P<0.005)，說明眼動數(shù)據(jù)對人機(jī)交互意圖識別準(zhǔn)確率高于腦電數(shù)據(jù)。基于D-S證據(jù)理論對數(shù)據(jù)進(jìn)行決策級融合后識別準(zhǔn)確率最高可達(dá)96.03%，平均識別準(zhǔn)確率可達(dá)92.34%， 高于僅依靠眼動或腦電數(shù)據(jù)的識別準(zhǔn)確率，且數(shù)據(jù)識別準(zhǔn)確率標(biāo)準(zhǔn)差僅為1.82， 表明基于D-S理論的數(shù)據(jù)融合方法對樣本敏感性低，泛化能力強(qiáng)，驗(yàn)證了D-S理論在多生理信息的意圖識別方面有優(yōu)勢，從圖6和圖7中也可看出基于D-S證據(jù)理論的決策級融合方法具有準(zhǔn)確率高、對樣本敏感性低、泛化能力強(qiáng)的特點(diǎn)，可用于下一步飛行器和武器系統(tǒng)人機(jī)交互系統(tǒng)自適應(yīng)設(shè)計(jì)。

表4 訓(xùn)練集腦電和眼動數(shù)據(jù)識別準(zhǔn)確率

表5 基于D-S理論的分類識別準(zhǔn)確率

圖7 不同腦電處理方法識別準(zhǔn)確率Fig.7 Recognition accuracy of different EEG processing methods

4 結(jié) 論

1) 采用眼動信號特征越多，識別準(zhǔn)確率越高，采用(FX&FY)&瞳孔直徑&注視時(shí)間&眼跳幅度組合的人機(jī)交互意圖識別準(zhǔn)確率可達(dá)87.42%。

2) 4種腦電特征提取方法中，CSP+SVM方法識別人機(jī)交互意圖準(zhǔn)確率最高，平均準(zhǔn)確率可達(dá)76.81%。

3) 提出了基于D-S證據(jù)理論的腦電眼動信息融合人機(jī)交互意圖識別方法，能夠識別用戶的人機(jī)交互意圖，平均準(zhǔn)確率可達(dá)92.34%?；贒-S證據(jù)理論的腦電眼動信息融合人機(jī)交互意圖識別方法具有準(zhǔn)確率高、泛化能力強(qiáng)的特點(diǎn)。

[21] PARK U, MALLIPEDDI R, LEE M, et al. Human implicit intent discrimination using EEG and eye movement[C]∥ International Conference on Neural Information Processing, 2014: 11-18.