基于改進(jìn)原型網(wǎng)絡(luò)的P300腦電信號檢測①

施翔宇,潘家輝

1(華南理工大學(xué) 自動化科學(xué)與工程學(xué)院 腦機(jī)接口與腦信息處理研究中心,廣州 510640)

2(華南師范大學(xué) 軟件學(xué)院,佛山 528225)

1 引言

腦機(jī)接口是直接建立大腦和外部設(shè)備交流的渠道,而不需要人的任何肌肉活動.在不同的大腦信號中,腦電信號具有相對較高的時間分辨率,有非侵入性、成本低等特點(diǎn),適用于實(shí)現(xiàn)腦機(jī)接口系統(tǒng).腦電信號中的P300 事件相關(guān)電位是構(gòu)建拼寫系統(tǒng)中常用的腦電信號之一.以往對P300 分類的工作主要利用傳統(tǒng)機(jī)器學(xué)習(xí)算法,如支持向量機(jī)和線性判別分析.Rakotomamonjy等[1]使用支持向量機(jī),字符預(yù)測的平均準(zhǔn)確率達(dá)到96.5%,在2004年的腦機(jī)接口競賽數(shù)據(jù)集II 中名列前茅.Bostanov 等[2]在腦機(jī)接口競賽中使用基于Bagging的線性判別分析獲得與支持向量機(jī)相當(dāng)?shù)慕Y(jié)果.近十年來,深度學(xué)習(xí)在解決計(jì)算機(jī)視覺和自然語言處理等現(xiàn)實(shí)問題中取得了很大的進(jìn)展,但是在腦電信號檢測的應(yīng)用還處于起步階段.Cecotti 等[3]提出了一個4 層卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks,CNN),在數(shù)據(jù)集上獲得了的97%平均預(yù)測準(zhǔn)確率.Liu 等[4]在CNN 中引入批歸一化(batch normalization,BN)[5]緩解過擬合,字符預(yù)測的平均準(zhǔn)確率達(dá)98%.

意識障礙(disorders of consciousness,DOCs)是腦損傷的后遺癥,包括昏迷、植物狀態(tài)、最小意識狀態(tài)和閉鎖綜合征等4 種狀態(tài).處于植物狀態(tài)的患者不能表達(dá)可理解的語言,也不能自發(fā)地睜開眼睛服從口頭命令[6-8],而最小意識狀態(tài)的特點(diǎn)是可以通過行為反應(yīng),表現(xiàn)出不一致但可重現(xiàn)的意識跡象[9].閉鎖綜合征患者以構(gòu)音不全和四肢癱瘓為特征,但是能保持基本的認(rèn)知功能[8].處于不同狀態(tài)的意識障礙患者有不同的意識水平,因此,準(zhǔn)確的意識水平檢測是診斷和治療意識障礙患者的關(guān)鍵.目前,評估意識障礙患者意識狀態(tài)最常用的方法是行為評分法,如JFK 昏迷恢復(fù)量表修訂版[10,11].然而,這種基于行為的評估方法誤診率高達(dá)37%-43%[12,13].因此,探索非行為、客觀的方法來檢測意識障礙患者的意識水平具有重要意義.近年來,一些研究顯示了腦機(jī)接口技術(shù)在檢測意識障礙患者意識水平方面的潛力,Pan 等[14]使用結(jié)合P300和SSVEPs的視覺混合腦機(jī)接口檢測8 名意識障礙患者的意識,其中的3 名患者顯示了命令-跟隨行為.然而,意識障礙患者的認(rèn)知能力普遍低于健康受試者,并且容易出現(xiàn)疲勞、注意力不集中等問題,難以完成長時間的實(shí)驗(yàn),如何在實(shí)驗(yàn)時間短、數(shù)據(jù)數(shù)量少的情況下,準(zhǔn)確分析出意識障礙患者的意識水平仍然是當(dāng)前面臨的挑戰(zhàn).一種可行的改進(jìn)方向是優(yōu)化分類算法,使其在樣本數(shù)量少的情況下訓(xùn)練出好的模型.

在樣本數(shù)量較少的情況下,深度學(xué)習(xí)算法在訓(xùn)練過程中容易出現(xiàn)過擬合現(xiàn)象,常見的解決方案有數(shù)據(jù)增強(qiáng)和正則化.而近年來的主流方案是使用元學(xué)習(xí)技術(shù),利用已有的先驗(yàn)知識解決新的問題,而不需要大量的訓(xùn)練樣本,從而解決了小樣本帶來的過擬合問題.元學(xué)習(xí)技術(shù)可大致分為3 類:學(xué)習(xí)微調(diào)、基于循環(huán)神經(jīng)網(wǎng)絡(luò)的記憶和度量學(xué)習(xí).2015年Lake 等[15]在“Science”發(fā)表文章,提出了貝葉斯程序?qū)W習(xí)框架,實(shí)現(xiàn)單樣本學(xué)習(xí),Vinyals 等[16]提出的匹配網(wǎng)絡(luò)和Snell 等[17]提出的原型網(wǎng)絡(luò),使用基于度量的方法實(shí)現(xiàn)了小樣本學(xué)習(xí).所謂度量就是比較兩個樣本的相關(guān)性,借助最近鄰的思想完成分類,在某一個投影空間中,距離越近的樣本越相似,即認(rèn)為可以將其分為同一類別.

針對上述問題,本文結(jié)合原型網(wǎng)絡(luò)思想,使用卷積神經(jīng)網(wǎng)絡(luò)提取腦電信號的特征,并使用度量方法,實(shí)現(xiàn)小樣本情況下P300 信號的分類和識別,以及在樣本數(shù)量較少的情況下的意識障礙檢測.

2 P300 檢測算法

2.1 數(shù)據(jù)預(yù)處理

P300 事件相關(guān)電位發(fā)生于刺激開始后大約300 ms,在EEG 中對應(yīng)為正電壓偏轉(zhuǎn).為檢測P300 波形,需要使用時間窗對原始數(shù)據(jù)進(jìn)行截取,并使用帶通濾波器濾波以及對數(shù)據(jù)進(jìn)行下采樣抑制噪聲干擾,提高信噪比.

2.2 網(wǎng)絡(luò)架構(gòu)

本章使用原型網(wǎng)絡(luò)思想,結(jié)合卷積神經(jīng)網(wǎng)絡(luò)和度量方法,提出一種適用于P300 信號檢測的改進(jìn)原型網(wǎng)絡(luò),以第三屆BCI 大賽的數(shù)據(jù)集II為例,每個電極通道樣本的采樣點(diǎn)數(shù)為78,使用所有的64 個電極通道,即輸入樣本維度為64×78.原型網(wǎng)絡(luò)的流程圖如圖1所示,將支持集的每一個樣本輸入訓(xùn)練后的嵌入網(wǎng)絡(luò),生成一個編碼表示,通過求和后平均生成每一個分類在嵌入空間的原型表示,對于查詢樣本輸入同樣的嵌入網(wǎng)絡(luò),得到其在嵌入空間的向量表示后,計(jì)算查詢點(diǎn)與每一個類別原型的距離,距離最近的類別即為該查詢點(diǎn)的類別.圖2描述了嵌入網(wǎng)絡(luò)的整體結(jié)構(gòu),嵌入網(wǎng)絡(luò)使用卷積神經(jīng)網(wǎng)絡(luò),由6 層組成,使用L0-L5表示.每層的第1 列表示該層的編號,第2 列表示該層的內(nèi)部結(jié)構(gòu).例如,L1層是用于空間特征提取的一維卷積層.第3 列表示該層的輸入和輸出的維度.例如,L4層為全連接層,將360 維向量轉(zhuǎn)換為128 維向量.第4 列表示該層的參數(shù)數(shù)量.

圖1 原型網(wǎng)絡(luò)流程圖

圖2 卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)概述

L0層:

該層是輸入層,數(shù)據(jù)經(jīng)過預(yù)處理后作為輸入,樣本維度為[Nt×Nc],電極通道數(shù)Nc為64,時間維度Nt為78.其中,Ii,c表示第c個通道的第i時刻元素值,1≤c≤64,1≤i≤78.

L1層:

該層是卷積層,進(jìn)行空間濾波和非線性激活.其中,w(m1)(i) 表示L1層第m個卷積核的權(quán) 重,b(m1)表示第m個卷積核的偏置.在該層學(xué)習(xí)了20 個維度為[1×1×64]卷 積核,即1≤m≤Ns,Ns=20表示卷積核個數(shù),卷積步長設(shè)置為[1,1].激活函數(shù)使用tanh 函數(shù).經(jīng)過每個濾波器之后的輸出a(m1)是一個維度為[78×1]的張量,故1≤i≤78.L1層 所有濾波器參數(shù)個數(shù)為20×(1×1×64+1)=1300.

L2層:

該層為卷積層、BN層及池化層.一維卷積層用于時域?yàn)V波,其中,w(n2)表示L2層第n個卷積核的權(quán)重,b(n2)表示第n個卷積核的偏置.在該層學(xué)習(xí)了20 個維度為[20×6×1]的卷積核,即1≤n≤20,卷積步長設(shè)置為2,因此時間維度下采樣為Nt=37.經(jīng)過每個卷積核a(n1)之后的輸出g(n2)都是一個[37×1]的張量.激活函數(shù)選擇 tanh 函數(shù),在使用tanh 函數(shù)激活之前執(zhí)行批歸一化,以避免分布偏移,避免梯度消失和過擬合,加快網(wǎng)絡(luò)的訓(xùn)練和收斂速度.池化層選用最大池化對時域進(jìn)行下采樣,經(jīng)過池化層后,a(n2)尺寸為[18×1].L2層所有濾波器參數(shù)為2 0×(20×6×1+1)=2420.

L3層:

該層為Flatten 層和全連接層.使用Flatten 層,將輸入張量由多維轉(zhuǎn)換成一維的形式,達(dá)到從卷積層到全連接層的過渡的目的.為防止過擬合,該層引入Dropout,提升模型的泛化能力[18].全連接層則是把特征向量進(jìn)行全連接處理,激活函數(shù)使用tanh 函數(shù).其中,p(3)為第3 層神經(jīng)元的Dropout 丟失率,Bernoulli 函數(shù)是以概率p(3)隨機(jī)生成一個由0和1 組成的向量,從而使得這個向量與輸入映射進(jìn)行逐元素的乘積.L3層卷積核的權(quán)重為W(3),偏置為b(3).Flatten 操作之后,張量的尺寸由 [20×18×1]轉(zhuǎn) 換為[360×1],最后經(jīng)過全連接層,張量尺寸為[128×1].L3層參數(shù)個數(shù)為(360+1)×128=46208.

L4層:

該層為全連接層,作用是輸出樣本特征.其中,W(4)表示L4層的權(quán)重,b(4)表示L4層的偏置.激活函數(shù)使用tanh 函數(shù).經(jīng)過該全連接層,張量尺寸為[32×1],L4層的輸出a(4)表示輸入樣本的特征.L4層參數(shù)個數(shù)為(128+1)×32=4 128.

L5層:

該層是輸出層.將訓(xùn)練集中所有的正樣本P=[X1,X2,···,Xn]作為網(wǎng)絡(luò)輸入,其中n表示訓(xùn)練集中所有的正樣本數(shù).對每個正樣本的特征a(4)取均值,表示正樣本的原型Vp:

將單個樣本X作為同一個網(wǎng)絡(luò)的輸入,特征為Vx=a(4),計(jì)算單個樣本特征與正樣本原型的余弦相似性:

輸出結(jié)果為余弦相似性 cos ∈[-1,1],結(jié)果越接近1 表示兩者相似程度越高,表示該輸入樣本越接近正樣本的類別.因此,單個樣本的P300 檢測結(jié)果被定義為:

其中,X是待分類的樣本,C是輸出類別.

2.3 正則化技術(shù)

2.3.1 批歸一化

批歸一化用于減少神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程中內(nèi)部協(xié)變量偏移.由于tanh 激活函數(shù)是S 型飽和非線性激活函數(shù),當(dāng) |z|很大或者很小時,g(z)的梯度趨于0,當(dāng)網(wǎng)絡(luò)有多層時,數(shù)據(jù)的分布可能進(jìn)入激活函數(shù)的飽和區(qū)域,大大降低網(wǎng)絡(luò)的訓(xùn)練速度.在我們的網(wǎng)絡(luò)中,進(jìn)入激活函數(shù)之前,使用對特征進(jìn)行批歸一化,可以有效地避免飽和問題,保證更快的訓(xùn)練速度.

算法1.批歸一化算法M={x1,x2,···,xm}xi 1≤i≤m輸入:最小批中訓(xùn)練樣本數(shù)量為m,即輸入的最小批,其中為最小批的一個訓(xùn)練樣本,;?xi=BN{xi}輸出:.(1)計(jì)算最小批中所有樣本特征均值:μM←1 m m∑i=1xi(2)計(jì)算最小批中所有樣本特征方差:σ2M 1 m m∑i=1(xi-μM)2←(3)歸一化每一個樣本的特征:︿xi xi-μM σM2+ò←其中,ò是一個用于保持?jǐn)?shù)值穩(wěn)定的常量.

2.3.2 Dropout

Dropout 算法可以使每個神經(jīng)元學(xué)習(xí)到更多的隨機(jī)特征,目前已經(jīng)解決了許多的語音和圖像識別任務(wù)中的難題.Dropout的基本原理是在前向傳播的訓(xùn)練階段,將某一層的Dropout 率設(shè)置為p,則該層中的每個神經(jīng)元都有1-p的概率不工作.而在測試階段,保留所有神經(jīng)元,使其正常工作.設(shè)置適當(dāng)?shù)膒值可以幫助神經(jīng)元學(xué)習(xí)更明顯更普遍的特征,避免網(wǎng)絡(luò)過擬合.

2.4 損失函數(shù)

如前文所述,將所有正樣本P輸入網(wǎng)絡(luò),L4層輸出為正樣本的原型Vp,單個訓(xùn)練樣本X作為同一個網(wǎng)絡(luò)的輸入,L4層輸出特征Vx,單個訓(xùn)練樣本特征與正樣本原型的余弦相似性為網(wǎng)絡(luò)的輸出值a(5)=cos(P,X).

正樣本標(biāo)簽y=1,負(fù)樣本標(biāo)簽為y=-1,則單個樣本損失函數(shù)表達(dá)式為:

其中,e表示誤差函數(shù),本方法中e使用均方誤差損失函數(shù):

2.5 訓(xùn)練設(shè)置

本文網(wǎng)絡(luò)使用Adam 作為優(yōu)化器,初始學(xué)習(xí)率設(shè)置為10-3,在第5和第10 個Epoch 后分別將學(xué)習(xí)率設(shè)置為原來的1 /10,如文獻(xiàn)[19]中建議,優(yōu)化器的其他參數(shù)分別為β1=0.9,β2=0.999,ò=10-8.Dropout 率設(shè)置為0.5,隨機(jī)梯度下降的批大小設(shè)置為50.

3 實(shí)驗(yàn)分析

實(shí)驗(yàn)分別以第三屆國際BCI 競賽數(shù)據(jù)集II、正常人和意識障礙患者照片識別數(shù)據(jù)作為實(shí)驗(yàn)數(shù)據(jù).分別用于驗(yàn)證該網(wǎng)絡(luò)對P300 拼寫系統(tǒng)中經(jīng)典數(shù)據(jù)集的檢測效果、驗(yàn)證該網(wǎng)絡(luò)對于小樣本數(shù)據(jù)的檢測效果以及對意識障礙患者的小樣本數(shù)據(jù)進(jìn)行分析.

3.1 數(shù)據(jù)集

3.1.1 第三屆BCI 大賽的數(shù)據(jù)集II

第三屆BCI 大賽的數(shù)據(jù)集II 中記錄的是兩名受試者的完整腦電信號.該數(shù)據(jù)集采用Oddball 范式下的BCI 2000 系統(tǒng)采集.在實(shí)驗(yàn)中,顯示器上顯示了一個6 行6 列的矩陣,矩陣中的字符為[a-Z],[1-9]和[_].受試者的任務(wù)是按順序注視矩陣中的一個字符.該矩陣的6 行6 列以5.7 Hz的頻率隨機(jī)閃爍.要選擇的字符由一行和一列決定.因此,12 行或列的閃爍中有2 個會誘發(fā)受試者的P300 響應(yīng).一個字符的拼寫實(shí)驗(yàn)共有15 輪,1 輪閃爍中每行每列各隨機(jī)閃爍1 次,共閃爍12 次.因此需要檢測30 個P300 響應(yīng).

兩個受試者的腦電信號從標(biāo)準(zhǔn)10-20 系統(tǒng)的64 個通道采集[20].該信號經(jīng)過0.1-60 Hz的帶通濾波,以240 Hz的采樣頻率進(jìn)行采樣.訓(xùn)練集由85 個字符的實(shí)驗(yàn)組成,正樣本(含P300) 數(shù)量為85×2×15=2 550,負(fù)樣本(不含P300)數(shù)量為8 5×10×15=12750.測試集由100 個字符的實(shí)驗(yàn)組成,正樣本數(shù)量為3 000,負(fù)樣本數(shù)量為15 000.每個受試者的樣本數(shù)量如表1.

表1 受試者A、B的訓(xùn)練集和測試集樣本數(shù)

每個樣本使用刺激發(fā)生后0-650 ms的時間窗進(jìn)行采樣,采樣頻率為120 Hz,并通過0.1-20 Hz的8 階帶通巴特沃斯濾波器對腦電信號進(jìn)行濾波.即每個通道樣本的采樣點(diǎn)數(shù)為78,當(dāng)使用所有通道時,電極通道數(shù)為64,輸入樣本維度為6 4×78.

P300 拼寫器是6 行6 列的矩陣,在一次字符拼寫實(shí)驗(yàn)中,共有15 輪閃爍,即n=15.在1 輪閃爍中每行每列各隨機(jī)閃爍1 次,共閃爍12 次,即1≤i≤12.使用得分向量S(i)計(jì)算1 次實(shí)驗(yàn)15 輪閃爍中,每一行和列分別檢測出P300的累計(jì)概率:

其中,a(5)(j,i)表示第j輪閃爍中第i行或列的網(wǎng)絡(luò)輸出結(jié)果,得分向量中行和列最大值的索引交叉點(diǎn)即為預(yù)測字符.

其中,x表示字符矩陣中的行中最大值的索引,y表示字符矩陣中的列中最大值的索引.

3.1.2 照片識別數(shù)據(jù)

照片識別數(shù)據(jù)由一個命令遵循實(shí)驗(yàn)采集,該實(shí)驗(yàn)的目的是判斷受試者能否遵循指導(dǎo)語,看向指定的照片,通過分析實(shí)驗(yàn)過程中受試者的腦電信號,檢測意識障礙患者的意識狀態(tài).在實(shí)驗(yàn)過程中,使用NuAmps 設(shè)備采集受試者的腦電數(shù)據(jù),受試者在保持清醒的情況下戴上電極帽,腦電信號的參考電極放置在右側(cè)乳突,地電極位于“Fpz”位置,且各電極阻抗保持在5 kΩ以下,采樣率為250 Hz.一塊顯示屏放置于受試者前方約0.5 m 處,并調(diào)整到最佳視角.

命令遵循實(shí)驗(yàn)具體過程如下:在顯示屏上出現(xiàn)兩張照片,一張為受試者照片,一張為陌生人的照片,分別隨機(jī)出現(xiàn)在屏幕的左右兩側(cè),受試者根據(jù)指導(dǎo)語看向自己的照片或陌生人的照片.兩張照片隨機(jī)閃爍,每次閃爍持續(xù)200 ms,連續(xù)兩次出現(xiàn)的間隔為800 ms,閃爍的出現(xiàn)符合Oddball 范式,可以誘發(fā)腦電信號中相關(guān)的P300 電位.兩張照片各閃爍一次被定義為一輪閃爍,持續(xù)2 000 ms,在一次實(shí)驗(yàn)中,兩張圖片各閃爍8 次,即有8 輪閃爍.

共有15 名受試者參與該實(shí)驗(yàn),其中5 名健康受試者,10 名意識障礙患者.實(shí)驗(yàn)前一周采用昏迷恢復(fù)量表(CRS-R)對所有意識障礙患者的意識狀態(tài)進(jìn)行評估.每位受試者進(jìn)行了20 次實(shí)驗(yàn).將這20 次實(shí)驗(yàn)數(shù)據(jù)隨機(jī)分為10 個訓(xùn)練集,和10 個測試集,則每個受試者的訓(xùn)練集和測試集中正樣本的數(shù)量均為8×1×10=80,負(fù)樣本的數(shù)量也為8×1×10=80.每個受試者的樣本數(shù)量如表2所示.

表2 每位受試者的訓(xùn)練集和測試集樣本數(shù)

使用每次閃爍發(fā)生后0-600 ms的時間窗進(jìn)行截取,每個樣本共有 250×0.6=150個樣本點(diǎn),使用刺激前100 ms的基線校正后通過0.1-20 Hz的8 階帶通巴特沃斯濾波器對信號進(jìn)行濾波.并以5的速率對所有數(shù)據(jù)進(jìn)行下采樣,即每個樣本通道的采樣點(diǎn)數(shù)為150÷5=30個.當(dāng)使用所有通道時,電極通道數(shù)為30,輸入樣本維度為3 0×30.

在一次照片識別實(shí)驗(yàn)中,共有8 輪,即n=8.1 輪閃爍中兩張照片各隨機(jī)閃爍1 次,共閃爍2 次,即1≤i≤2.使用得分向量S(i)計(jì)算1 次實(shí)驗(yàn)8 輪閃爍,左右兩張照片閃爍分別檢測出P300的概率.

其中,a(5)(j,i)表示第j輪閃爍中第i張照片的網(wǎng)絡(luò)輸出結(jié)果,得分向量中的最大值為預(yù)測目標(biāo):

其中,t表示概率最大值的索引.

應(yīng)用于照片識別數(shù)據(jù)的網(wǎng)絡(luò)結(jié)構(gòu)略有不同,L0層輸入樣本維度為[Nt×Nc],電極通道數(shù)Nc為12,時間維度Nt為30.L1層 卷積核維度為[1×1×12],經(jīng)過每個濾波器之后的輸出a(m1)是一個維度為[30×1]的張量.L2層卷積核的維度為[20×4×1],經(jīng)過每個卷積核a(n1)之后的輸出g(n2)都是一個[13×1]的張量,經(jīng)過池化層后,a(n2)尺寸為[7×1].L3層,Flatten 操作之后,張量的尺寸由[20×7×1]轉(zhuǎn) 換為[140×1].其余結(jié)構(gòu)均與前文一致.

3.2 性能評價指標(biāo)

本文模型首先檢測每次閃爍出現(xiàn)后腦電信號中的P300 波形,并根據(jù)檢測出P300 波形的次數(shù)預(yù)測字符/照片.因此可以用P300 波形識別率和字符/照片識別準(zhǔn)確率兩個方面來衡量我們的模型.

3.2.1 P300 波形識別率

P300 波形檢測問題可以看作二分類問題,波形的識別率(recognition rate,Reco)定義為:

其中,真陽性(TP)表示實(shí)際為正樣本,識別結(jié)果為正的樣本數(shù)量;真陰性(TN)表示實(shí)際為負(fù)樣本,識別結(jié)果為負(fù)的樣本數(shù)量;假陽性(FP)表示實(shí)際為負(fù)樣本,識別結(jié)果為正的樣本數(shù)量;假陰性(FN)表示實(shí)際為正樣本,識別結(jié)果為負(fù)的樣本數(shù)量[21].

其他廣泛使用的結(jié)果度量指標(biāo)包括召回率(Recall)、精確率(Precision)以及二者的調(diào)和平均數(shù)F-measure:

3.2.2 字符/照片識別準(zhǔn)確率

將字符識別測試數(shù)據(jù)作為模型的輸入,輸出為預(yù)測字符,即檢測到P300 次數(shù)最多的行和列的交點(diǎn),字符識別準(zhǔn)確率定義為預(yù)測正確的字符數(shù)與所有測試字符的比例.

將照片識別測試數(shù)據(jù)作為模型的輸入,輸出為預(yù)測照片,即檢測到P300 次數(shù)最多的目標(biāo),照片識別準(zhǔn)確率定義為預(yù)測正確的照片數(shù)與所有測試照片數(shù)的比例.

3.3 實(shí)驗(yàn)結(jié)果

3.3.1 第三屆國際BCI 競賽數(shù)據(jù)集II 結(jié)果

本文模型與Cecotti 等人[3]經(jīng)典的CNN 模型(CNN-1,MCNN-1)進(jìn)行了比較.P300的分類結(jié)果如表3所示.對于受試者A和B,本方法的P300 識別率和精確率以及F-measure均高于其他兩個方法.受試者A的識別率分別提高0.022和0.036,受試者B的識別率分別提高0.007和0.030.在精確率方面,受試者A和受試者B的數(shù)據(jù)使用本方法分析,相比CNN-1 分別提高了0.018和0.010,與MCNN-1 相比分別提高了0.027和0.034.而比較另一個重要的評價指標(biāo)Fmeasure,本方法對于受試者A的結(jié)果,相比CNN-1和MCNN-1 分別提高0.009和0.016,對于受試者B,分別提高0.004和0.010.通過比較上述性能評價指標(biāo),可以認(rèn)為本文方法在該字符拼寫數(shù)據(jù)集中,對P300 波形有較好的分類性能.

表3 P300 檢測結(jié)果

使用平均字符識別準(zhǔn)確率作為識別準(zhǔn)確率的指標(biāo),同樣與CNN-1,MCNN-1 模型進(jìn)行比較.結(jié)果如表4所示,可以看出本方法在字符實(shí)驗(yàn)中對受試者A和B的字符識別準(zhǔn)確率在不同閃爍輪次均與其他兩個方法相近,大多數(shù)的字符都能在10 個閃爍輪次內(nèi)被正確識別.綜合兩種性能評價指標(biāo),說明本方法可以有效應(yīng)用于P300 信號檢測與基于P300的拼寫系統(tǒng)的應(yīng)用.

表4 腦電競賽數(shù)據(jù)集:不同方法字符識別率 (%)

3.3.2 照片識別數(shù)據(jù)結(jié)果

使用本文模型分別對5 名健康受試者和10 名意識障礙患者的照片識別數(shù)據(jù)進(jìn)行離線分析.每位受試者有20 次的照片識別實(shí)驗(yàn)數(shù)據(jù),隨機(jī)選取其中10 次實(shí)驗(yàn)數(shù)據(jù)作為訓(xùn)練集,其余10 次實(shí)驗(yàn)數(shù)據(jù)作為測試集.表5總結(jié)了健康受試者的離線實(shí)驗(yàn)準(zhǔn)確率,所有的5 名健康受試者均能正確完成照片識別實(shí)驗(yàn),且在目標(biāo)照片的第5 次閃爍之后準(zhǔn)確率均達(dá)到了100%,即10 次照片識別任務(wù)均正確完成.驗(yàn)證了該方法適用于樣本數(shù)量較少的腦電數(shù)據(jù)分類任務(wù),同時表明該命令遵循實(shí)驗(yàn)可以有效地檢測受試者的意識狀態(tài)水平與命令遵循能力.

表5 健康受試者在照片閃爍多次后的識別準(zhǔn)確率(%)

表6是意識障礙患者的離線實(shí)驗(yàn)準(zhǔn)確率,10 名意識障礙患者的數(shù)據(jù)中有5 名受試者在目標(biāo)閃爍8 次之后,準(zhǔn)確率達(dá)到了70%及以上,即10 次識別任務(wù)中,識別正確的個數(shù)達(dá)到了7 個及以上.準(zhǔn)確率高于腦機(jī)接口系統(tǒng)64%的隨機(jī)水平,可以認(rèn)為是顯著的[22],表明該受試者擁有較高的理解認(rèn)知能力和意識水平,具備命令遵循的能力.雖然其余5 名受試者的離線分析準(zhǔn)確率低于64%,但是不能將這些結(jié)果作為受試者沒有意識、不能遵循命令的依據(jù),因?yàn)橥瓿稍搶?shí)驗(yàn)需要受試者擁有注視能力及其他認(rèn)知能力,任何一種能力的缺失都有導(dǎo)致實(shí)驗(yàn)準(zhǔn)確率低下的可能性.

表6 意識障礙患者在照片閃爍多次后的識別準(zhǔn)確率(%)

將實(shí)驗(yàn)離線分析結(jié)果與實(shí)驗(yàn)前后兩次臨床CRS-R行為量表評估結(jié)果對比,實(shí)驗(yàn)準(zhǔn)確率高于64%的5 名意識障礙患者中,有3 名患者在實(shí)驗(yàn)結(jié)束的一段時間后,患者有較好的意識恢復(fù)情況,行為量表評估得分相比實(shí)驗(yàn)前有明顯的提高.5 名實(shí)驗(yàn)準(zhǔn)確率低于64%的意識障礙患者中有4 名的意識狀態(tài)則沒有明顯變化.表明該方法對意識障礙患者的意識狀態(tài)檢測結(jié)果與臨床評估結(jié)果匹配程度較高,具有較高的有效性.此外,在3 名有較好意識恢復(fù)情況的患者中,其中一名患者實(shí)驗(yàn)前的臨床CRS-R 行為量表評估結(jié)果為植物狀態(tài),在第2 次評估中有較好的意識恢復(fù)情況,說明該檢測方法相比于臨床行為量表評估方法有更高的敏感性.

4 結(jié)論與展望

本文提出了一種適用于P300 信號檢測的改進(jìn)原型網(wǎng)絡(luò).該模型基于原型網(wǎng)絡(luò)思想,使用卷積神經(jīng)網(wǎng)絡(luò)提取P300 信號樣本的特征均值作為原型,結(jié)合度量方法余弦相似度,實(shí)現(xiàn)P300 信號的分類和識別.該模型在第三屆BCI 競賽數(shù)據(jù)集II 上取得了良好的結(jié)果,此外,在對樣本數(shù)較少的照片識別數(shù)據(jù)分析中,該模型對意識障礙患者意識水平的檢測結(jié)果與臨床行為量表評估結(jié)果相近,并且該模型有更高的敏感性,可以有效地解決臨床行為量表評估可能出現(xiàn)的誤診情況.在機(jī)器學(xué)習(xí)和神經(jīng)科學(xué)領(lǐng)域,由于不同個體差異很大,個體間的P300 信號檢測仍然是一個具有挑戰(zhàn)性的問題,進(jìn)一步的工作是研究小樣本學(xué)習(xí)模型,實(shí)現(xiàn)不同個體間P300 信號的小樣本識別,并選擇最合適的模型應(yīng)用于在線的腦機(jī)接口系統(tǒng),實(shí)現(xiàn)對意識障礙患者的在線意識狀態(tài)檢測.