基于同步性腦網(wǎng)絡(luò)的注意力識別研究

王勵燁，丁威威

(南京郵電大學(xué) 電子與光學(xué)工程學(xué)院 微電子學(xué)院，江蘇 南京 210023)

0 引 言

一直以來，人的注意力狀態(tài)的實時監(jiān)測在教育領(lǐng)域以及交通安全領(lǐng)域都有廣泛的需求，早期的注意力檢測多采用面部識別等基于視頻圖像信息的方式，而隨著腦機接口技術(shù)的發(fā)展，基于腦電信號(Electroencephalogram，EEG)的注意力檢測方式已經(jīng)成為了研究的熱點。腦電信號是一種典型的生物電信號，是大腦神經(jīng)細(xì)胞生理活動在大腦皮層及頭皮的總體反映，與人的各種生理、心理活動相關(guān)。相比于表情等信息，腦電信號能更真實地反映人的大腦狀態(tài)。

傳統(tǒng)的基于腦電信號的注意力研究主要提取信號的時域和頻域信息進(jìn)行分析。例如，陸榮等[1]利用小波包分解的方法，提取各個頻段的腦電信號，并計算這些頻段的近似熵作為特征輸入支持向量機(Support Vector Machine，SVM)分類器內(nèi)進(jìn)行分類，其準(zhǔn)確率達(dá)到了72.5%?？琢恋萚2]采用譜分析的方法，提取各節(jié)律能量的比值作為特征，同時結(jié)合特征的特點，設(shè)計多層誤差反向傳播(Error Back Propagation Training，BP)神經(jīng)網(wǎng)絡(luò)作為分類器，注意力分類準(zhǔn)確率在77%左右。然而越來越多的研究表明，大腦是一個復(fù)雜的網(wǎng)絡(luò)，隨著大腦狀態(tài)的改變，腦網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)也隨之發(fā)生變化[3]，大腦的各種狀態(tài)是網(wǎng)絡(luò)各個區(qū)域共同作用的結(jié)果，單純從時頻域提取特征會忽略大腦狀態(tài)改變所產(chǎn)生的結(jié)構(gòu)性信息。隨著復(fù)雜網(wǎng)絡(luò)理論的發(fā)展，基于EEG信號的腦網(wǎng)絡(luò)研究成為新的研究方向。

目前已有將EEG腦網(wǎng)絡(luò)應(yīng)用于注意力相關(guān)的研究，如Chabot等[4]對130名兒童的腦電信號進(jìn)行了相關(guān)性分析，發(fā)現(xiàn)相較于正常兒童，患有注意缺陷多動障礙綜合征(Attention Deficit Hyperactivity Disorder Syndrome，ADHD)的兒童在θ和α頻段其前額葉兩半球間，以及前額葉-顳葉兩側(cè)區(qū)域的半球間的相干性更高?？梢娙说淖⒁饬顟B(tài)可以從相干性腦網(wǎng)絡(luò)中得到反映，但需要在實驗中進(jìn)一步進(jìn)行驗證。 吳正平等[5]通過相空間重構(gòu)將單通道腦電信號轉(zhuǎn)換成復(fù)雜網(wǎng)絡(luò)結(jié)構(gòu)，進(jìn)而提取專注和放松狀態(tài)下的網(wǎng)絡(luò)特征度量，實現(xiàn)對注意力水平的檢測，并設(shè)計了一種優(yōu)化的復(fù)雜網(wǎng)絡(luò)算法(OCNM)對其進(jìn)行分類，注意力二分類準(zhǔn)確率達(dá)到80.67%。該算法考慮到了導(dǎo)聯(lián)信號之間的關(guān)聯(lián)性，并使用網(wǎng)絡(luò)分析的方法提取特征，分類準(zhǔn)確率得到了顯著提升，但網(wǎng)絡(luò)分析的特征提取辦法較為復(fù)雜，算法無法實現(xiàn)實時性的注意力檢測。

針對以上研究現(xiàn)狀，該文設(shè)計了注意力狀態(tài)和非注意(注意力分散)狀態(tài)的實驗范式，并采集腦電信號，提出了一種基于同步性腦網(wǎng)絡(luò)和信息增益的注意力分類算法(Algorithm of Synchronous Brain Network and Information Gain for Attention Classification，SBN-IG)。該算法使用腦電信號計算PLV值并構(gòu)建同步性腦網(wǎng)絡(luò)作為分類器的輸入特征，PLV由Lachaux等人在1999年提出，通過計算腦電信號的各個導(dǎo)聯(lián)之間的鎖相值，能很好地反映相應(yīng)腦區(qū)之間在任務(wù)期間的同步性[6-7]?？紤]到SVM使用向量的輸入形式，忽略了腦網(wǎng)絡(luò)結(jié)構(gòu)信息，采用卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network，CNN)[8]作為分類器對網(wǎng)絡(luò)結(jié)構(gòu)特征進(jìn)行提取與分類。而為了上述算法能應(yīng)用于實際，在將特征矩陣輸入分類器之前對其進(jìn)行特征稀疏化，減少實際需要的導(dǎo)聯(lián)數(shù)，降低算法運行時間，滿足注意力實時監(jiān)測的應(yīng)用需求。

1 SBN-IG注意力分類算法

提出的SBN-IG算法架構(gòu)如圖1所示。第一步：數(shù)據(jù)采集。根據(jù)需求設(shè)計實驗范式，并招募被試進(jìn)行相關(guān)狀態(tài)的腦電信號采集。第二步：預(yù)處理。對采集的數(shù)據(jù)進(jìn)行預(yù)處理，降低噪聲，提高信噪比。第三步：生成同步性腦網(wǎng)絡(luò)，經(jīng)過預(yù)處理的腦電信號計算導(dǎo)聯(lián)之間的PLV，構(gòu)建同步性腦網(wǎng)絡(luò)，PLV矩陣作為分類的特征，輸入卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行分類(SBN)。第四步：特征稀疏化，雖然直接對腦網(wǎng)絡(luò)特征進(jìn)行分類已經(jīng)可以得到很好的結(jié)果，但仍存在算法效率較低的問題，因此引入特征稀疏化算法剔除冗余特征，再將稀疏化后的特征矩陣輸入分類器(SBN-IG)。

圖1 算法結(jié)構(gòu)

2 數(shù)據(jù)采集

為了獲得穩(wěn)定的注意力集中與分散狀態(tài)的腦電信號樣本，分別設(shè)計了對應(yīng)的實驗范式，實驗流程如圖2所示。注意力狀態(tài)實驗：使用Aim Trainer測試范式[9]作為注意力集中的誘發(fā)范式。在范式中，被試需要完成一個點擊小游戲。系統(tǒng)會在1 920×1 080像素的顯示屏上隨機產(chǎn)生一個直徑為2.5 cm的目標(biāo)圓點，被試需要在盡可能短的時間內(nèi)移動鼠標(biāo)點擊圓點，準(zhǔn)確點擊后該點消失，并重復(fù)之前的過程。在被試完成10分鐘的點擊任務(wù)之后，游戲結(jié)束。非注意狀態(tài)實驗：屏幕將會播放當(dāng)前被試在注意力狀態(tài)實驗中的屏幕錄像，被試需要一直注視屏幕同時盡量保持放松狀態(tài)，無需進(jìn)行任何操作，實驗同樣持續(xù)10分鐘，在實驗開始后10 s左右開始采集腦電信號。實驗設(shè)計采用10分鐘這一較長的實驗時間主要是有以下兩個考慮，首先是經(jīng)驗表明游戲因其特殊性更能激發(fā)并保持人的注意力集中狀態(tài)，在此期間被試不會產(chǎn)生疲憊等負(fù)面狀態(tài)，其次被試在較長時間的注意力高度集中狀態(tài)后更易進(jìn)入注意力分散狀態(tài)，因此選擇讓被試在完成第一個誘發(fā)實驗后一段時間進(jìn)行第二個誘發(fā)實驗。在對實驗器材的預(yù)測試中，較長的實驗時間不會對數(shù)據(jù)的采集造成影響，也并未產(chǎn)生導(dǎo)電膠固化等問題。

圖2 實驗流程

以上所有實驗均在被試同意且簽寫知情同意書的前提下完成，共招募被試32人，身體健康無精神病史及其他心理疾病(50%男性,50%女性)，年齡范圍為19～24歲(平均值=20.95,標(biāo)準(zhǔn)差=4.23)，每次實驗前會將被試平靜狀態(tài)的腦電信號作為參考，兩次實驗之間間隔十分鐘，每名被試分別完成兩種狀態(tài)下的實驗，共獲得兩種狀態(tài)標(biāo)簽數(shù)據(jù)各32段，共64段標(biāo)簽數(shù)據(jù)。

實驗使用NeuroScan公司的64導(dǎo)聯(lián)電極帽進(jìn)行數(shù)據(jù)采集，電極分布如圖1(a)所示，符合國際10～20標(biāo)準(zhǔn)的導(dǎo)聯(lián)系統(tǒng)，采樣頻率為500 Hz，采樣阻抗低于5 kΩ，使用Curry7軟件進(jìn)行參數(shù)設(shè)置并導(dǎo)出采集到的腦電信號。

3 數(shù)據(jù)預(yù)處理

為了降低信號的冗余度，提高后續(xù)分類的準(zhǔn)確率，使用EEGLAB軟件對原始腦電數(shù)據(jù)進(jìn)行預(yù)處理。依次進(jìn)行帶通濾波、信號重參考[10-11]、獨立成分分析(Independent Component Analysis，ICA)[12-14]、時頻域截取的處理，下面分別進(jìn)行介紹。

帶通濾波：由于清醒狀態(tài)下人的大腦活動產(chǎn)生的相關(guān)信號頻率可以分為θ波(4～8 Hz)、α波(8～12 Hz)、β波(12～30 Hz)和γ波(30～80 Hz)[15]，大腦注意力信息集中在θ、α、β頻段，且在腦電采集過程中由于人體生物電或者環(huán)境因素的影響，會產(chǎn)生較大的工頻干擾信號，主要集中于50 Hz左右[16]。因此，為了保留有效腦電信號，去除工頻干擾信號的影響，該文采用帶通濾波(1～40 Hz)方法對原始信號進(jìn)行第一步處理。

信號重參考：參考電極的信號被認(rèn)為是其他所有信號的基線信號，信號的重參考就是從其他信號中剔除參考電極的信號成分從而消除來自接地電極的噪聲。該文采用的參考電極位置為10～20電極標(biāo)準(zhǔn)中左右耳后乳突的位置，對應(yīng)電極為M1與M2(如圖1(a))。因此第二步將M1與M2設(shè)定為參考電極進(jìn)行信號的重參考。

獨立成分分析：ICA是盲源分離(Blind Signal Separation，BSS)的一種方法，將混合的信號分離成潛在的信息成分。腦電信號是一種大量噪聲和有效信號相混合的混合信號，針對這種信號，使用ICA可以很好地檢測、分離和消除EEG記錄中的各種偽跡。第三步對信號進(jìn)行ICA，該文使用MATLAB的EEGLAB插件提取信號中的獨立成分，ICA算法種類選擇默認(rèn)的runica算法。在提取出腦電信號中的各個獨立成分后，可以在EEGLAB上對所有成分的頭皮地形圖進(jìn)行顯示(如圖1(b))，并對照眼電、心電等成分的地形圖特征對這些噪波進(jìn)行手動經(jīng)驗剔除，能極大地提高信號的信噪比。

4 生成同步性腦網(wǎng)絡(luò)

預(yù)處理去除了信號中的噪聲部分，為了針對性分析特定時段與頻段的信號，需要對信號進(jìn)行時頻域截取。選擇進(jìn)入注意力狀態(tài)后的3 s作為時間窗口進(jìn)行截取，由于采樣頻率為500 Hz，因此每段樣本長度為1 500個點。32位被試分別完成兩種注意力狀態(tài)實驗。獲得數(shù)據(jù)樣本共64段。同時，該文分別對每個樣本段提取θ波、α波、β波三個頻段的信號，共有64×3=192個頻段樣本。

通過小波變換提取出信號的瞬時振幅和相位。某導(dǎo)聯(lián)在時頻坐標(biāo)下的瞬時相位值記為Φ(t,f)，則一對導(dǎo)聯(lián)之間的PLV的計算如公式(1)：

(1)

其中，N為總采樣點數(shù)，文中每個樣本采樣點數(shù)為1 500；t為當(dāng)前時間，f為頻率，x、y為一個導(dǎo)聯(lián)對，ΔΦn(t,f)為第n個采樣點當(dāng)前導(dǎo)聯(lián)對的瞬時相位差：

ΔΦn(t,f)=Φx(t,f)-Φy(t,f)

(2)

另記時頻映射中頻率點數(shù)目為L，可以通過計算頻域映射的分辨率與當(dāng)前頻段的頻帶寬度的乘積得到，對公式(1)針對頻域取平均得到該導(dǎo)聯(lián)對的平均PLV值為：

(3)

PLV取值在0到1之間，兩個導(dǎo)聯(lián)間PLV值越接近1則代表兩者的同步性越強， 越接近0則同步性越弱。將預(yù)處理后的信號按照公式(3)進(jìn)行PLV值計算，每個樣本可以得到一個64×64的PLV矩陣，如圖3所示。從圖中可以看出，由于腦電信號信噪比較低的特點，無法直觀地從圖中發(fā)現(xiàn)兩者的區(qū)別，但可以使用卷積神經(jīng)網(wǎng)絡(luò)提取其中的細(xì)節(jié)特征，獲得了SBN算法，該算法通過后續(xù)的仿真驗證，獲得了較高的準(zhǔn)確率。但考慮到算法的實際運用需要更少的導(dǎo)聯(lián)以及更短的運算時間，又引入了算法實現(xiàn)對PLV矩陣的稀疏化，提取最重要的導(dǎo)聯(lián)連接作為分類器輸入特征。

圖3 平均PLV矩陣示意圖

5 特征稀疏

特征稀疏化算法的流程如圖4所示。輸入特征為PLV矩陣，先后經(jīng)過二值化、信息增益計算、特征保留的步驟得到稀疏化的矩陣輸出并作為新的特征輸入分類器分類。與原始PLV矩陣相比，稀疏化后的矩陣因為只保留了重要特征，剔除了冗余特征，有利于提高特征提取效率與算法訓(xùn)練的擬合效率。

圖4 特征稀疏算法流程

(4)

對于每個PLV特征，若其大于閾值則置1，小于則置0。

該文采用了一種基于信息增益的閾值確定方法，該方法會遍歷當(dāng)前特征在所有樣本中的值，依次將其設(shè)為閾值并計算當(dāng)前閾值下特征的信息增益，最終選擇其中產(chǎn)生最大信息增益的閾值為該特征的PLVT。

從信息論的角度，特征的稀疏化過程就是去冗余過程。目前常用的特征冗余度評價方法主要有信息增益[17-18]和卡方檢驗[19]。這兩種方法已經(jīng)在文本識別領(lǐng)域得到了廣泛使用?？紤]到本算法的特征數(shù)量多、分類類別少，且腦電信號信噪比低的特點，該文采用信息增益判斷PLV矩陣的冗余度。用公式(5)來衡量特征對系統(tǒng)的信息貢獻(xiàn)度：

IG(t)=∑P(Ci)logP(Ci)+

(5)

綜上，該文實現(xiàn)了一種基于信息增益的特征稀疏化算法，特征矩陣在輸入后首先進(jìn)行二值化得到離散特征矩陣，然后計算矩陣每個特征元素的信息增益并以此對特征進(jìn)行排序，最終保留信息增益最大的k個特征組成特征矩陣輸出。

6 注意力分類

使用稀疏化矩陣輸入卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行分類，將數(shù)據(jù)樣本按照3∶2的比例隨機分配為訓(xùn)練樣本和測試樣本進(jìn)行交叉驗證。為保證準(zhǔn)確性，將此過程重復(fù)多次，保證每次對樣本的分配都是隨機且不同的。

參考經(jīng)典的LeNet-5[20]結(jié)構(gòu)構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)，構(gòu)建了基于PLV腦網(wǎng)絡(luò)的卷積神經(jīng)網(wǎng)絡(luò)，結(jié)構(gòu)如圖5所示。

圖5 卷積神經(jīng)網(wǎng)絡(luò)模型

神經(jīng)網(wǎng)絡(luò)的前6層由卷積層和池化層間隔組成，卷積層可以提取輸入的不同特征，多個卷積層組成的網(wǎng)絡(luò)能提取較為復(fù)雜的特征，每個卷積層的輸出都經(jīng)過線性整流(Rectified Linear Units，ReLU)函數(shù)的處理，用來增強網(wǎng)絡(luò)的非線性特性，在池化層輸入特征按照池化函數(shù)進(jìn)行了一次降采樣，池化層可以降低數(shù)據(jù)的空間大小，從而降低參數(shù)的數(shù)量與計算量。模型的最后兩層分別為全連接層與高斯連接層，前者將輸入的矩陣展開為向量，后者為一個簡單的兩層BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，通過對輸入特征向量的學(xué)習(xí)最終輸出為兩個結(jié)果，對應(yīng)判斷結(jié)果為注意力集中或者注意力分散。

7 結(jié)果與討論

在未加入特征稀疏步驟前，對SBN算法的準(zhǔn)確率進(jìn)行了一個測試，提取θ、α、β頻段的PLV特征矩陣，每個頻段均進(jìn)行了60次同條件分類準(zhǔn)確率測試并繪制相應(yīng)的統(tǒng)計圖，不同頻段數(shù)據(jù)的分類準(zhǔn)確率盒須圖如圖6所示。由圖6可以看出，θ波頻段的特征分類準(zhǔn)確率分布最為集中，且從平均分類準(zhǔn)確率(θ頻段：90.90%，α頻段：85.71%，β頻段：87.76%)上，θ波頻段的特征亦得到了最高的平均分類準(zhǔn)確率，因此，選擇該頻段作為算法的信息采集頻段。

圖6 分類準(zhǔn)確率盒須圖

至此，利用θ頻段的同步性腦網(wǎng)絡(luò)特征實現(xiàn)了注意力的狀態(tài)分類，準(zhǔn)確率高達(dá)90.9%。但這種方法在計算中的耗時仍是較大的，這主要是因為特征矩陣的維度較高，特征數(shù)量較多，如果將它們?nèi)坑嬎銜O大降低計算的效率。為了解決這一問題，在算法中加入了特征稀疏化步驟，構(gòu)建了SBN-IG算法。

為了驗證SBN-IG算法的效果，分別對θ頻段不同稀疏化強度的分類效果進(jìn)行了測試，在進(jìn)行多次預(yù)測試后，該文選擇從保留前10個特征開始，依次降低特征數(shù)量直至1個特征，每個特征數(shù)量情況進(jìn)行60次同條件的準(zhǔn)確率測試。θ頻段十種稀疏化強度的分類準(zhǔn)確率的盒須圖如圖7所示。

圖7 特征數(shù)量與分類準(zhǔn)確率盒須圖

可以看出在特征數(shù)從8個(平均分類準(zhǔn)確率：86.88%)轉(zhuǎn)變?yōu)?個(平均分類準(zhǔn)確率：81.16%)后，平均分類準(zhǔn)確率明顯下降，分類準(zhǔn)確率分布明顯分散，因此選擇保留8個特征作為特征選擇的結(jié)果，此時平均分類準(zhǔn)確率為86.88%，在此稀疏化強度時，將需要的特征數(shù)量從4 096個(64×64)降低到8個，這大大提高了計算PLV矩陣的效率，為實現(xiàn)實時注意力檢測的目標(biāo)提供了可能。

對SBN-IG算法保留的8個特征進(jìn)行了統(tǒng)計，如表1所示。

表1 保留特征的統(tǒng)計結(jié)果

從表1可以看出，篩選出的特征在注意力集中狀態(tài)的平均值要低于注意力分散狀態(tài)，且從這8個特征對應(yīng)的13個電極可以看出，電極多位于大腦頂葉與枕葉位置，這也與文獻(xiàn)[4]中得出的在θ頻段患有ADHD兒童兩半球間相干性更高的結(jié)論相吻合，進(jìn)一步驗證了算法的有效性。

為了更直觀地展現(xiàn)算法的性能，選擇了文獻(xiàn)[1-2,5]中分類的算法進(jìn)行比較，所有算法均使用文中設(shè)計實驗所采集的腦電信號，且均根據(jù)文獻(xiàn)描述完成了相應(yīng)算法的構(gòu)建與特征的提取，最終分類結(jié)果如表2所示。

比較所有算法的結(jié)果看出，在使用相同數(shù)據(jù)集的情況下，采用腦網(wǎng)絡(luò)特征的算法得到了較高的分類準(zhǔn)確率，說明腦網(wǎng)絡(luò)特征能較好地反映大腦的注意力狀態(tài)。在所有算法中，SBN算法得到了最高的分類準(zhǔn)確率，算法的可行性得到了驗證，同時，從算法效率上考慮，實際測試中在相同環(huán)境下分別對SBN與SBN-IG算法的分類平均用時進(jìn)行了測算，測算方法為調(diào)用Python的time庫對算法運行的各個階段進(jìn)行計時。結(jié)果表明，在扣除了算法訓(xùn)練用時后，對一段3 s的腦電數(shù)據(jù)完成分類，SBN算法用時20.635 1 s，其中18.374 4 s用于數(shù)據(jù)預(yù)處理，SBN-IG算法用時1.730 5 s，其中0.264 9 s用于數(shù)據(jù)預(yù)處理?？梢钥闯?，相比于SBN算法，SBN-IG算法的效率得到了較大提升，具有更高的應(yīng)用價值。

表2 各分類算法比較

8 結(jié)束語

該文提出了一種新的基于同步性腦網(wǎng)絡(luò)的注意力分類算法SBN。實驗結(jié)果表明，該算法針對注意力集中與分散兩種狀態(tài)有很好的分類效果。同時，為了解決該算法計算效率較低，無法實現(xiàn)實時注意力檢測的問題，設(shè)計并構(gòu)建了一種新的基于同步性腦網(wǎng)絡(luò)和信息增益的注意力分類算法SBN-IG。該算法在SBN算法的基礎(chǔ)上加入了特征稀疏化步驟，在保證一定分類準(zhǔn)確率的前提下，降低了算法需要計算的特征數(shù)目，從而提高了算法的運算效率。因此具有很高的應(yīng)用價值。

在未來的工作中，會對兩個算法做進(jìn)一步的優(yōu)化，另外，考慮到同步性腦網(wǎng)絡(luò)特征重視結(jié)構(gòu)性信息卻忽略了時域信息，可以引入一些能夠提取信號時域信息的算法如循環(huán)神經(jīng)網(wǎng)絡(luò)等來擴展算法的結(jié)構(gòu)，以進(jìn)一步提高算法的分類效果。