基于雙卷積神經(jīng)網(wǎng)絡(luò)融合的注意力訓(xùn)練研究

徐 欣，張佳欣，張如浩

（南京郵電大學(xué)通信與信息工程學(xué)院，南京 210003）

引 言

注意力是指人的心理活動集中指向于某種事物的能力，良好的注意力是人腦發(fā)生一系列認(rèn)知活動的基礎(chǔ)。課堂注意力是指在課堂教學(xué)期間學(xué)生的注意力水平，是學(xué)生學(xué)習(xí)的基礎(chǔ)。注意力分散會對學(xué)生造成多方面的影響，不僅影響學(xué)生的學(xué)習(xí)效率和學(xué)習(xí)成績，還會導(dǎo)致學(xué)生出現(xiàn)不遵守學(xué)校紀(jì)律、厭學(xué)自卑以及人際關(guān)系差等問題。通過注意力訓(xùn)練的方法，可以提升注意力水平，改善課堂學(xué)習(xí)的質(zhì)量。同時，鑒于青少年中精神疾病的發(fā)病率不斷上升，幫助學(xué)生訓(xùn)練注意力不僅有利于提高學(xué)業(yè)成績，而且有利于促進(jìn)心理和情感健康。目前注意力訓(xùn)練常被應(yīng)用于幫助存在注意力缺陷多動障礙（Attention deficit hyperactivity disorder，ADHD）的兒童增強(qiáng)和維持注意力。2019 年，Shereena 等［1］通過設(shè)計腦電神經(jīng)反饋訓(xùn)練任務(wù)，改善ADHD 兒童的注意力。同年，Lim 等［2］在ADHD 患者的持續(xù)性注意力方面，采用3D 游戲?qū)嵤└深A(yù)和治療。2021 年，吳佳武等［3］針對ADHD 兒童患者，提出了一種腦電生物反饋治療的游戲系統(tǒng)，該系統(tǒng)通過設(shè)立獎勵機(jī)制，提高治療的效果。然而，很多家長和學(xué)生認(rèn)為，這些訓(xùn)練方法不適用于健康學(xué)生在課堂上出現(xiàn)的注意力不集中的情況，其有效性和安全性無法保障。要彌合這一科學(xué)研究與服務(wù)應(yīng)用之間的差距，需要發(fā)展可擴(kuò)展的、以證據(jù)為基礎(chǔ)的培訓(xùn)項目，這樣才能使得培訓(xùn)項目切實地融入學(xué)校環(huán)境。α 音樂是一種靈感音樂，在60～70 節(jié)拍之間，頻率在8～14 Hz 之間，與人的α 腦電波一致。將大腦頻率調(diào)動到α 波狀態(tài)，可以發(fā)揮學(xué)生潛意識的作用、提升悟性和創(chuàng)造力等。因而，基于α音樂的注意力訓(xùn)練引起了廣泛的關(guān)注。

為了量化注意力訓(xùn)練的效果，可以通過分析腦電（Electroencephalogram，EEG）信號實現(xiàn)。EEG 主要測量和人腦皮層突觸活動相關(guān)的神經(jīng)生理變化，是一種非侵入式采集方法。目前，許多特征提取和分類方法已經(jīng)用于識別注意力腦電任務(wù)。Klimesch 等的研究［4］表明注意力水平與α 節(jié)律密切相關(guān)；Lutsyuk 等［5］通過計算θ 和β 波的能量比值得出大腦注意力水平狀態(tài)；Rebsamen 等［6］以腦電信號頻譜的加權(quán)頻率來表示注意力水平高低；Ko 等［7］發(fā)現(xiàn)腦電頻譜的變化與持續(xù)注意任務(wù)中行為表現(xiàn)的受損有密切的關(guān)系。由于EEG 信號是一種隨機(jī)性很強(qiáng)的非平穩(wěn)性、非線性的微弱信號，因此線性分析方法不可能包含全部特征，而EEG 信號的非線性復(fù)雜性被認(rèn)為包含了有關(guān)大腦神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)信息［8］。清華大學(xué)的一項研究表明，當(dāng)被試者注意力集中時，其EEG 信號中的近似熵（Approximate entropy，ApEn）參數(shù)會隨之上升［9］。路榮等［10］計算小波包分解后各頻段信號的近似熵，以此作為支持向量機(jī)（Support vector machines，SVM）的輸入，分類正確率達(dá)到了72.5%。燕楠等［11］提取注意力相關(guān)腦電信號的樣本熵（Sample entropy，SampEn）特征，并采用SVM 算法進(jìn)行分類，正確率最高可達(dá)到85.5%。Ming 等［12］提取多尺度熵（Multi-scale Entropy，MSE）特征，其分類準(zhǔn)確率為63.158%。徐魯強(qiáng)等［13］提出改進(jìn)模糊熵算法來表征腦電信號的注意力水平，平均分類準(zhǔn)確率達(dá)到76.3%。由此可見，對注意力腦電的研究主要通過分析頻帶能量或非線性動力學(xué)特性來實現(xiàn)，其中樣本熵區(qū)分注意力狀態(tài)最為有效。在注意力腦電分類中，常用的分類器是K 近鄰（K-nearest neighbors，KNN）和SVM，然而該分類器的識別準(zhǔn)確率不佳。近年來，深度網(wǎng)絡(luò)模型被大量應(yīng)用于識別EEG 信號，卷積神經(jīng)網(wǎng)絡(luò)（Convolutional neural network，CNN）是其中的典型代表。因此，本文提出了采用α 音樂對健康的學(xué)生群體進(jìn)行注意力訓(xùn)練，所設(shè)計方案的流程圖如圖1 所示。具體過程如下：首先采集訓(xùn)練前后的EEG 信號，再提取δ 波、θ 波、α 波和β 波4個波段的能量、能量比和樣本熵等特征，然后將其融合為多特征圖像。為了取得更好的實驗效果和控制復(fù)雜度，分類器采用AlexNet 和VGG11 兩個卷積神經(jīng)網(wǎng)絡(luò)的融合模型。與單個卷積神經(jīng)網(wǎng)絡(luò)方案相比，本文設(shè)計的方案可以取得更好的結(jié)果。

圖1 本文所提方案Fig.1 Illustration of the proposed scheme

1 注意力訓(xùn)練和腦電數(shù)據(jù)采集

本實驗主要分為注意力訓(xùn)練和腦電信號采集兩個部分。注意力訓(xùn)練方式為α 音樂訓(xùn)練。腦電采集前首先進(jìn)行注意網(wǎng)絡(luò)測試（Attention network test，ANT）實驗，之后采集靜息態(tài)（非注意）和線上課程學(xué)習(xí)（注意）狀態(tài)下的腦電數(shù)據(jù)。

1.1 實驗前準(zhǔn)備

（1）實驗對象

實驗前，向志愿者簡單介紹實驗性質(zhì)和流程，并獲得其同意。實驗共招募了10 名志愿者，均為18～24 歲的在校大學(xué)生，右利手，聽力正常，視力正?；虺C正正常，身體健康，無精神病和頭部外傷史，且之前從未接受過注意力訓(xùn)練。

（2）實驗材料

①注意力訓(xùn)練過程中的α 音樂，準(zhǔn)備多個音樂歌單，志愿者可以根據(jù)喜好選擇。

②注意力調(diào)查問卷，每周訓(xùn)練結(jié)束后志愿者填寫注意力調(diào)查問卷，粗略評估訓(xùn)練效果。

③ANT 實驗設(shè)計，作為訓(xùn)練有效性的輔助支撐。實驗程序由心理實驗編程軟件Eprime2.0 完成編寫，一次完整測驗時長約為7 min。整個實驗分為2 個階段，首先是練習(xí)階段的1 min，幫助被試熟悉實驗流程，接下來是6 min 的正式實驗試次，被試在測驗過程中任務(wù)完成的反應(yīng)時間及正確率均由軟件自動記錄。

④課程內(nèi)容選取。為了更好地模擬課堂學(xué)習(xí)狀態(tài)，注意腦電的采集在志愿者學(xué)習(xí)網(wǎng)課的狀態(tài)下進(jìn)行。本實驗中選擇了兩節(jié)“中國大學(xué)MOOC”上的關(guān)于如何進(jìn)行英文演講的全英文課程，分別用于α 音樂訓(xùn)練前和訓(xùn)練后。兩節(jié)課程的課時均為10 min 左右，課程難度一致且難度不會太高或者太低而導(dǎo)致志愿者長期處于注意力不集中的狀態(tài)。

1.2 實驗流程

實驗的總體流程如圖2 所示。實驗中采用α 音樂進(jìn)行注意力訓(xùn)練，訓(xùn)練共持續(xù)3 周，每周至少進(jìn)行3 次訓(xùn)練，每次至少保證15 min 的聽音樂時間。每周訓(xùn)練結(jié)束后，志愿者填寫注意力調(diào)查問卷，粗略評估訓(xùn)練效果，結(jié)合不同志愿者訓(xùn)練過程中的不同感受，及時調(diào)整聽音樂時長和次數(shù)等訓(xùn)練細(xì)節(jié)，達(dá)到個性化訓(xùn)練。

圖2 實驗流程圖Fig.2 Experimental flowchart

腦電信號的采集使用南京偉思醫(yī)療科技有限責(zé)任公司的腦電采集儀器實現(xiàn)，可設(shè)置腦電信號采集的速度和幅度，采樣率為512 Hz。電極分布按照國際標(biāo)準(zhǔn)10～20 系統(tǒng)放置，參考電極為A1、A2，選取額葉區(qū)電極F3、F4、F7、F8、Fz，顳葉區(qū)電極T3、T4、T5、T6，前額電極Fp1、Fp2，中央?yún)^(qū)電極C3、C4、Cz，頂葉區(qū)電極P3、P4、Pz，枕區(qū)電極O1、O2，共19 個電極。

實驗在安靜環(huán)境內(nèi)進(jìn)行，實驗室的溫度控制在（23±2）℃。數(shù)據(jù)采集之前，志愿者調(diào)整好坐姿和狀態(tài)，進(jìn)行ANT 實驗。首先呈現(xiàn)在屏幕中央的是“+”注視點，注視點消失后出現(xiàn)指示線索，被試準(zhǔn)備好后按下“Enter”鍵，實驗開始。在400 ms 的時間間隔（“+”注視點）后，目標(biāo)刺激（水平位置排列的5 個方向隨機(jī)的箭頭）出現(xiàn)，受試者需要在700 ms 內(nèi)判斷中間箭頭的指向（箭頭指向左點擊鼠標(biāo)左鍵；指向右點擊鼠標(biāo)右鍵），待被試做出反應(yīng)后目標(biāo)刺激消失，屏幕上會呈現(xiàn)反應(yīng)正誤、反應(yīng)時間和平均準(zhǔn)確率；700 ms 以上無反應(yīng)則目標(biāo)刺激自動消失，此試次作為無效試次。每個試次結(jié)束后，再次呈現(xiàn)中心“+”注視點。整個實驗被試全程注視屏幕，避免眼球的大幅度運動。

腦電信號采集階段分為兩個部分：3 min 靜息態(tài)腦電（非注意狀態(tài)）和10 min 線上課程學(xué)習(xí)腦電（注意力狀態(tài)）。非注意狀態(tài)下，被試閉目，保持頭腦清醒，盡可能減少肢體動作，采集3 min 的腦電。之后志愿者有1 min 的時間稍作休息調(diào)整，在確保其狀態(tài)良好的情況下，開始網(wǎng)課視頻的學(xué)習(xí)，期間采集注意狀態(tài)腦電信號。課程播放結(jié)束后，進(jìn)行與課程內(nèi)容相關(guān)的測試，詢問被試對于學(xué)習(xí)過程中注意力變化的主觀感受并記錄。ANT 實驗和腦電信號采集在α 音樂訓(xùn)練前后都要進(jìn)行一次，用作前后對比。所有志愿者均完成了實驗，沒有中途離開者。

2 腦電信號處理

2.1 預(yù)處理

腦電信號微弱，且極易受外界干擾［14］。為保證研究的有效性，根據(jù)“少壞段”和“少偽跡”的準(zhǔn)則，從10 名志愿者中選取了8 名志愿者（S1～S8）的腦電數(shù)據(jù)用于后續(xù)處理分析。首先去除明顯壞段，為了保留數(shù)據(jù)的有效頻率，去除高頻噪聲，使用EEGLAB 工具包去除50 Hz 的工頻干擾，并進(jìn)行0.1～30 Hz 的濾波。此后將信號降采樣至256 Hz，進(jìn)行獨立成分分析（Independent component analysis，ICA），去除眼電、肌電、心電等偽跡成分。經(jīng)過EEGLAB 的系列處理后，對每組數(shù)據(jù)以4 s 的滑動窗口進(jìn)行截取，重疊率為50%，將信號分段。最終，訓(xùn)練前后都分別得到717 個非注意狀態(tài)樣本，1 883 個注意力狀態(tài)樣本。

小波濾波可以在最大限度保持真實信號的基礎(chǔ)上，減少甚至完全濾除噪聲。因此，對每個樣本都進(jìn)行小波閾值去噪，去除疊加在信號上的噪聲。小波閾值去噪主要包含3 方面：小波基選取、閾值選取和閾值函數(shù)選取。db 小波分解能調(diào)整頻域分辨率使之與腦電節(jié)律相一致，更適合用于處理腦電數(shù)據(jù)，本文采用db4 小波去除腦電信號中的噪聲干擾。閾值λ的選取會直接影響去噪效果，本文采用固定閾值，其計算公式為，其中N為信號的長度。最常用的閾值函數(shù)有硬閾值函數(shù)和軟閾值函數(shù)兩種，軟閾值去噪后會丟失一些特征，誤差相對較大，本文對信號進(jìn)行硬閾值處理。其中一個樣本經(jīng)過小波閾值去噪的前后對比如圖3 所示，可以看出去噪后的重構(gòu)信號具有良好的逼近性。

圖3 小波閾值去噪Fig.3 Wavelet threshold denoising

2.2 SMOTE 算法

SMOTE（Synthetic minority oversampling technique）算法是對隨機(jī)過采樣算法的改進(jìn)。由于隨機(jī)過采樣使用復(fù)制樣本的方法來增加少數(shù)類，很可能造成模型過擬合的情況。而SMOTE 算法通過分析少數(shù)類樣本合成新樣本，它以每個少數(shù)類樣本點x的k個最近鄰樣本點為依據(jù)，根據(jù)樣本不平衡比例確定采樣率，從其k個最近鄰樣本點中隨機(jī)選擇N個鄰近點。對于每個隨機(jī)選出的鄰近點xn構(gòu)建新樣本xnew，公式為

在原樣本的基礎(chǔ)上，將鄰近點與原樣本進(jìn)行差值并乘上一個［0，1］范圍的閾值，從而達(dá)到合成數(shù)據(jù)的目的。該算法的核心是：特征空間上的鄰近點其特征都是相似的。它并不是在數(shù)據(jù)空間上進(jìn)行采樣，而是在特征空間中進(jìn)行采樣，所以準(zhǔn)確率會高于傳統(tǒng)的采樣方式。

由于非注意狀態(tài)和注意狀態(tài)2 種類別的EEG 樣本數(shù)量嚴(yán)重不平衡，故本文使用SMOTE 算法來解決類別不均衡的問題。首先，將數(shù)據(jù)集根據(jù)9∶1 的比例分為訓(xùn)練集和測試集，即71 個非注意樣本和188個注意樣本劃分為測試集，其余為訓(xùn)練集。然后將訓(xùn)練集中的非注意狀態(tài)樣本經(jīng)過SMOTE 處理，合成新的樣本，生成的新訓(xùn)練集包含1 695 個非注意狀態(tài)樣本和1 695 個注意狀態(tài)樣本。

2.3 特征提取

由于EEG 信號的隨機(jī)性、不穩(wěn)定性以及信號采集過程中產(chǎn)生的各種噪聲干擾無法全部去除，使得EEG 具有非常高的空間特性且冗余度高，直接將預(yù)處理后的腦電信號樣本送入神經(jīng)網(wǎng)絡(luò)的效果比較差，導(dǎo)致網(wǎng)絡(luò)模型理解其含義比較困難。腦電特征提取的目的是為了選取出具有代表性的特征數(shù)據(jù)，以更全面有效地表征腦電信號。本文在相關(guān)工作中手工提取信號特征作為深度神經(jīng)網(wǎng)絡(luò)模型的輸入，進(jìn)行注意力腦電識別。

2.3.1 頻帶能量

小波變換只分解信號的低頻部分，忽略了高頻部分。對于EEG 信號來說，小波包變換［15］不僅可以分解信號的低頻部分，也分解高頻部分，沒有冗余和疏漏，可以很好地進(jìn)行時頻分析，保證了信號的不丟失。

將小波包樹節(jié)點記為(j，n)，j表示小波包樹的層數(shù)，n表示對應(yīng)層數(shù)的節(jié)點個數(shù)，hl-2k和gl-2k為一對正交鏡像濾波器，可以將信號劃分到任意頻段。第k點的小波包分解系數(shù)為

根據(jù)提取信號的頻域特性，選擇相應(yīng)的頻帶對應(yīng)的小波分解系數(shù)，利用式（4）進(jìn)行重構(gòu)，即可得到特定的頻段信號。

本文使用db4 小波對預(yù)處理之后的信號樣本進(jìn)行5 層分解，分別提取了每個樣本的α、θ、β 和δ 節(jié)律并重構(gòu)α 波、θ 波、β 波和δ 波。分解后，各個節(jié)點及其對應(yīng)的頻帶范圍如圖4 所示。

圖4 小波包分解對應(yīng)的頻率空間Fig.4 Frequency space decomposed by wavelet packets

由于小波包將能量不重疊地正交分解到相鄰頻帶上，因此遵循能量守恒定律，有

式中：j表示相應(yīng)頻帶；N表示原數(shù)據(jù)點數(shù)；ni表示小波包分解后的系數(shù)。根據(jù)式（5），容易求得α、θ、β 和δ波段對應(yīng)的頻帶能量，并由此計算將各個頻段兩兩之間的能量比值，每個樣本的19 個通道的數(shù)據(jù)分別得到10 個特征值。

2.3.2 樣本熵（SampEn）

研究表明，腦電信號有很強(qiáng)的非線性結(jié)構(gòu)［16］，SampEn［17］是腦電信號常用的非線性特征之一。SampEn 是由ApEn 改進(jìn)得到的，時間序列的復(fù)雜性和維數(shù)改變時序列產(chǎn)生新模式的概率越大，序列的復(fù)雜度越高，熵值越大。

假定由N個數(shù)據(jù)組成的時間序列x(n)=x(1)，x(2)，…，x(N)，其SampEn 的計算方式如下：

（1）按序號組成1 組維數(shù)為m的向量序列，Xm(1)，…，Xm(N-m+1)，其中

（5）Bm(r)和Am(r)是兩個序列在相似容限下分別匹配m個點和m+1 個點的概率，將SampEn 定義為

（6）當(dāng)N為有限值時，可將長度為N的序列的SampEn 估計為

本文選取參數(shù)m=2，r=0.1σ，計算各個樣本中各個通道的SampEn，其中σ為相應(yīng)樣本的標(biāo)準(zhǔn)差。本研究中有用電極共19 個，將每個樣本中的各個電極按順序進(jìn)行排列。將每個電極的數(shù)據(jù)經(jīng)過小波包分解重構(gòu)得到的10 個頻帶能量與能量比特征（4 個頻帶能量特征：α 頻帶能量、θ 頻帶能量、β 頻帶能量和δ 頻帶能量，6 個能量比：Eα/Eθ、Eα/Eβ、Eα/Eδ、Eθ/Eβ、Eθ/Eδ、Eβ/Eδ），和計算所得的SampEn 共11 個特征結(jié)合在一起，組成19×11 的融合特征矩陣，并對矩陣進(jìn)行歸一化處理，然后將歸一化后的矩陣轉(zhuǎn)化為對應(yīng)的多特征彩色圖像。樣本圖像分辨率為543 像素×429 像素，作為雙卷積神經(jīng)網(wǎng)絡(luò)融合模型的輸入，進(jìn)行二次特征提取。

3 雙卷積神經(jīng)網(wǎng)絡(luò)融合模型

與傳統(tǒng)的分類方法相比，CNN 作為深度學(xué)習(xí)的主要算法之一，能夠有效地保留圖片的特征。典型的CNN 模型主要由3 個部分組成：卷積層、池化層和全連接層。卷積層一般設(shè)置多個不同的卷積核對輸入進(jìn)行操作從而獲得不一樣的特性，達(dá)到提取局部特征的效果；池化層用來大幅降低參數(shù)量級；全連接層負(fù)責(zé)預(yù)測分類，輸出結(jié)果。由于本文中數(shù)據(jù)集相對較小，且多模型融合訓(xùn)練相對于單一網(wǎng)絡(luò)模型訓(xùn)練耗時比較長，因此選用CNN 模型中結(jié)構(gòu)較為簡單的AlexNet 網(wǎng)絡(luò)和VGG 網(wǎng)絡(luò)進(jìn)行融合，以進(jìn)一步提高識別效果。

3.1 AlexNet 網(wǎng)絡(luò)

AlexNet 的整個網(wǎng)絡(luò)結(jié)構(gòu)由5 個卷積層和3 個全連接層組成，深度總共8 層，層與層之間使用最大池化（Max-pooling）分開。該模型主要有以下特點：（1）使用ReLU 函數(shù)進(jìn)行激活操作，確保輸出特征的值在合理范圍之內(nèi)，防止梯度消失，也能解決一定的梯度爆炸問題，從而加快訓(xùn)練速度；（2）AlexNet 中采用的是最大池化，從而保留最顯著的特征，同時AlexNet 中步長小于池化核窗口，使池化有重疊部分；（3）全連接層采用Dropout 方法，避免過擬合。

本文在AlexNet 網(wǎng)絡(luò)的基礎(chǔ)上，介于卷積層（Conv）和激活層（ReLU）之間加入了BN（BatchNorm）層，批正則化，讓數(shù)據(jù)分布均勻，且卷積層不使用偏置bias。全連接層之間的Dropout 層，失活比例設(shè)置為0.5，隨機(jī)失活一些神經(jīng)元，減少神經(jīng)網(wǎng)絡(luò)過擬合。為了加快訓(xùn)練速度，在保證識別率不受較大影響的情況下，將每一層的卷積核個數(shù)減半。AlexNet 網(wǎng)絡(luò)結(jié)構(gòu)簡圖如圖5 所示。

圖5 AlexNet 網(wǎng)絡(luò)結(jié)構(gòu)Fig.5 AlexNet network structure

3.2 VGG 網(wǎng)絡(luò)

AlexNet 模型結(jié)構(gòu)通過構(gòu)造多層網(wǎng)絡(luò)，取得了不錯的效果。但其卷積核數(shù)目較少，首個卷積核尺寸過大，不能提取到更加精細(xì)的特征。針對這個問題，VGG 中采用3×3 的卷積核堆疊達(dá)到大卷積核的效果，保持相同感受野的同時參數(shù)更少。

VGG 結(jié)構(gòu)由5 層卷積層、3 層全連接層、Softmax 輸出層構(gòu)成，層與層之間使用Max-pooling 分開，所有隱層的激活單元都采用ReLU 函數(shù)，通過使用一系列大小為3×3 的小尺寸卷積核和pooling 層構(gòu)造深度卷積神經(jīng)網(wǎng)絡(luò)，并取得了較好的效果。

本文在VGG11 網(wǎng)絡(luò)的基礎(chǔ)上，根據(jù)輸入數(shù)據(jù)集的實際情況，將全連接層網(wǎng)絡(luò)節(jié)點個數(shù)減少一半，在對分類準(zhǔn)確率沒有太大影響的基礎(chǔ)下，減少了參數(shù)量，加快了模型訓(xùn)練的速度。VGG11 結(jié)構(gòu)簡圖如圖6 所示。

圖6 VGG 網(wǎng)絡(luò)結(jié)構(gòu)Fig.6 VGG network structure

3.3 雙卷積神經(jīng)網(wǎng)絡(luò)

由于單個Alexnet 網(wǎng)絡(luò)和單個VGG11 網(wǎng)絡(luò)針對注意力腦電的識別率不高，為了更有效地提取圖像的特征、提高網(wǎng)絡(luò)的泛化感知能力、增強(qiáng)二次特征提取能力，本文構(gòu)建了一個雙卷積神經(jīng)網(wǎng)絡(luò)模型，將AlexNet 網(wǎng)絡(luò)和VGG11 網(wǎng)絡(luò)進(jìn)行線性加權(quán)融合，權(quán)重用來決定每個網(wǎng)絡(luò)對融合網(wǎng)絡(luò)的影響。將每個模型對每個樣本預(yù)測的結(jié)果進(jìn)行加權(quán)平均，得出最終結(jié)果，使識別結(jié)果更為精確。網(wǎng)絡(luò)架構(gòu)如圖7所示。

圖7 雙卷積神經(jīng)網(wǎng)絡(luò)融合模型Fig.7 Fusion model of double convolutional neural network

4 結(jié)果分析

4.1 實驗過程數(shù)據(jù)

4.1.1 ANT 實驗數(shù)據(jù)

將E-prime 軟件后臺記錄的ANT 實驗過程中的反應(yīng)正誤和反應(yīng)時間進(jìn)行匯總，計算每個受試者訓(xùn)練前后的平均反應(yīng)時間和反應(yīng)正確率，將結(jié)果用柱狀圖表示，由圖8 可以清晰地看出：大多數(shù)受試者經(jīng)過α 音樂訓(xùn)練后，ANT 實驗的平均反應(yīng)時間變短，反應(yīng)正確率提高。只有受試者S5 訓(xùn)練后反應(yīng)時間反而變長，正確率稍有下降，這可能與受試者進(jìn)行ANT 實驗時的情緒狀態(tài)有關(guān)。對訓(xùn)練前后的反應(yīng)時間和正確率分別進(jìn)行配對樣本t 檢驗，得到p＜0.05，說明訓(xùn)練前后的平均反應(yīng)時間和正確率都有顯著差異，證實了α 音樂訓(xùn)練能夠有效提高學(xué)習(xí)者的注意力。

圖8 ANT 結(jié)果分析Fig.8 ANT result analysis

4.1.2 課程內(nèi)容測試結(jié)果

本研究中每位志愿者結(jié)束網(wǎng)課學(xué)習(xí)后，都要進(jìn)行與課程內(nèi)容相關(guān)的小測試，根據(jù)測試的得分判斷其學(xué)習(xí)效果和注意力水平。測試共設(shè)置了5 個問題，其中包括2 個判斷題（2×10 分），1 個單選題（10 分），1 個多選題（答案為4 選3，答對1 個10 分，共30 分）和2 個簡答題（每個簡答題包括4 個小點，每個點記5 分，共2×20 分），題目難度逐漸增加。訓(xùn)練前后的兩次測試中問題的難易程度相當(dāng)，因此可以根據(jù)2 次測試的得分情況檢測訓(xùn)練效果。結(jié)果如表1 所示，可以看出經(jīng)過訓(xùn)練，8 名志愿者的測試得分都有一定程度的提高，從一定程度上反應(yīng)出受試者聽課的注意力水平有所提升。

表1 課程內(nèi)容測試結(jié)果Table 1 Test results of course content

4.2 特征分析

研究采用非參數(shù)檢驗——相關(guān)樣本威爾科克森符號秩檢驗來判斷注意力訓(xùn)練前后各特征的差異性，從而判斷α 音樂訓(xùn)練對學(xué)生注意力的影響。將訓(xùn)練前注意態(tài)-訓(xùn)練后注意態(tài)各特征的漸進(jìn)顯著性（雙側(cè)檢驗）記為a-diff，結(jié)果如表2 所示：除Eδ/Eα、Eδ/Eθ這兩個能量比特征的漸進(jìn)顯著性大于0.05，其余特征的漸進(jìn)顯著性均小于0.05，表明經(jīng)過注意力訓(xùn)練后，大部分特征產(chǎn)生了顯著變化。

表2 各特征差異性分析Table 2 Analysis of differences between each feature

此外，研究選取樣本熵和Eθ/Eβ能量比這兩個常用于注意力識別的特征，分別進(jìn)行各個通道的平均數(shù)值比較。由圖9 可知，經(jīng)過注意力訓(xùn)練，大部分通道數(shù)據(jù)的樣本熵有了提高，Eθ/Eβ能量比下降，代表注意力有了一定水平的提高。

圖9 樣本熵和Eθ/Eβ 數(shù)值的對比Fig.9 Comparison of sample entropy and Eθ/Eβ values

4.3 模型效果

將此前劃分好的經(jīng)過擴(kuò)充的訓(xùn)練集圖像（以注意力訓(xùn)練前的數(shù)據(jù)集為例）按224 分辨率進(jìn)行隨機(jī)裁剪和翻轉(zhuǎn)等處理后，輸入到設(shè)定好的網(wǎng)絡(luò)中用于模型訓(xùn)練，學(xué)習(xí)率為0.000 02。不同的模型融合權(quán)重對模型訓(xùn)練效果有很大的影響，設(shè)AlexNet 網(wǎng)絡(luò)的權(quán)重為x，VGG11 網(wǎng)絡(luò)的權(quán)重為y，模型訓(xùn)練收斂后，不同x和y取值下的訓(xùn)練平均準(zhǔn)確率見表3。因此，將AlexNet 和VGG11 的融合權(quán)值分別設(shè)為0.4 和0.6，迭代100 次，網(wǎng)絡(luò)準(zhǔn)確率得以收斂。為了驗證雙卷積神經(jīng)網(wǎng)絡(luò)融合模型的有效性，將本文所提出的模型與單一模型進(jìn)行對比，訓(xùn)練準(zhǔn)確率如圖10 所示，可以看出來本文所提出的多模型融合網(wǎng)絡(luò)的識別率明顯高于單一網(wǎng)絡(luò)識別率。

圖10 模型訓(xùn)練結(jié)果Fig.10 Model training results

表3 不同融合權(quán)重對比Table 3 Comparison of different fusion weights

在測試集上評估訓(xùn)練好的模型效果，得出：α音樂訓(xùn)練前，單一的AlexNet 網(wǎng)絡(luò)模型測試集上的識別準(zhǔn)確率為83.36%，VGG11 的識別準(zhǔn)確率為91.06%，本文提出的雙卷積神經(jīng)網(wǎng)絡(luò)融合模型識別率為93.49%。α 音樂訓(xùn)練后，AlexNet 網(wǎng)絡(luò)模型的識別準(zhǔn)確率為86.18%，VGG11 的識別準(zhǔn)確率為92.62%，本文提出的多模型融合網(wǎng)絡(luò)識別率為97.53%。經(jīng)過α 音樂訓(xùn)練，雙卷積神經(jīng)網(wǎng)絡(luò)融合模型的分類準(zhǔn)確率提高了4%，結(jié)合4.2 中各特征差異性對比結(jié)果，說明經(jīng)過訓(xùn)練后，注意態(tài)和非注意態(tài)的腦電差別變大，含有更豐富的識別信息，證明這種注意力訓(xùn)練方法的有效性。

4.4 模型性能對比

二分類中，可以將樣本根據(jù)真實類別和模型預(yù)測類別分為4 種：真正類（True positive，TP），真實樣本類別和模型預(yù)測類別均為正；假正類（False positive，F(xiàn)P），真實樣本類別為負(fù)，模型預(yù)測類別為正；真負(fù)類（True negative，TN），真實樣本類別和模型預(yù)測類別均為負(fù)；假負(fù)類（False negative，F(xiàn)N），真實樣本類別為正，模型預(yù)測類別為負(fù)。為了能夠清晰地表述模型性能，本文采用模型的精確率（Precision），召回率（Recall），F(xiàn)1分?jǐn)?shù)（F1-score）和準(zhǔn)確率（Accuracy）作為模型性能評價指標(biāo)。

在模型預(yù)測是正類數(shù)的所有結(jié)果中，模型預(yù)測對的比重為精確率，即

真實值是正類數(shù)的所有結(jié)果中，模型預(yù)測對的比重為召回率，即

F1-score 是精確率和召回率的調(diào)和平均數(shù)，與模型輸出性能優(yōu)劣成正比，即

分類模型所有預(yù)測正確的結(jié)果占總數(shù)的比重為準(zhǔn)確率，即

將注意力狀態(tài)記為正類，非注意狀態(tài)記為負(fù)類。為了證明模型性能的提升，本文的分類模型與常見的傳統(tǒng)分類方法進(jìn)行對比，各項指標(biāo)如表4 所示。相對于樸素貝葉斯方法和SVM，雙卷積神經(jīng)網(wǎng)絡(luò)融合模型除了在精確率方面低于SVM，在召回率和F1-score 方面均有不同程度的提高，整個模型系統(tǒng)的準(zhǔn)確率比性能較好的SVM 提高了4%～7%?？梢钥闯?，本文所提出的雙卷積神經(jīng)網(wǎng)絡(luò)融合模型具有顯著的優(yōu)勢，可以更好地用于注意力腦電的識別。

表4 模型性能對比Table 4 Comparison of classification methods %

5 結(jié)束語

本研究針對正常學(xué)生上課過程中出現(xiàn)的注意力分散的現(xiàn)象，提出了α 音樂的注意力訓(xùn)練方法，并采集了注意力訓(xùn)練前后的EEG 信號。針對EEG 信號直接作為神經(jīng)網(wǎng)絡(luò)的輸入進(jìn)行端到端的識別效果不理想，本研究提取了δ、θ、α 和β 波4 個波段的能量、能量比和樣本熵等特征，將其融合為多特征圖像，作為神經(jīng)網(wǎng)絡(luò)模型的輸入。同時，本文將AlexNet 和VGG11 兩個卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行融合，從而達(dá)到對分類效果優(yōu)化的目的。結(jié)果表明，雙卷積神經(jīng)網(wǎng)絡(luò)融合模型能夠提高識別準(zhǔn)確率，優(yōu)于單個模型的性能，也優(yōu)于傳統(tǒng)分類器的性能，可以用于注意力腦電分類。同時，本文通過對比注意力訓(xùn)練前后提取的各特征差異性、注意力腦電的分類效果，以及每位志愿者ANT 實驗的反應(yīng)平均時間和反應(yīng)正確率，發(fā)現(xiàn)α音樂訓(xùn)練方法確實能夠提高健康學(xué)生的課堂注意力水平。同時，聽音樂的形式具有較高的安全性和可行性，為注意力提升方案的制定提供了依據(jù)和思路。