基于特征層融合的EEG-NIRS識別方法研究

周宇星 樊丞成 王震 徐信毅 林萍 李曉歐

關(guān)鍵詞：特征融合;卷積神經(jīng)網(wǎng)絡(luò);雙向長短期記憶網(wǎng)絡(luò);分類準確率

0 引言（Introduction）

隨著全球吸毒人員數(shù)量逐年攀升，吸毒正成為嚴重的全球性社會問題，而戒毒工作開展的前提是對吸毒人員的成癮程度進行評估。近年來，研究人員主要基于磁共振成像（MagneticResonance Imaging，MRI）、腦磁圖（Magnetoencephalography，MEG）、腦電圖（Electroencephalogram，EEG）和近紅外光譜（Near-infrared Spectroscopy，NIRS）等技術(shù)對毒品成癮患者進行研究，隨著多模態(tài)數(shù)據(jù)分析的不斷進步，將腦電圖和近紅外光譜融合應(yīng)用的研究也不斷興起。基于傳統(tǒng)的機器學(xué)習(xí)方法進行分類，存在精度差和特征提取不全面等問題，所以深度學(xué)習(xí)網(wǎng)絡(luò)逐漸被應(yīng)用于分類問題，主要包括卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）、長短期記憶網(wǎng)絡(luò)（LongShort-Term Memory，LSTM）和雙向長短期記憶網(wǎng)絡(luò)（BidirectionalLong Short-Term Memory，BiLSTM）等，但單一的傳統(tǒng)網(wǎng)絡(luò)在分類任務(wù)中的識別效果不佳，故本文提出一種基于CNN和BiLSTM組合的神經(jīng)網(wǎng)絡(luò)，用于成癮程度分類研究[1]。

1 預(yù)備知識（Preparatory knowledge）

1.1 國內(nèi)外研究現(xiàn)狀

近年來，腦電圖和近紅外光譜都曾被應(yīng)用于成癮治療工作。高軍峰等[2]提取腦電信號的時域、頻域和小波系數(shù)對冰毒成癮者進行模式識別，分類結(jié)果顯示，準確率達到80%以上。李嘉欣[3]基于線性和非線性方法，利用EEG數(shù)據(jù)構(gòu)造海洛因成癮人員的腦網(wǎng)絡(luò)研究成癮機制，并將腦網(wǎng)絡(luò)中的小世界屬性作為特征，使用支持向量機（Support Vector Machine， SVM）進行分類。結(jié)果顯示，最高的分類準確率達到86%以上，通過分析發(fā)現(xiàn)，成癮患者的異常行為主要與大腦的前額葉、腦島、頂葉的異常有關(guān)。殷悅[4]利用功能近紅外光譜對甲基苯丙胺成癮患者進行實驗，通過運動干預(yù)幫助成癮患者盡快康復(fù)，有效緩解成癮患者對毒品的渴求，并提高患者的認知功能。李玥[5]通過功能性磁共振和功能近紅外光譜對游戲成癮患者的腦活動進行分析研究，結(jié)果顯示，游戲成癮患者在游戲過程中，不斷地進行視覺運動交互，而此時患者的腹外側(cè)前額葉腦區(qū)的激活程度，有可能與游戲本身的視覺運動交互任務(wù)強度有關(guān)，即游戲交互的強度增強，腹外側(cè)前額葉腦區(qū)的激活程度隨之增強，背外側(cè)前額葉的腦活動則可能涉及如注意力轉(zhuǎn)移和認知資源分配等更高級的功能。然而，EEG雖然有較高的時間分辨率，但是在采集過程中易受到生理噪聲和周圍環(huán)境的影響且空間分辨率較差。近紅外光譜具有較高的空間分辨率，但只能觀測到大腦皮層表面區(qū)域且時間分辨率較差，所以僅利用單模態(tài)數(shù)據(jù)所能夠反映的信息仍有局限[6]。

隨著多模態(tài)學(xué)習(xí)的興起及其在各種領(lǐng)域的廣泛應(yīng)用，越來越多的學(xué)者投入多模態(tài)學(xué)習(xí)這項工作。多模態(tài)信息相較于單模態(tài)信息，能夠提供更豐富的信息內(nèi)容，可以彌補單模態(tài)信息的不足[7]。李日成[8]利用腦電圖和近紅外光譜結(jié)合的雙模態(tài)腦成像技術(shù)，對理解動作意圖的神經(jīng)機制進行了多信息、多層面的研究。通過提取兩種模態(tài)數(shù)據(jù)的共同空間模式特征并基于線性判別分析方法進行特征層融合，結(jié)果顯示雙模態(tài)腦成像技術(shù)獲得的平均正確率比腦電圖單模態(tài)提高了4.2%，比近紅外光譜單模態(tài)提高了19.8%。GU等[9]利用腦電信號和近紅外光譜信號雙模信號對毒品成癮患者進行成癮程度分析，通過將雙模態(tài)數(shù)據(jù)分別輸入卷積神經(jīng)網(wǎng)絡(luò)中獲得雙模特征，然后基于決策層融合方法分別賦予特征50%的權(quán)重后進行分類，結(jié)果顯示，分類準確率達到63.15%。LI等[10]利用心電圖和心音圖雙模態(tài)數(shù)據(jù)進行心血管疾病的早期診斷和預(yù)防，首先通過建立卷積神經(jīng)網(wǎng)絡(luò)和長短期記憶網(wǎng)絡(luò)組合的神經(jīng)網(wǎng)絡(luò)，分別提取心電圖和心音圖的深度編碼特征，其次利用遺傳算法對雙模特征進行融合得到最佳的特征子集，最后利用支持向量機進行分類，結(jié)果顯示，利用雙模態(tài)數(shù)據(jù)的曲線下面積（Area Underthe Curve， AUC）為0.936，高于單模態(tài)。

1.2CNN-BiLSTM 網(wǎng)絡(luò)

深度學(xué)習(xí)是一種機器學(xué)習(xí)方法，屬于機器學(xué)習(xí)的一個分支，在互聯(lián)網(wǎng)、人工智能等領(lǐng)域都有應(yīng)用，如語音識別、視覺對象識別領(lǐng)域等。深度學(xué)習(xí)的基本架構(gòu)就是簡單模型的多層堆疊，通過將低層的特征組合形成更高層的特征。深度學(xué)習(xí)算法與其他機器學(xué)習(xí)算法相比，數(shù)據(jù)量越大，其表現(xiàn)的性能越優(yōu)越。目前，比較常用的深度學(xué)習(xí)網(wǎng)絡(luò)包括卷積神經(jīng)網(wǎng)絡(luò)、循環(huán)神經(jīng)網(wǎng)絡(luò)和長短期記憶網(wǎng)絡(luò)等[11]。

卷積神經(jīng)網(wǎng)絡(luò)可以處理多維數(shù)據(jù)，信號、序列、圖像、視頻等都屬于不同的多維數(shù)組形式，基本運算包括卷積運算、池化運算、全連接運算和識別運算。卷積層通過不斷改變卷積核大小，從而選擇出能正確表征特征的卷積核，并對輸入數(shù)據(jù)進行特征提取。池化層的主要目的是降維，保留卷積層輸出特征中最有用的信息。全連接層相當(dāng)于生成一個與所需分類數(shù)量相等的分類器。CNN能夠同時進行特征提取和分類，使神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)變得更簡單且適應(yīng)性更強[12]。

長短期記憶網(wǎng)絡(luò)是具有記憶長短期信息能力的神經(jīng)網(wǎng)絡(luò)，常被用來處理時間序列和非線性特征，其結(jié)構(gòu)示意圖如圖1所示。LSTM通過設(shè)計“門”的結(jié)構(gòu)解決循環(huán)神經(jīng)網(wǎng)絡(luò)梯度爆炸和梯度消失的問題，主要有遺忘門、輸入門和輸出門三種，這些門大大提高了LSTM處理時間信息的能力。三種門分別將前一個狀態(tài)的輸出ht-1 和當(dāng)前狀態(tài)的輸入xt 作為輸入。遺忘門決定了前一個狀態(tài)有多少特征信息需要遺留，其中遺忘程度ft 都在[0，1]之間。輸入門則是對當(dāng)前狀態(tài)進行新的補充，利用Sigmoid和tanh函數(shù)組合后得到當(dāng)前的it，用于控制當(dāng)前狀態(tài)的信息更新程度。輸出門則是確定需要輸出的信息，控制濾除當(dāng)前狀態(tài)的特征信息[13]。

BiLSTM是LSTM網(wǎng)絡(luò)的改進模型，其結(jié)構(gòu)示意圖如圖2所示。前向LSTM 層和后向LSTM 層共同構(gòu)成隱藏層，其中前向LSTM沿正向處理時間序列，后向LSTM 沿反向處理時間序列，然后將兩個LSTM的輸出拼接起來作為輸出[14]，具體過程表示如下：

其中：W 為前向LSTM 層到輸出層的權(quán)重，W 為后向LSTM層到輸出層的權(quán)重，by 表示輸出層的偏置。

1.3 特征融合策略

相較于單模態(tài)，多模態(tài)學(xué)習(xí)通常需要考慮兩個問題，即多模態(tài)學(xué)習(xí)性能和多模態(tài)數(shù)據(jù)融合。多模態(tài)相較于單模態(tài)能提供更多的信息，多模態(tài)還可以彌補單模態(tài)之間的不足，理論上多模態(tài)學(xué)習(xí)的效果優(yōu)于單模態(tài)[15]。目前，多模態(tài)數(shù)據(jù)融合主要有三種方式，包括數(shù)據(jù)層融合、特征層融合和決策層融合[1]。數(shù)據(jù)層融合又稱為信息層融合，是指對多源數(shù)據(jù)或多類數(shù)據(jù)進行多級別、多層面、多層次的處理。數(shù)據(jù)層的融合能夠最大限度地保留原始數(shù)據(jù)，但也會導(dǎo)致數(shù)據(jù)處理量較大，信息冗余嚴重。特征層融合是指對不同的輸入數(shù)據(jù)分別做特征提取，對提取后的特征數(shù)據(jù)做融合處理，例如進行簡單的拼接，然后對融合后的特征進行分類。特征提取的過程中，原始數(shù)據(jù)的有效信息得以保留并去除了冗余和干擾成分，因此特征提取融合一方面減少了數(shù)據(jù)量，另一方面提高了分類精度。特征提取方法是特征層融合的關(guān)鍵，一些經(jīng)改進的單模態(tài)特征提取方法目前已取得較高的準確率，所以理論上雙模態(tài)的特征提取將會進一步提高融合后的分類準確率。決策層融合是指對不同模態(tài)的輸入數(shù)據(jù)單獨進行分類，再對每種分類結(jié)果通過投票或分配權(quán)重等方法，得到最終的分類結(jié)果。決策層融合的容錯率較高，即使某個模態(tài)的分類結(jié)果出現(xiàn)錯誤，也能夠通過降低其權(quán)重的方式獲得更準確的結(jié)果，并且決策層融合對原始數(shù)據(jù)沒有限制，不同種類的數(shù)據(jù)都能夠做決策層融合。但是，決策層融合的信息損失較大，分類識別性能會有所下降[16]。

本文采用深度學(xué)習(xí)中的CNN和BiLSTM 以及特征層融合的方式，設(shè)計了CNN-BiLSTM組合的深度學(xué)習(xí)模型，特征層融合模型結(jié)構(gòu)圖如圖3所示[17-18]。將兩種模態(tài)的數(shù)據(jù)通過不同的神經(jīng)網(wǎng)絡(luò)分別訓(xùn)練出特征后進行特征融合，然后利用分類器進行分類識別。

2 融合算法設(shè)計（Fusion algorithm design）

2.1 數(shù)據(jù)采集

實驗范式內(nèi)容由三個階段組成，第一階段為采集靜息態(tài)數(shù)據(jù)實驗，即受試者先閉眼5 min，再睜眼5 min，歷時10 min。第二階段為采集任務(wù)態(tài)數(shù)據(jù)實驗，歷時6 min，受試者需要觀看圖片，圖片分為毒品刺激圖和中性圖，共16張，當(dāng)受試者看到毒品刺激圖時，需要在紙上同步標記。第三階段為采集任務(wù)態(tài)數(shù)據(jù)實驗，歷時4.6 min，受試者所看圖片均為中性圖。

模型訓(xùn)練使用的數(shù)據(jù)為EEG和NIRS的雙模態(tài)毒品成癮數(shù)據(jù)，受試者來自上海市青東強制隔離戒毒所，均為20～40歲的男性在所戒毒人員。其中，EEG數(shù)據(jù)由無線腦電圖采集設(shè)備采集，腦電極數(shù)量為64個，采樣率為1 000 Hz，根據(jù)實際需求選擇了48個電極。NIRS數(shù)據(jù)由一個具有204個通道的功能性近紅外光譜設(shè)備采集，有24個光點數(shù)量、32個檢測點數(shù)量。數(shù)據(jù)共分為三種成癮程度分類，包括輕度、中度和重度，將輕度標記為0，中度標記為1，重度標記為2。

2.2 數(shù)據(jù)網(wǎng)絡(luò)構(gòu)建

對于EEG數(shù)據(jù)設(shè)計了如圖4所示的EEG神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，主要設(shè)計了四層卷積層和兩層雙向LSTM 層，然后加入了丟棄層、全連接層、Softmax層及輸出分類層[19]。其中，卷積層可以提取腦電特征;雙向LSTM層能夠提取時序特征;池化層能夠減少數(shù)據(jù)量，起到特征提取和壓縮的作用;丟棄層用來解決過擬合的問題;全連接層將輸入乘以權(quán)重矩陣并添加偏置向量，可以將提取的特征綜合。其中，第一個和第二個卷積層的卷積核大小為32，第三個和第四個卷積層的卷積核大小為16，雙向LSTM層的指定輸出大小均為100。

針對NIRS數(shù)據(jù)，設(shè)計了如圖5所示的NIRS神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)[20]。同樣設(shè)計了四層卷積層和兩層雙向LSTM 層，相較于EEG數(shù)據(jù)的網(wǎng)絡(luò)，NIRS數(shù)據(jù)的網(wǎng)絡(luò)將最大池化層改為平均池化層。其中，第一個卷積層的卷積核大小為32，第二個卷積層卷積核大小為16，雙向LSTM層的指定輸出大小均為100。

2.3 特征融合方法

傳統(tǒng)的特征融合方法包括特征的串聯(lián)與并聯(lián)。特征串聯(lián)即對特征進行橫向連接，假設(shè)雙模特征向量為e 和p，維度分別為a 和b，使用串聯(lián)方法融合后，特征向量組合為[e，p]，維度為a+b。特征并聯(lián)即對特征進行縱向連接，融合后的特征向量為e+ip，其中i為虛數(shù)單位，融合特征的維度為a 和b 中的較大者，對于較低維度的向量，融合后相應(yīng)缺失地方則用0補位。

本文對雙模特征進行橫向的連接，特征融合方法如圖6所示，將兩個神經(jīng)網(wǎng)絡(luò)的第二個BiLSTM 層的輸出分別作為EEG和NIRS提取的特征，并將特征進行串聯(lián)[21]。

3 實驗結(jié)果（Experimental results）

在EEG數(shù)據(jù)實驗中，使用的優(yōu)化函數(shù)為自適應(yīng)矩估計（Adaptive Moment Estimation，Adam）優(yōu)化器，最大訓(xùn)練回合數(shù)設(shè)置為100次，初始學(xué)習(xí)率設(shè)置為0.000 5，每次迭代使用的數(shù)據(jù)量設(shè)置為10，數(shù)據(jù)打亂策略設(shè)置為每次迭代均打亂一次。經(jīng)全連接層輸出的分類識別顯示，EEG 的分類準確率為74.2%，訓(xùn)練時長為24 s。

在NIRS數(shù)據(jù)實驗中，使用Adam 優(yōu)化器，最大訓(xùn)練回合數(shù)設(shè)置為150，初始學(xué)習(xí)率設(shè)置為0.000 5，每次迭代使用的數(shù)據(jù)量設(shè)置為10，數(shù)據(jù)打亂策略設(shè)置為每次迭代均打亂一次。經(jīng)全連接層輸出的分類識別顯示，NIRS的分類準確率為85.7%，訓(xùn)練時長為131 s。

多模態(tài)實驗中，分別將EEG和NIRS神經(jīng)網(wǎng)絡(luò)的第二層BiLSTM層輸出的結(jié)果作為特征，然后進行特征融合，最后將融合后的特征利用決策樹、KNN、SVM 進行分類，經(jīng)過十折交叉驗證，得到分類結(jié)果為KNN 的分類準確率最高，達到97.3%，單模態(tài)與雙模態(tài)分類結(jié)果見表1，成癮性識別結(jié)果見表2，混淆矩陣如圖7所示。

根據(jù)表1中的單模態(tài)與雙模態(tài)分類結(jié)果顯示，雙模態(tài)融合后的分類準確率比單模態(tài)有較大的提高，比單模態(tài)NIRS提高了11.6%，比單模態(tài)EEG提高了23.1%。不同的分類器也顯示出不同的分類效果，其中KNN的分類準確率最高，達到97.3%。

目前，對于成癮性的相關(guān)研究中，GU等[9]利用決策層融合的方法和CNN網(wǎng)絡(luò)對毒癮患者所采集的雙模態(tài)數(shù)據(jù)進行識別分類，準確率為63.15%，本文所提方法的分類結(jié)果相較于GU等所提方法，分類準確率有較明顯的提高。對于深度學(xué)習(xí)在雙模態(tài)數(shù)據(jù)上的研究，吳禮祝等[22]利用CNN-BiLSTM 網(wǎng)絡(luò)對睡眠數(shù)據(jù)中的EEG數(shù)據(jù)進行分期實驗，結(jié)果顯示分期的準確率為92.33%。鞠曉慧[23]利用CNN-BiLSTM網(wǎng)絡(luò)對運動想象的EEG數(shù)據(jù)進行分類研究，結(jié)果顯示CNN-BiLSTM能夠有效提高分類精度。綜上所述，本文設(shè)計的CNN-BiLSTM 網(wǎng)絡(luò)框架相較于目前對毒品成癮研究的方法，在網(wǎng)絡(luò)架構(gòu)上，與傳統(tǒng)的CNN或LSTM 網(wǎng)絡(luò)相比，使用了CNN-BiLSTM 組合的方式。在融合方法上，使用了基于特征層融合的方法，避免了決策層融合所帶來的信息損失的問題，從而能獲得較高的分類準確率。

4 結(jié)論（Conclusion）

為了提高雙模態(tài)數(shù)據(jù)的分類準確率，本文提出了一種基于特征層融合的CNN-BiLSTM混合神經(jīng)網(wǎng)絡(luò)模型，并利用EEG和NIRS數(shù)據(jù)進行實驗驗證。實驗結(jié)果表明，在模型構(gòu)造階段，利用CNN提取空間特征和BiLSTM 提取時間特征的特點，能夠充分保留EEG和NIRS的時間維度特征，同時使用CNN和BiLSTM相結(jié)合的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)有效地提高了特征分類識別效果，雙模融合的分類效果也遠高于單模態(tài)分類結(jié)果。本文優(yōu)化了以量表為依據(jù)的成癮程度傳統(tǒng)判斷方式，利用客觀生理數(shù)據(jù)進行成癮程度的識別判斷，可為后續(xù)臨床上的成癮患者治療提供幫助。在未來的研究中，還可以針對不同的雙模態(tài)數(shù)據(jù)進行有針對性的數(shù)據(jù)預(yù)處理，進一步提高神經(jīng)網(wǎng)絡(luò)輸入數(shù)據(jù)的有效性。此外，還可以利用更高效的融合策略提高對有效特征的融合效果，以進一步提高模型的性能。