事件相關(guān)電位（P300）腦電信號(hào)解碼的兩個(gè)問題及其解決方法

張鴻飛，殷浩鈞，于銀虎，許林峰，岳洪偉，王洪濤

（五邑大學(xué) 智能制造學(xué)部，廣東 江門 529020）

腦機(jī)接口（Brain-Computer Interface,BCI）是上世紀(jì)80年代初興起的一個(gè)非常前沿、活躍的研究領(lǐng)域，具有高度的學(xué)科交叉性，它可以提供一種大腦和外界進(jìn)行信息交換的直接通道.而基于腦電信號(hào)的腦機(jī)接口正成為一種實(shí)用、先進(jìn)的腦機(jī)接口方式[1].其中，事件相關(guān)電位（P300）是小概率刺激發(fā)生后300 ms左右出現(xiàn)的一個(gè)正向波峰.基于 P300的腦機(jī)接口優(yōu)點(diǎn)是由于外在刺激引起的誘發(fā)電位，使用者無(wú)需通過(guò)復(fù)雜訓(xùn)練即可將大腦產(chǎn)生的腦信號(hào)轉(zhuǎn)化為電子設(shè)備的指令[2].雖然 P300具有穩(wěn)定的鎖時(shí)性和高時(shí)間精度特性，但上述特性需要通過(guò)多次迭代才能獲得[3].這就造成腦電信號(hào)解碼面臨的第一個(gè)問題：在 P300腦機(jī)接口系統(tǒng)中既要考慮目標(biāo)的分類準(zhǔn)確率，同時(shí)又要保證一定的信息傳輸速率（Information Translate Rate，ITR），即：在盡可能使用較少輪次（要求輪次數(shù)小于等于 5）的情況下準(zhǔn)確解碼.問題二：原始腦電數(shù)據(jù)量較大，其中包含較多的冗余信息.（在 20個(gè)腦電信號(hào)采集通道中，無(wú)關(guān)或冗余的通道數(shù)據(jù)不僅會(huì)增加系統(tǒng)的復(fù)雜度，且影響分類識(shí)別的準(zhǔn)確率和性能），針對(duì)特定受試者，如何篩選出最優(yōu)的通道組合.

因此本文針對(duì)問題一，首先實(shí)現(xiàn)P300樣本的擴(kuò)展，使得P300誘發(fā)腦電信號(hào)的正、負(fù)樣本均衡.進(jìn)一步提出了一種多尺度卷積神經(jīng)網(wǎng)絡(luò)模型，達(dá)到了較少輪數(shù)和較高準(zhǔn)確率的平衡，取得了較高的ITR.針對(duì)問題二，本文首先設(shè)計(jì)了一個(gè)通道選擇算法，篩選出更有利于分類的面向特定受試者的通道名稱組合.

1 問題一的建模與分析

1.1 問題一分析

由于 P300特定的同步運(yùn)行機(jī)制和信號(hào)微弱性，這就需要多次迭代才可以獲得比較好的分類精度，導(dǎo)致了檢測(cè)時(shí)間較長(zhǎng)[4].因此如何使用較少的重復(fù)次數(shù)來(lái)正確檢測(cè)P300是主要的挑戰(zhàn).為了解決這個(gè)問題，我們?cè)谇捌谘芯炕A(chǔ)上[5-6]建立了一種多尺度卷積神經(jīng)網(wǎng)絡(luò)模型（Multi-scale convolutional neural network，Ms-CNN）.

1.2 腦電信號(hào)預(yù)處理

1）信號(hào)預(yù)處理：為捕捉 P300發(fā)生的過(guò)程，從刺激開始截取0～600 ms的時(shí)間窗，在空間域中產(chǎn)生150（采樣點(diǎn)）×20（通道）矩陣.然后用平均公共參考值導(dǎo)聯(lián)法[7]處理該段，并進(jìn)行去趨勢(shì)、去除平均值等操作，然后以0.1～20 Hz帶通濾波器濾波.這些預(yù)處理方法有助于提高腦電信號(hào)的質(zhì)量，避免工頻干擾影響.

2）特征提?。翰捎脝未螖?shù)據(jù)進(jìn)行進(jìn)一步分析.

3）數(shù)據(jù)增廣：腦電圖數(shù)據(jù)包括隨后不平衡的目標(biāo) P300（T-P300）和非目標(biāo) P300（N-P300），即T-P300數(shù)量為120和N-P300數(shù)量為600.對(duì)于神經(jīng)網(wǎng)絡(luò)，分類精度高度依賴于訓(xùn)練數(shù)據(jù)的數(shù)量.針對(duì)特定訓(xùn)練樣本較少且不平衡問題，本文采用擴(kuò)展單次P300樣本的方式進(jìn)行樣本擴(kuò)充.在實(shí)驗(yàn)中所有的行和列都會(huì)閃爍一次，而包含目標(biāo)字符的行和列只閃爍兩次.為了提高P300的提取，本文使用閃爍次數(shù)為1的P300樣本來(lái)增加樣本數(shù)量.這樣，合成后的T-P300和N-P300數(shù)據(jù)集相等，總數(shù)為1200用于特定受試者遷移學(xué)習(xí)（即T-P300和N-P300均為600）.

4）Ms-CNN網(wǎng)絡(luò)：

L1：輸入層.用于加載待識(shí)別的腦電信號(hào)數(shù)據(jù).

L2：卷積層.它由多個(gè)卷積核組成，其大小等于信號(hào)信道的數(shù)量（即 20）.類似于傳統(tǒng)的信號(hào)統(tǒng)計(jì)處理方法，包括加權(quán)疊加平均和公共空間濾波，這種操作可以在去除冗余空間信息的同時(shí)有效地提高信號(hào)的信噪比.具體計(jì)算過(guò)程如下：

L3：卷積層.該層由 3個(gè)并行排列的卷積層組成.每個(gè)卷積層的卷積核的數(shù)量是相同的，而每個(gè)核的大小是不同的.對(duì)于同一輸入，不同尺度的卷積核可以提取不同的信息，增加特征的復(fù)雜度.在本研究中，對(duì)L2的輸出信號(hào)在不同的時(shí)間尺度上進(jìn)行時(shí)間濾波.這樣可以在不同的時(shí)間段提取數(shù)據(jù)特征以信息最大化.3個(gè)不同尺度的卷積核的卷積運(yùn)算介紹如下：

L4：連接層.從L3層的不同過(guò)濾尺度提取的特征映射被堆疊，這將用于整合提取的特征.

L5：最大池化層.大小為 2的集合過(guò)濾器形成最大池化層，從而讓 L4層獲得的要素地圖數(shù)量最大化.這種合并操作有助于減少網(wǎng)絡(luò)參數(shù)，從而加快計(jì)算速度并防止少量訓(xùn)練樣本的過(guò)度擬合.

L6：卷積層.它是標(biāo)準(zhǔn)的通用卷積層，使用10個(gè)大小為5的卷積核，繼續(xù)對(duì)L5層得到的特征進(jìn)行卷積濾波運(yùn)算，提取更抽象、更深入、更有利于分類的特征.同時(shí)，這種方法減少了最后一個(gè)全連接層的網(wǎng)絡(luò)參數(shù).計(jì)算過(guò)程如下：

其中w代表權(quán)重向量.最后，每行和每列的輸出由softmax函數(shù)以概率的形式獲得.眾所周知，在每一輪重復(fù)中，所有的行和列只閃爍一次，這十二次閃爍中有兩次包含P300.更準(zhǔn)確地說(shuō)，唯一行和唯一列應(yīng)該包含 P300，否則將是對(duì)目標(biāo)字符的錯(cuò)誤預(yù)測(cè).目前工作中的決策策略是找到 P300的最大概率分別形成行和列，如下式所示：

其中r和c代表行和列.Pr和Pc代表P300表格行和列的概率.m代表行數(shù)和列數(shù).一旦確定P300包含的行和列，就可以正確預(yù)測(cè)目標(biāo)字符.

在本研究中，交叉熵?fù)p失函數(shù)用于測(cè)量網(wǎng)絡(luò)的分類誤差.L2層采用正則化方法，以降低過(guò)擬合的風(fēng)險(xiǎn)，系數(shù)設(shè)置為0.04.用梯度下降優(yōu)化器訓(xùn)練權(quán)值初始學(xué)習(xí)率為0.01，衰減率為0.9995，最大重復(fù)次數(shù)為30 000.

1.3 實(shí)驗(yàn)結(jié)果

表1給出了5位受試者5輪測(cè)試結(jié)果.圖1為受試者1的5輪迭代腦電地形圖.

表1 5位受試者第1輪至第5輪的預(yù)測(cè)結(jié)果

圖1 受試者1的五輪迭代腦電地形圖

2 問題二的建模與分析

2.1 問題二分析

需要在20通道腦電信號(hào)采集中，篩選出特定受試者的最優(yōu)通道組合.即：針對(duì)不同的受試者，并移除“不重要”的通道，選出最優(yōu)的通道.為了解決這個(gè)問題，筆者在多尺度卷積神經(jīng)網(wǎng)絡(luò)模型基礎(chǔ)上，采用隨機(jī)森林和遺傳算法進(jìn)行通道選擇，分別獲得了5位受試者的最優(yōu)導(dǎo)聯(lián)組合.

2.2 隨機(jī)森林

隨機(jī)森林（Random forests，RF）是一種集成的機(jī)器學(xué)習(xí)方法[8].它利用隨機(jī)重采樣技術(shù)bootstrap和節(jié)點(diǎn)隨機(jī)分裂技術(shù)構(gòu)建多個(gè)決策樹，然后投票得到最終的分類結(jié)果[9].RF對(duì)噪聲數(shù)據(jù)和缺失數(shù)據(jù)具有良好的魯棒性，學(xué)習(xí)速度快.其可變重要度測(cè)度可以作為高維數(shù)據(jù)的特征選擇工具.近年來(lái)，RF被廣泛應(yīng)用于各種分類、預(yù)測(cè)、特征選擇、離群點(diǎn)檢測(cè)等問題[10-11].

2.3 遺傳算法

遺傳算法是一種隨機(jī)的全局搜索和優(yōu)化方法[12].它可以在搜索過(guò)程中自動(dòng)獲取和積累有關(guān)搜索空間的知識(shí)，并自適應(yīng)地控制搜索過(guò)程以獲得最佳解[13].

遺傳算法從一組隨機(jī)染色體開始優(yōu)化過(guò)程.對(duì)于二進(jìn)制遺傳算法使用以下公式：

其中Xi是第i個(gè)基因，ri是[0,1]中為每個(gè)基因分別生成的一個(gè)隨機(jī)數(shù).在連續(xù)遺傳算法中使用以下等式隨機(jī)初始化基因：

2.4 通道選擇

在 20個(gè)腦電信號(hào)采集通道中，無(wú)關(guān)或冗余的通道數(shù)據(jù)不僅會(huì)增加系統(tǒng)的復(fù)雜度，還影響分類識(shí)別的準(zhǔn)確率和性能.這就需要進(jìn)行通道選擇.通道選擇算法如下：第一步，將預(yù)處理后的二維腦信號(hào)轉(zhuǎn)換為一維，然后利用隨機(jī)森林計(jì)算其權(quán)重.第二步，計(jì)算每個(gè)通道上一維權(quán)重的方差，并通過(guò)方差選擇一些具有“較好”特征的通道.第三步，在遺傳算法的初始種群中選擇第二步處理的一些通道作為部分個(gè)體，然后隨機(jī)生成一些個(gè)體.第四步，使用遺傳算法選擇具有最大曲線下面積（Area under the curve，AUC）的通道，最后使用多尺度卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行分類[15].該算法流程圖如圖2所示.

圖2 通道選擇算法流程圖

特定受試者的通道選擇結(jié)果如圖3所示，紅點(diǎn)為入選電極.

圖3 5位受試者的最優(yōu)通道選擇結(jié)果

2.5 結(jié)果與討論

采用通道選擇后的5位受試者的P300字符解碼預(yù)測(cè)結(jié)果如表2所示.本次測(cè)試包含10個(gè)字符.圖4和圖5是5位受試者在不同輪次下進(jìn)行通道選擇的準(zhǔn)確率和信息傳輸速率.從圖4可以看出，對(duì)于5位受試者其識(shí)別準(zhǔn)確率隨迭代次數(shù)增加呈現(xiàn)總體上升趨勢(shì)，這與我們前期的研究是一致的[16].從圖5可知，隨著輪次的遞增，識(shí)別消耗時(shí)間也隨之遞增，對(duì)于5位受試者信息傳輸速率隨迭代次數(shù)增加呈現(xiàn)總體先升后降的趨勢(shì).

圖4 5位受試者不同輪次進(jìn)行通道選擇及其平均的準(zhǔn)確率

圖5 5位受試者不同輪次進(jìn)行通道選擇及其平均的信息傳輸速率

表2 通道選擇后受試者字符識(shí)別預(yù)測(cè)結(jié)果

綜上，5位受試者進(jìn)行了特定通道選擇后，隨著迭代輪次的增加，時(shí)間消耗增加了；5位受試者的平均準(zhǔn)確率在逐漸增加，最高可達(dá)到 72%；5位受試者平均的信息傳輸速率呈現(xiàn)先遞增后遞減的趨勢(shì)，最高信息傳輸速率為35.7 bits/min.因此采用本文模型可以較好實(shí)現(xiàn)在較少迭代次數(shù)下獲得較高的信息傳輸速率，從而實(shí)現(xiàn)迭代次數(shù)和信息傳輸速率平衡.

3 結(jié)論

本文根據(jù)P300腦電信號(hào)在時(shí)域、頻域的特點(diǎn)完成了P300腦電信號(hào)預(yù)處理，設(shè)計(jì)了多尺度卷積神經(jīng)網(wǎng)絡(luò)模型，進(jìn)一步采用隨機(jī)森林和遺傳算法實(shí)現(xiàn)了腦電信號(hào)的通道選擇，解決了 P300腦電信號(hào)的解碼過(guò)程中特定被試的優(yōu)化通道選擇問題.本文提出的多尺度卷積神經(jīng)網(wǎng)絡(luò)模型具有較好的魯棒性，在2019世界機(jī)器人大賽-腦控機(jī)器人大賽和第十七屆中國(guó)研究生數(shù)學(xué)建模競(jìng)賽C題中均獲得應(yīng)用并取得較好名次.綜上，本文所研究的事件相關(guān)電位（P300）腦電信號(hào)解碼的兩個(gè)問題及其解決方法，對(duì)于P300腦電信號(hào)的有效解碼具有參考意義和應(yīng)用價(jià)值.