偏最小二乘回歸模型在EEG特征選擇的應用

劉彥俊，王 力

廣州大學 電子與通信工程學院，廣州 510006

腦機接口（brain computer interface，BCI）是一種將人類大腦和外部設備之間建立通信和控制通路的技術。BCI 系統(tǒng)能夠把人的肢體信息和生理信息轉換為能夠驅動外界器械設備的命令。腦電信號（Electroencephalogram，EEG）具有低成本、高時間分辨率的特點，廣泛應用于腦電接口中，其中運動想象能自發(fā)產生一種可識別的腦電圖信號，不需要外界刺激，特別適合患者的康復訓練和運動控制，因此可以幫助如腦卒中偏癱等有運動障礙的患者得到更加高質量的康復訓練[1]，并已成功應用于神經生物學、心理學等領域。

到目前為止，已經提出了很多方法來提高識別性能，雖然在這一領域已經取得了很多成果，但大多數(shù)算法只能通過進行離線評估，而不能在線評估，是因為在腦機接口領域實驗不能讓被試長時間地每次執(zhí)行相同的誘發(fā)運動來記錄大腦信號，所能得到的訓練樣本數(shù)量非常有限。深度學習模型由于缺乏足夠的數(shù)據(jù)來學習更多可能的特征，使分類器更加健壯和可靠，導致有限的訓練數(shù)據(jù)集無法充分發(fā)揮深度學習模型在BCI 領域的潛力。因此，本文提出了一種自動生成更多人工腦信號數(shù)據(jù)的新方法來克服這一數(shù)據(jù)不足的問題。

腦電信號作為廣泛應用在腦機接口模型中的信號，但是信號弱、低信噪比和空間模糊等特點使得難以提取穩(wěn)定和具有區(qū)分性的特征。因此，特征提取在基于運動想象的腦機接口方向一直是研究熱點。此外，特征選擇可以降低特征維數(shù)和噪聲干擾，所選特征更穩(wěn)定、更具識別力，因此對特征選擇的研究也非常重要。目前常用的特征提取方法有：自回歸模型（autoregressive，AR）[2]，共空間模式（common spatial pattern，CSP）[3]、小波特征[4]等?；诠部臻g模式的方法在1991 年首先被Koles[5]提出可以使用該方法提取腦電信號中包含的特殊成分。緊接著，Müller-Gerking 等人[6]在1999 年首次提出將這一方法應用到運動想象EEG 信號的分類中，它能有效地提取出運動想象信號中事件相關同步和事件相關去同步的特征，使得兩類信號的方差值差異最大化，從而得到具有較高區(qū)分度的特征向量，因此在運動想象特征提取中得到了廣泛的應用。但因為該提取特征方法對冗余信息敏感度高和泛化能力低等缺陷導致影響后續(xù)分類正確率，因此提出一種有效的特征選擇方法是提升分類器模型精度的關鍵。近年來常用的降維方法有主要成分分析（principal components analysis，PCA）[7]、獨立成分分析（independent component correlation，ICA）和線性判別方法等。PCA 是用將高維特征映射到低維特征的這部分特征來表示原始數(shù)據(jù)以此來進行降維，是一種無監(jiān)督學習，雖然提取的數(shù)據(jù)在維度上減少了，去除了特征屬性間的冗余信息，但是提取的主要成分中沒有包含任何類別的信息，可能把有區(qū)分度的特征當作冗余信息刪除。

因此，提出利用偏最小二乘法回歸（partial least squares regression，PLS）對經過共空間模式的數(shù)據(jù)進行特征選擇，解決了PCA 方法中因沒有考慮主成分對輸出變量的解釋能力，方差很小但對輸出變量有很強解釋能力的主成分將會被忽略掉的缺點。

眾所周知，支持向量（support vector machine，SVM）是常應用在兩類信號進行分類的分類器。核函數(shù)及其參數(shù)選擇和誤差懲罰因子的調整可以影響其分類性能，因此采用粒子群優(yōu)化（particle swarm optimization，PSO）對SVM的參數(shù)選擇，采用分類性能最好的參數(shù)作為最佳參數(shù)。

本文提出了一種CSP-PLS特征提取與降維算法，將利用數(shù)據(jù)增強方法對數(shù)據(jù)進行擴充，CSP算法進行特征提取，PLS作為數(shù)據(jù)降維，最后利用PSO-SVM作為分類器。將經過數(shù)據(jù)增強的腦電信號利用CSP-PLS 算法應用到2005 年BCI 競賽集IIIa 中檢驗算法有效性和可行性，分類正確率結果顯示CSP-PLS算法能有效提升腦電信號分類正確率。

1 基于CSP-PLS特征降維算法

1.1 共空間模式（CSP）

CSP 能有效地提取出運動想象信號中事件相關同步和事件相關去同步的特征，使得兩類信號的方差值差異最大化，原理介紹如下：

假設Xh∈RN×T表示經過預處理過后的一次運動想象（h∈{L,R}，L和R分別代表想象左手運動和想象右手運動）的數(shù)據(jù)，N代表通道數(shù)，T代表樣本采樣點數(shù)。計算每一類的運動想象數(shù)據(jù)的平均空間協(xié)方差矩陣表示如下：

1.2 數(shù)據(jù)增強

數(shù)據(jù)增強是通過對訓練數(shù)據(jù)進行變換，生成新樣本的過程，目的是提高分類器的準確性和魯棒性[8]。本文提出利用圖像處理中常用的數(shù)據(jù)增強方法來增加腦電信號的樣本數(shù)量：在原始訓練數(shù)據(jù)的每個特征樣本中加入高斯噪聲，以獲得新的訓練樣本，定義一個高斯隨機變量z的概率密度函數(shù)P：

其中μ代表的是數(shù)學期望，決定著概率密度函數(shù)P的位置，σ代表的是標準差。由于腦電信號是時域包含大量特征信息，因此在數(shù)據(jù)增強時，通常選擇μ=0 的高斯白噪聲。將已經預處理后的腦電數(shù)據(jù)Xh∈RN×T，h∈{L,R}與概率密度函數(shù)P相加得到數(shù)據(jù)增強數(shù)據(jù)Xnoise：

Cnoise表示的是μ=0 的高斯白噪聲。

1.3 偏最小二乘法回歸

PLS是一種多元數(shù)據(jù)分析方法，通過最小化誤差的平方和找到一組數(shù)據(jù)的最佳函數(shù)匹配。建模過程中集成了主成分分析、典型相關分析和線性回歸分析方法的特點，因此在分析結果中，除了可以提供一個更為合理的回歸模型外，還可以同時完成一些類似于主成分分析和典型相關分析的研究內容，實現(xiàn)數(shù)據(jù)降維和回歸建模。偏最小二乘算法主要分為兩種：第一種是多因變量，第二種是單因變量，因為該論文討論是分類問題，即是單因變量問題，對于目標矩陣Y可以精簡利用y向量代替。具體原理如下：

將原始數(shù)據(jù)進行zscore數(shù)據(jù)標準化，即XZ=(Xmean(X))/std(X)，mean函數(shù)是求X矩陣的均值，std函數(shù)是求原始數(shù)據(jù)矩陣的標準差，最終得到標準化矩陣XZ。設有p個自變量X={x1,x2,…,xp}和一個因變量y向量。故自變量組成的數(shù)據(jù)矩陣X是n×p格式，n為樣本點數(shù)，因變量組成數(shù)據(jù)矩陣y為n×1 格式。在X和y中提取出一組潛在成分t1，t1=w1x1+w2x2+…wpxp=wTX，它可以盡可能多的代表自變量數(shù)據(jù)矩陣X，t1與目標變量y的協(xié)方差盡可能最大化。w是代表所對應的投影方向。

計算潛在成分和因變量之間協(xié)方差最大化的極值問題。通過下述公式：

t1盡可能代表矩陣Xfeature包含的信息且t1與因變量y相關程度達到最大。得到t1后可以進行對因變量y的回歸方程構建得到：

將E1作為新的Xfeature，抽取下一個潛在成分t2，直到殘差中包含很少的信息。這一過程循環(huán)操作分別提出自變量組與因變量組的成分，在該論文的標準是當前k個成分解釋因變量的比率達到接近峰值時且后續(xù)增長很少，取前k個潛在成分。

將X中變量的線性組合的PLS 因子，即預測變量得分矩陣作為降維后的特征矩陣。解決了PCA方法沒有考慮主成分對因變量的解釋能力，方差貢獻小但是對因變量具有強解釋能力的主成分給忽略掉的問題，它逐層分解因變量矩陣和自變量矩陣，且結合提取的主成分達到對預期精度后停止提取。

1.4 基于粒子群優(yōu)化的支持向量機

支持向量機是一種屬于監(jiān)督學習算法的機器學習方法，其主要思想將非線性的輸入向量映射到一個高維特征空間中，再通過建立一個最優(yōu)決策超平面，使得該平面兩側距離該平面最近的兩類樣本之間的距離最大化，從而實現(xiàn)對線性可分樣本的最優(yōu)分類[9]。

SVM通過對核函數(shù)及其參數(shù)選擇和誤差懲罰因子的調整可以影響其分類性能，非線性的腦電信號的分類效果與其密切相關，因此選取核函數(shù)和誤差懲罰因子對分類效果十分重要。該論文采用粒子群優(yōu)化對SVM的參數(shù)選擇進行調整和優(yōu)化并利用交叉檢驗方式對其選擇參數(shù)的算法的泛化能力進行衡量，選擇分類性能最好的參數(shù)作為最佳參數(shù)。

PSO 來 源 于1995 年 由Eberhart 博 士 和Kennedy 博士對群鳥覓食過程的行為研究[10]，它的基本核心是通過群體中的個體之間的信息共享從而使這個群體的由無序運動轉換為有序運動，直到尋找到最優(yōu)解。在這使用啟發(fā)式算法PSO進行參數(shù)尋優(yōu)，用網(wǎng)格劃分來尋找最佳的參數(shù)懲罰因子c和核函數(shù)g。對于SVM 參數(shù)優(yōu)化，可以當成對參數(shù)（c，g）的最優(yōu)參數(shù)尋找。算法步驟可分為以下步驟：

（1）將隨機各自生成初始粒子種群Pm和速度Vm，得到一組初始位置。

（2）將當前的（c，g）作為SVM的參數(shù)訓練模型，得到一個識別正確率作為適應值，并與設置的適應值閾值進行比較，若沒有達到滿足則進行位置的更新。

（3）重復步驟（2）直到找到超過適應值閾值的參數(shù)或者是達到最大迭代次數(shù)為止。

介紹完PSO-SVM 算法后，提出了CSP-PLS 算法，它能解決PCA算法降維僅考慮主成分對自變量的解釋程度，缺少對因變量的解釋程度的缺點。CSP-PLS算法描述如下：

（1）利用數(shù)據(jù)增強方法生成人工腦電信號，擴充總腦電信號數(shù)量并依次進行后續(xù)步驟，得到人工腦電信號的特征矩陣組，將其與原始數(shù)據(jù)處理后得到的特征矩陣組進行合并。

（2）經過預處理后的腦電數(shù)據(jù)通過公共空間模式算法濾波，得到能使得兩類運動想象信號的方差值差異最大化的特征向量。

（3）利用PLS 對經過（2）處理的特征向量從特征集合中提取幾組最具有統(tǒng)計意義的潛在成分向量組，達到降維效果。

（4）利用經過粒子群優(yōu)化對懲戒參數(shù)c和核函數(shù)中的gamma函數(shù)參數(shù)進行優(yōu)化，得到最優(yōu)參數(shù)作為支持向量機參數(shù)對特征向量組進行分類。

詳細流程圖如圖1所示。

圖1 腦電信號算法流程圖Fig.1 Flow chart of EEG signal algorithm

2 數(shù)據(jù)集描述

實驗數(shù)據(jù)是來自BCI Competition III data set IIIa，記錄著坐在有扶手的舒適座椅上的被試者四類運動想象任務，包括：左手、右手、腳和舌頭。如圖2所示，該實驗一共包括四個階段，在t=2 s前，被試一直靜坐在座椅上盯著空白屏幕。在t=2 s時刻，電腦將會發(fā)出提醒警示，并在屏幕上顯示一個持續(xù)1 s 的十字符號圖像。當t=3～7 s期間，將會出現(xiàn)一個運行想象任務類別的標志符，被試將在這段時間開始執(zhí)行該類別運動想象任務。

圖2 實驗時序圖Fig.2 Experimental sequence diagram

該數(shù)據(jù)集是由60 個電極采集的信號，信號的采樣頻率為250 Hz，將左乳突作為參考電極，右乳突作為地極。其中K3b 被試選擇左手和右手運動想象各45 次，K6b和l1b被試選擇左手和右手運動想象各30次作為其數(shù)據(jù)集。

將數(shù)據(jù)集采用K-fold交叉檢驗計算分類準確率，即將所有數(shù)據(jù)分成10 等份，訓練集有9 份，測試集有1份。依次將每份都做一次測試集，其余剩下部分作為訓練集，重復進行10次，取其平均值作為最終分類正確率。

3 結果

3.1 預處理

該論文將采用三名健康的被試K3b、K6b、l1b 的數(shù)據(jù)進行分析。大腦在進行運動想象任務時，產生的腦電信號在30 Hz 以下，且表征運動想象一般出現(xiàn)在μ和β節(jié)律，對應的頻段分別是7～13 Hz 和13～30 Hz，因此將數(shù)據(jù)先進行8～30 Hz 的帶通濾波預處理。濾波可以將多種噪聲如：工頻干擾，肌電信號等較為常見的噪聲去掉，盡可能的得到信噪比更高的腦電信號。期間時間，共1 000 個采樣點，有60 個電極，一次想象范式的數(shù)據(jù)格式為60×1 000。

3.2 腦電信號數(shù)據(jù)增強與CSP濾波

以下實驗均以K3b 數(shù)據(jù)進行說明。將經過預處理后的K3b 被試的腦電數(shù)據(jù)進行以不同想象類別進行分段處理，提取4 s運行想象一個類攜帶45個帶標簽的范式，則兩類運動想象的總體數(shù)據(jù)為90×60×1 000。

接著進行數(shù)據(jù)增強步驟，使用的是一個均值為0，方差為4的高斯白噪聲信號以相加的方式進行數(shù)據(jù)增強，具體的公式如式（11）所示。構成一個數(shù)據(jù)格式為90×60×1 000 的新數(shù)據(jù)集，使得總體數(shù)據(jù)擴大了一倍，總體數(shù)據(jù)變?yōu)闉?80×60×1 000，數(shù)據(jù)集得到了擴充。

將得到擴充的數(shù)據(jù)集經過1.1節(jié)所描述的公共空間模式特征提取算法進行計算，得到由所有特征向量矩陣所組成的空間濾波器，即是投影矩陣W，取W的前3列和后3 列組成最終的最優(yōu)空間濾波器，將180 次實驗數(shù)據(jù)經過空間濾波后再進行1.1 節(jié)的公式（9）的特征向量歸一化得到各自的一維特征向量，總特征矩陣的格式為180×6，記為Xfeature。

3.3 PLS降維

將3.2節(jié)經過CSP特征提取后的總特征矩陣Xfeature進行單因變量偏最小二乘算法建模。Xfeature是180×6維格式，即代表有180 次實驗，每個實驗的提取的特征向量由6 個特征值組成。本文將采用PLS 算法后得到的主成分對Xfeature和目標變量y的累計貢獻率作為綜合的參考標準，以確定最終選擇潛在成分的個數(shù)。如圖3和圖4分別表示自變量提取成分貢獻率和因變量提取成分貢獻率。

圖3 主成分對自變量貢獻率Fig.3 Contribution rate of principal component to independent variable

圖4主成分對因變量貢獻率Fig.4 Contributions of principal components to dependent variables

可見當潛在成分個數(shù)為3，已經接近達到累計貢獻因變量解釋程度的峰值，故選擇潛在成分為3。

則用t1、t2和t3這3 個潛在成分作為原始數(shù)據(jù)Xfeature的低維表示，得到降維后格式為180×3特征矩陣。

3.4 數(shù)據(jù)增強前后比較

將經過數(shù)據(jù)增強和PLS降維的特征矩陣進行K-fold交叉檢驗，經過數(shù)據(jù)增強后的數(shù)據(jù)共有180 組實驗，均分為10等份，其中9份作為訓練集，1份作為測試集，以此進行計算分類正確率。將每1份都作為1次測試集得到10次分類正確率后取其平均值作為最終正確率。

BCI IIIa 數(shù)據(jù)集的CSP+PLS+PSO-SVM 方法經過數(shù)據(jù)增強前后的仿真實驗結果如圖5所示。圖5比較數(shù)據(jù)增強前后3 名被試的平均分類正確率結果，其中K6b被試的數(shù)據(jù)分類正確率有較大的提升，為4.89 個百分點，其他兩位被試K3b和l1b也有相應的提高，分別提高了1.73個百分點和3.05個百分點。3位被試提升的平均分類正確率為3.22個百分點，可見數(shù)據(jù)增強方法擴充了原始數(shù)據(jù)集且有效的提升分類正確率。

圖5 數(shù)據(jù)增強前后各被試對比Fig.5 Comparison of subjects before and after data augmentation

3.5 PLS算法與PCA算法比較

與PCA 不同，PLS 充分利用了類別向量y的信息。PCA中，最開始對于自變量X，為了找到能最好地概括原數(shù)據(jù)信息的綜合變量，提取了第1 成分F1，使得F1中含有的原數(shù)據(jù)變異信息可達到最大。而在PLS 分析過程中，先分別在X和y中提取出成分t1和u1，使得這兩個成分盡可能多地攜帶X和y的信息，并且兩者的相關程度能夠達到最大。在腦電信號分類過程中，因變量個數(shù)只有一個，屬于PLS 應用過程中單因變量問題。由此構成了自變量X={x1,x2,…,x p}n×p和因變量y={y1}n×1。其中，n為樣本的數(shù)目，p是特征的數(shù)目。根據(jù)CSP 算法進行特征提取信號，使用PLS 與PCA 兩種特征降維方法得出的特征向量，采用PSO-SVM 分類器進行分類。得到圖6的3位被試的分類結果。由圖可見，3位被試想象運動的所有試驗平均分類正確率經過PLS 算法特征選擇后準確率均有提升，其中，被試K6b達到最高的16.01個百分點，3位被試所有試驗平均分類正確率為88.48%?？梢奝LS 方法有效地提取到區(qū)分度顯著的特征向量，引入了主成分對因變量的解釋能力的方法，解決了PCA方法中因為自變量的方差貢獻小，但是對因變量具有強解釋能力的主成分給忽略掉的問題。

圖6 兩種特征選擇方法分類正確率比較Fig.6 Comparison of classification accuracy between two feature selection methods

3.6 數(shù)據(jù)增強與PLS算法共同作用

從圖7可以看出，分別經過數(shù)據(jù)增強與PLS算法的3 位被試的分類準確率都有不同程度的提高，K6b 被試分類準確率提高最大，分別提高了14.99 個百分點和13.68個百分點。在數(shù)據(jù)增強和PLS組合算法作用下的3名被試結果均達到最高分類準確率，其平均分類準確率達到91.71%，比單獨進行數(shù)據(jù)增強和PLS 算法的分類準確率都有相應的提高，這證明了數(shù)據(jù)增強與PLS結合算法共同作用的有效性。

圖7 數(shù)據(jù)增強與PLS結合算法分類準確率Fig.7 Classification accuracy of algorithm combining data enhancement and PLS

3.7 4種特征提取算法比較

如圖8比較了4種特征提取方法結合各自的分類器模型得出的分類率，分別是CSP-LDS、CSP、WL-CSP 和提出的CSP-PLS 算法。各種算法的分類性能的統(tǒng)計如圖8 所示。從結果顯示出，本文提出的算法與Wu 等人[11]提出的基于LDS 變換的CSP 的腦電信號特征提取算法、CSP算法[12]和Wang等人[13]提出WL-CSP算法的分類準確率相比，均高于3組，其中K3b被試的平均分類正確率為96.90%，l1b 被試的平均分類正確率為94.72%，K6b 被試的平均分類正確率為83.50%?？梢姴捎孟嗤腂CI IIIa 數(shù)據(jù)集的情況下，使用數(shù)據(jù)增強后的數(shù)據(jù)集利用CSP 特征提取后再采用PLS 作為特征選擇算法相比未使用的其他算法是有明顯提高的，本文提出的方法為運動想象信號分類技術準確率提升提供了新的思路。

圖8 4種算法分類正確率比較Fig.8 Comparison of classification accuracy of four algorithms

4 討論與總結

針對信號經過共空間模式的數(shù)據(jù)進行特征選擇，本文提出的PLS方法解決了PCA方法中因沒有考慮主成分對輸出變量的解釋能力、部分主成分的方差很小但其對輸出變量有很強表征能力也會被剔除的缺點。將數(shù)據(jù)增強后得到擴充的數(shù)據(jù)集經過共空間模式濾波提取特征，得到一組特征向量集，再采用偏最小二乘算法進行降維，進一步提取能代表輸入數(shù)據(jù)的主成分，在保證分類正確率的基礎上減少了后續(xù)分類的時間，使整體的算法時常得到簡化，為腦機接口在線分析提供了可行的方法。