李震宇,佘青山,馬玉良,張建海,孫明旭
(1.杭州電子科技大學(xué)圣光機(jī)聯(lián)合學(xué)院,浙江 杭州 310018;2.杭州電子科技大學(xué)自動化學(xué)院(人工智能學(xué)院),浙江 杭州 310018;3.浙江省腦機(jī)協(xié)同智能重點實驗室,浙江 杭州 310018;4.濟(jì)南大學(xué)自動化與電氣工程學(xué)院,山東 濟(jì)南 250022)
腦機(jī)接口(Brain-Computer Interface,BCI)是在人與計算機(jī)或其他電子設(shè)備之間建立的不依賴于常規(guī)大腦信息輸出通路(外周神經(jīng)和肌肉組織)的一種通訊和控制技術(shù)。 腦電信號(Electroencephalogram,EEG)是BCI 系統(tǒng)中最常用的輸入信號,具有高時間分辨率、低成本、高便攜性等優(yōu)勢,因此被廣泛用于輔具控制、醫(yī)療康復(fù)、車輛駕駛,日常生活娛樂等領(lǐng)域[1-3]。
由于腦電信號的非平穩(wěn)性和個體差異性[4],在面對不同的受試者、設(shè)備和不同的任務(wù)時,很難建立一個最優(yōu)的通用機(jī)器學(xué)習(xí)模型。 對于新受試者,模型通常都需要較長時間訓(xùn)練,這個過程既耗時又費力[5]。 遷移學(xué)習(xí)(Transfer Learning,TL)是減少訓(xùn)練時間的重要方法之一,利用不同領(lǐng)域以及相關(guān)任務(wù)的相似性把其他受試者的知識遷移到目標(biāo)受試者的任務(wù)上,來幫助目標(biāo)受試者訓(xùn)練分類模型。 遷移學(xué)習(xí)不僅能夠有效利用己有數(shù)據(jù)來提高數(shù)據(jù)的復(fù)用性,還能減少不同受試者的個體差異。 現(xiàn)在許多研究者已經(jīng)將遷移學(xué)習(xí)成功應(yīng)用于腦電信號識別中,并取得了令人印象深刻的成果。 文獻(xiàn)[6]提出了遷移半監(jiān)督寬度學(xué)習(xí)(Semi-Supervised Broad Learning System with Transfer Learning,TSS-BLS)方法,利用遷移學(xué)習(xí)使標(biāo)記和未標(biāo)記樣本的分布盡可能一致,來降低未標(biāo)記樣本的風(fēng)險從而提高半監(jiān)督算法的安全性。 文獻(xiàn)[7]提出一種子帶目標(biāo)對齊共空間模式(Sub-Band Target Alignment Common Spatial Pattern,SBTACSP)方法,將子帶濾波與遷移學(xué)習(xí)相結(jié)合,提高從子帶中獲取頻率信息的能力,進(jìn)一步提高了分類精度。
大多數(shù)遷移學(xué)習(xí)方法通常在離線環(huán)境下以批量式學(xué)習(xí)的方式進(jìn)行,所使用的訓(xùn)練和測試樣本都是預(yù)先給定的[8-9]。 然而,這種一次性收集到足夠的訓(xùn)練樣本的方式在實際應(yīng)用中可能不適用;另外,在某些情況下,需要按順序接收測試樣本。 而在線學(xué)習(xí)保留了歷史信息,從而避免了從頭開始重復(fù)的批量訓(xùn)練,顯著減少了計算量;在線學(xué)習(xí)還能通過適應(yīng)數(shù)據(jù)動態(tài)產(chǎn)生最新模型,使其能夠處理非平穩(wěn)問題。在線學(xué)習(xí)已被廣泛研究多年,一些在線算法如在線支持向量機(jī)(Support Vector Machine,SVM)[10]、被動攻擊(Passive-Aggressive,PA)算法[11-12]等也在BCI中得到應(yīng)用,具體實例如可穿戴導(dǎo)航系統(tǒng)[13]和基于頭戴式設(shè)備的增強(qiáng)現(xiàn)實(Augmented Reality,AR)系統(tǒng)[14]等。 然而,現(xiàn)有的在線學(xué)習(xí)算法也存在一些不足,如PA 只保持固定的權(quán)重,無法準(zhǔn)確地應(yīng)用在其他應(yīng)用場景或領(lǐng)域;還有一些在線算法通常將所有錯誤分類的樣本存儲為支持向量(SV),這可能會導(dǎo)致計算和內(nèi)存成本過高,盡管可以通過一些算法將存儲的SV 數(shù)目設(shè)定為低于特定閾值[15],但大多數(shù)在線學(xué)習(xí)算法僅利用一階信息并為所有特征分配相同的學(xué)習(xí)率,這可能會導(dǎo)致收斂速度緩慢。
最近,在線遷移學(xué)習(xí)(Online Transfer Learning,OTL)[16]將在線學(xué)習(xí)動態(tài)更新分類模型與遷移學(xué)習(xí)能夠有效利用源域知識的優(yōu)點相結(jié)合,提前收集有標(biāo)記的源域數(shù)據(jù),并以在線方式分多輪接收目標(biāo)域數(shù)據(jù),每輪只接收一個目標(biāo)樣本。 現(xiàn)有的在線遷移學(xué)習(xí)方法側(cè)重于利用源領(lǐng)域的知識在目標(biāo)領(lǐng)域進(jìn)行在線學(xué)習(xí)。 文獻(xiàn)[17]采用基于集成學(xué)習(xí)的策略,利用源域數(shù)據(jù)訓(xùn)練分類器,通過不斷調(diào)整組合權(quán)值使分類器適應(yīng)新的數(shù)據(jù)。 文獻(xiàn)[18]提出多類分類在線遷移學(xué)習(xí)算法(Online Transfer Learning Algorithm for Multi-class Classification,OTLAMC),設(shè)計了新的損失函數(shù)和更新方法,將二分類的在線遷移學(xué)習(xí)拓展至多類當(dāng)中。 文獻(xiàn)[19]提出了一種多源在線遷移學(xué)習(xí)算法(Online Transfer Learning with Multiple Sources,OTLMS),通過自適應(yīng)源域選擇方法,在OTL 過程中遷移多個源域知識。 文獻(xiàn)[20]提出了一種在線分布差異最小化的同構(gòu)在線遷移學(xué)習(xí)(Homogeneous Online Transfer Learning with Online Distribution Discrepancy Minimization, HomOTLODDM)算法,用于減少多個域之間的邊緣分布和條件分布差異。
BCI 技術(shù)的最終目的是在線應(yīng)用,離線應(yīng)用是驗證信號的處理和分析算法,在線應(yīng)用則需要在準(zhǔn)確識別的同時,滿足對算法的實時性和穩(wěn)定性要求。針對在線BCI 系統(tǒng)對實時性的要求,應(yīng)減少算法的計算復(fù)雜度和單次識別時處理數(shù)據(jù)的大小,本文提出了基于樣本遷移的在線腦電分類方法,對跨被試者的運動想象腦電數(shù)據(jù)進(jìn)行在線建模分類。 首先,對腦電數(shù)據(jù)進(jìn)行歐式空間對齊預(yù)處理,提取公共空間模式特征,并完成離線分類器訓(xùn)練。 其次,對單個樣本進(jìn)行在線歐式空間對齊,更新整個樣本空間的協(xié)方差矩陣后再提取CSP 特征,并將在線分類器與離線分類器進(jìn)行組合來對標(biāo)簽進(jìn)行預(yù)測。 同時,通過真實標(biāo)簽計算損失函數(shù)來更新在線分類器和分類器的權(quán)重。 最后,本文分別利用BCI 競賽Ⅳ-Ⅰ和Ⅳ-Ⅱa 的數(shù)據(jù)集對該方法進(jìn)行了測試,并與幾種同類型方法進(jìn)行比較和分析,以驗證所提方法的有效性。
歐式空間對齊[21](Euclidean Space Data Alignment,EA)是一種底層的遷移學(xué)習(xí)算法。 EA 在原理上是將不同用戶的平均協(xié)方差矩陣都對齊到單位矩陣,從而減少域間分布差異。 EA 對齊的對象是原始樣本而非協(xié)方差矩陣,且不改變原始樣本的維度。
對于離線的訓(xùn)練數(shù)據(jù),假設(shè)輸入樣本為X∈Rn×D,其中n為樣本個數(shù),D為每個樣本的特征維度。 那么,可計算其協(xié)方差矩陣的算術(shù)平均值為:
然后樣本通過如下變換:
校準(zhǔn)后,所有n個校準(zhǔn)試驗的平均協(xié)方差矩陣為:
當(dāng)對所有受試者執(zhí)行上述變換后,它們的平均協(xié)方差矩陣都會變成單位矩陣。 因此不同受試者的協(xié)方差矩陣的分布更為相似,而樣本協(xié)方差矩陣是EEG 信號的一個重要統(tǒng)計量,受試者間的個體差異也會變小。
EA 作為一種預(yù)處理方式能夠有效地減小個體差異,降低錯誤分類的風(fēng)險。 在EA 對齊之后,可以使用傳統(tǒng)機(jī)器學(xué)習(xí)算法進(jìn)行分類。
公共空間模式[22](Common spatial pattern,CSP)是一種有效的特征提取方法,被廣泛應(yīng)用于腦電分類。 其基本思想是學(xué)習(xí)空間濾波器,使一類帶通濾波后的腦電信號方差最大,而另一類帶通濾波后的腦電信號方差最小,從而得到差異最大的特征。 給定一條N通道的時空腦電信號X,其中X是一個N×T矩陣,T表示每個通道的樣本數(shù)。 EEG 的歸一化協(xié)方差矩陣如下所示:
每個類別的協(xié)方差矩陣C1和C2,可以通過樣本均值來計算。 CSP 的投影矩陣是:
式中:U是正交矩陣,P是白化特征矩陣。 經(jīng)過投影矩陣Wcsp濾波后,可得特征矩陣:
取特征矩陣的前m行和后m行構(gòu)建矩陣Z=(z1z2…z2m)∈RN×2m,進(jìn)行歸一化處理后可得到特征向量F=(f1f2…f2m)T∈R2m×1。
在同構(gòu)在線遷移學(xué)習(xí)[17](Homogeneous Online Transfer Learning,HomOTL)研究中,源域和目標(biāo)域共享相同的特征空間,定義源域空間為Xs×Ys,其中Xs=Rm,Ys={-1,+1},HomOTL 任務(wù)的目標(biāo)是從目標(biāo)域空間X×Y中的一系列樣本{(xk,yk)|k=1,…,K}中在線學(xué)習(xí)目標(biāo)域上的預(yù)測函數(shù)f(xk)。
在不損失一般性的前提下,假設(shè)預(yù)測函數(shù)采用線性預(yù)測模型,即f(xk)= sign(wTk xk)。 具體來說,在線學(xué)習(xí)任務(wù)的第k輪實驗中,收到一個樣本xk,在
HomOTL 解決方案的基本思想是基于集成學(xué)習(xí)策略。 首先以離線方式用源域中的數(shù)據(jù)構(gòu)造預(yù)測函數(shù)v,以在線方式僅用目標(biāo)域中的數(shù)據(jù)構(gòu)造一個全新的預(yù)測函數(shù)w,然后學(xué)習(xí)一個融合了預(yù)測函數(shù)v和w的集成預(yù)測函數(shù),從而可以從源域遷移知識。
本文提出一種基于樣本遷移的在線腦電分類方法(Online EEG Classification based on Instance Transfer,OECIT),其框架如圖1 所示。
對于源域中的所有受試者腦電數(shù)據(jù),利用EA和CSP 分別對訓(xùn)練數(shù)據(jù)和測試數(shù)據(jù)進(jìn)行預(yù)對齊以及特征提取,訓(xùn)練得到離線分類器。 在線過程中不斷引入新的樣本,并在執(zhí)行在線預(yù)對齊和CSP 后,用所提取特征訓(xùn)練在線分類器。 在線分類器和離線分類器結(jié)合后,對樣本進(jìn)行預(yù)測分類,并與真實標(biāo)簽進(jìn)行比較,從而不斷更新在線分類器以及分類器權(quán)重,之后通過不同的權(quán)重將兩個分類器結(jié)合,來預(yù)測標(biāo)簽信息。
首先,本文對基于離線的歐式空間方法進(jìn)行改進(jìn),提出一種在線歐式空間對齊算法(Online Euclidean Space Data Alignment,OEA),目的在于能夠通過在線的方式來對EEG 數(shù)據(jù)進(jìn)行預(yù)對齊。 對于在線的測試數(shù)據(jù),假設(shè)目標(biāo)域一共有K個樣本,為{(xk,yk)|k=1,…,K}。 在第k輪,有樣本(xk,yk)輸入,目標(biāo)域信號矩陣更新為:
求取其協(xié)方差矩陣的算數(shù)平均值為:
式中:nk為第k輪樣本總數(shù),Xk,i為第k輪第i次目標(biāo)域信號矩陣,ˉEk為第k輪目標(biāo)域樣本歐幾里得均值,對目標(biāo)域空間進(jìn)行如下變換:
式中:Xk為第k輪的目標(biāo)域信號矩陣,~Xk為第k輪對齊后的目標(biāo)域信號矩陣。 每次樣本的加入,會使協(xié)方差矩陣的算術(shù)平均值更新,通過每一輪樣本進(jìn)行變換,使測試數(shù)據(jù)的協(xié)方差矩陣的分布越來越相近。
本文將OEA 與HomOTL 的兩種算法結(jié)合,提出以下兩種在線的腦電分類算法:
①OECIT-Ⅰ
為了于在線學(xué)習(xí)任務(wù)的第k輪中有效地組合兩個預(yù)測函數(shù)v和wk,同質(zhì)在線遷移算法HomOTL-Ⅰ分別為這兩個預(yù)測函數(shù)引入了兩個組合加權(quán)參數(shù)α1,k和α2,k。 在第k步,給定一個樣本xk,通過式(8)和式(9)對其進(jìn)行OEA 處理后,再使用CSP 提取特征~xk,并通過以下預(yù)測函數(shù)預(yù)測其類標(biāo)簽:
算法1 OECIT-Ⅰ
接收真實標(biāo)簽:yk={-1,+1}計算下一輪的權(quán)重:α1,k+1= α1,ksk(v)α1,ksk(v)+α2,ksk(wk),α2,k+1= α2,ksk(wk)α1,ksk(v)+α2,ksk(wk)計算損失函數(shù):?k=[1-ykwTk~xk]+if ?k>0 then wk+1=wk+τkyk~xk,其中τk=min{C,?k/‖~xk‖2}end if end for
②OECIT-Ⅱ
HomOTL-Ⅱ為錯誤驅(qū)動算法,與HomOTL-Ⅰ相比,除了引入了兩個組合加權(quán)參數(shù)α1,k和α2,k外,還增加了權(quán)重參數(shù)θ1,k和θ2,k。 在第k步,給定一個樣本xk,在OEA 預(yù)處理和特征提取后,得到特征~xk,通過以下預(yù)測函數(shù)預(yù)測其類標(biāo)簽:
式中:β∈(0,1)是一個折扣權(quán)重參數(shù),初始化θ1,1=θ2,1=1 用于懲罰在每個學(xué)習(xí)步驟執(zhí)行錯誤預(yù)測的分類器,Zi,k=Ⅱ(ykvT~xk≤0)表示相應(yīng)的分類器對樣本特征~xk的預(yù)測是否出錯,如果括號內(nèi)的條件成立,則等于1,否則為0。 算法2 總結(jié)了所提出的OECIT-Ⅱ算法。
算法2 OECIT-Ⅱ
if ?k>0 then wk+1=wk+τkyk~xk,其中τk=min{C,?k/‖~xk‖2}end if α1,k=θi,k Θk其中i=1,2,Θk=∑2 i=1θi,k end for
本文采用的數(shù)據(jù)集來自于“BCI Competition IV”中的公開數(shù)據(jù)集[23],包括數(shù)Dataset Ⅰ和DatasetⅡa。 下面對兩個數(shù)據(jù)集進(jìn)行簡單介紹。
①MI1:DatasetⅠ
數(shù)據(jù)集由7 名健康受試者的腦電數(shù)據(jù)組成。 每個受試者的數(shù)據(jù)由受試者的左手、右手和腳三個類別中選擇兩個類別運動想象的腦電圖組成,每類有100 次試驗。 每次實驗信號均使用59 個電極進(jìn)行記錄,電極位置采用國際10/20 系統(tǒng)。 59 個通道的EEG 信號被記錄并以100 Hz 采樣。
②MI2:Dataset Ⅱa
數(shù)據(jù)集由9 名健康受試者的腦電數(shù)據(jù)組成。 每個受試者的數(shù)據(jù)由一個受試者的左手、右手、腳和舌頭四類運動想象的腦電圖組成,每類有72 次試驗。每次實驗信號均使用25 個電極進(jìn)行記錄,電極位置采用國際10/20 系統(tǒng)。 22 個通道的EEG 信號和3個通道的EOG 信號被記錄并以250 Hz 采樣。 本文主要選取左手和右手的22 通道EEG 數(shù)據(jù)。
2 個數(shù)據(jù)集的實驗過程類似,任務(wù)開始時,屏幕會出現(xiàn)正十字符號“+”,提示用戶做好準(zhǔn)備。 2 s~6 s之間會在正十字符號“+”上疊加一個方向的箭頭,對應(yīng)受試者需要完成的運動想象任務(wù)。 之后2 s 黑屏,用戶可以休息。
本文采用MATLAB 中的EEGLAB 工具箱來對數(shù)據(jù)集進(jìn)行預(yù)處理。 首先使用帶通濾波器在[8,30] Hz 的頻率濾波,以去除肌肉偽跡,噪音污染等。之后提取動作提示箭頭出現(xiàn)后的[0.5,3.5] s 之間的EEG 信號,作為數(shù)據(jù)集樣本。
本節(jié)使用運動想象數(shù)據(jù)集Ⅰ和Ⅱa 來測試OECIT-Ⅰ和OECIT-算法的性能,并將之與幾種同類型方法進(jìn)行比較。 在聯(lián)想Lenovo G50-70M 筆記本上執(zhí)行實驗測試,具體配置為Intel Core i5-4258U CPU@ 2.40GHz,8GB 內(nèi)存,512GB 固態(tài)硬盤,運行64 位windows 10 專業(yè)版以及MATLAB 2018b。
對每一個數(shù)據(jù)集,采用留一法確定目標(biāo)受試者和源受試者,即每次試驗選取一個受試者作為目標(biāo)受試者,其他為源受試者,直到所有受試者都經(jīng)過一輪選擇。 實驗開始時,只有源受試者的數(shù)據(jù),而沒有目標(biāo)受試者數(shù)據(jù),利用源受試者的數(shù)據(jù)先構(gòu)建離線模型。為了模擬在線過程,對于目標(biāo)受試者的數(shù)據(jù)進(jìn)行20次隨機(jī)排列,進(jìn)行20 次在線測試,最終取20 次結(jié)果的平均值。 在實驗過程中,不斷獲得目標(biāo)受試者的已標(biāo)記樣本,然后通過這些已標(biāo)記樣本不斷更新在線模型,并將其用于接下來的目標(biāo)受試者樣本預(yù)測。
在本文實驗中,用于比較的幾種算法包括:
①基準(zhǔn)算法PAIO[24]:舊分類器初始化被動攻擊算法(PA Initialized with the Old classifier,PAIO)為在線算法PA 算法的變體,這是一種沒有使用預(yù)對齊和源域知識的算法。
②EA-CSP-LDA[21]:預(yù)對齊的遷移方法,先使用EA 對齊不同受試者,再進(jìn)行CSP 濾波,最后使用的是LDA 分類器。
③CA-JDA[25]:以協(xié)方差矩陣質(zhì)心對齊作為預(yù)處理步驟,減少不同域的邊際概率分布偏移,并實現(xiàn)從多個源域的轉(zhuǎn)移。
④RA-MDRM[26]:一種黎曼空間方法,將協(xié)方差矩陣相對于參考協(xié)方差矩陣居中。
⑤OECIT-Ⅰ:在線預(yù)對齊算法OEA 結(jié)合同質(zhì)在線遷移算法HomOTL-Ⅰ。
⑥OECIT-Ⅱ:在線預(yù)對齊算法OEA 結(jié)合同質(zhì)在線遷移算法HomOTL-Ⅱ。
表1 和表2 給出了不同算法在兩個數(shù)據(jù)集的性能表現(xiàn),對兩個數(shù)據(jù)集共16 名受試者,CA-JDA 算法的表現(xiàn)最差,其次是RA-MDRM,表現(xiàn)最好的是EACSP-LDA,這表明EA 算法更適合用于在線預(yù)對齊處理。 EA+CSP+LDA 的遷移方法要優(yōu)于基準(zhǔn)算法PAIO,但分類結(jié)果并沒有取得最好的性能,這說明了開發(fā)在線更新分類器的重要性。 通過結(jié)合同質(zhì)在線遷移算法提出了OECIT-Ⅰ和OECIT-Ⅱ算法,OECIT-Ⅱ算法與OECIT-Ⅰ算法相比,改變了權(quán)重更新和標(biāo)簽預(yù)測方法,擁有更高的在線分類精度,并在大部分受試者中都獲得了最好的性能,說明OECIT-Ⅱ權(quán)值更新方法在腦電數(shù)據(jù)在線分類中能更夠有效地遷移源域知識。 在所有算法中OECIT-Ⅱ算法的平均準(zhǔn)確率最高,這意味著通過結(jié)合在線預(yù)對齊和在線遷移學(xué)習(xí)算法,能夠提高遷移學(xué)習(xí)算法的在線分類性能。
表1 MI1 數(shù)據(jù)集上的在線分類準(zhǔn)確率比較
表2 MI2 數(shù)據(jù)集上的在線分類準(zhǔn)確率比較
表3 比較了幾種算法在計算耗費時間上的差異,可以觀察到,RA-MDRM 和CA-JDA 算法耗時都過長,PAIO 作為在線算法耗時最少。 OECIT 因為增加了在線預(yù)處理的步驟,耗時比PAIO 要多;而相較于EA-CSP-LDA 算法,OECIT 要快1.27 ~1.37 倍,且不同數(shù)據(jù)集上耗時的方差更小。
表3 不同算法的分類耗時比對
圖2 和圖3 是對MI1 和MI2 的數(shù)據(jù)集進(jìn)行樣本分析的結(jié)果,分別顯示出了每種算法在目標(biāo)受試者上的學(xué)習(xí)過程中平均正確率變化的細(xì)節(jié),誤差線表示正確率的標(biāo)準(zhǔn)差。 由于一開始進(jìn)入樣本數(shù)量較少,存在標(biāo)準(zhǔn)差較大的情況,隨著樣本數(shù)不斷增加,標(biāo)準(zhǔn)差會越來越小。 在兩個數(shù)據(jù)集共16 名受試者中,OECIT-Ⅰ和OECIT-Ⅱ在14 名受試者上的平均準(zhǔn)確率變化都比EA-CSP-LDA 更好,說明帶有加權(quán)更新策略的算法更適合進(jìn)行在線分類。 相似的觀察結(jié)果表明,這兩種算法在接收到少量的樣本(例如少于100 個樣本)后性能最好,這意味著這兩種算法所采用的策略可以有效地將所學(xué)知識從源域遷移到目標(biāo)域,再次驗證了OECIT 方法的高學(xué)習(xí)效率。
圖2 MI1 數(shù)據(jù)集上在線分類準(zhǔn)確率隨樣本數(shù)量變化曲線
圖3 MI2 數(shù)據(jù)集上在線分類準(zhǔn)確率隨樣本數(shù)量變化曲線
本文提出一種基于樣本遷移的在線腦電分類方法,首先通過離線方式對訓(xùn)練數(shù)據(jù)進(jìn)行EA 和CSP處理得到特征來訓(xùn)練離線分類器,其次以在線方式將測試數(shù)據(jù)分成許多樣本,每次只加入一個樣本進(jìn)行OEA 和CSP 特征提取,用于訓(xùn)練在線分類器,然后將離線分類器與在線分類器進(jìn)行加權(quán)組合,來進(jìn)行標(biāo)簽預(yù)測。 OEA 能夠很好地消除由于個體差異而造成的負(fù)遷移,而在線遷移的權(quán)值更新策略能夠有效地遷移源域知識。 在兩個公開數(shù)據(jù)集上的實驗結(jié)果表明,在線分類場景應(yīng)用下,本文方法的分類性能要優(yōu)于現(xiàn)有基準(zhǔn)方法。 本文所做工作驗證了在線遷移學(xué)習(xí)應(yīng)用于運動想象腦電信號識別的有效性,可為腦機(jī)接口在線系統(tǒng)提供方法參考。