融合深度和淺層特征的多視角癲癇檢測(cè)算法*

田曉彬，鄧趙紅，王士同

江南大學(xué)數(shù)字媒體學(xué)院，江蘇無錫 214122

1 引言

全球大約有1%～2%的人患有癲癇。盡管大多數(shù)患有癲癇的人在癲癇未發(fā)作期間和正常人無異，但癲癇突然發(fā)生時(shí)的不可預(yù)測(cè)性是其導(dǎo)致病人殘疾甚至死亡的主要原因，這種發(fā)作的不確定性嚴(yán)重影響病人的生活。EEG信號(hào)是一種記錄大腦神經(jīng)元活動(dòng)的重要信號(hào)，它通過使用電生理指標(biāo)來記錄大腦活動(dòng)時(shí)產(chǎn)生的大腦皮層的電波變化，是大腦神經(jīng)元活動(dòng)在大腦皮層的總體反映。在生物醫(yī)學(xué)研究方向的電信號(hào)研究中，癲癇發(fā)作時(shí)，由于大腦神經(jīng)元的異常放電，導(dǎo)致此時(shí)的EEG信號(hào)和正常狀態(tài)下的EEG信號(hào)是不相同的，因此通過識(shí)別EEG信號(hào)來檢測(cè)癲癇是否發(fā)作是一種有效的癲癇檢測(cè)方法。

隨著機(jī)器學(xué)習(xí)的發(fā)展，越來越多的智能算法被運(yùn)用到EEG信號(hào)的癲癇檢測(cè)，例如支持向量[1-2]、樸素貝葉斯[3]、神經(jīng)網(wǎng)絡(luò)[4]和模糊邏輯系統(tǒng)[5-6]等分類方法，以及主成分分析（principal component analysis，PCA）[7]、小波包分解（wavelet packet decomposition，WPD）[1,8]、高階交叉（higher order crossings，HOC）[9]等特征提取方法。這些方法首先對(duì)原始特征進(jìn)行特征提取，使用獲得的新特征訓(xùn)練出一個(gè)分類模型，然后使用訓(xùn)練好的模型進(jìn)行預(yù)測(cè)，從而達(dá)到癲癇檢測(cè)的功能。雖然已有很多的特征提取和分類方法運(yùn)用于EEG癲癇檢測(cè)中，但如何提取有效的含有豐富鑒別信息的特征用于后續(xù)的有效檢驗(yàn)依然是一個(gè)重要的挑戰(zhàn)。

近年來，深度學(xué)習(xí)作為一種機(jī)器學(xué)習(xí)方法，在特征學(xué)習(xí)等方面受到了廣泛關(guān)注。深度學(xué)習(xí)通過期望的輸出來學(xué)習(xí)到每一層的權(quán)重，層次結(jié)構(gòu)的每一層都對(duì)特征進(jìn)行調(diào)整來獲得更可能得到期望輸出的特征，即每一層都對(duì)輸入特征進(jìn)行了優(yōu)化學(xué)習(xí)，從而獲得越來越有鑒別性的特征。近些年來，深度學(xué)習(xí)技術(shù)在EEG信號(hào)處理方面已得到有效應(yīng)用，有研究[10-12]使用不同的特征提取方法得到EEG信號(hào)的特征，然后利用卷積神經(jīng)網(wǎng)絡(luò)來對(duì)得到的特征進(jìn)行癲癇檢測(cè)。

多視角學(xué)習(xí)技術(shù)是通過考慮不同視角之間的多樣性來從多視角數(shù)據(jù)中學(xué)習(xí)的方法[13-14]，根據(jù)多視角學(xué)習(xí)技術(shù)之間的相似點(diǎn)和不同點(diǎn)，多視圖學(xué)習(xí)算法可以被分為三種：（1）協(xié)同訓(xùn)練；（2）多核學(xué)習(xí)；（3）子空間學(xué)習(xí)。雖然三種方法存在顯著差異，但它們主要利用共識(shí)原則或互補(bǔ)原則來確保多視角學(xué)習(xí)的成功。多視角學(xué)習(xí)技術(shù)也被廣泛地應(yīng)用到EEG信號(hào)的癲癇檢測(cè)中，通過多種特征提取方法獲得EEG信號(hào)的多視角數(shù)據(jù)，然后使用多視角學(xué)習(xí)技術(shù)來進(jìn)行癲癇檢測(cè)[6,15]。

為了使用EEG信號(hào)構(gòu)建出有效的特征用于癲癇檢測(cè)，本文利用深度學(xué)習(xí)和多視角學(xué)習(xí)技術(shù)，提出了融合深度和淺層特征的多視角分類算法。由于EEG信號(hào)具有多種不同的淺層特征，如頻域特征、時(shí)頻域特征、非線性特征等，因此對(duì)多個(gè)不同的淺層特征進(jìn)行深度特征提取得到深度特征，并將深度特征和淺層特征一起構(gòu)造出多視角數(shù)據(jù)集。進(jìn)一步，使用多視角學(xué)習(xí)技術(shù)對(duì)多視角特征集進(jìn)行分類，從而實(shí)現(xiàn)癲癇檢測(cè)的功能。

本文提出的算法可概括為如下三部分：

（1）EEG信號(hào)淺層特征的獲取：EEG信號(hào)有很多構(gòu)建淺層特征的方法，用不同方式構(gòu)造出的淺層特征都具有一定的效果，也各有優(yōu)缺點(diǎn)。為了將不同方法構(gòu)造的淺層特征的優(yōu)勢(shì)結(jié)合起來，獲取多個(gè)不同的淺層特征來進(jìn)行癲癇的檢測(cè)。本文使用的淺層特征包括使用快速傅里葉變換（fast Fourier transform，F(xiàn)FT）和WPD獲取EEG信號(hào)的頻域淺層特征、時(shí)頻域淺層特征。

（2）EEG信號(hào)深度特征的獲?。簽榱颂岣逧EG信號(hào)淺層特征的有效性并且獲得更具有泛化能力的特征，本文使用卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural networks，CNN）對(duì)EEG信號(hào)的淺層特征進(jìn)行深度特征學(xué)習(xí)來構(gòu)造出深度特征。相對(duì)于淺層特征，EEG信號(hào)的深度特征具有更小的數(shù)據(jù)維度和更高的分類效果。

（3）分類器的構(gòu)建和分類的決策：將EEG信號(hào)的淺層特征和深度特征看作一個(gè)多視角特征集。構(gòu)造出多視角分類器，基于多視角分類器的輸出結(jié)果來進(jìn)行是否發(fā)作癲癇的決策。

融合深度和淺層特征的多視角分類算法集合淺層特征和利用深度學(xué)習(xí)技術(shù)獲得的深度特征，再利用多視角學(xué)習(xí)技術(shù)進(jìn)行決策。深度學(xué)習(xí)的深層次結(jié)構(gòu)優(yōu)化特征表示；淺層特征保留EEG信號(hào)的原始信息，減少信息損失；多視角技術(shù)有效地利用每個(gè)視角特征的獨(dú)立性和視角特征之間的相關(guān)性。將淺層特征、深度特征和多視角學(xué)習(xí)技術(shù)有效結(jié)合可以充分提取EEG信號(hào)中的有效信息，提高分類器的泛化能力。

2 相關(guān)工作

本章將對(duì)本文所提方法的相關(guān)工作進(jìn)行簡(jiǎn)要介紹，包括使用EEG信號(hào)進(jìn)行癲癇檢測(cè)的意義，以及將機(jī)器學(xué)習(xí)技術(shù)、深度學(xué)習(xí)技術(shù)以及多視角學(xué)習(xí)技術(shù)應(yīng)用在EEG癲癇檢測(cè)方面的進(jìn)展。

2.1 癲癇檢測(cè)

生物信息學(xué)、醫(yī)學(xué)圖像處理和生物信號(hào)處理等都是智能技術(shù)在生物醫(yī)學(xué)上面的應(yīng)用。生物信息學(xué)研究蛋白質(zhì)和基因信息；醫(yī)學(xué)圖像處理主要包括分析CT、NMR等；生物信號(hào)處理就是對(duì)EEG、ECG等電信號(hào)的研究。EEG信號(hào)是人體腦部神經(jīng)元活動(dòng)的表現(xiàn)，包含著很多人體生理活動(dòng)的信息，EEG信號(hào)已被廣泛地應(yīng)用于癲癇檢測(cè)領(lǐng)域。癲癇檢測(cè)通常表示使用自動(dòng)算法對(duì)病人的生物信號(hào)進(jìn)行分析來判斷癲癇病人是否正在發(fā)作癲癇或者已經(jīng)發(fā)作癲癇。癲癇檢測(cè)的重要目標(biāo)是如何盡可能快速地有效地執(zhí)行此轉(zhuǎn)換。近年來，多種用于癲癇檢測(cè)的算法[5,16]已被提出，并達(dá)到了一定的效果。

2.2 基于機(jī)器學(xué)習(xí)的EEG癲癇檢測(cè)

近些年來有很多機(jī)器學(xué)習(xí)技術(shù)被用到EEG信號(hào)的自動(dòng)癲癇檢測(cè)中。Wang等人[17]使用隨機(jī)森林（random forest，RF）、C4.5、支持向量機(jī)（support vector machine，SVM）+RF、SVM+C4.5四種方法進(jìn)行EEG癲癇檢測(cè)，發(fā)現(xiàn)RF具有最好分類效果。Zhang等人[18]采用小波包分解提取的近似熵和樣本熵作為特征，然后利用支持向量機(jī)和極限學(xué)習(xí)機(jī)作為分類器進(jìn)行EEG癲癇檢測(cè)。Yang等人[19]使用WPD和KPCA（kernel principal component analysis）進(jìn)行特征降維，進(jìn)一步使用TSK模糊邏輯系統(tǒng)作為分類器進(jìn)行癲癇檢測(cè)。這些算法都在癲癇檢測(cè)方面取得了一定的效果。

隨著深度學(xué)習(xí)的發(fā)展，堆疊自動(dòng)編碼器[20-22]、深度信念網(wǎng)絡(luò)[23-25]、卷積神經(jīng)網(wǎng)絡(luò)[26-28]、循環(huán)神經(jīng)網(wǎng)絡(luò)[29-32]等經(jīng)典深度學(xué)習(xí)算法都被有效地運(yùn)用到生物醫(yī)學(xué)中。近年來，已有一些工作嘗試使用卷積神經(jīng)網(wǎng)絡(luò)來處理EEG信號(hào)，并且取得了不錯(cuò)的效果。Antoniades等人[10]通過卷積神經(jīng)網(wǎng)絡(luò)對(duì)原始EEG信號(hào)進(jìn)行一維卷積來預(yù)測(cè)癲癇發(fā)作；Cecotti等人[11]通過對(duì)原始信號(hào)進(jìn)行傅里葉變換來將EEG信號(hào)轉(zhuǎn)換到頻域，然后使用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行分類；Mirowski等人[12]使用特征處理將原始EEG信號(hào)編碼為像素顏色以形成二維模式，然后將編碼后的數(shù)據(jù)應(yīng)用于癲癇預(yù)測(cè)。

2.3 多視角學(xué)習(xí)技術(shù)

多視角學(xué)習(xí)算法是針對(duì)擁有不同視角特征的數(shù)據(jù)集發(fā)展起來的機(jī)器學(xué)習(xí)算法。由于引入的多視角協(xié)作學(xué)習(xí)機(jī)制可以有效地利用每個(gè)視角的視角獨(dú)立性和學(xué)習(xí)過程中不同視角之間的相關(guān)性，因此可以獲得比原始單視角數(shù)據(jù)更好的建模效果。典型相關(guān)性分析（canonical correlation analysis，CCA）[33-34]、協(xié)同訓(xùn)練co-training[35-36]、稀疏多視角SVM[37]等是常用的多視角算法，并且在不同多視角數(shù)據(jù)應(yīng)用場(chǎng)景已取得了較單視角方法更好的效果。近些年來的一些工作將多視角技術(shù)應(yīng)用在EEG信號(hào)的癲癇檢測(cè)中。Spyrou等人[15]通過對(duì)EEG多視角特征使用張量分解來得到新的特征進(jìn)行癲癇檢測(cè)，相關(guān)研究結(jié)果表明提取得到的新的特征具有更好的分類效果；Jiang等人[6]提出了基于多視角學(xué)習(xí)框架和模糊系統(tǒng)結(jié)合的多視角EEG信號(hào)癲癇檢測(cè)的方法。

2.4 TSK模糊系統(tǒng)

定義TSK模糊系統(tǒng)的模糊推理規(guī)則如下：

其中，xg是通過模糊規(guī)則將原始輸入x映射到新的特征空間的向量，pg為TSK模糊系統(tǒng)中的規(guī)則構(gòu)建出來的模糊規(guī)則的后件參數(shù)。許多算法都可以用于求解TSK模糊系統(tǒng)的后件參數(shù)，Deng等人[1]使用了一種有效的優(yōu)化算法。在這個(gè)算法中，TSK模糊系統(tǒng)的目標(biāo)函數(shù)定義如下：

其中，第一項(xiàng)期望學(xué)習(xí)到最優(yōu)的pg,j來對(duì)訓(xùn)練樣本進(jìn)行分類；第二項(xiàng)為正則化項(xiàng)，給TSK模糊系統(tǒng)進(jìn)行一定的懲罰，提高TSK模糊系統(tǒng)的泛化能力，即在未知的測(cè)試集上也能達(dá)到很好的效果。λ為正則化參數(shù)，用來權(quán)衡正則化項(xiàng)懲罰的大小。

計(jì)算?(JMV_TSK_FS)/?(wk)=0時(shí)的解，來獲得最優(yōu)的后件參數(shù)pg。pg的最優(yōu)值可以通過以下公式計(jì)算得到：

3 融合深度和淺層特征的多視角分類算法

本文通過對(duì)原始EEG信號(hào)使用FFT和PWD來獲取頻域淺層特征和時(shí)頻域淺層特征，然后對(duì)淺層特征進(jìn)行深度特征提取，得到頻域深度特征和時(shí)頻域深度特征，最后對(duì)深度和淺層特征進(jìn)行多視角模型學(xué)習(xí)。

3.1 融合深度和淺層特征的多視角分類算法

本文提出的方法包含三個(gè)核心的部分：EEG信號(hào)淺層特征的獲取；EEG信號(hào)深度特征的獲??；多視角分類器的學(xué)習(xí)。圖1詳細(xì)描述了本文方法的基本框架。

3.2 EEG信號(hào)的淺層特征獲取

Fig.1 Framework of proposed method圖1 本文方法框架

原始EEG信號(hào)為時(shí)序信號(hào)，由不同頻率的信號(hào)累加而成。雖然具有很好的時(shí)間特性，但是并不能很好地表現(xiàn)出信號(hào)的基本頻率特征。為了獲得信號(hào)的頻率特征，使用傅里葉變換將信號(hào)從時(shí)域轉(zhuǎn)換到頻率域。根據(jù)傅里葉變換可知，任何連續(xù)的周期信號(hào)都可以轉(zhuǎn)換到頻域，但傅里葉變換的基礎(chǔ)是信號(hào)為周期信號(hào)，EEG信號(hào)越長(zhǎng)周期性就越小，得到的頻域特征越不準(zhǔn)確。小波變換可以將信號(hào)轉(zhuǎn)換到時(shí)頻域中進(jìn)行分析，獲得各個(gè)時(shí)間點(diǎn)的瞬時(shí)頻率，由此既保留信號(hào)的時(shí)間順序，又因?yàn)橛?jì)算瞬時(shí)頻率時(shí)信號(hào)長(zhǎng)度很短所以得到的頻率更為準(zhǔn)確。基于上述分析，本文從原始EEG信號(hào)中抽取出頻域和時(shí)頻域兩個(gè)視角的淺層特征。

3.2.1 頻域淺層特征構(gòu)建

EEG信號(hào)具有很大的復(fù)雜性，被看成是不同頻率信號(hào)疊加形成的。根據(jù)研究發(fā)現(xiàn)，EEG信號(hào)的頻率主要處于0 Hz到60 Hz之間，主要分為6個(gè)頻率區(qū)間：Delta-1(0～2 Hz)、Delta-2(2～4 Hz)、Theta(4～8 Hz)、Alpha(8～15 Hz)、Beta(15～30 Hz)、Gamma(30～60 Hz)。

為了在減少頻域淺層特征的維度的同時(shí)又可以較好地保留原始EEG信號(hào)的信息，本文設(shè)置離散傅里葉變換后的頻率采樣間隔為1 Hz，選取4 Hz到30 Hz之間的頻率來構(gòu)建頻域淺層特征[38-39]。圖2即為原始EEG信號(hào)轉(zhuǎn)化得到的頻域淺層特征，其中橫軸代表頻率，縱軸代表振幅。

Fig.2 Frequency domain shallow features of EEG signals圖2 EEG信號(hào)的頻域淺層特征

3.2.2 時(shí)頻域淺層特征構(gòu)建

信號(hào)的時(shí)頻特征能描述信號(hào)在各個(gè)時(shí)間點(diǎn)下的瞬時(shí)頻率，即在保留信號(hào)的時(shí)間特征之外有效計(jì)算出信號(hào)的頻域特征。小波分解是一種常用的將信號(hào)轉(zhuǎn)換到時(shí)頻域的方法。小波變換將傅里葉變換的三角函數(shù)基轉(zhuǎn)換成小波函數(shù)基，小波函數(shù)中有兩個(gè)變量：尺度a和平移量τ。尺度控制小波變換的伸縮即頻率，平移量控制小波變換的平移即時(shí)間。由這兩個(gè)變量控制的小波變換可以對(duì)信號(hào)逐步進(jìn)行多尺度的細(xì)化，從而達(dá)到自適應(yīng)時(shí)-頻信號(hào)分析的要求。

WPD是小波變換的一種常用方法[18,40]。本文使用WPD來獲得EEG信號(hào)的時(shí)頻域淺層特征，采用的小波基函數(shù)為Daubechies（dbN）。dbN小波具有較好的正則性，隨著階次的升高消失矩階數(shù)增大，光滑性就變得越好，頻域的局部化能力越強(qiáng)，頻帶的劃分效果就越好。但過大的消失矩階數(shù)會(huì)使得時(shí)域的支撐性減弱，計(jì)算量增大，即實(shí)時(shí)性變差。本文設(shè)置小波函數(shù)的階數(shù)N為4，同時(shí)因?yàn)檗D(zhuǎn)換到時(shí)頻域的信號(hào)是三維的數(shù)據(jù)（通道×頻率×?xí)r間），為了減少轉(zhuǎn)換后特征的數(shù)量，減少計(jì)算時(shí)間，設(shè)置和頻域不同的采樣間隔2 Hz。設(shè)置小波變換的分解層數(shù)為6層。和頻域一樣，本文只考慮頻率范圍4 Hz到30 Hz之間的時(shí)頻特征。圖3為原始EEG信號(hào)轉(zhuǎn)化得到的時(shí)頻域淺層特征，其中橫軸代表時(shí)間，縱軸代表頻率，圖中不同的顏色表示在相應(yīng)的時(shí)間和頻率下的能量的不同。能量的對(duì)照值在圖右方的彩色條中表明。

Fig.3 Time-frequency domain shallow features of EEG signals圖3 EEG信號(hào)的時(shí)頻域淺層特征

3.3 基于深度學(xué)習(xí)的深度特征的獲取

本文使用卷積神經(jīng)網(wǎng)絡(luò)對(duì)EEG信號(hào)的頻域和時(shí)頻域淺層特征進(jìn)行自動(dòng)提取。針對(duì)兩個(gè)域的淺層特征，分別構(gòu)建兩個(gè)不同的卷積神經(jīng)網(wǎng)絡(luò)來對(duì)淺層特征進(jìn)行深度自動(dòng)提取，獲得相應(yīng)的深度特征。

CNN網(wǎng)絡(luò)在訓(xùn)練時(shí)采用最后一層輸出層的結(jié)果計(jì)算誤差并進(jìn)行反向傳播，由此來進(jìn)行網(wǎng)絡(luò)的學(xué)習(xí)。因?yàn)榈箶?shù)第二層計(jì)算得到的特征向量到輸出層只經(jīng)過一個(gè)全連接層，可以認(rèn)為根據(jù)網(wǎng)絡(luò)輸出層訓(xùn)練優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)的同時(shí)，對(duì)倒數(shù)第二層輸出特征向量的表達(dá)也進(jìn)行了優(yōu)化，即網(wǎng)絡(luò)在訓(xùn)練的同時(shí)也學(xué)習(xí)到了更好的特征表達(dá)，因此選擇網(wǎng)絡(luò)倒數(shù)第二層的輸出作為網(wǎng)絡(luò)學(xué)習(xí)到的特征。通過卷積神經(jīng)網(wǎng)絡(luò)的自動(dòng)學(xué)習(xí)獲得的特征，具有比原始特征更小的維度，并且得到的特征是經(jīng)過非線性組合的具有更好劃分能力的特征，可以使后續(xù)的分類模型具有更好的泛化效果。

圖4、圖5為頻域和時(shí)頻域深度特征提取所使用的CNN網(wǎng)絡(luò)架構(gòu)圖。用k@m×n表示網(wǎng)絡(luò)各個(gè)層的特征圖,k表示該層特征圖的個(gè)數(shù)，m×n表示特征圖的大小。網(wǎng)絡(luò)的二維卷積核用k×m×n表示，k是卷積核的個(gè)數(shù)，m×n為卷積核的大??；三維卷積核用k×m×n×l表示，k是卷積核的個(gè)數(shù)，m×n×l為卷積核的大小。卷積核的步長(zhǎng)默認(rèn)為1。網(wǎng)絡(luò)的輸入為各個(gè)視角特征，輸出為一個(gè)向量，向量長(zhǎng)度等于2（癲癇和非癲癇）。若樣本是癲癇樣本，則第一維等于0，第二維等于1；若樣本是非癲癇樣本，則第一維等于1，第二維等于0。

Fig.4 Deep feature extraction network with frequency domain圖4 頻域的深度特征提取網(wǎng)絡(luò)

3.3.1 頻域深度特征提取網(wǎng)絡(luò)

圖4為頻域深度特征提取使用的CNN網(wǎng)絡(luò)架構(gòu)圖，總共包括2個(gè)卷積層和3個(gè)全連接層。多通道的EEG頻域視角特征是一個(gè)通道數(shù)×頻率的二維矩陣，因此網(wǎng)絡(luò)的輸入為23×27的二維矩陣。網(wǎng)絡(luò)第一層卷積層為20個(gè)4×4的卷積核，步長(zhǎng)為1，得到20個(gè)20×24的特征圖；第二層卷積層是10個(gè)8×8的卷積核，步長(zhǎng)為1，得到10個(gè)13×17的特征圖。網(wǎng)絡(luò)接下來有3個(gè)全連接層，這3個(gè)全連接層首先將特征圖轉(zhuǎn)換成1×512的特征向量，再轉(zhuǎn)換成1×100的特征向量，最后得到一個(gè)二分類的結(jié)果。

3.3.2 時(shí)頻域深度特征提取網(wǎng)絡(luò)

圖5為時(shí)頻域深度特征提取使用的CNN網(wǎng)絡(luò)架構(gòu)圖，總共包括4個(gè)三維卷積層和3個(gè)全連接層。多通道的EEG時(shí)頻域特征是一個(gè)時(shí)間×通道數(shù)×頻率的三維矩陣，因此網(wǎng)絡(luò)的輸入為128×23×14的三維矩陣。網(wǎng)絡(luò)各個(gè)層的詳細(xì)操作和頻域深度特征提取網(wǎng)絡(luò)相同。因?yàn)檩斎霝槿S矩陣，卷積核采用三維卷積核，三維卷積操作是二維卷積操作在三維空間的擴(kuò)展，基本原理和二維卷積操作相同。

兩個(gè)網(wǎng)絡(luò)統(tǒng)一選取tanh函數(shù)作為激活函數(shù)來引入非線性變換，因?yàn)閠anh(x)∈[-1,1]，且tanh函數(shù)的均值為0，所以在實(shí)際應(yīng)用中具有比sigmoid更好的效果。tanh函數(shù)的表達(dá)如下：

網(wǎng)絡(luò)采用softmax交叉熵?fù)p失函數(shù)，該函數(shù)的定義如下：

Fig.5 Deep feature extraction network with time-frequency domain圖5 時(shí)頻域的深度特征提取網(wǎng)絡(luò)

softmax函數(shù)計(jì)算第j個(gè)樣本屬于第i類的概率aji，zji為第j個(gè)樣本在第i個(gè)輸出節(jié)點(diǎn)的輸出。yj={yji|i=1,2,…,C}為第j個(gè)樣本的真實(shí)標(biāo)簽，C是總的類別數(shù)，N是樣本的總個(gè)數(shù)，L為N個(gè)樣本的總平均交叉熵?fù)p失。

3.4 基于視角加權(quán)的多視角TSK模糊系統(tǒng)

使用淺層特征和深度特征構(gòu)建成的多視角特征具有很好的表達(dá)能力和較少的信息損失，但如何高效地將這些特征用于癲癇檢測(cè)是很重要的。近些年來的研究中，許多基于多視角學(xué)習(xí)的智能模型[15,36-37]已被用于癲癇EEG識(shí)別，但它們中的大多數(shù)缺乏在疾病診斷等現(xiàn)實(shí)應(yīng)用中至關(guān)重要的可解釋性。因此，在基于多視角學(xué)習(xí)的癲癇EEG檢測(cè)技術(shù)的發(fā)展過程中，需要具有更高可解釋性的模型。

TSK模糊系統(tǒng)是基于規(guī)則系統(tǒng)的智能模型，具有很高的可解釋性。本文以TSK模糊系統(tǒng)為基礎(chǔ)，構(gòu)建出具有可解釋性的多視角分類器用于EEG信號(hào)的癲癇檢測(cè)。

3.4.1 多視角TSK模糊系統(tǒng)的加權(quán)機(jī)制

通過最小化式（8），可以獲得每個(gè)視角的權(quán)重值wk。通過計(jì)算每個(gè)視角的權(quán)重，可以了解不同視角的重要程度，進(jìn)而權(quán)衡不同視角之間的關(guān)系。

3.4.2 多視角TSK模糊系統(tǒng)的多視角協(xié)同學(xué)習(xí)機(jī)制

給定一個(gè)多視角癲癇數(shù)據(jù)集，多視角TSK模糊系統(tǒng)的多視角協(xié)同學(xué)習(xí)機(jī)制可以被定義為如下形式：

3.4.3 多視角TSK模糊系統(tǒng)的目標(biāo)函數(shù)

基于多視角模糊系統(tǒng)的加權(quán)機(jī)制和多視角協(xié)同學(xué)習(xí)機(jī)制，構(gòu)建出多視角TSK模糊系統(tǒng)的目標(biāo)函數(shù)如下所示：

該目標(biāo)函數(shù)共有3項(xiàng)組成，第一項(xiàng)為改進(jìn)過后的多視角加權(quán)機(jī)制，wk為第k個(gè)視角的權(quán)重，m表示權(quán)重wk的模糊指數(shù)。通過引入視角權(quán)重的指數(shù)，可以在優(yōu)化多視角模型中研究權(quán)重的更新規(guī)則，該模糊指數(shù)已經(jīng)被深入研究并在許多機(jī)器學(xué)習(xí)算法中達(dá)到了很好的效果，例如著名的模糊C均值聚類（fuzzy C-means，F(xiàn)CM）等[41-42]。第二項(xiàng)為正則化項(xiàng)，對(duì)不同視角的后件參數(shù)進(jìn)行約束，防止多視角的模型產(chǎn)生過擬合現(xiàn)象。λ1為正則化項(xiàng)的系數(shù)，用來改變正則化項(xiàng)對(duì)模型的懲罰大小。第三項(xiàng)為多視角協(xié)同學(xué)習(xí)項(xiàng)，該項(xiàng)期望各個(gè)視角獲得相同的決策值。限制條件控制各個(gè)視角的權(quán)重和為1。

3.4.4 目標(biāo)函數(shù)的求解

方程（10）是一個(gè)不能直接解決的非凸優(yōu)化問題。為了去求解這個(gè)優(yōu)化問題，本文采用一種交叉迭代的方法，這個(gè)方法還用于模糊C均值（FCM）算法中。這個(gè)迭代過程主要分為兩步，更新各個(gè)視角的后件參數(shù)和各個(gè)視角的權(quán)重wk。

本文提出的多視角TSK模糊系統(tǒng)的具體細(xì)節(jié)在下面的算法流程中給出。

算法1基于視角加權(quán)的多視角TSK模糊系統(tǒng)

初始化：設(shè)置模糊規(guī)則數(shù)K，正則化參數(shù)λ1和λ2，算法收斂閾值ε以及最大的迭代次數(shù)T。每個(gè)視角的初始化權(quán)重wk設(shè)為，迭代次數(shù)l=1。

步驟1使用模糊聚類算法FCM或者其他聚類算法獲得訓(xùn)練集中每個(gè)視角的前件參數(shù)。

步驟2使用式（4a）～式（4c）將訓(xùn)練集和測(cè)試集每個(gè)視角的特征映射到模糊空間，獲得新特征集。

步驟3使用式（6）得到每個(gè)視角的先驗(yàn)后件參數(shù)。

步驟4使用式（11）更新每個(gè)視角的后件參數(shù)

步驟5使用式（12）更新每個(gè)視角的權(quán)重

步驟6如果|Jl+1-Jl|＞ε或者l＜T時(shí)，l=l+1并且返回步驟4；否則進(jìn)入步驟7。

步驟7使用式（13）做出用于癲癇檢測(cè)的多視角TSK模糊系統(tǒng)決策。

4 實(shí)驗(yàn)研究

4.1 數(shù)據(jù)集

本文采用CHB_MIT數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)研究。該數(shù)據(jù)集采集了波士頓兒童醫(yī)院23個(gè)患者的EEG信號(hào)，這些來自23位患者的記錄被分成24個(gè)組（其中第21組為第1個(gè)病人在幾年后重新采樣后添加進(jìn)去的數(shù)據(jù)），每一組都包含一個(gè)患者的連續(xù)十幾個(gè)小時(shí)的EEG信號(hào)記錄。這些連續(xù)的信號(hào)通過256 Hz的頻率采樣，即一秒的信號(hào)有256的采樣點(diǎn)。每個(gè)患者的EEG信號(hào)通過對(duì)18個(gè)點(diǎn)進(jìn)行采集構(gòu)成單通道數(shù)據(jù)集，后續(xù)處理成為23個(gè)通道的多通道數(shù)據(jù)。圖6是一段時(shí)間的CHB_MIT數(shù)據(jù)集的原始數(shù)據(jù)，總共包含23個(gè)連續(xù)多通道信號(hào)。

由于數(shù)據(jù)高度不平衡，即癲癇樣本數(shù)量與非癲癇樣本數(shù)量之比為1∶100，如果直接使用所有數(shù)據(jù)，算法的效果會(huì)面臨嚴(yán)重的過擬合問題。針對(duì)這個(gè)問題，本文舍棄了一部分未發(fā)作癲癇的EEG信號(hào)數(shù)據(jù)，并且對(duì)發(fā)作癲癇的EEG信號(hào)數(shù)據(jù)應(yīng)用了過采樣技術(shù)。使用滑動(dòng)窗口將連續(xù)的EEG信號(hào)分成多個(gè)長(zhǎng)度為一秒的信號(hào)段（根據(jù)采樣頻率可知1 s信號(hào)有256個(gè)采樣點(diǎn)），通過允許兩個(gè)窗口之間存在重疊的方法對(duì)發(fā)作癲癇的EEG信號(hào)進(jìn)行過采樣。

4.2 本文算法檢測(cè)效果

k折交叉驗(yàn)證在確保一致的數(shù)據(jù)分布的基礎(chǔ)上將數(shù)據(jù)劃分為相同大小的k個(gè)子集。每次將其中一個(gè)子集作為測(cè)試集，其他子集用作訓(xùn)練集。獲得k個(gè)測(cè)試結(jié)果的平均值作為最終結(jié)果。這種驗(yàn)證方法有效地避免了實(shí)驗(yàn)樣品的取樣偏差，從而獲得了更有說服力的實(shí)驗(yàn)結(jié)果。為了驗(yàn)證本文提出的癲癇診斷算法，將每一個(gè)患者的EEG信號(hào)數(shù)據(jù)都進(jìn)行5折交叉驗(yàn)證。

為了進(jìn)行有效的評(píng)估，采用如下3個(gè)廣泛應(yīng)用的評(píng)價(jià)標(biāo)準(zhǔn)來進(jìn)行實(shí)驗(yàn)分析[43-44]，Accuracy、Sensitivity和Specificity定義如下：

Fig.6 Original multi-channel EEG signals圖6 原始多通道EEG信號(hào)

式中，TP是將癲癇片段正確預(yù)測(cè)的個(gè)數(shù)；FN是將癲癇片段預(yù)測(cè)為非癲癇片段的個(gè)數(shù)；FP是將非癲癇片段預(yù)測(cè)為癲癇的個(gè)數(shù)；TN是將非癲癇片段預(yù)測(cè)為非癲癇的個(gè)數(shù)。Accuracy表示分類器正確分類的比例，越高代表分類器的分類效果越好；Sensitivity表示將所有的癲癇片段正確分類的比例，越高代表分類器對(duì)于癲癇片段的預(yù)測(cè)準(zhǔn)確率越高；Specificity表示將所有非癲癇片段正確分類的比例，越高代表分類器對(duì)非癲癇片段的預(yù)測(cè)準(zhǔn)確率越高。

本文方法得到的平均效果在表1中列出，由表可以看出所有組的平均Accuracy、Sensitivity和Specificity分別為99.08%、98.59%和99.32%。可以看出算法在準(zhǔn)確度、敏感性和特異性上均取得較好的結(jié)果。

為了進(jìn)一步分析本文提出的方法，將最近使用CHB-MIT數(shù)據(jù)集進(jìn)行癲癇檢測(cè)的方法[45-52]與本文提出的方法進(jìn)行比較。表1列出了特征提取方法、實(shí)驗(yàn)設(shè)置和實(shí)驗(yàn)效果（NR代表文中并未提及該效果）。值得注意的是，Rafiuddin等人[45-47]并未采用交叉驗(yàn)證，這無法有力地證明在癲癇檢測(cè)方面的性能。未采用交叉驗(yàn)證的原因可能是因?yàn)閿?shù)據(jù)集的癲癇樣本較少，采用交叉驗(yàn)證會(huì)使得驗(yàn)證集中癲癇樣本過少，導(dǎo)致得到的效果和真實(shí)效果差距過大，Kiranyaz等人[47-49]為了避免驗(yàn)證集癲癇樣本過少只采用25%的樣本用于訓(xùn)練。在Yao等人[50-52]的研究中，使用了不同的過采樣的方法來增加癲癇樣本的數(shù)量。由于數(shù)據(jù)不平衡，大多數(shù)算法的準(zhǔn)確度和敏感性都比較低，但是本文提出的方法在保持相同特異性的情況下，表現(xiàn)出了更好的準(zhǔn)確度和敏感性，如表1所示。

Table 1 Performance of different methods on CHB-MIT dataset表1 不同方法在CHB_MIT數(shù)據(jù)集上的效果

為了確定各個(gè)視角的貢獻(xiàn)度，本文在實(shí)驗(yàn)中統(tǒng)計(jì)了各個(gè)視角的權(quán)重。以第一個(gè)患者數(shù)據(jù)為例，4個(gè)深度和淺層特征的權(quán)重分別為0.072、0.075、0.760和0.092。其他所有患者數(shù)據(jù)的視角權(quán)重也都類似，并未出現(xiàn)某一視角權(quán)重過小，貢獻(xiàn)度過小的情況。

4.3 深度特征提取方法有效性分析

為了驗(yàn)證本文所提方法的深度特征和淺層特征的有效性，采用不同的特征提取方法獲得不同的特征，然后使用SVM、KNN、NB、DT和TSK-FLS進(jìn)行建模，最后計(jì)算出各種特征的效果，繪制成表2～表4。頻域和時(shí)頻域的深度特征在各個(gè)分類器上的平均Accuracy、Sensitivity和Specificity效果均達(dá)到了最好；頻域和時(shí)頻域的淺層特征在各個(gè)分類器的平均Accuracy、Sensitivity和Specificity效果也僅次于深度特征?？梢钥闯鰧?duì)原始頻域和時(shí)頻特征使用深度特征自動(dòng)提取方法達(dá)到的深度特征都得到了較好的特征表達(dá)，獲得了較好的分類效果。

4.4 多視角模型學(xué)習(xí)的有效性分析

表5比較了4個(gè)視角的特征分別使用不同的單視角分類器和本文提出的多視角TSK模糊系統(tǒng)的效果，發(fā)現(xiàn)本文提出的算法在Accuracy、Sensitivity和Specificity都取得了最好的效果。

為了驗(yàn)證多視角TSK模糊系統(tǒng)的有效性，本文使用SVM、KNN、NB和DT算法構(gòu)造基于視角加權(quán)的多視角分類器，得到實(shí)驗(yàn)效果如表6所示。

由以上結(jié)果可以看出，本文提出的基于TSK模糊系統(tǒng)的多視角分類器在癲癇檢測(cè)中達(dá)到了較好的效果。

4.5 深度特征提取網(wǎng)絡(luò)的參數(shù)分析

本文對(duì)2個(gè)用于提取深度特征的CNN網(wǎng)絡(luò)進(jìn)行訓(xùn)練，為了確定網(wǎng)絡(luò)的效果，遞增地設(shè)置網(wǎng)絡(luò)的迭代次數(shù)，發(fā)現(xiàn)2個(gè)CNN網(wǎng)絡(luò)的效果均在一定迭代次數(shù)后達(dá)到穩(wěn)定狀態(tài)。將網(wǎng)絡(luò)達(dá)到穩(wěn)定狀態(tài)時(shí)的迭代次數(shù)設(shè)置為最終的迭代次數(shù)，由此即可以在較少的訓(xùn)練時(shí)間里得到較好的分類效果。圖7、圖8僅僅展示第一個(gè)患者數(shù)據(jù)的網(wǎng)絡(luò)迭代次數(shù)和最終效果的關(guān)系,其他各組和第一組大致相同。

Table 3 Sensitivity of different feature extraction methods表3 不同特征提取方法的Sensitivity效果比較 %

Table 4 Specificity of different feature extraction methods表4 不同特征提取方法的Specificity效果比較 %

Table 5 Effect of combined features on classifiers表5 融合特征在分類器上的效果 %

Table 6 Effect on multi-view classifiers表6 不同多視角分類器的效果 %

Fig.7 Performance of frequency domain network圖7 頻域網(wǎng)絡(luò)的效果

Fig.8 Performance of time-frequency domain network圖8 時(shí)頻域網(wǎng)絡(luò)的效果

根據(jù)實(shí)驗(yàn)發(fā)現(xiàn)頻域特征在訓(xùn)練2 000次后趨于穩(wěn)定，因此設(shè)定頻域網(wǎng)絡(luò)的訓(xùn)練次數(shù)為2 000。而時(shí)頻域特征雖然效果隨著訓(xùn)練的次數(shù)在上升，但是有較大的波動(dòng)，考慮特征的效果和波動(dòng)，將時(shí)頻域特征提取網(wǎng)絡(luò)的訓(xùn)練次數(shù)設(shè)置為5 000次。

4.6 多視角分類器的可解釋性分析

多視角TSK模糊系統(tǒng)的診斷為各個(gè)視角TSK模糊系統(tǒng)的加權(quán)組合，模糊規(guī)則的利用方面和TSK模糊系統(tǒng)完全相同，因此可以通過分析簡(jiǎn)單的TSK模糊系統(tǒng)的可解釋性，來理解多視角TSK模糊系統(tǒng)的可解釋性。為了驗(yàn)證本文提出的基于視角加權(quán)的多視角TSK模糊系統(tǒng)的可解釋性，本節(jié)對(duì)第一個(gè)患者的頻域深度特征構(gòu)建的TSK模糊系統(tǒng)進(jìn)行分析，并將具體數(shù)據(jù)展示在表7中。為了分析方便，只列出規(guī)則數(shù)為5時(shí)前6維特征的數(shù)據(jù)。

通過表7的數(shù)據(jù)，可以確定每一條規(guī)則的模糊語言描述，例如：“EEG信號(hào)某一維特征的值為低、中、高”。以第一維特征為例，不同規(guī)則的前件參數(shù)分別為(0.447,0.117)，(0.452,0.175)，(0.545,0.181)，(0.548,0.277)，(0.459,0.205)?？梢源_定規(guī)則數(shù)對(duì)應(yīng)的模糊語言描述分別為低、較低、較高、高和中。上述的模糊語言描述只是模糊規(guī)則的If部分的可能解釋，因?yàn)椴煌膶＜铱赡軐?duì)同一規(guī)則使用不同的語言描述。為了進(jìn)一步解釋模糊規(guī)則的用法和重要性，圖9列出一個(gè)例子的描述，該例子為一名患者的頻域深度特征使用TSK模糊系統(tǒng)進(jìn)行診斷。

Table 7 Description of fuzzy rules表7 模糊規(guī)則描述

Fig.9 Use of fuzzy rules圖9 模糊規(guī)則的使用

上述分析表明，多視角TSK模糊系統(tǒng)是使用生成的模糊規(guī)則識(shí)別癲癇患者的可解釋模型。

5 結(jié)論和展望

本研究提出融合深度和淺層特征的多視角分類算法來對(duì)癲癇EEG信號(hào)進(jìn)行檢測(cè)，通過實(shí)驗(yàn)數(shù)據(jù)可以發(fā)現(xiàn)，本研究提出的融合特征比傳統(tǒng)的特征提取方法獲得了更好的效果，并且使用基于TSK模糊系統(tǒng)的多視角分類器對(duì)融合特征進(jìn)行學(xué)習(xí)，進(jìn)一步提高了算法的效果。可以發(fā)現(xiàn)深度和淺層特征的提取方法以及多視角TSK模糊系統(tǒng)的引入對(duì)癲癇EEG信號(hào)的檢測(cè)很有價(jià)值。

雖然研究的效果得到了提升，但是該研究還有一些不足和值得進(jìn)一步深入研究的地方。比如引入的淺層特征是分布在頻域和時(shí)頻域的，但是EEG信號(hào)還有很多有用的特征比如統(tǒng)計(jì)學(xué)特征和非線性特征，如何有效利用這些特征很有意義；在多視角算法方面，多視角TSK模糊系統(tǒng)雖然達(dá)到了比單視角更好的效果，但是還有改進(jìn)的空間。將來的工作中將對(duì)上述方向進(jìn)行深入研究。