基于GA-BP網(wǎng)絡(luò)的腦電與心電融合疲勞識別算法研究

白志強(qiáng)，尤文斌，劉曉琦，胡時(shí)光

(中北大學(xué) 電子測試技術(shù)重點(diǎn)實(shí)驗(yàn)室，山西 太原 030051)

0 引 言

戰(zhàn)區(qū)兵種越來越專業(yè)化，武器裝備越來越智能化，作戰(zhàn)環(huán)境越來越復(fù)雜化，這凸顯了“人-機(jī)-環(huán)”一體化新時(shí)代新型作戰(zhàn)發(fā)展的思想. 單兵作為戰(zhàn)場最重要的組成單位，其作戰(zhàn)精神狀態(tài)是影響部隊(duì)?wèi)?zhàn)斗力的決定性因素之一. 由于長時(shí)間的腦力認(rèn)知活動、精神壓力或體力運(yùn)動而引起的精神疲勞會導(dǎo)致大腦認(rèn)知能力暫時(shí)性下降，表現(xiàn)為注意力、記憶力和執(zhí)行力的下降[1-2]. 在某些重要的作戰(zhàn)崗位，例如艦艇指揮員、火炮手或核按鈕操作員等極易因注意力長時(shí)間集中或精神壓力出現(xiàn)誤操作和決策失誤，從而產(chǎn)生不可挽回的損失，這也是事故發(fā)生的重要原因. 國內(nèi)外醫(yī)學(xué)研究表明，精神疲勞已經(jīng)成為多種突發(fā)性致命疾病的主要原因，比如中風(fēng)心血管疾病等[1]. 除此之外，不同程度的精神疲勞對不同的人群產(chǎn)生著不同程度的危害，精神疲勞會使醫(yī)生診斷疾病時(shí)出現(xiàn)醫(yī)療事故，而這往往與患者的生命密切聯(lián)系[3]. 精神疲勞還會使車輛駕駛員發(fā)生交通事故的概率明顯上升. 因此，對不同兵種的單兵作戰(zhàn)精神狀態(tài)進(jìn)行監(jiān)測分析是十分必要的，針對單兵在不同精神疲勞狀態(tài)下的任務(wù)完成表現(xiàn)，依據(jù)大數(shù)據(jù)分析提出科學(xué)的作戰(zhàn)崗位安排和針對性訓(xùn)練，可以使作戰(zhàn)更加智能化和可靠化.

神經(jīng)科學(xué)表明，精神疲勞[4-5]的量化與識別的主要途徑是分析人體生物電信號的變化. 腦電(EEG)信號檢測被認(rèn)為是最可靠有效的疲勞檢測技術(shù)[6]. 心電信號能夠直觀準(zhǔn)確地反映人體的生理狀態(tài)并間接地反應(yīng)人體的精神狀態(tài). 鄒策[7]在駕駛疲勞方面提出了基于腦電、心電和肌電的多源生理信息融合策略，分別用SVM和深度信念網(wǎng)絡(luò)進(jìn)行了駕駛疲勞的識別，其建立的深度信念網(wǎng)絡(luò)疲勞識別率高達(dá)95.83%，但其學(xué)習(xí)過程緩慢還容易收斂于局部最優(yōu)解. 周磊[8]采用D-S證據(jù)模型在決策層對人臉視覺信息和腦電信息進(jìn)行融合來評估駕駛員的疲勞狀態(tài)，結(jié)果表明信息融合建立的分類器比單一分類器的識別準(zhǔn)確率大約高6%. 路萬里[9]建立的多源生物信息融合算法采用附加動量法BP神經(jīng)網(wǎng)絡(luò)對疲勞進(jìn)行評估，其疲勞識別率為87%. 王緣[10]設(shè)計(jì)了基于模擬駕駛平臺疲勞檢測系統(tǒng)，采用了BP神經(jīng)網(wǎng)絡(luò)對前額腦電雙導(dǎo)聯(lián)數(shù)據(jù)進(jìn)行疲勞狀態(tài)識別，其疲勞分類準(zhǔn)確率均為83%，說明了前額雙導(dǎo)聯(lián)具有關(guān)聯(lián)性.

針對疲勞識別中單一腦電信息不能完全反應(yīng)疲勞狀態(tài)和傳統(tǒng)BP神經(jīng)網(wǎng)絡(luò)模型識別率低下這一問題. 本文采用多源信息的特征層數(shù)據(jù)PCA融合方法，通過遺傳算法對BP神經(jīng)網(wǎng)絡(luò)進(jìn)行權(quán)重和閾值的參數(shù)優(yōu)化，然后將其作為改進(jìn)BP神經(jīng)網(wǎng)絡(luò)的初始參數(shù)進(jìn)行網(wǎng)絡(luò)訓(xùn)練和驗(yàn)證，該方法可以提高單兵疲勞狀態(tài)的識別正確率.

1 腦電、 心電的特征提取

1.1 腦電信號的特征提取

腦電信號[6,11]是大量神經(jīng)細(xì)胞活動時(shí)可以在大腦皮層檢測到電位差的變化，由不同頻率的節(jié)律波疊加而成的復(fù)雜電信號，與疲勞相關(guān)的波段特性如表1 所示.

表1 腦電節(jié)律波特性表

采集到的原始腦電數(shù)據(jù)的時(shí)域表現(xiàn)為隨機(jī)性、非平穩(wěn)性和信號微弱性，直接對其進(jìn)行數(shù)據(jù)分析的誤差極大. 針對腦電信號的非線性與非平穩(wěn)性，離散小波變換(DWT)是有效的時(shí)頻分析方法，該方法可以將時(shí)域上不同頻率的信號變換到頻域上進(jìn)行分析，為信噪分離提供了新思路.

離散小波變換是在連續(xù)小波變換的基礎(chǔ)上將尺度參數(shù)(j)和平移參數(shù)(k)進(jìn)行離散化采樣，ψj,k(t)是其母函數(shù)，數(shù)學(xué)定義為

(1)

(2)

小波包變換[12-14]可以將非平穩(wěn)信號在頻域上層層分解得到更小頻帶的信號分量，再對需要的信號按小波系數(shù)進(jìn)行重構(gòu)來達(dá)到信噪分離的目的. 經(jīng)典三層離散小波包分解過程如圖1 所示，A代表原始信號，Aij表示第i分解層的j個(gè)小波包節(jié)點(diǎn), 假設(shè)原始信號的最高頻率為f. 實(shí)驗(yàn)采用2倍降頻法對腦電數(shù)據(jù)進(jìn)行分解，可以得到0 Hz～0.5fHz的低頻分量A11和0.5fHz～fHz的高頻分量A12.第一層的A11小波分解得到0 Hz～0.25fHz 的A21和0.25fHz～0.5fHz的A22. 以此類推，每次分解得到的分量頻率范圍都為原分量頻率的一半，典型三層小波包變換的信號分辨率為0.125fHz. 小波重構(gòu)過程就是其分解的逆過程，即將不同的小波分量采用二倍過采樣的方式再經(jīng)過重構(gòu)濾波器作為重構(gòu)信號.

圖1 小波包分解示意圖

采集到的腦電信號屬于微弱生理信號，其值一般為微伏級別，容易受到工頻干擾、眼電偽跡和基線漂移的影響，所以需要對其進(jìn)行數(shù)據(jù)預(yù)處理. 其中，工頻電磁干擾直接選用40 Hz的巴特沃斯低通濾波器進(jìn)行濾波； 眼電偽跡的幅值較大，采用小波閾值進(jìn)行去噪，設(shè)置其幅度閾值為50 μV； 基線漂移采用中值濾波法進(jìn)行濾除.

(3)

(4)

1.2 心電的特征提取

心電信號是心臟周期跳動而產(chǎn)生的微弱生理信號，對其時(shí)頻域特征進(jìn)行分析就能得到豐富的生理信息[15]. 心率(HR)指標(biāo)和心率變異性(HRV)指標(biāo)是疲勞研究領(lǐng)域最重要的生理指標(biāo). HRV指標(biāo)中最常用的是R-R間期的標(biāo)準(zhǔn)差(SDNN)，其中R-R間期與疲勞具有明顯的映射關(guān)系.

原始心電信號不可避免地受工頻干擾、基線漂移和肌電干擾的影響，其數(shù)據(jù)預(yù)處理方法和腦電相同. 由QRS波群的特征可知，心電圖中的R波峰值遠(yuǎn)大于其他波的波峰，其特征明顯且容易識別. 采用Pan-Tompkins算法[16]對QRS波群中的R波進(jìn)行定位識別，其算法流程框圖如圖2 所示. 算法首先對原始ECG信號進(jìn)行IIR型巴特沃斯帶通濾波去噪，其截止頻率為[0.5 45]. 對濾波去噪后的數(shù)據(jù)進(jìn)行微分處理以得到波形的斜率信息從而對峰值進(jìn)行檢索，同時(shí)去除了輸入的直流成分. 平方處理的作用是使樣本值變?yōu)檎龜?shù)，進(jìn)一步增強(qiáng)了QRS波群的斜率以方便分析. 滑動窗口積分濾波器可以將輸出平滑處理，其窗口大小根據(jù)心電信號的采樣率選擇為30. 算法整體采用狀態(tài)機(jī)的方式不斷對心電信號的不同波形進(jìn)行檢測，運(yùn)用自適應(yīng)閾值來搜索信號的峰值并進(jìn)行了避免多重R波檢測的設(shè)計(jì).

圖2 Pan-Tompkins算法原理圖

根據(jù)Pan-Tompkins算法可以輕松求取心電信號的各時(shí)域指標(biāo)，選取SDNN和HR作為其時(shí)域疲勞指標(biāo). 將HRV進(jìn)行功率譜計(jì)算，選取其低頻和高頻比值的功率譜(LH/HF)作為頻域的疲勞判別指標(biāo). 圖3 為某次心電信號的QRS波群定位結(jié)果.

圖3 QRS波群定位圖

2 GA-BP疲勞識別算法

2.1 附加動量的改進(jìn)BP網(wǎng)絡(luò)

BP神經(jīng)網(wǎng)絡(luò)具有非線性映射能力強(qiáng)、柔性網(wǎng)絡(luò)結(jié)構(gòu)、環(huán)境適應(yīng)性強(qiáng)和搭建簡單等優(yōu)勢而被廣泛應(yīng)用. 針對疲勞狀態(tài)評估這類復(fù)雜問題時(shí)，傳統(tǒng)BP訓(xùn)練模型存在收斂速度慢、無法收斂以及模型效果差等缺點(diǎn).

針對上述問題提出了一種附加動量法來對BP網(wǎng)絡(luò)進(jìn)行優(yōu)化，即在梯度下降算法的基礎(chǔ)上引進(jìn)附加動量η(0<η<1)作為調(diào)節(jié)參數(shù)，式(5)為權(quán)重迭代更新公式，式(6)為權(quán)重修正量的調(diào)節(jié)公式，其中,α為學(xué)習(xí)率，k為迭代次數(shù)，E(k)為輸出的誤差能量.

wij(k+1)=wij(k)+Δwij(k),

(5)

(6)

該方法將前次修正量作為影響本次修正量的一個(gè)因素. 當(dāng)前次修正量過大時(shí)，式(6)的后一項(xiàng)符號將與前次修正量的符號相反，使本次修正量減?。?當(dāng)前次修正量過小時(shí)，式(6)的后一項(xiàng)符號將與前次修正量的符號相同，使本次修正值增大. 該方法起到了加快收斂速度、提高學(xué)習(xí)效率和減小學(xué)習(xí)振蕩的目的. 為了避免調(diào)整后權(quán)重發(fā)生較大變化，提出式(7)來對η進(jìn)行自適應(yīng)調(diào)整.

(7)

神經(jīng)網(wǎng)絡(luò)算法的學(xué)習(xí)率α的選取非常重要，其大小直接決定了學(xué)習(xí)收斂的快慢.我們總是希望網(wǎng)絡(luò)在開始訓(xùn)練時(shí)能大一些以使誤差快速下降，在接近收斂點(diǎn)時(shí)小一些來避免過度學(xué)習(xí).故引入比例因子ξ∈(0，1]來調(diào)節(jié)α的大小，如式(8)所示.根據(jù)經(jīng)驗(yàn)，取ξ=0.8.當(dāng)E(k+1) 小于E(k) 時(shí)，說明學(xué)習(xí)的方向正確，學(xué)習(xí)率α將會增大來提高學(xué)習(xí)效率； 相反，α乘以一個(gè)小于1的ξ就會降低學(xué)習(xí)效率來及時(shí)修正.相較于傳統(tǒng)BP神經(jīng)網(wǎng)絡(luò)，該模型的學(xué)習(xí)率調(diào)整更加靈活而不會產(chǎn)生振蕩，具有更快的收斂速度,在引入附加動量的情況下可以有效避免局部最小問題的出現(xiàn).

(8)

2.2 GA-BP優(yōu)化疲勞算法

遺傳算法(GA)[17-18]是一種基于物種進(jìn)化的優(yōu)化算法，其出色的全局搜索能力避免了局部最優(yōu)的問題. 使用GA算法對BP網(wǎng)絡(luò)的初始權(quán)重和閾值進(jìn)行優(yōu)化，避免了BP網(wǎng)絡(luò)隨機(jī)初始化參數(shù)對網(wǎng)絡(luò)結(jié)果的影響，使得網(wǎng)絡(luò)預(yù)測結(jié)果更加精確，其優(yōu)化流程圖如圖4 所示. GA編碼方式采用浮點(diǎn)數(shù)編碼； 選擇算子為基于切斷的輪盤賭選擇，即在輪盤賭的基礎(chǔ)上進(jìn)行選擇，將選中個(gè)體的輪盤比例相應(yīng)地減少固定的數(shù)值； 交叉算子采用離散重組； 變異方式采用高斯變異，適應(yīng)度函數(shù)為神經(jīng)網(wǎng)絡(luò)的輸出誤差函數(shù)，誤差小則說明其適應(yīng)度高.

圖4 GA-BP算法流程圖

3 疲勞實(shí)驗(yàn)

3.1 腦電、心電的采集

實(shí)驗(yàn)以樹莓派無線數(shù)據(jù)采集模塊和干電極腦電帽作為腦電和心電信號的采集裝置，該裝置具有16路信號采集，24位數(shù)據(jù)精度，采樣率可調(diào)等特點(diǎn). 按照標(biāo)準(zhǔn)10～20電極系統(tǒng)進(jìn)行8導(dǎo)聯(lián)腦電信號的采集，分別為F7，F(xiàn)p1，F(xiàn)p2，F(xiàn)8，C3，C4，P3和P4導(dǎo)聯(lián)； 按照標(biāo)準(zhǔn)心電圖12導(dǎo)聯(lián)的V2導(dǎo)聯(lián)進(jìn)行心電信號的采集，位置在胸骨左緣第四肋間.

設(shè)計(jì)了疲勞誘發(fā)實(shí)驗(yàn)來采集腦電和心電數(shù)據(jù). 精神疲勞的產(chǎn)生時(shí)間較長，實(shí)驗(yàn)設(shè)置在一個(gè)狹小且燈光昏暗的小屋，既避免了外界噪聲的干擾又加速了疲勞的產(chǎn)生，將受試者午休后的疲勞狀態(tài)作為基準(zhǔn)無疲勞狀態(tài)，疲勞實(shí)驗(yàn)流程如圖5 所示.

圖5 疲勞實(shí)驗(yàn)流程圖

當(dāng)前，精神疲勞檢測方法主要分為主觀檢測和客觀檢測[19]. 主觀檢測法受個(gè)體主觀意識的影響較大，但它是個(gè)體疲勞程度的最直接反應(yīng)，故常被用作疲勞檢測的重要輔助手段[1]. 客觀檢測法是對人體客觀存在的指標(biāo)的定量分析，這些方法不隨個(gè)體主觀變化，但不同個(gè)體之間具有差異性. 故結(jié)合上述兩種方法的優(yōu)勢提出了將客觀疲勞評估和主觀疲勞問卷相結(jié)合的方法來確定疲勞程度的真實(shí)值. 客觀疲勞評估利用人體反應(yīng)時(shí)間與疲勞程度成正比進(jìn)行測試，內(nèi)容為受試者準(zhǔn)確說出間隔為0.5 s的隨機(jī)圖像的顏色，每組30次共2組，其正確率的歸一化參數(shù)為f1.主觀疲勞問卷是受試者對自身疲勞狀態(tài)的主觀感受，其歸一化參數(shù)為f2.則疲勞評估實(shí)驗(yàn)的真實(shí)值T=0.75f1+0.25f2，系數(shù)不同表明實(shí)驗(yàn)結(jié)果是在客觀疲勞評估的基礎(chǔ)上將主觀疲勞問卷作為輔助手段，將輸出疲勞值按閾值劃分為如下等級：清醒(<0.4)、輕度疲勞(<0.6)、中度疲勞(<0.85)和重度疲勞. 圖6 為一次腦電數(shù)據(jù)采集的實(shí)際測試圖，圖7 為腦電、心電數(shù)據(jù)測試的軟件顯示界面.

圖6 腦電數(shù)據(jù)實(shí)際測試圖

圖7 腦電、心電信號軟件界面圖

3.2 PCA數(shù)據(jù)融合

針對單源信息的片面性，多源數(shù)據(jù)的融合算法使得疲勞識別的結(jié)果更加準(zhǔn)確，但高維數(shù)據(jù)存在一定程度上的信息冗余問題. 主成分分析(PCA)[20]是被廣泛應(yīng)用的特征融合降維方法，本質(zhì)是對特征維數(shù)高的樣本進(jìn)行合適的線性變換將其映射到低維空間. 本文將腦電和心電數(shù)據(jù)進(jìn)行特征層面的融合，將11維的樣本特征作為PCA算法的輸入矩陣，設(shè)定其累積貢獻(xiàn)率閾值為95%，其主成分累積貢獻(xiàn)率如圖8 所示，第7維時(shí)的累積貢獻(xiàn)率為95.19%.

圖8 PCA主成分貢獻(xiàn)率

3.3 GA-BP訓(xùn)練數(shù)據(jù)的生成

以MATLAB神經(jīng)網(wǎng)絡(luò)工具箱為基礎(chǔ)建立訓(xùn)練模型. PCA降維后的數(shù)據(jù)為7維，故神經(jīng)網(wǎng)絡(luò)的輸入層包含7個(gè)節(jié)點(diǎn). 輸出層只對疲勞值進(jìn)行預(yù)測，包含一個(gè)節(jié)點(diǎn). 隱含層為了兼顧學(xué)習(xí)效率及訓(xùn)練誤差，經(jīng)過多次嘗試確定為12個(gè)節(jié)點(diǎn)，此時(shí)訓(xùn)練效果最佳. 為了避免反向傳播過程中梯度衰減引發(fā)梯度消失和網(wǎng)絡(luò)不穩(wěn)定，選取tanh作為隱含層激活函數(shù)，Sigmoid作為輸出層激活函數(shù). GA的初始種群設(shè)置為40，交叉概率為0.7，變異概率為0.01，最大迭代次數(shù)為200.

將疲勞誘發(fā)實(shí)驗(yàn)中采集到的30個(gè)受試者的300組腦電、心電信號和疲勞狀態(tài)的主觀評估指標(biāo)樣本擴(kuò)充為600組，即將每組樣本按時(shí)間二等分. 將600組樣本按6∶2∶2的比例劃分為訓(xùn)練集、驗(yàn)證集和測試集，以此對疲勞評估模型進(jìn)行訓(xùn)練與預(yù)測.

3.4 實(shí)驗(yàn)結(jié)果分析

采用上述數(shù)據(jù)訓(xùn)練，得出受試者在不同疲勞狀態(tài)下模型預(yù)測值與實(shí)際值的對比如圖9 所示. 預(yù)測值為測試集作為GA-BP網(wǎng)絡(luò)輸入時(shí)的輸出值，實(shí)際值為疲勞評估實(shí)驗(yàn)歸一化處理后的真實(shí)值T. 圖中顯示了實(shí)驗(yàn)中疲勞產(chǎn)生的全過程，實(shí)驗(yàn)前期和后期的疲勞指數(shù)增長緩慢，中期的疲勞指數(shù)增長較快. 實(shí)驗(yàn)前期狀態(tài)良好，隨著時(shí)間的流逝疲勞程度不斷加強(qiáng)，到16:30之前保持清醒狀態(tài)，到18:40之前保持輕度疲勞狀態(tài)，20:30之前保持中度疲勞，之后為重度疲勞狀態(tài)，與疲勞誘發(fā)實(shí)驗(yàn)預(yù)期相符. 預(yù)測值與實(shí)際值的平均絕對誤差(MAE)為0.263 2，說明GA-BP網(wǎng)絡(luò)的輸出值與實(shí)際值非常接近，驗(yàn)證了預(yù)測模型的正確性.

圖9 受試者疲勞預(yù)測圖

將疲勞指數(shù)按閾值劃分4個(gè)等級，據(jù)此得出受試者的疲勞識別準(zhǔn)確率，表2 為不同預(yù)測網(wǎng)絡(luò)模型的疲勞識別率對比. 由表中的數(shù)據(jù)知，改進(jìn)后的GA-BP神經(jīng)網(wǎng)絡(luò)的疲勞識別正確率為90.8%，高于傳統(tǒng)BP神經(jīng)網(wǎng)絡(luò)的84.2%和支持向量機(jī)的80%. 基于改進(jìn)GA-BP神經(jīng)網(wǎng)絡(luò)的疲勞識別模型在原有的基礎(chǔ)上進(jìn)行了一定程度的性能優(yōu)化，具有較好的識別能力.

表2 正確率對比結(jié)果

4 結(jié) 語

本文以實(shí)驗(yàn)室環(huán)境下的疲勞誘導(dǎo)實(shí)驗(yàn)為依托，對實(shí)驗(yàn)者的精神疲勞進(jìn)行了研究. 提出將主觀疲勞問卷和客觀疲勞評估進(jìn)行融合的方法來確定精神狀態(tài)評估的實(shí)際值，采用PCA數(shù)據(jù)降維的方法對高維數(shù)據(jù)進(jìn)行了冗余信息處理，將遺傳算法優(yōu)化的改進(jìn)BP神經(jīng)網(wǎng)絡(luò)創(chuàng)造性地運(yùn)用到疲勞識別領(lǐng)域. 得出受試者平均疲勞識別正確率為90.8%，優(yōu)于傳統(tǒng)BP神經(jīng)網(wǎng)絡(luò)和支持向量機(jī)訓(xùn)練模型，為精神疲勞識別領(lǐng)域的多參數(shù)數(shù)據(jù)融合和后續(xù)可穿戴式便攜設(shè)備的實(shí)時(shí)疲勞檢測提供了參考.