基于腦電信號的飛行員工作負(fù)荷識別研究

何金松 吳東蘇

摘 要：在不同的工作負(fù)荷情況中，大腦都處于不同的工作狀態(tài)。因此本文研究中提出了基于EEG信號使用機(jī)器學(xué)習(xí)的方法區(qū)分飛行員不同工作負(fù)荷程度。首先，本文通過主觀測評法確定實(shí)驗(yàn)人員的工作負(fù)荷等級。同時(shí)采集被試人員的腦電信號，使用了熵特征提取方法，從每一路腦電信號中提取出樣本熵、近似熵、模糊熵以及融合特征四種特征組。通過SVM，RF，LR，KNN，DT，QDA和LDA七種單獨(dú)分類器比較各特征在不同分類器中的分類精度。并通過結(jié)果發(fā)現(xiàn)，使用模糊熵的識別準(zhǔn)確率達(dá)到98%左右。認(rèn)為本文腦電信號中使用熵特征有著識別工作負(fù)荷能力。

關(guān)鍵詞：飛行模擬；腦電信號；工作負(fù)荷；模糊熵；機(jī)器學(xué)習(xí)

中圖分類號：V323 文獻(xiàn)標(biāo)識碼：A 文章編號：1671-2064（2019）05-0062-04

1 概述

當(dāng)今社會，民航運(yùn)輸在不斷發(fā)展進(jìn)步，航空運(yùn)輸作為一個(gè)人機(jī)高度耦合的系統(tǒng)，人在這個(gè)系統(tǒng)中發(fā)揮著重要作用的同時(shí)也帶來了復(fù)雜多變的影響，對保障航空安全起著關(guān)鍵的作用。在航空工業(yè)的不斷發(fā)展中，由于飛機(jī)自身設(shè)備的故障導(dǎo)致的飛行事故率已經(jīng)非常低，而因?yàn)轱w行員相關(guān)的自身誤操作等人為因素卻呈現(xiàn)了上升的趨勢。

眾所周知，飛行員的操作能夠直接影響飛行安全[1]。特別是飛控系統(tǒng)高度發(fā)達(dá)的今天，眾多的研究表明超過60%的飛行事故的主要誘因是飛行員的操作錯(cuò)誤[2-4]。在飛行操縱的人為因素中，由于飛行員負(fù)荷程度過大從而誘發(fā)的駕駛誤操作是飛行事故成因中重要的因素。飛行員工作負(fù)荷過大會使飛行員在執(zhí)行任務(wù)時(shí)工作效率下降，以及隨著時(shí)間的進(jìn)行導(dǎo)致工作效率的不穩(wěn)定性增大。由于長時(shí)間、不規(guī)律以及飛行任務(wù)的加重等因素，使飛行員易于積累過多的工作負(fù)荷，缺乏休息，飛行操作能力降低，引發(fā)航空安全隱患。因此，飛行員工作負(fù)荷程度的實(shí)時(shí)檢測仍是當(dāng)下航空航天醫(yī)學(xué)研究的重點(diǎn)。對飛行過程中的工作負(fù)荷評估，或是能夠在線實(shí)時(shí)檢測出飛行員當(dāng)下負(fù)荷情況，降低飛行員在高工作負(fù)荷的復(fù)雜環(huán)境下獲取最有效信息的難度，輔助飛行員進(jìn)行注意力的合理分配以保證信息收集的全面性，準(zhǔn)確性和及時(shí)性，并對負(fù)荷程度較高的飛行員提出警示，提高飛行安全[5-7]。這能夠預(yù)防飛行不安全事件，從而一定程度上避免了飛行事故。

腦電信號（EEG）能夠表現(xiàn)出人體腦細(xì)胞的電活動情況，進(jìn)而從宏觀上體現(xiàn)腦功能所處狀態(tài)。相較于其它生理信號，EEG信號包含了更多的信息。通過對腦電信號進(jìn)行各種算法處理，可以獲得其中蘊(yùn)含的部分信息，從而應(yīng)用到多種領(lǐng)域上：Wilson和Russell[8]結(jié)合了EEG信號和人工神經(jīng)網(wǎng)絡(luò)，對模擬空管任務(wù)中的被試人員進(jìn)行了分類；Murugappan等[9]人通過離散小波變換的方法，將腦電信號分解為三個(gè)頻段，并借助kNN的算法實(shí)現(xiàn)了情感識別，準(zhǔn)確率達(dá)到了83.2%；腦電信號通過結(jié)合alpha節(jié)律可以進(jìn)行病理學(xué)分析[10]，用以分析如中風(fēng)[11]、抑郁癥[12]等多種疾病；J.F Hu等[13]人通過疲勞和正常下的不同腦電波信號，實(shí)現(xiàn)了對人體工作負(fù)荷、疲勞狀態(tài)進(jìn)行區(qū)分識別。

本文主要研究內(nèi)容是結(jié)合幾種常用機(jī)器學(xué)習(xí)算法模型，使用腦電信號對飛行員的工作負(fù)荷程度進(jìn)行評估。包含了實(shí)驗(yàn)設(shè)計(jì)，數(shù)據(jù)采集，預(yù)處理，特征提取和分類器比較驗(yàn)證等階段。提出了結(jié)合機(jī)器學(xué)習(xí)算法利用飛行員的腦電熵特征的工作負(fù)荷識別方法，并針對方法可行性進(jìn)行了驗(yàn)證。

2 實(shí)驗(yàn)對象與方法

2.1 實(shí)驗(yàn)人員

為了驗(yàn)證基于EEG信號區(qū)分飛行員負(fù)荷程度的有效性和可靠性，本實(shí)驗(yàn)選擇20名年輕飛行員進(jìn)行實(shí)驗(yàn)（包括17名男性和3名女性）。被試人員人體狀況良好無疾病史，左右利手情況都是右手，并且每名被試人員均了解實(shí)驗(yàn)詳情并簽署相關(guān)協(xié)議。

2.2 工作負(fù)荷主觀評測

對于飛行員工作負(fù)荷的劃分，采用主觀自主評測法。在本次模擬實(shí)驗(yàn)進(jìn)行中，每隔三分鐘暫停實(shí)驗(yàn)設(shè)備，要求被試飛行員完成所提供主觀評測表[14]。通過一系列相對應(yīng)的詞匯，當(dāng)選擇權(quán)重分?jǐn)?shù)為正代表產(chǎn)生一定工作負(fù)荷，選擇為負(fù)時(shí)代表正常情況，總得分為所有得分的均值。某位被試人員得分如圖1所示。

根據(jù)結(jié)果分析，飛行員的工作負(fù)荷主要體現(xiàn)在開始和結(jié)束前的起飛和著陸階段，這與實(shí)際飛行的事故多發(fā)于起降中也相類似。通過主觀分析，由于模擬設(shè)備和環(huán)境等多種原因，雖然轉(zhuǎn)彎操作也會在一定程度上引起工作負(fù)荷的增大，但是本次模擬飛行過程中引起工作負(fù)荷增大主要是在起降階段，由于后續(xù)應(yīng)用需要使用帶有標(biāo)簽的數(shù)據(jù)，因此對起降階段的飛行數(shù)據(jù)和平飛階段的飛行數(shù)據(jù)分別打上處于工作負(fù)荷狀態(tài)和正常狀態(tài)的標(biāo)簽備注。

2.3 數(shù)據(jù)預(yù)處理

整個(gè)實(shí)驗(yàn)過程中，被試人員被安排在不受外界干擾的實(shí)驗(yàn)環(huán)境中。所有被試人員需要進(jìn)行模擬五邊飛行訓(xùn)練并記錄飛行全程的EEG信號。被試人員在實(shí)驗(yàn)前先了解并試用實(shí)驗(yàn)室飛行模擬設(shè)備，并于正式實(shí)驗(yàn)前靜默三十秒。

本實(shí)驗(yàn)采用德國Brain Products公司的BrainAmp系列設(shè)備采集腦電數(shù)據(jù)。使用了基于國際10-20系統(tǒng)的32通道腦電帽，以500Hz頻率進(jìn)行采樣。

在收集到EEG信號之后，需要使用MATLAB中的EEGLAB工具箱進(jìn)行腦電數(shù)據(jù)的預(yù)處理。先使用50Hz的陷波濾波器對得到的原始EEG數(shù)據(jù)進(jìn)行濾波，之后通過0.15 -50Hz的帶通濾波篩選有效數(shù)據(jù)。每組數(shù)據(jù)又將各自的信號分割為1s滑動的短時(shí)時(shí)窗，從而20名被試人員中每一路腦電通道可以獲得到6700段數(shù)據(jù)集，其中1480段起降階段數(shù)據(jù)，5220段平飛階段數(shù)據(jù)。

2.4 特征提取

EEG信號是一種非平穩(wěn)時(shí)間序列，然而大多數(shù)特征提取方法只能應(yīng)用于平穩(wěn)信號之中。本文為了解決這個(gè)問題，將EEG信號分割為短時(shí)時(shí)窗數(shù)據(jù)段，于是在這很小的數(shù)據(jù)段內(nèi)，可以合理假設(shè)這段數(shù)據(jù)為平穩(wěn)信號。但是由于飛行員在面對飛行任務(wù)劇變時(shí)產(chǎn)生工作負(fù)荷時(shí)，其腦電具有較為劇烈的瞬時(shí)跳變。為了平衡這種瞬時(shí)干擾對分類性能是的影響，所選擇的時(shí)窗窗口不能太短，本文選擇長度為5s的時(shí)窗進(jìn)行特征提取。最終本文將信號分割為1s為單位的時(shí)窗，從而得到6700組數(shù)據(jù)。

識別飛行員負(fù)荷程度的能力主要取決于輸入分類器的特征向量的質(zhì)量，本文通過加窗后EEG數(shù)據(jù)中進(jìn)行熵特征提取，主要通過提取樣本熵（Sample Entropy）、近似熵（Approximate Entropy）和模糊熵（Fuzzy Entropy）的方法[15]。并通過比較融合三種特征組融合的結(jié)果判斷識別效果。

2.5 分析工具

此次數(shù)據(jù)采集后的實(shí)驗(yàn)分析，本文采用scikit-learn工具箱進(jìn)行數(shù)據(jù)訓(xùn)練與測試。對每一分類器，在sklearn工具箱內(nèi)需要調(diào)節(jié)相應(yīng)參數(shù)。例如，對于隨機(jī)森林，在python中的sklearn庫中，需要提供以下分類器參數(shù)信息，包括：隨機(jī)森林中樹的個(gè)數(shù)；分類函數(shù)規(guī)則（默認(rèn)為gini）；最大特征數(shù)；最大樹深度等等。對于支持向量機(jī)，使用的庫是sklearn.SVC.svm，所需分類器參數(shù)信息：懲罰系數(shù)C；支持向量機(jī)使用的核函數(shù)；核函數(shù)所使用的參數(shù)。對于邏輯回歸，使用的庫sklearn.linear_model.LogisticRegression，所需分類器參數(shù)信息：懲罰項(xiàng)，l1或者l2；參數(shù)C，代表梯度下降的學(xué)習(xí)率和懲罰值。對于決策樹，使用庫sklearn.tree.Decision TreeClassifier，所需分類器參數(shù)信息：最大樹深度；最小樣本數(shù)目；加權(quán)總和的最小加權(quán)權(quán)重（默認(rèn)為0）。對于kNN，使用的庫是sklearn.neighbors.kNeighborsClassifier，所需分類器的參數(shù)：鄰位個(gè)數(shù)K。

3 結(jié)果分析

32路腦電信號中，與乳突相連的A1和A2通道作為參考電極使用，剩余30路有效通道信號。對不同飛行階段的30路通道腦電信號進(jìn)行成對t檢驗(yàn)發(fā)現(xiàn)，每路信號p<0.01，不同飛行階段所有通道信號在統(tǒng)計(jì)學(xué)上有顯著區(qū)別。PCA分析后得到的腦電地形圖進(jìn)一步驗(yàn)證了上述結(jié)論，所以30腦電信號都包含了有效特征。

由于不確定哪一種方法在本研究中是最有效的，在本文中主要選取六種基本分類器進(jìn)行分類識別，其中有K近鄰（kNN）、邏輯回歸（LR）、支持向量機(jī)（SVM）、隨機(jī)森林（RF）、二次判別分析（QDA）和決策樹（DT）。

為了評估研究的可應(yīng)用性，所以必須準(zhǔn)確判定該方法的識別性能。本文采用十倍交叉驗(yàn)證（10-fold cross-validation）的方法來評價(jià)識別飛行員疲勞程度的分類性能。將所獲得的6700組30路數(shù)據(jù)進(jìn)行分類，隨機(jī)分出訓(xùn)練集和測試集。在訓(xùn)練階段中，10%的數(shù)據(jù)組被用作測試集，剩余90%數(shù)據(jù)組被用作訓(xùn)練集。隨后重復(fù)上述步驟，直到所有數(shù)據(jù)都被用作測試集，最后取正確率的平均值。

分別使用SE，AE，F(xiàn)E和混合特征集（SE+AE+FE）組合特征向量，七種分類器的平均識別精度如圖2所示。

此外，對于分類器的表現(xiàn)性能，本文通過繪制ROC曲線來評測分類器性能。對一次測試結(jié)果，繪制每一種分類器的ROC曲線，并計(jì)算出AUC面積，來說明分類器的分類性能。各分類器和特征下的ROC曲線結(jié)果如圖3所示。

可以發(fā)現(xiàn)，混合特征集相較于其他特征表現(xiàn)要稍好，最高可以達(dá)到98.3%的平均正確率。在kNN，SVM和RF三種分類器下，熵特征都有著較好的識別結(jié)果，可以認(rèn)為該方法在識別工作負(fù)荷上有著可靠性。

4 討論

我們的研究結(jié)果表明所提出的基于腦電信號的熵特征方法使用機(jī)器學(xué)習(xí)算法進(jìn)行飛行工作負(fù)荷識別的方法是可行的。30路腦電數(shù)據(jù)的t檢驗(yàn)結(jié)果和腦電地形圖表明，腦電信號的30路通道數(shù)據(jù)都包含了有效信息，在構(gòu)造特征向量時(shí)不能隨意忽略，因?yàn)樘卣飨蛄康暮脡闹苯佑绊懥朔诸惼鞯淖R別性能。由于不同的腦域相對應(yīng)的功能不同，雖然30路通道數(shù)據(jù)都是有效數(shù)據(jù)但其所占的權(quán)重是不同的，需要進(jìn)一步的深入研究。

本次分析采用時(shí)域分析上的熵分析方法，腦電熵特征作為一種非線性指標(biāo)可以很好的揭示大腦的混沌行為，信號越是復(fù)雜，熵值就越大[16]。在本文提取三種熵特征中，模糊熵的效果最好相對其他兩種熵特征效果最好。猜測是因?yàn)槟：厥菢颖眷厮惴ǖ母倪M(jìn)，在繼承其優(yōu)點(diǎn)的同時(shí)以模糊化相似性度量公式，克服樣本熵原有局限性。同時(shí)發(fā)現(xiàn)，在融合特征下也分類性能也基本與模糊熵持平，認(rèn)為熵特征之間的融合不能豐富本文識別任務(wù)的特征信息，對于本文識別任務(wù)性能的提升基本沒有幫助，在識別工作負(fù)荷任務(wù)上應(yīng)使用模糊熵特征組進(jìn)行。同時(shí)，由于真正的航空飛行中會遭遇各種突發(fā)情況的變化，本文使用風(fēng)雨模擬下采集到的實(shí)驗(yàn)數(shù)據(jù)進(jìn)行驗(yàn)證。風(fēng)雨環(huán)境下的特征選擇為前文效果最好的模糊熵特征進(jìn)行訓(xùn)練識別，結(jié)果和前文同樣處理，如表1所示。

可以發(fā)現(xiàn)，在模糊熵特征下，風(fēng)雨條件下的識別準(zhǔn)確率最高達(dá)到98.2%，和正常情況下相差不大，因此認(rèn)為本文識別方法有著一定泛用性，在飛行中的不同環(huán)境下都有著很好的效果。

5 結(jié)語

本文提出了一種基于EEG信號的熵特征使用機(jī)器學(xué)習(xí)算法進(jìn)行的飛行員工作負(fù)荷評估方法。并通過分類器性能分析方法有著可行性。分析識別結(jié)果可以發(fā)現(xiàn)，在對于本文識別任務(wù)上，模糊熵特征有著很好的效果。對比融合特征下的識別結(jié)果，發(fā)現(xiàn)特征集的混合并不一定能提高識別精度，相似信息和無用信息的添加不僅會增加運(yùn)算復(fù)雜度有時(shí)還會對識別產(chǎn)生干擾。最后，通過不同飛行環(huán)境下的驗(yàn)證，證明的本文方法在識別工作負(fù)荷上有著一定的泛用性。同時(shí)，本文研究仍有一定的局限性。在針對工作負(fù)荷的判斷上，本文針對主觀評測方法評出了兩個(gè)等級，后續(xù)應(yīng)更細(xì)致的劃分為多個(gè)等級；本文研究在實(shí)際民航飛行中，采集腦電信號會給飛行員的舒適性和操作性帶來一定影響，在實(shí)際應(yīng)用中數(shù)據(jù)采集會有著一定的困難。但是相信，隨著當(dāng)今科技不斷進(jìn)步，這些問題也將解決并且在航空飛行中得到實(shí)際應(yīng)用，保障航空安全。

參考文獻(xiàn)

[1] 莊達(dá)民.飛行員腦力負(fù)荷測量與應(yīng)用[M].北京：科學(xué)出版社，2014.

[2] 吳鋒廣，牟海鷹.飛行疲勞表現(xiàn)、影響因素及監(jiān)測技術(shù)[J].西安航空學(xué)院學(xué)報(bào).2015，33（5）：40-42.

[3] Wang Lei，Sun Ruishan.Analysis on Flight Fatigue Risk and the Systematic Solution[J].Ergonomics and Health Aspects of Work with Computers，2011（6779）：88-96.

[4] Caldwell J A，Malli M M，Caldwell J L，et al. Fatigue countermeasures in aviation[J]. Aviation， Space，and Environmental Medicine，2009（1）：29-59.

[5] 劉偉，袁修干，莊達(dá)民，等.眼動測量系統(tǒng)及其在功效學(xué)中的應(yīng)用[J].航空學(xué)報(bào)，2001（5）：385-389.

[6] 柳忠起，袁修干，劉偉，等.飛行員注意力分配的定量測量方法[J].北京航空航天大學(xué)學(xué)報(bào)，2006，32（5）：518-520+539.

[7] 柳忠起，袁修干，劉偉，等.在模擬飛機(jī)降落過程中的眼動分析[J].北京航空航天大學(xué)學(xué)報(bào)，2002，28（6）：703-706.

[8] Wilson GF， Russell CA.Operator Functional State Classification Using Multiple Psychophysiological Features in An Air Traffic Control Task [J].Human Factors，2003，45（3）：381-389.

[9] Murugappan M， Ramachandran N，Sazali Y. Classification of human emotion from EEG using discrete wavelet transform [J]. Engineering，2010，03（4）：390-396.

[10] Jianfeng，Hu， Zhendong，Mu， Ping，Wang. Multi-feature authentication system based on event evoked electroencephalogram[J]. Journal of Medical Imaging and Health Informatics，2015（5）：862-870.

[11] Cecile C，Susan M，Paul JA，et al..Continuous EEG monitoring during thrombolysis in acute hemispheric stroke patients using the brain symmetry index[J]. Journal of Clinical Neurophysiology，2008，25（2）：77-82.

[12] 劉雷，周仁來.一個(gè)測量抑郁癥的重要神經(jīng)指標(biāo)：靜息額葉腦電活動的不對稱性[J].心理科學(xué)進(jìn)展，2015，23（6）：1000-1008.

[13] Jianfeng Hu.Comparison of different features and classifiers for driver fatigue detection based on a single EEG channel[J].Computational and Mathematical Methods in Medicine，2017（3）：1-9.

[14] 馬超，張政石.基于二維高斯混合模型的駕駛行為分析[J].硅谷，2011（5）：15-16.

[15] Michael J. Hogan，Liam Kilmartin，Michael Keane. Electrophysiological entropy in younger adults， older controls and older cognitively declined adults[J].Brain Research，2012（1445）：1-10.

[16] Richman Joshua S，Moorman J.Physiological time-series analysis using approximate entropy and sample entropy， American Journal of Physiology-Heart and CirculatoryPhysiology，2000（6）：H2039-49.