基于腦電信號的飛行員認(rèn)知負(fù)荷實時監(jiān)測評估系統(tǒng)

摘要：對飛行員在執(zhí)行空戰(zhàn)任務(wù)時的認(rèn)知負(fù)荷狀態(tài)進(jìn)行實時監(jiān)測和評估，對于保障執(zhí)行任務(wù)的安全和高效具有重要作用。本文基于腦電信號（EEG）提出了動態(tài)圖卷積-長短時記憶（DGCN-LSTM）網(wǎng)絡(luò)認(rèn)知負(fù)荷評估模型，該方法基于動態(tài)圖卷積網(wǎng)絡(luò)提取腦電的空間拓?fù)涮卣?，并通過LSTM網(wǎng)絡(luò)在時間維度上融合特征在不同時刻的時序信息，最終融合特征信息利用全連接層構(gòu)建分類器，進(jìn)行認(rèn)知負(fù)荷狀態(tài)的評估。為驗證該算法的可行性，試驗范式通過建立飛行任務(wù)仿真平臺模擬多種典型的空戰(zhàn)任務(wù)，設(shè)置復(fù)雜度不同的任務(wù)場景以誘發(fā)飛行員不同水平的認(rèn)知負(fù)荷狀態(tài)，采集被試者腦電信號用于模型訓(xùn)練與評估。在本文試驗采集的樣本數(shù)據(jù)集中，該算法在認(rèn)知負(fù)荷分類的準(zhǔn)確率達(dá)到89.08%，參數(shù)量為1.24M，性能優(yōu)于其他基于支持向量機(jī)（SVM）等傳統(tǒng)機(jī)器學(xué)習(xí)、卷積神經(jīng)網(wǎng)絡(luò)（CNN）、循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）、圖卷積神經(jīng)（GCN）骨干網(wǎng)絡(luò)的算法模型，能夠?qū)崿F(xiàn)飛行員較準(zhǔn)確的認(rèn)知負(fù)荷實時監(jiān)測評估。

關(guān)鍵詞：認(rèn)知負(fù)荷評估；腦電信號分析；圖神經(jīng)網(wǎng)絡(luò)；LSTM；實時監(jiān)測系統(tǒng)

中圖分類號：TN99文獻(xiàn)標(biāo)識碼：ADOI：10.19452/j.issn1007-5453.2024.11.012

在空戰(zhàn)任務(wù)下飛行員認(rèn)知和情緒狀態(tài)的實時檢測和評估對于機(jī)載環(huán)境的人機(jī)功效提升和保障任務(wù)執(zhí)行的安全高效具有重要作用。隨著現(xiàn)代空戰(zhàn)武器的空前發(fā)展和飛機(jī)自動化程度的提高，執(zhí)行空戰(zhàn)任務(wù)的飛行員在與飛機(jī)通過感知、認(rèn)知、決策、操作進(jìn)行循環(huán)交互時，由于強(qiáng)對抗、高動態(tài)的環(huán)境和復(fù)雜的態(tài)勢變化，使得飛行員短時間接收海量信息的沖擊，從而造成工作負(fù)荷急劇上升、任務(wù)績效下降。

飛行員的認(rèn)知負(fù)荷是指飛行員用于集中注意力、感知情境、合理決策及行動所需的認(rèn)知資源，即飛行員在單位時間內(nèi)承受的工作量和處理信息所需的精力總和。飛行員經(jīng)常會承受較大的工作負(fù)荷而導(dǎo)致應(yīng)激緊張、記憶力下降、反應(yīng)停滯、失誤增加等情況，對機(jī)動決策響應(yīng)時間造成影響。另外，在巡航工作量較低時期，飛行員處于低喚醒水平，也容易產(chǎn)生疏漏失誤的可能。因此飛行員無論是在超高負(fù)荷和超低負(fù)荷情況下都容易導(dǎo)致人為錯誤的增加，從而使任務(wù)失敗或者任務(wù)績效受損。對于空戰(zhàn)來說，評估飛行作戰(zhàn)內(nèi)容和飛行員認(rèn)知狀態(tài)，對于揭示飛行績效、人因因素和操作動作間的耦合關(guān)系，將智能化識別飛行員認(rèn)知狀態(tài)情況與空戰(zhàn)態(tài)勢信息提示或決策輔助相結(jié)合，對提升作戰(zhàn)效能具有重要意義。

目前國內(nèi)外對于認(rèn)知負(fù)荷狀態(tài)評估的方法可分為主觀評價法與客觀測量法兩類。主觀評價方法主要有身體活動情緒（PAAS）量表[1]、自我情緒評定（SAM）量表[2]、主觀負(fù)荷評估（SWAT）量表[3]、美國國家航空航天任務(wù)負(fù)荷指數(shù)（NASA-TLX）量表[4]等。但是在某些任務(wù)環(huán)境下進(jìn)行主觀評價還很困難，實施效果受任務(wù)環(huán)境影響。主觀評價受被試者主觀感受和心理水平的影響程度較大，評價標(biāo)準(zhǔn)難以保持一致。研究表明主觀量表在敏感性、穩(wěn)定性、抗干擾性和共時效度均有所差異。另外，主觀方法要求被實驗者在任務(wù)結(jié)束后進(jìn)行主觀報告，無法做到實時測量。

客觀直接測量方法主要是基于生理指標(biāo)的認(rèn)知狀態(tài)識別方法，其實施過程具有良好的可重復(fù)性，隨著測量技術(shù)的發(fā)展，生理指標(biāo)獲取越來越容易，可以為評估提供客觀依據(jù)，因此被越來越廣泛地使用。生理指標(biāo)根據(jù)產(chǎn)生機(jī)理分為兩大類：與中樞神經(jīng)系統(tǒng)相關(guān)聯(lián)的腦電信號（EEG）、眼電信號（EOG）、腦磁圖（EGG）、功能性近紅外光譜（fNIRS）技術(shù)測量腦血紅蛋白濃度等指標(biāo)，以及與周圍神經(jīng)系統(tǒng)相聯(lián)系的皮電信號（EDA）、心電信號（ECG）、呼吸信號、體表溫度、瞳孔直徑等。與主觀評測方法比較，基于生理電信號識別評價飛行員的認(rèn)知狀態(tài)具有很高的實用性和客觀性。張益凡等[5]通過眼動信息對飛行員的注意力狀態(tài)進(jìn)行識別與檢測。

EEG信號能夠直接反映大腦活動狀態(tài)，與心理認(rèn)知狀態(tài)直接相關(guān)，基于EEG信號的分析目前有很多相關(guān)研究工作。通常采用的方法是先將腦電信號進(jìn)行預(yù)處理與特征提取，提取的時域或頻域特征通過傳統(tǒng)機(jī)器學(xué)習(xí)算法，如支持向量機(jī)（SVM）[6]、K最近鄰算法（KNN）[7]等對樣本進(jìn)行分類處理。近年來，基于深度學(xué)習(xí)算法對腦電信號的分類分析逐漸成為主流方法。Alhagry等[8]利用長短時記憶（LSTM）網(wǎng)絡(luò)結(jié)構(gòu)提取EEG信號的時序信息來對情緒狀態(tài)進(jìn)行識別分類。ZhangDalin等[9]通過卷積神經(jīng)網(wǎng)絡(luò)（CNN）對EEG信號的空間信息進(jìn)行特征提取。盡管這些方法能夠提高分類性能，但它們沒有將時域空域特征相結(jié)合進(jìn)行提取與分類。為解決這一問題，XuGuixun等[10]提出一種門控循環(huán)單元-卷積（GRU-Conv）模型提取腦電的時空特征。該模型將原始EEG信號作為輸入，結(jié)合CNN與門控循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）結(jié)構(gòu)完成對信號的分類處理。由于腦電信號采集時電極位置具有非歐式性，SongTengfei等[11]提出一種動態(tài)圖卷積網(wǎng)絡(luò)的方法提取腦電信號的空間拓?fù)湫畔?。在此基礎(chǔ)上，ZhongPeixiang等[12]提出了正則化圖神經(jīng)網(wǎng)絡(luò)以解決腦電情緒識別中的跨個體差異性問題。但這些工作沒有將空間拓?fù)涮卣髋c時域特征相融合，忽略了認(rèn)知負(fù)荷變化相關(guān)的腦電信號的時序相關(guān)性。

本文提出基于DGCN-LSTM網(wǎng)絡(luò)的EEG信號認(rèn)知負(fù)荷分類算法，利用滑動窗法對不同頻帶信號提取的特征作為網(wǎng)絡(luò)輸入，同時對腦電信號的空間拓?fù)涮卣骱蜁r序信息進(jìn)行特征提取，用于認(rèn)知負(fù)荷分類。

1EEG信號預(yù)處理與特征提取方法

1.1EEG信號預(yù)處理

腦電圖是一種使用電生理指標(biāo)記錄大腦皮質(zhì)神經(jīng)活動的方法，廣泛應(yīng)用于人體心理認(rèn)知狀態(tài)的評估。EEG信號按頻率可被劃分為幾個頻段：（1）delta節(jié)律（1～3Hz）主要分布在額葉區(qū)域，其所占的能量也會隨著大腦從清醒狀態(tài)變?yōu)槠跔顟B(tài)而增加；（2）theta節(jié)律（4～7Hz）會在困倦時出現(xiàn)，與反應(yīng)的遲緩有關(guān)；（3）alpha節(jié)律（8～13Hz）在休息時出現(xiàn)在中央?yún)^(qū)，也會在放松或閉眼時出現(xiàn)，同時與控制減弱有關(guān)，也與不同腦區(qū)的抑制有關(guān)；（4）beta節(jié)律（14～30Hz）大部分出現(xiàn)在額葉，幅值較低，在積極思考、注意力集中、焦慮和警覺時出現(xiàn)；（5）gamma節(jié)律（31～50Hz）通常與大腦的劇烈活動有關(guān)。

腦電信號采集時易受到其他生理電信號如眼電、肌電和心電等偽跡干擾以及工頻信號、周圍環(huán)境和電極固有噪聲的影響。眼電偽跡包括眨眼偽跡與眼動偽跡，主要頻率范圍低于4Hz，肌電偽跡主要頻率高于30Hz，心電偽跡由心臟跳動引起，頻率約為1.2Hz。眨眼偽跡是由眨眼造成偶極子電勢差的急劇變化引起的，其中額葉部位腦電信號受到眨眼偽跡的影響最大。眨眼偽跡在腦電圖上的主要表現(xiàn)為窄的尖峰、幅值大，隨著電極位置越靠后，其幅值會逐漸變小，且尖峰的時間范圍也會變寬，是對腦電信息質(zhì)量影響最大的偽跡類型。因此需要對原始腦電信號進(jìn)行數(shù)據(jù)預(yù)處理，通過基線校正和濾波降噪的方法降低偽跡和噪聲影響。

為保證樣本數(shù)量充足且分布均衡，需要對采集的腦電信號進(jìn)行滑窗法處理，通過長度為T、重疊率為r的移動滑窗實現(xiàn)樣本擴(kuò)增，其中窗長和重疊率大小的設(shè)置需要進(jìn)行多次試驗調(diào)整，選擇預(yù)測效果最佳的數(shù)值。圖1所示為EEG信號的預(yù)處理流程，首先將腦電信號通過移動滑窗進(jìn)行數(shù)據(jù)擴(kuò)增，而后通過巴特沃斯帶通濾波器和陷波濾波器降低工頻、噪聲和生理電信號高頻偽跡的干擾，并對每個通道數(shù)據(jù)進(jìn)行小波分解，計算近似系數(shù)序列的尖峰區(qū)系數(shù)并進(jìn)行軟閾值處理后重構(gòu)，最終保留腦電（δθαβγ）主要頻段成分。

1.2EEG信號預(yù)處理

腦電信號特征主要包括時域特征、頻域特征、時頻特征以及空間域特征。用于認(rèn)知負(fù)荷狀態(tài)評估的常見特征有微分熵（DE）[13]、功率譜密度（PSD）[14]、差異不對稱（DASM）[15]、有理不對稱（RASM）[16]等。

微分熵可以有效平衡各頻率成分之間的貢獻(xiàn)水平，被廣泛應(yīng)用于認(rèn)知狀態(tài)識別任務(wù)中，并表現(xiàn)出良好的性能。微分熵是香農(nóng)信息熵（Shannonentropy）在有限區(qū)間內(nèi)連續(xù)變量的推廣形式，其計算公式如下

式中，p（x）表示連續(xù)信號的概率密度函數(shù)。對于一段特定長度的近似服從高斯分布p（x）～N（μσ2i）的腦電信號，其DE特征計算公式如下

通過帶通濾波器將各通道原始信號分解成5個頻段（δθαβγ）的信號，通過非重疊滑動窗口將樣本分為若干個子片段，計算各子片段的微分熵特征，最后拼接得到特征張量。

2基于DGCN-LSTM網(wǎng)絡(luò)的認(rèn)知負(fù)荷識別算法

本文提出基于DGCN-LSTM模型對腦電進(jìn)行認(rèn)知負(fù)荷狀態(tài)分類，該方法可以實現(xiàn)對腦電信號的空間域及時域的特征提取和信息聚合，整體網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。

2.1基于動態(tài)圖卷積網(wǎng)絡(luò)的非歐空間信息聚合

腦電模態(tài)的連接關(guān)系具有不規(guī)則的空間結(jié)構(gòu)，屬于非歐式空間信息。由于傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)卷積核尺寸固定，因此相較于CNN，腦電信號更適合通過圖卷積神經(jīng)網(wǎng)絡(luò)（GCNN）進(jìn)行特征聚合。圖結(jié)構(gòu)比柵格結(jié)構(gòu)更能正確體現(xiàn)大腦各區(qū)域之間的聯(lián)系性，在訓(xùn)練中將表示節(jié)點連接關(guān)系的鄰接矩陣作為參數(shù)更新，使得模型自動學(xué)習(xí)到拓?fù)浣Y(jié)構(gòu)。

在圖理論中，數(shù)據(jù)信息由多個節(jié)點的特征以及不同節(jié)點間連接構(gòu)成的拓?fù)潢P(guān)系表達(dá)G=（NEW），其中N代表圖結(jié)構(gòu)中的節(jié)點的集合，在本文中對應(yīng)EEG各通道信號，E表示為圖結(jié)構(gòu)中連接各節(jié)點的邊的集合，W?Rn′n為用于描述兩節(jié)點間連接重要性的鄰接矩陣，計算第i個和第j個節(jié)點間連接重要性wij的常用方法有距離函數(shù)法和K最近鄰（KNN）法。由于大腦活動涉及多個腦區(qū)的協(xié)同合作，本文中將各通道間的皮爾遜（Pearson）相關(guān)系數(shù)作為功能連接指標(biāo)，對所有樣本取均值并歸一化后作為鄰接矩陣的初始值。另外，消極情緒能激活右側(cè)額葉、顳葉和頂葉，而積極情緒能激活左側(cè)區(qū)域，形成了腦電信號的空域特征。為了充分利用這種信息的不對稱性，在鄰接矩陣中添加全局連接。

通過設(shè)計有效的譜圖濾波器來學(xué)習(xí)圖空間結(jié)構(gòu)特征、抽象高維特征得到了廣泛研究。借助圖譜理論實現(xiàn)拓?fù)鋱D卷積操作，通過圖的拉普拉斯矩陣特征值和特征矢量研究圖的性質(zhì)[17]。圖的拉普拉斯矩陣定義為L=D-W?RN′N，其中W為鄰接矩陣，D為一個對角矩陣，各對角元素Dii=Σjwij。由于L是一個實對稱矩陣，可以對L進(jìn)行正交對角化

L=UΛUT（4）

式中，U為L的特征矢量矩陣，Λ=diag（[λ0…λN-1]）為L的特征值矩陣。根據(jù)圖譜理論，拉普拉斯矩陣特征值定義了圖模態(tài)的頻率信息，特征矢量構(gòu)成的矩陣UT構(gòu)成了圖傅里葉變換（GFT）[18]的變換陣，即圖傅里葉變換與逆變換表達(dá)式如下

f?=UTf（5）

f=Uf?（6）

將圖傅里葉變換推廣至圖卷積，根據(jù)卷積定理，函數(shù)卷積的傅里葉變換是函數(shù)傅里葉變換的乘積，即

f?g=F-1{F（f）*F（g）}=F-1{f?*g?}（7）

式中，為卷積運算符，F(xiàn)（×）與F-1（×）分別為傅里葉變換和傅里葉逆變換。因此，對圖上的卷積可以表示為

f?g=U（（UTg）*（UTf））（8）

式中，*為內(nèi)積運算符。把UTg看作可學(xué)習(xí)的卷積核gθ，則最終圖上卷積公式為

f?g=UgθUTf（9）

在圖卷積網(wǎng)絡(luò)中，卷積核gθ為圖卷積中可學(xué)習(xí)參數(shù)的集合，是圖卷積網(wǎng)絡(luò)的核心構(gòu)成。

但是上述矩陣運算過程計算復(fù)雜度過高，特征矢量U的復(fù)雜度為O（N2），對于大型圖結(jié)構(gòu)來說，拉普拉斯矩陣特征值分解的計算量很大，需要構(gòu)建近似方法降低計算復(fù)雜度。本文采用圖拉普拉斯算子的切比雪夫（Chebyshev）展開式降低計算復(fù)雜度，設(shè)置卷積核gθ為特征值矩陣Λ的函數(shù)，定義特征矢量矩陣U的對角矩陣的切比雪夫多項式為濾波器[19]，利用低階切比雪夫多項式擬合卷積核降低計算復(fù)雜度

式中，K為切比雪夫多項式階數(shù)，通過對K的選擇截斷多項

式，獲得對信號x與濾波器gθ圖卷積的結(jié)果，表達(dá)式為

GCNN網(wǎng)絡(luò)由若干個上述圖神經(jīng)元（圖濾波器）構(gòu)成，每個圖神經(jīng)元執(zhí)行基于切比雪夫多項式擬合圖卷積核的卷積操作，進(jìn)行不同腦電節(jié)點間的信息融合。

本文采用動態(tài)圖卷積網(wǎng)絡(luò)（DGCN）[10]對于圖結(jié)構(gòu)中各節(jié)點鄰接矩陣的學(xué)習(xí)建立自適應(yīng)的圖學(xué)習(xí)機(jī)制，在訓(xùn)練過程中，圖的結(jié)構(gòu)通過動態(tài)學(xué)習(xí)得到而非人為事先設(shè)定。設(shè)節(jié)點之間的成對關(guān)系由實對稱矩陣A定義，即A為圖的鄰接矩陣。對于A中的各個元素，定義非負(fù)函數(shù)Amn=g（xmxn）來表示節(jié)點xm和xn之間的連接關(guān)系，g（xmxn）通過具有可學(xué)習(xí)權(quán)矢量ω的神經(jīng)網(wǎng)絡(luò)來實現(xiàn)，具體公式如下

式中，激活函數(shù)ReLU保證了Amn的非負(fù)性。softmax對A的每一行進(jìn)行規(guī)范化。權(quán)矢量ω通過最小化以下?lián)p失函數(shù)來進(jìn)行參數(shù)更新

因此，節(jié)點xi和xj之間的距離越大，Aij越小。由于大腦連接結(jié)構(gòu)不是一個完全連通的圖，通過上述損失函數(shù)的正則項來控制圖的稀疏性，其中λ≥0為正則化參數(shù)。

2.2基于長短時記憶的時序特征提取

腦電信號作為時序信號，具有時間相關(guān)性，LSTM[20]廣泛應(yīng)用于時序信號分類問題，能夠進(jìn)行時間維度上的特征融合，具有較好的時間信息學(xué)習(xí)能力。LSTM由門控子網(wǎng)絡(luò)構(gòu)成，分為遺忘門、輸入門和輸出門。針對無用歷史信息的堆積問題，遺忘門對歷史單元狀態(tài)中的分量進(jìn)行選擇性忘記。當(dāng)前輸入與上一時刻隱層狀態(tài)經(jīng)過sigmoid神經(jīng)層獲得遺忘系數(shù)，再與上一時刻的單元狀態(tài)進(jìn)行內(nèi)積實現(xiàn)歷史信息的遺忘過程

ft=σ（Wf[ht-1，xt]+bf）（14）

式中，ft為t時刻遺忘門輸出值，σ表示sigmoid激活函數(shù)，Wf為遺忘門權(quán)重矩陣，ht-1為前一個時間步的隱藏狀態(tài)值，xt為當(dāng)前時間步的輸入，bf為遺忘門的偏置項。

輸入門又稱為記憶門，用來控制是否將當(dāng)前時刻輸入信息融合到單元狀態(tài)。使用tanh函數(shù)層將現(xiàn)在的矢量中的有效信息提取出來，然后基于sigmoid函數(shù)來控制這些記憶信息進(jìn)入單元狀態(tài)

C't=tanh（Wc[ht-1，xt]+bc）（15）

it=σ（Wi[ht-1，xt]+bi）（16）

Ct=ftCt-1+itC't（17）

式中，C't為候選記憶細(xì)胞，用于存儲并更新長期依賴信息的中間值，Ct為當(dāng)前時間步更新后的記憶細(xì)胞。Wc、bc分別為候選記憶細(xì)胞的權(quán)重矩陣和偏置項。it是輸入門的輸出值，Wi、bi分別為輸入門的權(quán)重矩陣和偏置項。

輸出門用于計算當(dāng)前時刻LSTM網(wǎng)絡(luò)輸出值，先將當(dāng)前輸入與上一時刻隱層狀態(tài)經(jīng)過sigmoid神經(jīng)層獲得輸出系數(shù)，然后將當(dāng)前單元狀態(tài)經(jīng)過tanh函數(shù)映射至特征區(qū)間（-1，"1）中，最后將兩者內(nèi)積獲得輸出特征值

ot=σ（Wo[ht-1，xt]+bo）（18）

ht=ottanh（Ct）（19）

本文基于圖卷積網(wǎng)絡(luò)提取腦電的空間拓?fù)涮卣鳎⑼ㄟ^LSTM網(wǎng)絡(luò)在時間維度上融合特征在不同時刻的動態(tài)變化信息，將最終特征傳送至全連接層構(gòu)建分類頭，進(jìn)行認(rèn)知負(fù)荷狀態(tài)分類。

3認(rèn)知負(fù)荷監(jiān)測系統(tǒng)設(shè)計與試驗驗證

3.1認(rèn)知負(fù)荷評估的試驗范式設(shè)計與數(shù)據(jù)采集

為激發(fā)飛行員不同的認(rèn)知負(fù)荷狀態(tài)，本文通過建立飛行任務(wù)仿真平臺模擬多種典型的空戰(zhàn)任務(wù)，通過設(shè)置復(fù)雜度不同的任務(wù)場景以激發(fā)飛行員不同水平的認(rèn)知負(fù)荷狀態(tài)，見表1，在本文試驗范式設(shè)計中，將平穩(wěn)飛行、頻繁起降和戰(zhàn)斗空戰(zhàn)場景作為激發(fā)飛行員低、中、高三種負(fù)荷狀態(tài)的任務(wù)場景，試驗過程中采集多位飛行員被試的腦電信號，并同步記錄三種不同難度任務(wù)場景的切換時間戳，方便后續(xù)數(shù)據(jù)標(biāo)注。每次任務(wù)執(zhí)行完畢后，被試飛行員須立即填寫NASA-TLX量表和SAM量表，盡可能準(zhǔn)確地回憶任務(wù)執(zhí)行過程中的負(fù)荷狀態(tài)和情緒狀態(tài)。量表結(jié)果可以幫助了解飛行員在任務(wù)過程中的主觀感受，并作為判斷認(rèn)知負(fù)荷和情緒狀態(tài)的輔助依據(jù)。

圖3所示為認(rèn)知負(fù)荷狀態(tài)評估試驗的環(huán)境搭建示意圖，該系統(tǒng)由腦電信號采集設(shè)備、飛行任務(wù)仿真平臺、視頻采集設(shè)備及時間戳同步記錄4部分構(gòu)成。飛行員被試的腦電信號采集設(shè)備采用BCIpro32導(dǎo)放大器，采用濕式腦電帽（CM-HG01-2074），電極位置遵循10-20國際系統(tǒng)標(biāo)準(zhǔn)[21]，采樣率設(shè)置為1000Hz。通過搖桿、節(jié)流閥和腳舵等操縱設(shè)備搭建飛行任務(wù)仿真平臺，以模擬飛行員在不同負(fù)荷下的飛行任務(wù)場景。同時，視頻采集設(shè)備對飛行員被試執(zhí)行模擬飛行任務(wù)采集腦電信號的全過程進(jìn)行錄制，并同步記錄關(guān)鍵事件發(fā)生時間戳，以此作為腦電信號的分類依據(jù)用于后續(xù)算法訓(xùn)練與評估。

為驗證本文提出的算法對飛行員認(rèn)知負(fù)荷狀態(tài)的評估效果，基于該試驗范式采集了6名不同飛行員在完成低、中、高負(fù)荷飛行任務(wù)試驗的腦電信號，平均每個被試進(jìn)行10余組試驗，共收集到210段腦電數(shù)據(jù)，每段信號時長約為5min。本文數(shù)據(jù)集采集中選取了32個通道的腦電數(shù)據(jù)，分別為1～8號（F8，F(xiàn)C2，F(xiàn)C6，C4，T8，CP2，CP6，PO4）、9～16號（F7，F(xiàn)C5，F(xiàn)C1，T7，C3，CP5，CP1，PO3）、17～24號（FP1，F(xiàn)P2，AF3，AF4，F(xiàn)3，F(xiàn)Z，F(xiàn)4，CZ）、25～32號（P7，P3，PZ，P4，P8，O1，OZ，O2）。這些通道覆蓋了全腦所有區(qū)域，并呈左右對稱狀態(tài)。

3.2認(rèn)知負(fù)荷識別算法的試驗驗證與結(jié)果分析

為驗證本文提出的認(rèn)知負(fù)荷識別算法的可行性，本文基于試驗范式所采集到的數(shù)據(jù)樣本對算法進(jìn)行訓(xùn)練和驗證。本文認(rèn)知負(fù)荷識別算法基于Pytorch框架設(shè)計完成，下面將從損失函數(shù)、訓(xùn)練優(yōu)化器超參數(shù)設(shè)置兩方面并結(jié)合模型評價方法對算法驗證試驗進(jìn)行介紹與結(jié)果分析。

損失函數(shù)由于受試者在飛行任務(wù)中不一定產(chǎn)生預(yù)期的負(fù)荷，對標(biāo)簽給定造成了一定的困難。在機(jī)器學(xué)習(xí)中一個樣本的類標(biāo)簽通常是確定的，如0或1或2。對此，本文學(xué)習(xí)了一個類的先驗概率分布，其中ε定義為一個控制噪聲的超參數(shù)，本文試驗中設(shè)置為0.15。

然后利用KL散度作為損失函數(shù)衡量類的先驗概率分布和模型輸出的概率分布之間的相似性，計算公式如下

此外，由于多次重復(fù)試驗，飛行員對于戰(zhàn)斗場景逐漸熟悉，導(dǎo)致高負(fù)荷樣本數(shù)量明顯少于低/中負(fù)荷樣本數(shù)量。為減小樣本不平衡對模型訓(xùn)練造成的影響，本文中根據(jù)低/中/高樣本數(shù)計算得到標(biāo)簽類別權(quán)重比值大小，計算加權(quán)損失函數(shù)，以緩解樣本不平衡的問題。

本文選用Adam自適應(yīng)優(yōu)化器進(jìn)行算法訓(xùn)練，通過調(diào)整學(xué)習(xí)率和權(quán)重衰減率使目標(biāo)函數(shù)快速收斂。模型主要超參數(shù)設(shè)計見表2，包括樣本數(shù)據(jù)預(yù)處理、DGCN、LSTM以及訓(xùn)練部分。

試驗中，將基于傳統(tǒng)機(jī)器學(xué)習(xí)算法、圖卷積神經(jīng)網(wǎng)絡(luò)、CNN、LSTM的現(xiàn)有算法與本文提出的模型在數(shù)據(jù)集上進(jìn)行訓(xùn)練，并對各算法的識別精度進(jìn)行對比，對比結(jié)果見表3。

由對比試驗結(jié)果可以看出，本文提出的基于GCNLSTM模型相比于其他算法，在自采EEG數(shù)據(jù)集上對工作負(fù)荷的分類效果更好，平均準(zhǔn)確率為89.08%，訓(xùn)練損失函數(shù)收斂曲線和準(zhǔn)確率曲線如圖4所示。

本文還對比了使用不同腦電特征對模型分類效果的影響。表4所示為EEG提取不同特征的模型分類效果的對比。

由不同特征的對比結(jié)果可以看出，微分熵和功率譜密度特征在工作負(fù)荷分類任務(wù)中具有較好性能。圖5分別展示了低、中、高負(fù)荷場景下不同頻帶的腦電功率密度分布圖。

針對于不同的超參數(shù)設(shè)定，如數(shù)據(jù)增強(qiáng)中使用的腦電信號的滑窗大小及重疊率也會對模型分類效果產(chǎn)生影響。本文選取了不同窗長和重疊率參數(shù)分別對模型進(jìn)行訓(xùn)練，測試結(jié)果見表5。

本文對比了不同層數(shù)下模型的參數(shù)量大小與在訓(xùn)練集和測試集上的識別準(zhǔn)確率大小，試驗結(jié)果見表6。

由上述試驗結(jié)果可以看出，在本文識別任務(wù)場景下，采用75%重疊率的4s滑動窗進(jìn)行腦電處理時模型分類效果較好。模型大小同樣會對識別準(zhǔn)確率產(chǎn)生影響，考慮到飛行員工作負(fù)荷評估對實時性具有較高要求，本文模型參數(shù)量為1.24M，模型在IntelCorei5CPU上平均推理時間為0.2s，能夠?qū)崿F(xiàn)在線實時識別[21]。

4結(jié)論

本文針對空戰(zhàn)任務(wù)中飛行員認(rèn)知負(fù)荷狀態(tài)的實時監(jiān)測與評估需求，提出了一種DGCN-LSTM算法。首先通過對腦電信號在不同頻帶內(nèi)微分熵計算提取頻域特征，并在空域和時域內(nèi)對特征進(jìn)一步融合提取，最終得到基于腦電信號的飛行員認(rèn)知負(fù)荷狀態(tài)的評估結(jié)果。通過試驗驗證，得出結(jié)論如下：

（1）通過滑動窗對樣本進(jìn)行數(shù)據(jù)擴(kuò)增，通過計算腦電信號在不同頻帶內(nèi)的特征作為模型輸入，可有效降低輸入樣本維度，減小模型參數(shù)量和FLOPs大小，提高評估效率和模型泛化能力。

（2）分別對基于傳統(tǒng)機(jī)器學(xué)習(xí)、GCNN、CNN、LSTM為骨干網(wǎng)絡(luò)的算法與本文算法在同一數(shù)據(jù)集上進(jìn)行訓(xùn)練和測試，試驗結(jié)果表明，DGCN-LSTM算法在認(rèn)知狀態(tài)分類上具有較高性能，能夠較準(zhǔn)確地評估不同飛行任務(wù)下飛行員的工作負(fù)荷狀態(tài)。

（3）在腦電信號預(yù)處理中，提取特征不同，滑動窗窗長與重疊率的設(shè)置不同，都會對模型的識別準(zhǔn)確率產(chǎn)生影響。通過試驗對比，提取微分熵和功率譜密度特征在工作負(fù)荷分類任務(wù)中具有較好性能。

未來研究可通過模型輕量化部署在終端，實現(xiàn)飛行員認(rèn)知負(fù)荷狀態(tài)在線評估，對高負(fù)荷實施告警干預(yù)，并為有無人協(xié)同交互決策提供有效依據(jù)[22]，形成閉環(huán)系統(tǒng)，提高飛行員執(zhí)行任務(wù)的安全性與可靠性。

參考文獻(xiàn)

［1］LoxCL，JacksonS，TuholskiSW，etal.Revisitingthemeasurementofexercise-inducedfeelingstates：Thephysicalactivityaffectscale（PAAS）[J].MeasurementinPhysicalEducationandExerciseScience，2000，4（2）：79-95.

［2］BradleyMM，LangPJ.Measuringemotion：theselfassessmentmanikinandthesemanticdifferential[J].JournalofBehaviorTherapyandExperimentalPsychiatry，1994，25（1）：49-59.

［3］ReidGB，NygrenTE.Thesubjectiveworkloadassessmenttechnique：Ascalingprocedureformeasuringmentalworkload[J].AdvancesinPsychology，1988，52：185-218.

［4］HartSG.NASA-taskloadindex（NASA-TLX）：20yearslater[C]//ProceedingsoftheHumanFactorsandErgonomicsSocietyAnnualMeeting，2006.

［5］張益凡，王宇超，張琴喻，等.基于眼動指標(biāo)的飛行員注意狀態(tài)識別可行性研究[J].航空科學(xué)技術(shù)，2022，33（4）：39-46.

ZhangYifan，WangYuchao，ZhangQinyu，etal.Feasibilitystudyofpilotattentionstaterecognitiononeyemovementindicators[J].AeronauticalScienceamp;Technology，2022，33（4）：39-46.（inChinese）

［6］WangXiaowei，NieDan，LuBaoliang.EEG-basedemotionrecognitionusingfrequencydomainfeaturesandsupportvectormachines[C].18thInternationalConferenceICONIP2011，2011.

［7］BahariF，JanghorbaniA.EEG-basedemotionrecognitionusingrecurrenceplotanalysisandKnearestneighborclassifier[C].201320thIranianConferenceonBiomedicalEngineering（ICBME），2013：228-233.

［8］AlhagryS，F(xiàn)ahmyAA，El-KhoribiRA.EmotionrecognitionbasedonEEGusingLSTMrecurrentneuralnetwork[J].InternationalJournalofAdvancedComputerScienceandApplications，2017，8（10）：355-358.

［9］ZhangDalin，YaoLina，ZhangXiang，etal.CascadeandparallelconvolutionalrecurrentneuralnetworksonEEG-basedintentionrecognitionforbraincomputerinterface[C]//ProceedingsoftheAAAIConferenceonArtificialIntelligence，2018.

［10］XuGuixun，GuoWenhui，WangYanjing.Subject-independentEEGemotionrecognitionwithhybridspatio-temporalGRUConvarchitecture[J].Medicalamp;BiologicalEngineeringamp;Computing，2023，61（1）：61-73.

［11］SongTengfei，ZhengWenming，SongPeng，etal.EEGemotionrecognitionusingdynamicalgraphconvolutionalneuralnetworks[J].IEEETransactionsonAffectiveComputing，2018，11（3）：532-541.

［12］ZhongPeixiang，WangDi，MiaoChunyang.EEG-basedemotionrecognitionusingregularizedgraphneuralnetworks[J].IEEETransactionsonAffectiveComputing，2020，13（3）：1290-1301.

［13］DuanRuonan，ZhuJiayi，LuBaoliang.DifferentialentropyfeatureforEEG-basedemotionclassification[C].20136thInternationalIEEE/EMBSConferenceonNeuralEngineering（NER），2013：81-84.

［14］AlsolamyM，F(xiàn)attouhA.EmotionestimationfromEEGsignalsduringlisteningtoQuranusingPSDfeatures[C].20167thInternationalConferenceonComputerScienceandInformationTechnology（CSIT），2016：1-5.

［15］LiuYisi，SourinaO.Real-timefractal-basedvalencelevelrecognitionfromEEG[C].TransactionsonComputationalScienceXVIII：SpecialIssueonCyberworlds，2013：101-120.

［16］LinYuanpin，WangChihong，JungTZYYPING，etal.EEGbasedemotionrecognitioninmusiclistening[J].IEEETransactionsonBiomedicalEngineering，2010，57（7）：1798-1806.

［17］ShumanDI，NarangSK，F(xiàn)rossardP，etal.Theemergingfieldofsignalprocessingongraphs：Extendinghigh-dimensionaldataanalysistonetworksandotherirregulardomains[J].IEEESignalProcessingMagazine，2013，30（3）：83-98.

［18］ZhengWeilong，LuBaoliang.InvestigatingcriticalfrequencybandsandchannelsforEEG-basedemotionrecognitionwithdeepneuralnetworks[J].IEEETransactionsonAutonomousMentalDevelopment，2015，7（3）：162-175.

［19］DefferrardM，BressonX，VandergheynstP.Convolutionalneuralnetworksongraphswithfastlocalizedspectralfiltering[C].AdvancesinNeuralInformationProcessingSystems，2016.

［20］HochreiterS，SchmidhuberJ.Longshort-termmemory[J].NeuralComputation，1997，9（8）：1735-1780.

［21］HerwigU，SatrapiP，Sch?nfeldt-LecuonaC.Usingtheinternational10-20EEGsystemforpositioningoftranscranialmagneticstimulation[J].BrainTopography，2003，16：95-99.

［22］學(xué)喆，張岳，陳軍.無人-有人機(jī)混合主動式交互決策研究[J].航空科學(xué)技術(shù)，2022，33（5）：44-52.

XueZhe，ZhangYue，ChenJun.Researchonactivedecisionmakinginhybridunmanned-mannedinteraction[J].AeronauticalScienceamp;Technology，2022，33（5）：44-52.（inChinese）