基于集成SDAE和EEG的跨被試認(rèn)知工作負荷識別

鄭展鵬，尹 鐘

(上海理工大學(xué) 光電信息與計算機工程學(xué)院，上海 200093)

現(xiàn)代計算機技術(shù)在各種先進指令和自動化系統(tǒng)中有著廣泛應(yīng)用，通常需要人類操作員協(xié)作智能機器體共同完成若干安全關(guān)鍵任務(wù)。在人機系統(tǒng)中，由于人類認(rèn)知能力有限，操作員認(rèn)知工作負荷(Cognitive Workload，CW)的過載會增加事故發(fā)生的概率。關(guān)于CW的一種定義可表述為[1]：“完成腦力任務(wù)需求，所占用操作員的工作記憶容量或資源的比率”。人類有限的工作記憶容量的下降與高CW水平密切相關(guān)。尤其在一些安全性要求極高的決策環(huán)境中，例如載人航天[2]、醫(yī)療和緊急應(yīng)用[3]、核電站[4]等領(lǐng)域，對CW水平的一種精確評估為實時優(yōu)化操作員功能狀態(tài)奠定了基礎(chǔ)，進而減少由人類因素造成的事故。

監(jiān)測CW的方法主要包括自我評估、輔助任務(wù)性能和神經(jīng)生理信號。早期的主觀評價方法為NASA-TLX(NASA Task Load Index，NASA-TLX)指標(biāo)[5]。短期無法得到可信賴的評分，但輔助任務(wù)的實施又額外增加了操作員的負擔(dān)。備受歡迎的神經(jīng)生理測量主要包括腦電圖(Electro Encephalo Gram，EEG)、心電圖(Electro Cardio Gram，ECG)[6]等。由于CW變化與大腦皮質(zhì)活動緊密相連，且EEG具有非平穩(wěn)性、無侵入性、高分辨性等優(yōu)點，因此EEG被廣泛應(yīng)用[7]。有研究工作表明，基于單個被試的腦電數(shù)據(jù)分類可取得較高分類精度[8]?；诓煌辉嚨哪X電數(shù)據(jù)，分類器的性能受到損失[9]，這主要是由于不同被試腦電數(shù)據(jù)的分布和特征空間不同所導(dǎo)致的。

本文目的是提出一種有效的跨被試、多分類模型，能夠適用于多個個體的腦電數(shù)據(jù)分布。為了從一組個體中提取個性化腦電特征，堆疊多個自動編碼器(Auto Encoder，AE)構(gòu)成一個堆疊去噪自動編碼器(Stacked Denoising Auto Encoder，SDAE)?；鶎W(xué)習(xí)器SDAE的權(quán)重通過局部信息保留(Locality Preservation Projection，LPP)層計算。引入Q-statistics評估所有基學(xué)習(xí)器的多樣性，尋找新的特征子集。利用超限學(xué)習(xí)機(Extreme Learning Machine，ELM)融合基學(xué)習(xí)器的腦電抽象。最后，通過與傳統(tǒng)算法的比較來證明所提出模型的優(yōu)勢。

1 材料和方法

1.1 腦電數(shù)據(jù)庫描述

本研究采用兩組不同的認(rèn)知任務(wù)腦電數(shù)據(jù)庫用來驗證提出的CW模型的有效性[10-11]，記為Task 1和Task 2，分別由8位(標(biāo)簽為A～H)和6位(標(biāo)簽為I～N)健康被試執(zhí)行。對于每一個任務(wù)，每一位被試均參與兩次相同階段的實驗。實驗需求設(shè)置基于自動化增強型密封艙空氣管理系統(tǒng)(Automation-enhanced Cabin Air Management System，AutoCAMS)[12]，要求被試手動控制安全關(guān)鍵過程控制條件，旨在維持4個子系統(tǒng)的空氣質(zhì)量(如溫度、壓強、濕度和二氧化碳濃度)。通過編程失效子系統(tǒng)和執(zhí)行器靈敏度的數(shù)量導(dǎo)致任務(wù)需求產(chǎn)生變化，同時記錄每位被試的腦電信號。其中，低負荷(LCW)、中負荷(MCW)和高負荷(HCW)被用來表示3種認(rèn)知工作負荷狀態(tài)。

1.2 數(shù)據(jù)預(yù)處理和特征提取

根據(jù)國際10-20系統(tǒng)，選擇其中11個通道做進一步分析，即F3、F4、Fz、C3、C4、Cz、P3、P4、Pz、O1和O2。以500 Hz采樣，通過一個4階巴特沃斯濾波器和獨立變量分析預(yù)處理采集腦電信號，其目的是消除肌肉和眼電噪聲。腦電信號被分成2 s無重疊片段。最終，Task 1和Task 2分別獲得2 700和1 450個腦電片段。對于一個通道的一個片段，theta、alpha、beta和gamma頻帶的功率頻譜密度，過零點率(Zero-crossing Rate，ZCR)、香農(nóng)熵(Shannon Entropy，SE)、峰度(Kurtosis)、偏斜度(Skewness)、峰值(Peak)、標(biāo)準(zhǔn)偏差(Standard Deviation，SD)、均方根(Root of Mean Square，RMS)、波形因子(Shape Factor，SF)、波峰因子(Crest Factor，CF)和脈沖指數(shù)(Plus Index，PI)等特征基于快速傅里葉變換計算得到。同樣，文中也計算了左右大腦皮層的頻譜密度功率差。對于每一個腦電片段，總共11×14+16=170個腦電特征被提取。單通道Spearman正負相關(guān)系數(shù)如圖1所示。

圖1 特征時間歷程和目標(biāo)負荷水平間Spearman相關(guān)系數(shù)

1.3 集成SDAE模型

基學(xué)習(xí)器SDAE，其輸入層和第一隱層間的權(quán)重由LPP映射層計算得到。給出N1個D維腦電樣例，將其映射到低維特征表示，如式(1)所示。S用來評估兩個樣例間的相似性(S=1，相似；S=0，不相似)。轉(zhuǎn)換矩陣由最小化目標(biāo)函數(shù)計算得到

zi=ATxi

(1)

(2)

在下列方程中，D是S的對角矩陣，A為對應(yīng)的特征向量

L=D-S

(3)

XLXTA=λXDXTA

(4)

SDAE的深度結(jié)構(gòu)通過堆疊AE而構(gòu)成。為了消除噪聲抽象，添加去噪層，第H隱層高水平特征表示被計算為

(5)

(6)

被試的CW水平由監(jiān)督層計算如下

(7)

其中，V和bv表示輸出權(quán)重和偏置。SDAE的最優(yōu)參數(shù)基于反向傳播算法實現(xiàn)。

引入Q-statistics來評估基學(xué)習(xí)器的多樣性。一對學(xué)習(xí)器Ei和Ej的Q值為

(8)

其中，Nij表示樣例正確或錯誤分類的個數(shù)。對于n個SDAE，平均值為

(9)

得到新的特征子集Str，見式(10)和式(11)

(10)

UpdateStr={E(k)|n*k=1， 2≤n*≤n}

(11)

其中，基學(xué)習(xí)器的輸出表示為E(k)。

訓(xùn)練ELM分類器，目的是最小化正則化誤差。

(12)

其中，g表示激活函數(shù)；v表示輸出權(quán)重；常量C用來平衡擬合誤差。因此，最終的集成輸出為

(13)

考慮到ELM的嶺回歸問題，將向量I/C添加到ggT的對角線上，E-SDAE的一般框架如圖2所示。

圖2 E-SDAE框架

表1 任務(wù)1中SAE、ELM和E-SDAE的階段平均測試分類性能

表2 任務(wù)2中SAE，ELM和E-SDAE的階段平均測試分類性能

表3 模型的平均測試精度

2 結(jié)果與分析

對于Task 1，2 700×8×2=43 200個樣例來自8位被試，帶有相同個數(shù)的負荷水平。對于Task 2，一位被試包含580、435和435個樣例，分別表示3種負荷水平，總共1 450×6×2=17 400個樣例。注意到訓(xùn)練集和測試集的劃分基于留一被試范式，即一位被試的數(shù)據(jù)用于測試，剩余被試的數(shù)據(jù)用于訓(xùn)練。需要注意的是，基學(xué)習(xí)器的最優(yōu)超參數(shù)分階段性計算。對于圖3(a)和圖3(b)，Task 1最優(yōu)參數(shù)為10和85個隱元；Task 2為15和5個隱元。對于圖3(c)和圖3(d)，兩個任務(wù)最優(yōu)隱元個數(shù)分別為390和6。最小二乘支持向量機(Least Square Support Vector Machine，LSSVM)，正則化參數(shù)分別設(shè)置為2-8和2-12。k近鄰(k-Nearest Neighbor，KNN)分類器的k值分別設(shè)置為39和50。人工神經(jīng)網(wǎng)絡(luò)(Artificial Neural Networks，ANN)的隱節(jié)點分別為120和430。對于SAE，Task 1兩層隱元個數(shù)分別為35和85，Task 2分別為95和40?？傊陨夏Ｐ偷淖顑?yōu)參數(shù)基于交叉驗證和網(wǎng)格搜索法得到。

兩個任務(wù)計算得到的精度(Accuracy)，靈敏度(Sensitivity)，特異度(Specificity)，查準(zhǔn)率(Precision)，陰性預(yù)測值(Negative Predicting Value，NPV)如表1和2所示。這里，LCW看作正類，MCW和HCW看作負類。根據(jù)14位被試結(jié)果，E-SDAE優(yōu)于SAE和ELM。從表3看出，E-SDAE和其他7個算法的性能度量表明E-SDAE實現(xiàn)最大的精度。根據(jù)t檢驗，發(fā)現(xiàn)E-SDAE顯著優(yōu)于其他模型(p<0.05)。

E-SDAE的主要計算代價是訓(xùn)練復(fù)雜結(jié)構(gòu)特征，如表4所示，其中hm、n、c和l分別表示激活函數(shù)、批量大小、單樣本梯度和迭代次數(shù)(本實驗中，n=25)。E-SDAE的復(fù)雜度高于其他算法，是因為其他算法簡單的模型架構(gòu)僅與對應(yīng)隱元相關(guān)。另外，也記錄了相關(guān)文獻關(guān)于CW分類問題的研究(表5)，從定性的角度分析，因為不同被試的腦電分布，E-SDAE在實現(xiàn)多類、跨被試分類任務(wù)時存在挑戰(zhàn)。對于睡眠[13]、閱讀[14]、駕駛[15]、Stroop任務(wù)[16]，對應(yīng)分類器都表現(xiàn)出良好分類性能。同樣是跨被試CW識別任務(wù)，相比于轉(zhuǎn)換深度信念網(wǎng)絡(luò)模型[17]，E-SDAE表現(xiàn)出了良好的泛化能力。

圖3 被試平均分類結(jié)果基于基學(xué)習(xí)器

表4 傳統(tǒng)算法的計算復(fù)雜度

表5 已有文獻中認(rèn)知工作負荷識別結(jié)果對比

3 結(jié)束語

本文提出一種跨被試認(rèn)知工作負荷評估器E-SDAE，利用SDAE過濾腦電特征，旨在發(fā)現(xiàn)腦電時間歷程的動態(tài)特性。經(jīng)Q-statistics處理后，得到新的特征子集，輸入給ELM來提高模型整體泛化性。E-SDAE的分類性能在兩個數(shù)據(jù)庫均已表現(xiàn)，在兩個任務(wù)上分別獲得三分類的精度0.635 3和0.674 7。雙側(cè)t檢驗表明與帶有最佳參數(shù)的傳統(tǒng)分類器相比，該模型性能顯著性提高(p<0.05)。對于高維腦電特征，E-SDAE的運行時間和計算復(fù)雜度是可以接受的。不足的一面是腦電樣例少，結(jié)果表明該算法不能有效辨別負荷水平，需要增加被試個數(shù)來驗證所提出的模型；另一面是選擇的特征提供了不完美的精度，表明高維腦電特征對獨立被試分類問題的敏感。今后將進一步將深度學(xué)習(xí)和集成學(xué)習(xí)結(jié)合進行研究，以便更好地解決跨被試認(rèn)知工作負荷分類問題。