基于Stacking模型融合策略的腦力負(fù)荷等級(jí)評(píng)定方法

曹子軒 尹鐘 張建華

摘 要：腦力負(fù)荷是一種新興的可以反應(yīng)操作者認(rèn)知狀態(tài)的指標(biāo)，其與事故風(fēng)險(xiǎn)及工作效率密切相關(guān)，所以實(shí)時(shí)且準(zhǔn)確地評(píng)估操作者腦力負(fù)荷等級(jí)具有重要意義。Stacking模型融合策略可以較好地融合不同分類(lèi)器與不同特征的學(xué)習(xí)能力?；?名參與者的腦電生理信號(hào)以及Stacking模型融合策略，設(shè)計(jì)了3種新型模型進(jìn)行腦力負(fù)荷等級(jí)判別。在對(duì)新模型進(jìn)行訓(xùn)練與預(yù)測(cè)的同時(shí)，將其與其它主流分類(lèi)器進(jìn)行性能對(duì)比。實(shí)驗(yàn)結(jié)果顯示，二維融合模型性能提升最為明顯。

關(guān)鍵詞：腦力負(fù)荷等級(jí);Stacking;腦電生理信號(hào)

DOI： 10. 11907/rjdk.192365

開(kāi)放科學(xué)（資源服務(wù)）標(biāo)識(shí)碼（OSID）：

中圖分類(lèi)號(hào)：TP301

文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1672-7800（2020）001-0080-04

0 引言

隨著時(shí)代的發(fā)展，人類(lèi)在享受現(xiàn)代化便利的同時(shí)，其作業(yè)環(huán)境的復(fù)雜度也在增加[1]。人腦在從事高復(fù)雜度工作中容易因?yàn)榻?jīng)驗(yàn)、心態(tài)以及個(gè)人能力等因素的影響引發(fā)失誤或工作效率下降。如果操作者處于疲憊狀態(tài)或者工作量超出個(gè)人能力范圍，出現(xiàn)失誤及效率下降的概率會(huì)大大提升[2]，這種情況在一些關(guān)鍵工作中往往是致命的。所以對(duì)操作人員的認(rèn)知狀態(tài)進(jìn)行及時(shí)準(zhǔn)確的評(píng)估與分類(lèi)很有必要，而腦力負(fù)荷等級(jí)正是重要的衡量指標(biāo)。

目前關(guān)于腦力負(fù)荷等級(jí)還沒(méi)有一個(gè)準(zhǔn)確的定義[3]。腦力負(fù)荷可被視為任務(wù)要求占用的操作者認(rèn)知資源量[4]。也有研究者認(rèn)為，腦力負(fù)荷與任務(wù)期間的大腦活動(dòng)、心理資源利用、壓力以及工作記憶密切相關(guān)[5]。高腦力負(fù)荷等級(jí)一般是由于工作量的增加并超過(guò)操作者處理能力而產(chǎn)生的，會(huì)導(dǎo)致操作者無(wú)法及時(shí)進(jìn)行信息分析與決策[6];而低腦力負(fù)荷等級(jí)可能導(dǎo)致操作員懈怠從而降低工作效率[7-9]。

目前評(píng)估腦力負(fù)荷等級(jí)主要有3種方式：①主觀(guān)量表法;②任務(wù)性能測(cè)量法;③神經(jīng)生理信號(hào)法[10]。主觀(guān)測(cè)量法也被稱(chēng)為主觀(guān)評(píng)定量表法，其中使用最廣泛的兩種方法是主觀(guān)工作負(fù)荷評(píng)估技術(shù)和美國(guó)國(guó)家航空航天局的任務(wù)負(fù)荷指數(shù)[2]。然而，主觀(guān)測(cè)量缺乏客觀(guān)性，且收集數(shù)據(jù)時(shí)受限于實(shí)驗(yàn)的低時(shí)間分辨率[11];任務(wù)性能度量法則不適合隱式性能參數(shù)且無(wú)法在直接收集的任務(wù)環(huán)境中實(shí)施[12]。與兩種經(jīng)典方法不同，神經(jīng)生理信號(hào)法可利用腦電生理信號(hào)、心電生理信號(hào)、功能性近紅外光譜以及事件相關(guān)電位等，數(shù)據(jù)信息易于獲取且可實(shí)時(shí)在線(xiàn)處理[5]。其中，腦電生理信號(hào)靈敏度高、客觀(guān)性強(qiáng)，易于實(shí)施。相關(guān)研究中，腦電生理信號(hào)被證實(shí)與操作者的靈敏度及疲勞度密切相關(guān)[13-14]，比如在駕駛?cè)蝿?wù)環(huán)境與核電廠(chǎng)任務(wù)環(huán)境中[15-16]。相當(dāng)多的研究使用模式識(shí)別方法分析腦電生理信號(hào)。模式識(shí)別分類(lèi)器可以挖掘出腦電生理信號(hào)與人類(lèi)認(rèn)知狀態(tài)之間的隱藏信息，并提高腦力負(fù)荷等級(jí)評(píng)估的準(zhǔn)確性。Wang等[17]基于分層貝葉斯模型設(shè)計(jì)了一個(gè)使用腦電生理數(shù)據(jù)的工作負(fù)荷分類(lèi)器，其識(shí)別準(zhǔn)確率達(dá)到了80%;Ke等[18]通過(guò)支持向量機(jī)為n-back任務(wù)建立了跨任務(wù)腦力負(fù)荷識(shí)別模型;結(jié)合3-15hz頻帶內(nèi)功率譜的腦電信號(hào)特征以及線(xiàn)性判別分析法，D ornhege等[19]對(duì)不同困難等級(jí)的任務(wù)進(jìn)行了研究;Vuckovic等[20]選擇了3種不同的神經(jīng)網(wǎng)絡(luò)框架進(jìn)行實(shí)驗(yàn)，其中學(xué)習(xí)矢量量化模型（LVQ）實(shí)現(xiàn)了最佳分類(lèi)性能。

1 方法

本實(shí)驗(yàn)數(shù)據(jù)通過(guò)自動(dòng)化增強(qiáng)型機(jī)艙空氣管理系統(tǒng)收集，這項(xiàng)工作在以前的研究中已經(jīng)完成[21]。下面介紹Stacking融合模型策略原理及所選擇的幾種分類(lèi)算法。

1.1 堆疊去噪自動(dòng)編碼器

堆疊去噪自動(dòng)編碼器中數(shù)據(jù)的可重復(fù)性通過(guò)自動(dòng)編碼器實(shí)現(xiàn)。自動(dòng)編碼器主要由三層神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)（輸入層、隱藏層與輸出層）組成。其通過(guò)訓(xùn)練實(shí)現(xiàn)輸入的等效變換獲得隱藏層的不同表示。自動(dòng)編碼器中每?jī)蓪又g的轉(zhuǎn)換是線(xiàn)性轉(zhuǎn)換加非線(xiàn)性激活，其隱藏層到輸入層的映射由sigmoid激活函數(shù)定義。

本研究選用誤差反向傳播算法（BP）訓(xùn)練模型。誤差反向傳播算法是一種用于多層神經(jīng)網(wǎng)絡(luò)訓(xùn)練的經(jīng)典且有效的算法，它通過(guò)誤差函數(shù)計(jì)算每個(gè)神經(jīng)元的偏導(dǎo)來(lái)校正權(quán)重，直到達(dá)到預(yù)設(shè)的精度或最大學(xué)習(xí)次數(shù)。調(diào)整后的參數(shù)定義見(jiàn)式（3），其中誤差函數(shù)反映輸入與輸出的損失，由平方差成本函數(shù)表達(dá)，見(jiàn)式（4）。

自動(dòng)編碼器的輸入層具有與輸出層相同數(shù)量的神經(jīng)元，其隱藏層的本質(zhì)功能是提取輸入的降維表達(dá)。在訓(xùn)練完一次自動(dòng)編碼器之后，訓(xùn)練好的隱藏層可以作為下一個(gè)自動(dòng)編碼器的輸入層對(duì)其進(jìn)行訓(xùn)練，訓(xùn)練后就可獲得原始輸入的二次降維表達(dá)。從結(jié)構(gòu)上看此過(guò)程相當(dāng)于將兩個(gè)自動(dòng)編碼器的隱藏層相連。

基于此策略，經(jīng)過(guò)n次訓(xùn)練后的第n個(gè)隱藏層激活向量可表示為：

對(duì)于某個(gè)待測(cè)樣本，分別計(jì)算不同分類(lèi)標(biāo)簽對(duì)應(yīng)的后驗(yàn)概率，后驗(yàn)概率最大的標(biāo)簽類(lèi)別即為待測(cè)樣本類(lèi)別。由于同一個(gè)待測(cè)樣本上分母部分都是相同的，因此只需計(jì)算并比較分子部分即可。

樸素貝葉斯基于概率論方法，因此分類(lèi)結(jié)果較為穩(wěn)定，其對(duì)于小規(guī)模的數(shù)據(jù)集表現(xiàn)出色，并且適合多分類(lèi)任務(wù)以及增量式訓(xùn)練等。樸素貝葉斯假定數(shù)據(jù)特征是沒(méi)有聯(lián)系的，這也正是其名稱(chēng)中“樸素”的由來(lái)。但是在現(xiàn)實(shí)生活中，往往很難有一個(gè)數(shù)據(jù)集特征是毫無(wú)關(guān)聯(lián)的，在不滿(mǎn)足這個(gè)條件時(shí)，其分類(lèi)效果會(huì)有所降低。

1.3 K近鄰算法

K近鄰算法的核心思想是找到最接近測(cè)試樣本的k個(gè)訓(xùn)練樣本，然后根據(jù)它們的標(biāo)簽信息預(yù)測(cè)測(cè)試樣本的類(lèi)別或值。樣本之間的距離通常由歐幾里德距離計(jì)算：

k值的選取對(duì)模型的準(zhǔn)確性至關(guān)重要，通常使用枚舉法求得，即使用不同的k值分別計(jì)算樣本誤差，然后選取其中對(duì)應(yīng)最小樣本誤差的k值。K近鄰算法作為應(yīng)用十分廣泛的分類(lèi)算法，原理簡(jiǎn)單易懂，算法容易實(shí)現(xiàn)，同時(shí)分類(lèi)效果也較為出色。但是K近鄰算法在分類(lèi)時(shí)需要計(jì)算待預(yù)測(cè)樣本與所有樣本的距離，當(dāng)樣本數(shù)量過(guò)于龐大時(shí)，此方法非常耗時(shí)，且需要很大的存儲(chǔ)空間。

1.4 Stacking模型融合策略

Stacking模型融合策略基于K折交叉驗(yàn)證的思想，將模型集合在一起，通常K值設(shè)為5，這樣的優(yōu)點(diǎn)在于可以有效避免因數(shù)據(jù)量有限而導(dǎo)致的過(guò)擬合現(xiàn)象。Stacking本質(zhì)上是一種與神經(jīng)網(wǎng)絡(luò)相似的分層結(jié)構(gòu)，其有效性主要來(lái)自于特征提取。因此，Stacking對(duì)學(xué)習(xí)能力的提升主要來(lái)自于不同分類(lèi)器對(duì)不同特征的學(xué)習(xí)能力疊加。然而堆疊層數(shù)的增加會(huì)伴隨嚴(yán)重的過(guò)擬合風(fēng)險(xiǎn)，因此堆疊通常僅使用兩層，即只將模型分為基分類(lèi)器與二階分類(lèi)器。

Stacking模型融合策略原理如圖1所示，分為6個(gè)步驟：①將訓(xùn)練集均勻分割為5個(gè)子訓(xùn)練集，并選取第1個(gè)子訓(xùn)練集作為預(yù)測(cè)集，剩余的子訓(xùn)練集作為訓(xùn)練集訓(xùn)練時(shí)選取的第1基分類(lèi)器模型;②用訓(xùn)練好的基分類(lèi)器模型分別對(duì)第1個(gè)子訓(xùn)練集以及測(cè)試集進(jìn)行預(yù)測(cè)，并產(chǎn)生對(duì)應(yīng)的預(yù)測(cè)值;③依次選取第2至第5個(gè)子訓(xùn)練集作為預(yù)測(cè)集，剩余子集作為訓(xùn)練集重新訓(xùn)練基分類(lèi)器，并重復(fù)上述步驟;④將子訓(xùn)練集得到的預(yù)測(cè)值串聯(lián)，測(cè)試集得到的預(yù)測(cè)值求平均，并分別產(chǎn)生一個(gè)新的特征矩陣;⑤選用第2基分類(lèi)器重復(fù)以上步驟，之后將兩個(gè)基分類(lèi)器子訓(xùn)練集產(chǎn)生的特征矩陣合并并替換原有訓(xùn)練集特征，將兩個(gè)測(cè)試集產(chǎn)生的特征矩陣合并并替換原有測(cè)試集特征;⑥用二階分類(lèi)器對(duì)新產(chǎn)生的訓(xùn)練集與測(cè)試集進(jìn)行模型訓(xùn)練和測(cè)試。

2 結(jié)果

將每名參與者同一天4個(gè)階段的特征集串聯(lián)形成1 800x137的特征矩陣，其中對(duì)應(yīng)于第2和第7階段的900個(gè)數(shù)據(jù)點(diǎn)被定為低腦力負(fù)荷等級(jí)，剩余數(shù)據(jù)點(diǎn)被定為高腦力負(fù)荷等級(jí)并添加對(duì)應(yīng)的等級(jí)標(biāo)簽。之后將這16個(gè)數(shù)據(jù)集合并，捆綁標(biāo)簽打亂以消除數(shù)據(jù)順序?qū)δＰ陀?xùn)練的影響。形成維數(shù)為28 800x137的總特征矩陣后，選取其中80%的數(shù)據(jù)點(diǎn)用作訓(xùn)練，其余20%的數(shù)據(jù)點(diǎn)用作測(cè)試。

本研究選用雙隱藏層式的堆疊去噪自動(dòng)編碼器結(jié)構(gòu)。通過(guò)改變兩個(gè)隱藏層神經(jīng)元的數(shù)量，模型可以獲得不同的訓(xùn)練精度和測(cè)試精度。訓(xùn)練精度和測(cè)試精度分別表示訓(xùn)練完畢的模型預(yù)測(cè)訓(xùn)練集和測(cè)試集正確率。經(jīng)過(guò)實(shí)驗(yàn)發(fā)現(xiàn)，當(dāng)?shù)?隱藏層神經(jīng)元的數(shù)量為110且第2隱藏層神經(jīng)元的數(shù)量為20時(shí)，模型具有最佳訓(xùn)練與測(cè)試精度，分別為0.922 0和0.815 8。訓(xùn)練中學(xué)習(xí)率為1，預(yù)訓(xùn)練次數(shù)為20，mini-batch的每個(gè)batch大小為128。

K近鄰算法也可通過(guò)調(diào)節(jié)其參數(shù)獲得不同的訓(xùn)練精度與測(cè)試精度。k值的選取一般采用枚舉法，選擇從1-30的值進(jìn)行訓(xùn)練，結(jié)果顯示當(dāng)k值為20時(shí)，測(cè)試精度最佳，為0.765 8。

在接下來(lái)的實(shí)驗(yàn)中，首先使用堆疊去噪自動(dòng)編碼器、K近鄰算法以及樸素貝葉斯分別單獨(dú)對(duì)數(shù)據(jù)集進(jìn)行訓(xùn)練與預(yù)測(cè);然后利用Stacking模型融合策略對(duì)它們進(jìn)行集成化。其中將樸素貝葉斯、堆疊去噪自動(dòng)編碼器分別作為基分類(lèi)器，K近鄰算法作為二階分類(lèi)器，得到兩個(gè)一維融合模型;最后將樸素貝葉斯、堆疊去噪自動(dòng)編碼器同時(shí)作為基分類(lèi)器，K近鄰算法作為二階分類(lèi)器，得到一個(gè)二維融合模型。融合前后性能對(duì)比如表1所示。

從表1可以看出，基于樸素貝葉斯的一維融合模型效果并不理想，甚至比原來(lái)的樸素貝葉斯精度還有所下降。而基于堆疊自動(dòng)編碼器的融合模型，相比堆疊自動(dòng)編碼器與K近鄰算法，訓(xùn)練精度也有所下降，但不同的是，其測(cè)試精度有一定的提高。在基分類(lèi)器層面集成了堆疊去噪自動(dòng)編碼器與K近鄰算法兩者的二維融合模型則取得了最佳訓(xùn)練及測(cè)試精度，其測(cè)試精度為所有模型中的最高值，訓(xùn)練精度也超過(guò)了除自動(dòng)編碼器外的所有模型。

在測(cè)試時(shí)間上，K近鄰算法所用的測(cè)試時(shí)間最長(zhǎng)，堆疊去噪自動(dòng)編碼器所用的時(shí)間最短;融合模型中，二維融合模型所用時(shí)間最長(zhǎng)，這一結(jié)果不同于事先所設(shè)想的基于堆疊自動(dòng)編碼器的一維模型訓(xùn)練時(shí)間要超過(guò)基于樸素貝葉斯的時(shí)間。K近鄰算法的劣勢(shì)在于其花費(fèi)的訓(xùn)練時(shí)間過(guò)長(zhǎng)，通過(guò)集成其它訓(xùn)練較快的模型有效改善了這一問(wèn)題。之后選擇實(shí)驗(yàn)結(jié)果較好的兩個(gè)融合模型，并與其它主流分類(lèi)算法進(jìn)行對(duì)比，如表2所示。

3 結(jié)語(yǔ)

本文基于Stacking模型融合策略提出了3種融合模型。通過(guò)比較3個(gè)模型性能發(fā)現(xiàn)，基分類(lèi)器為樸素貝葉斯的一維模型性能最差，而二維融合模型性能最佳。隨后將它們與原先的模型及其它常見(jiàn)的主流分類(lèi)模型進(jìn)行對(duì)比，結(jié)果顯示，二維融合模型的分類(lèi)精度超過(guò)了除堆疊自動(dòng)編碼器與超限學(xué)習(xí)機(jī)外的所有模型.其訓(xùn)練精度最佳。

融合模型的訓(xùn)練精度較高，但是相比適合腦電生理數(shù)據(jù)分類(lèi)的模型，比如堆疊去噪自動(dòng)編碼器，融合模型的性能提升并不明顯，而且訓(xùn)練精度始終沒(méi)有達(dá)到預(yù)期水平。Stacking模型融合策略的核心是K折交叉驗(yàn)證法，避免了數(shù)據(jù)過(guò)度擬合，但也導(dǎo)致了單次訓(xùn)練中訓(xùn)練樣本數(shù)據(jù)量的減少。后續(xù)研究將尋找改進(jìn)Stacking融合策略缺點(diǎn)的方法，同時(shí)嘗試一些更為優(yōu)秀或者適合生理數(shù)據(jù)分類(lèi)的模型并將其融合，測(cè)試其分類(lèi)性能。

參考文獻(xiàn)：

[1]王憲保，何文秀，王辛剛，等.基于堆疊降噪自動(dòng)編碼器的膠囊缺陷檢測(cè)方法[J].計(jì)算機(jī)科學(xué)，2016，2（43）：64-67

[2] FALLAHI M， MOTAMEDZADE M，HEIDARIMOGHADAM R，eta1. Effects of mentalWorkload on physiological and subjective respons-es during traffic density monitoring：a field study[J]. Applied Ergo- nomics， 2016（52）： 95-103.

[3]YOUNGM S，BROOKHUISKA，WICKENS C D，et al.State of sci-ence： mental workload in ergonomics[J]. Ergonomics. 2015， 58（1）：1-17。

[4]ECGEMEIER F T，WILSON G F，KRAMER A F，et al.Workload as-sessment in multi-task environments [M]. London： Taylor & Fran-cis， 1991.

[5]MINC D， KE Y F， HE F， et al. Psychophysiological measures basedstudies on mental workload assessment and adaptive automation： re-view of the last 40 years and the latest developments [J]. Journal ofElectronic Measurement and Instrumentation ， 2015 ， 29 （ 1 ） ： 1-13.

[6]WILSON G F. Operator functional state assessment for adaptive auto- mation implementation[ J ] .

Biomonitoring for Physiological and Cogni-tive Performance During Military Operations ， 2005（ 56） ： 100-104.

[7]韓文民 ，葛倩 ，高龍龍 .基于腦電的輕裝作業(yè)操作者腦力負(fù)荷與績(jī)效的分析[J] .科學(xué)技術(shù)與工程 . 2019 ， 19（ 14） ： 110-117

[8]RYU K， MYUNG R. Evaluation of mental workload with a combined measure based on physiological indices during a dual task of trackingand mental arithmetic [ J ] . International Journal of Industrial Ergonom-ics， 2005 ， 35 （ 11） ： 991-1009.

[9]王禹，肖毅，周前祥，等，基于腦電信號(hào)的腦力負(fù)荷監(jiān)測(cè)技術(shù)研究現(xiàn)狀 [J].航天醫(yī)學(xué)與醫(yī)學(xué)工程 ， 2018. 31（ 5） ： 577-582.

[10] O'DONNELL C R D， ECCEMEIER F T. Handbook of perceptionand human performance [ M]. New York ： NY ： John wiley and sons，1986.

[11]YIN Z ， ZHANG J H. Cross-session classification of mental .vorkloadlevels using EEG and an adaptive deep learning model [ J] .

Biomedi-cal Signal Processing and Control， 2017（ 33 ） ： 30-47.

[12]HICKS T C， WIERWILLE W W. Comparison of five mental ，vork-load assessment procedures in a moving-base driving simulator [J].Human Factors ： The Journal of the Human Factors and ErgonomicsSociety， 1979， 21（ 2） ： 129-143.

[13]MAKEIG S. Lapses in alertness ： coherence of fluctuations in perfor-mance and EEG spectrum [J] . Electroencephalogry and Clinical Neu-rophysiology， 1993（ 86） ： 23-35.

[14]MAKEIC S. JUNC T. Changes in alertness are a principal compo-nent of variance in the EEG spectrum [J]. Neuroreport， 1995 （7） ：213-216.

[15]CHOI M K. LEE S M， HA J S， et al. Development of an EEG-basedworkload measurement method in nuclear power plants [Jl. Annalsof Nuclear Energy， 2018（ 111） ： 595-607.

[16]BORGHINI C， ASTOLFI L， VECCHIATO C， et al. Measuring neu-rophysiological signals in aircraft pilots and car drivers for the assess-ment of mental workload ， fatigue and drowsiness [ C ] . Neuroscience& Biobehavioral Reviews ， 2017 （ 44） ： 58-75.

[17]WANG Z H， HOPE R M. WANC Z G， et al. Cross-subject work-load classification with a hierarchical bayes model [ J] .Neurolmage ，2012. 59 （1） ： 64-69.

[18] KE Y F， QI H Z， ZHANC L X， et al. Towards an effectivecross-task mental workload recognition model using electroencepha-lography based on feature selection and support vector machine re-gression [Jl. International Journal of Psychophysiology， 2015， 98（ 2） ： 157-166.

[19]DORNHECE C， MILLAN J D， HINTERBERGER T， et al. Towardbrain-computer interfacing[ M ] . Massachusetts ： MIT Press . 2007.

[20] VUCKOVIC A， RADIVOJEVIC V. CHEN A CN， et al. Automaticrecognition of alertness and drowsiness from EEG by an artificial neu- ral network [J]. Medical Engineering & Physics， 2002， 24 （5） ：349-360.

[21]ZHANG J H ， YIN Z ， WANG R. Recognition of mental workload lev-els under complex human-machine collaboration by using physiologi-cal features and adaptive support vector machines[J] . IEEE Transac-tions on Human-Machine Systems， 2015 ， 45 （ 2） ： 200-214.

基金項(xiàng)目：國(guó)家自然科學(xué)基金項(xiàng)目（61703277）;上海楊帆計(jì)劃項(xiàng)目（17YF1427000）

作者簡(jiǎn)介：曹子軒（1996-），男，上海理工大學(xué)光電信息與計(jì)算機(jī)工程學(xué)院碩士研究生，研究方向?yàn)樯硇盘?hào)處理;尹鐘（1988-），男，上海理工大學(xué)光電信息與計(jì)算機(jī)工程學(xué)院副教授、碩士生導(dǎo)師，研究方向?yàn)闄C(jī)器學(xué)習(xí)、模式識(shí)別;張建華（1971-），男，奧斯陸都市大學(xué)計(jì)算機(jī)科學(xué)系教授，研究方向?yàn)橛?jì)算智能、智能系統(tǒng)與控制。