基于fNIRS 和ECG 的大腦警覺度客觀檢測(cè)研究

王璐琪 姜 勁 孫子恒 代艷瑩 曹 勇 焦學(xué)軍 周 鵬

(1.天津大學(xué)精密儀器與光電子工程學(xué)院, 天津 300072; 2.天津大學(xué)醫(yī)學(xué)工程與轉(zhuǎn)化醫(yī)學(xué)研究院, 天津 300072;3.中國(guó)航天員科研訓(xùn)練中心人因工程重點(diǎn)實(shí)驗(yàn)室, 北京 100094)

1 引言

警覺度是用來檢測(cè)操作者對(duì)于應(yīng)急事件的反應(yīng)能力以及是否產(chǎn)生疲勞的重要指標(biāo)[1]。航天員在太空生活時(shí),人為因素和自然因素都會(huì)造成航天員的睡眠質(zhì)量下降,導(dǎo)致執(zhí)行在軌飛行任務(wù)時(shí)警覺性水平降低,影響工效,甚至引發(fā)重大安全事故[2]。因此,檢測(cè)航天員警覺度水平,建立警覺度檢測(cè)系統(tǒng),探究警覺度變化規(guī)律具有重要意義。

當(dāng)前警覺度檢測(cè)方法主要分為主觀和客觀兩類。主觀檢測(cè)方法雖簡(jiǎn)單成本低廉,但是無法保證被試填寫過程中的真實(shí)性[3]?？陀^檢測(cè)方法中基于生理信號(hào)的方法能夠直接反映出人體狀態(tài)的改變[4],已經(jīng)成為警覺度檢測(cè)研究的熱點(diǎn)。目前使用較多的生理信號(hào)有心電(Electrocardiogram, ECG)、眼電(Electrooculography, EOG)、腦電(Electroencephalogram, EEG)和腦血氧飽和度等[5]。其中具有較高的時(shí)間分辨率和精度的EEG,被譽(yù)為檢測(cè)人體疲勞狀態(tài)的金標(biāo)準(zhǔn)[6],但EEG 易受環(huán)境電磁和用戶運(yùn)動(dòng)的干擾且具有較強(qiáng)的功能特異性,因此EEG 不易建立通用的警覺度模型[7]。與EEG 相比,ECG 的檢測(cè)與分析手段操作相對(duì)容易,同時(shí)可以在運(yùn)動(dòng)中被持續(xù)精確測(cè)量。此外還有基于功能性近紅外光譜(Functional Near-Infrared Spectroscopy,fNIRS)信號(hào)特征來評(píng)估大腦警覺度水平的研究。與EEG 相比,fNIRS 具有更高的空間分辨率和更強(qiáng)的抗運(yùn)動(dòng)、生理和電磁干擾的能力[8],但通常和其他生理信號(hào)聯(lián)合使用,以獲得更好的分類效果[9]。警覺度作為一種涉及生理、精神和行為的復(fù)雜狀態(tài),單一指標(biāo)檢測(cè)往往會(huì)因個(gè)體差異性大等原因而導(dǎo)致結(jié)果的不可靠[10]。故綜合利用被試的fNIRS 和ECG 信號(hào)提取特征進(jìn)行警覺度檢測(cè),既可反映大腦高級(jí)認(rèn)知活動(dòng),亦可表征交感神經(jīng)的活動(dòng),較單生理信號(hào)的分辨能力提高,可彌補(bǔ)各自信號(hào)的不足,提升了檢測(cè)結(jié)果的可信度、可靠性和對(duì)不同環(huán)境的適應(yīng)性。

本文為探究航天員在軌警覺度的變化情況,設(shè)計(jì)地基實(shí)驗(yàn),采用經(jīng)典的工作記憶任務(wù)2-back范式與精神運(yùn)動(dòng)警覺度測(cè)試任務(wù)(Psychomotor Vigilance Task,PVT)交叉進(jìn)行的實(shí)驗(yàn)范式模擬警覺度下降的情況,并采集被試在實(shí)驗(yàn)過程中的ECG 和fNIRS 數(shù)據(jù)。通過指標(biāo)變化的顯著性分析對(duì)指標(biāo)進(jìn)行篩選,建立融合多生理參數(shù)的特征集,最后利用支持向量機(jī)(Support Vector Machine,SVM)、隨機(jī)森林(Random Forest,RF)和K 近鄰分類器(K-Nearest Neighbors,KNN)建立了警覺度三分類識(shí)別模型,以期為警覺度的實(shí)時(shí)監(jiān)測(cè)和預(yù)警提供理論基礎(chǔ)。

2 實(shí)驗(yàn)設(shè)計(jì)

2.1 受試者

共招募14 名受試者,其中女性5 名,男性9名,年齡在22 ～35 歲。所有受試者均為右利手,身體健康,無任何神經(jīng)疾病,并具有正?；蛐Ｕ秸５囊曈X能力。

2.2 實(shí)驗(yàn)范式

誘導(dǎo)警覺度下降實(shí)驗(yàn)范式采用字符2-back范式來加速被試的警覺度狀態(tài)的降低,實(shí)驗(yàn)流程如圖1(a)所示;選擇PVT 任務(wù)來對(duì)大腦警覺度進(jìn)行實(shí)時(shí)檢測(cè)實(shí)驗(yàn)流程如圖1(b)所示。整個(gè)實(shí)驗(yàn)過程由18 組PVT 任務(wù)與17 組2-back 任務(wù)交叉進(jìn)行,整個(gè)實(shí)驗(yàn)持續(xù)122 min,總實(shí)驗(yàn)流程如圖1(c)所示。

圖1 實(shí)驗(yàn)流程圖Fig.1 Flow chart of the experiment

2.3 數(shù)據(jù)采集

ECG 數(shù)據(jù)采集采用Biopac MP160 型設(shè)備獲取。fNIRS 數(shù)據(jù)獲取使用荷蘭Artinis 公司的Brite24 型設(shè)備,采集受試者前額部位的血氧數(shù)據(jù),光學(xué)配置為10 探頭與8 探測(cè)器,組成24 路光通道,如圖2 所示。

圖2 fNIRS 前額區(qū)域光學(xué)通道設(shè)置Fig.2 fNIRS frontal area optical channel setup

2.4 行為學(xué)結(jié)果

績(jī)效數(shù)據(jù)選擇了PVT 任務(wù)的反應(yīng)時(shí)間,第1個(gè)block 的反應(yīng)時(shí)間(mean= 339.13 ms,std=21.93 ms),第18 個(gè)block 的反應(yīng)時(shí)間(mean=432.26 ms,std=60.50 ms)。經(jīng)過重復(fù)測(cè)量方差分析ANOVA 發(fā)現(xiàn)第1 個(gè)block 與第18 個(gè)block的反應(yīng)時(shí)間存在顯著差異(F=29.32,P＜0.001)。反應(yīng)時(shí)間的變化如圖3 所示:

圖3 行為學(xué)數(shù)據(jù)結(jié)果Fig.3 The result of behavioral data

通過計(jì)算PVT 任務(wù)時(shí)間段的fNIRS 與ECG信號(hào)數(shù)據(jù)的各特征值,并根據(jù)每個(gè)block 反應(yīng)時(shí)間(Reaction Time,RT)的臨界值對(duì)警覺度狀態(tài)進(jìn)行三分類,分類標(biāo)準(zhǔn)如表1 所示。

表1 警覺度狀態(tài)三分類標(biāo)準(zhǔn)Table 1 Three classification criteria of alert state

3 數(shù)據(jù)篩選與分析

3.1 生理信號(hào)預(yù)處理

對(duì)ECG 信號(hào)預(yù)處理包括20 Hz 低通濾波、50 Hz 帶陷濾波器抑制工頻干擾以及IIR 零相移數(shù)字濾波器糾正基線漂移,預(yù)處理前后波形圖如圖4 所示。之后選用MATLAB 自帶的findpeaks函數(shù)來捕捉R 峰[11],使用三次樣條插值法按照5 Hz 的采樣率獲取心率變異性(HRV)信號(hào)[12]。

圖4 ECG 信號(hào)預(yù)處理前后波形圖Fig.4 Waveforms before and after ECG signal preprocessing

fNIRS 信號(hào)預(yù)處理使用MATLAB 軟件中的Homer3 工具包,將原始的光強(qiáng)信號(hào)轉(zhuǎn)化為光密度信號(hào),進(jìn)行0.01～0.4 Hz 的帶通濾波,fNIRS 預(yù)處理前后頻譜圖如圖5 所示。再利用Beer-Lambert定律將光密度信號(hào)轉(zhuǎn)換為氧合血紅蛋白(HbO)和脫氧血紅蛋白(Hb)的濃度。

圖5 fNIRS 信號(hào)預(yù)處理前后波形圖Fig.5 Spectrogram before and after fNIRS signal preprocessing

3.2 特征提取

3.2.1 fNIRS 特征提取

式中m=2,r=0.2×std,為相似容限,SampleEn值越低,復(fù)雜度越高[13]。

對(duì)14 名被試在相同警覺度狀態(tài)下的各個(gè)特征值歸一化后進(jìn)行平均,分析上述4 種fNIRS 特征隨警覺度下降的變化情況,并繪制前額區(qū)地形圖觀察HbO、Hb 以及HbT 特征變化。3 個(gè)信號(hào)的均值、幅值、標(biāo)準(zhǔn)差以及樣本熵變化趨勢(shì)相似,以HbT 為例進(jìn)行分析結(jié)果如圖6 所示。HbO、Hb 和HbT 濃度均值能夠代表當(dāng)前時(shí)段的血氧水平[14],由圖6(a)可知,隨著警覺度的降低,均值在前額大部分區(qū)域顯著增加,即局部神經(jīng)元激活會(huì)增加代謝率,導(dǎo)致血流量和容量增加[15];由圖6(b)與圖6(c)可知幅值和標(biāo)準(zhǔn)差在前額全域減小,表示隨疲勞程度加深前額區(qū)耗氧量變化程度減小,即耗氧量穩(wěn)定增長(zhǎng);圖6(d)表示樣本熵在前額全域降低,表明腦區(qū)復(fù)雜度增加,亦可表明腦區(qū)活躍度上升。

圖6 3種警覺度狀態(tài)下fNIRS-HbT信號(hào)特征分析圖Fig.6 Analysis diagramoffNIRS-HbTsignalcharacteristicsunderthree vigilance states

3.2.2 ECG 特征分析

本文提取ECG 信號(hào)特征包括心率(Hearth Rate,HR)以及心率變異性的時(shí)、頻域特征定義[16]及其生理意義[12]如表2 所示。

表2 ECG 信號(hào)特征定義Table 2 Definition of ECG signal characteristics

除此之外,心率由于多種因素的疊加而呈現(xiàn)非線性的特點(diǎn),因此采用RR 間期形成的龐加萊(Poincare)散點(diǎn)圖[17]作為非線性特征,提取散點(diǎn)圖的角度指標(biāo)(VAI)與長(zhǎng)度指標(biāo)(VLI)進(jìn)行定量分析。首先通過式(4)、式(5)計(jì)算散點(diǎn)圖覆蓋范圍。

計(jì)算得到的VAI主要反映人體副交感神經(jīng)活性,VLI表征心率變異性的總體變化。

14 名受試者的平均結(jié)果如圖7 所示,圖7(a)顯示隨著警覺度下降,心率顯著降低,RR 間期、SDNN、RMSSD、PNN50 和CV 顯著增加,符合人體在疲勞狀態(tài)下心率減慢,副交感神經(jīng)的調(diào)控作用加強(qiáng)的事實(shí)。由圖7(b)可知總功率TP 和LF 隨警覺度降低顯著增高,但HF 和LF/HF 變化趨勢(shì)不明顯。由圖8 可知,HF 隨實(shí)驗(yàn)進(jìn)行波動(dòng)上升,LF/HF 波動(dòng)下降,可能二者波動(dòng)幅度較大導(dǎo)致圖7(b)特征不明顯。上述特征表明自主神經(jīng)系統(tǒng)整體活性的增加,副交感神經(jīng)活性的上升幅度高于交感神經(jīng)因此導(dǎo)致自主神經(jīng)系統(tǒng)向副交感神經(jīng)傾斜,這與時(shí)域特征變化結(jié)論一致。由圖7(c)可知,VAI 先上升再下降,反映副交感神經(jīng)活性先增強(qiáng)再大幅度下降。低警覺度狀態(tài)下VLI 值最大,表示HRV 總體變化最大則心率最慢,這與上述結(jié)論保持一致。

圖7 3 種警覺度狀態(tài)下ECG 信號(hào)特征分析圖Fig.7 Analysis chart of ECG signal characteristics under three alert states

圖8 18 個(gè)block 下ECG 信號(hào)頻域特征變化圖Fig.8 Frequency domain characteristic changes of ECG signals in 18 blocks

將上述特征進(jìn)行顯著性分析后,選取fNIRS信號(hào)中共同的具有顯著性差異的特征包括均值(P＜0.05)、幅值(P＜0.05)、標(biāo)準(zhǔn)差(P＜0.01)以及樣本熵(P＜0.01)。ECG 信號(hào)特征中除HF 以及VLI 特征外,其余特征均具有顯著性差異(P＜0.05)。根據(jù)上述特征建模對(duì)警覺度進(jìn)行識(shí)別研究,探究fNIRS 信號(hào)和ECG 信號(hào)對(duì)警覺度下降模型的影響。

4 警覺度識(shí)別分類模型及結(jié)果

4.1 警覺度識(shí)別模型

為了研究fNIRS、ECG 和fNIRS-ECG 特征集的分類效果,使用SVM、KNN 和RF3 種分類器建立識(shí)別模型。

SVM 是有監(jiān)督的模型,可以解決分類及回歸問題[18],有效避免欠學(xué)習(xí)和過學(xué)習(xí)的現(xiàn)象。對(duì)于要分類的樣本,采取尋找平面的方式進(jìn)行分類,這些平面中最優(yōu)的是最優(yōu)分類超平面。對(duì)于大腦高警覺、一般警覺、低警覺進(jìn)行分類的數(shù)據(jù)是線性不可分的,因此需要引入核函數(shù),本文采用高斯徑向基核函數(shù),如式(8)所示,其中γ表示支持向量的數(shù)量。

KNN 算法主要是依據(jù)訓(xùn)練數(shù)據(jù)的類別來判斷測(cè)試數(shù)據(jù)類別的方法。判斷測(cè)試數(shù)據(jù)的類別和訓(xùn)練數(shù)據(jù)之間的關(guān)系是通過求2 個(gè)數(shù)據(jù)集的點(diǎn)之間的相似程度,計(jì)算主要依據(jù)的是2 個(gè)點(diǎn)之間的距離,本文采用的距離度量的方法是歐氏距離,如式(9)所示。

RF 算法是Bagging 技術(shù)與決策樹的融合,利用決策樹作為子分類器,并且其輸出的類別由決策樹分類結(jié)果的眾數(shù)決定。在本文建立的模型中,隨機(jī)森林的決策樹個(gè)數(shù)為10。SVM、KNN 和RF 已被證明在大量腦認(rèn)知科學(xué)領(lǐng)域和大腦狀態(tài)檢測(cè)研究中分類表現(xiàn)良好[19-22]。此外,為避免模型過擬合,使用十折交叉驗(yàn)證來評(píng)估模型的有效性。

4.2 警覺度分類結(jié)果

對(duì)每位受試者數(shù)據(jù)進(jìn)行10 s 滑動(dòng)時(shí)間窗口處理,將獲得的647 個(gè)樣本進(jìn)行3 個(gè)警覺度等級(jí)的測(cè)試。Only-fNIRS 是僅使用fNIRS 特征的數(shù)據(jù)集,其維數(shù)為647 個(gè)樣本×288 個(gè)特征。Only-ECG特征集是僅使用ECG 信號(hào)提取特征的數(shù)據(jù)集,其維數(shù)為647 個(gè)樣本×10 個(gè)特征。fNIRS-ECG 特征集的維數(shù)為647 個(gè)樣本×298 個(gè)特征。

從表3 中信息可以看出,SVM 模型下3 個(gè)數(shù)據(jù)集的表現(xiàn)均優(yōu)于其他模型。采用雙因素法分析不同分類器對(duì)準(zhǔn)確率的影響,結(jié)果表明,不同分類器(F=39.19,P＜0.01)之間的準(zhǔn)確率均具有顯著性差異,SVM 分類器在3 個(gè)特征集上均顯著優(yōu)于RF 和KNN。

表3 不同特征組合在3 種分類器下的分類正確率Table 3 Classification accuracy of different feature combinations under three classifiers 單位:%

單特征集Only-ECG 的平均分類正確率達(dá)到71.04%,與薛然婷[12]的分類精度水平相當(dāng)。使用Only-fNIRS 特征集, 平均分類正確率為79.44%,略高于曹勇等[23]的分類結(jié)果,與心電特征正確率相比也有所提高,這說明fNIRS 信號(hào)對(duì)警覺度更加敏感。fNIRS-ECG 特征集建模后的結(jié)果,正確率最高可達(dá)88.72%,平均分類正確率為80.37%,即兩種信號(hào)融合后對(duì)模型的分類效果提升顯著,證明了多參數(shù)特征的三分類優(yōu)于單純心電或是單純功能性近紅外信號(hào)的分類方法,這與Parent[24]的結(jié)論一致。除此之外,fNIRS-ECG 特征集的警覺度水平識(shí)別準(zhǔn)確率的標(biāo)準(zhǔn)差小于單純fNIRS 特征集和單純ECG 特征集,即fNIRS-ECG特征集不僅顯著提高了分類精度,而且使模型更穩(wěn)定、魯棒性更高,這在實(shí)際應(yīng)用中尤為重要。

5 討論

警覺度在航天領(lǐng)域、交通安全領(lǐng)域和軍事作戰(zhàn)領(lǐng)域都具有重要意義,而警覺度下降可能會(huì)導(dǎo)致任務(wù)失敗,甚至人員傷亡[25]。因此,在警覺度水平降低時(shí)采取相應(yīng)的措施對(duì)警覺度進(jìn)行調(diào)控,實(shí)現(xiàn)對(duì)警覺度的在線監(jiān)測(cè)是國(guó)內(nèi)外在航天研究的重點(diǎn)課題。進(jìn)行警覺度實(shí)時(shí)監(jiān)測(cè)首先需要建立警覺度識(shí)別模型,本文基于此設(shè)計(jì)了2-back 和PVT任務(wù)交叉進(jìn)行,既加速了受試者警覺度的降低過程,促進(jìn)警覺度下降模型的建立,同時(shí)也對(duì)警覺度進(jìn)行了檢測(cè)。對(duì)受試者在整個(gè)實(shí)驗(yàn)過程中的反應(yīng)時(shí)間變化進(jìn)行了分析,結(jié)果顯示此實(shí)驗(yàn)范式成功誘導(dǎo)了警覺度下降。

本文旨在為航天員警覺度檢測(cè)進(jìn)行地基實(shí)驗(yàn),因此生理信號(hào)在保證一定分類正確率的前提下,采樣難度越低,應(yīng)用性就越高。EEG 信號(hào)采集雖被廣泛應(yīng)用于警覺度檢測(cè),但實(shí)驗(yàn)室環(huán)境與在軌環(huán)境有所區(qū)別,EEG 采集需要佩戴全腦電極帽且操作清洗較復(fù)雜;EOG 采集難度較低但采樣時(shí)間過長(zhǎng),模型的實(shí)時(shí)性難以保證。故本文采用操作簡(jiǎn)單、采集時(shí)間中等的ECG 信號(hào)和僅在前額區(qū)采集、空間分辨力高的fNIRS 信號(hào)進(jìn)行警覺度檢測(cè)。

根據(jù)fNIRS 信號(hào)特征分析可知,隨著警覺度降低,前額區(qū)耗氧量穩(wěn)步上升,表明在疲勞狀態(tài)下完成同等強(qiáng)度的任務(wù)需提高大腦代謝水平,也可能由于前額葉與工作記憶、注意力、活動(dòng)控制和情緒控制有關(guān)。受試者隨著任務(wù)進(jìn)行出現(xiàn)消極情緒以及認(rèn)知負(fù)荷增加導(dǎo)致前額葉激活程度增加[26],且耗氧量趨于穩(wěn)定原因可能是在低警覺狀態(tài)下前額葉激活程度達(dá)到最大,耗氧量逐漸飽和,這一結(jié)論與Borragán 等[27]和Chuang 等[28]研究結(jié)果一致。根據(jù)ECG 信號(hào)特征分析可知隨著警覺度降低,人體的應(yīng)激能力下降,心率、注意力和反應(yīng)能力下降,并通過增強(qiáng)自主神經(jīng)活性和副交感神經(jīng)活性來緩解自身疲勞程度,這與趙小靜等[29]和周春遠(yuǎn)等[30]的研究結(jié)果相一致。

由表3 可知,從單個(gè)信號(hào)分類正確率來看Only-fNIRS 特征集正確率的平均值較Only-ECG特征集高。但是有個(gè)別被試Only-ECG 信號(hào)特征準(zhǔn)確率高于Only-fNIRS 信號(hào)特征的準(zhǔn)確率,即生理響應(yīng)存在個(gè)體差異性。融合二者特征后分類正確率顯著上升且方差較低,與王韜[11]和Parent等[24]的結(jié)論一致,表示綜合了自主神經(jīng)系統(tǒng)特征和大腦神經(jīng)元激活特征的方法能夠彌補(bǔ)這種差異性,構(gòu)建的分類模型也更加穩(wěn)定,對(duì)發(fā)展完善的生理特征融合理論體系和警覺度模型建立方法具有實(shí)際意義。通過對(duì)比SVM、RF 以及KNN 算法構(gòu)建的警覺度檢測(cè)識(shí)別的分類模型,發(fā)現(xiàn)SVM 的分類效果最優(yōu),證實(shí)了ECG 和fNIRS 信號(hào)特征融合對(duì)于警覺度檢測(cè)的可行性,為方便航天在軌實(shí)驗(yàn)奠定了實(shí)驗(yàn)基礎(chǔ)。

6 結(jié)論

1)PVT 與2-back 任務(wù)交叉進(jìn)行的實(shí)驗(yàn)范式成功誘發(fā)了警覺度下降。

2)分析了3 種警覺度狀態(tài)下生理響應(yīng)隨警覺度降低,前額葉活躍度增強(qiáng),副交感神經(jīng)系統(tǒng)占主導(dǎo)地位。

3)融合fNIRS 和ECG 信號(hào)的特征,采用SVM識(shí)別高、中、低警覺度三分類正確率達(dá)到了(80.37±5.76)%,高于單個(gè)信號(hào)分類正確率,證實(shí)了多種生理信號(hào)可以提供更多的用于警覺度分類的信息。