低覺醒腦電識別與喚醒的可穿戴系統(tǒng)研究

楊建平，劉明華，呂敬祥，孔翠香，帥曉勇

（井岡山大學(xué) 電子與信息工程學(xué)院，江西 吉安 343009）

在現(xiàn)代化的機(jī)械設(shè)備中，智能化、自動(dòng)化程度不斷提升，機(jī)械設(shè)備的操作變得越來越簡單，但操控機(jī)械設(shè)備時(shí)要求作業(yè)人員持續(xù)保持覺醒—警戒作業(yè)，如車輛駕駛、空中飛機(jī)作業(yè)、加工機(jī)械的操作與控制、自動(dòng)化生產(chǎn)的實(shí)時(shí)監(jiān)控等；在這類行業(yè)中，作業(yè)人員工作單調(diào)、乏味，容易導(dǎo)致生理疲勞、心理厭倦、注意力不集中，即處于低覺醒水平，對目標(biāo)警戒能力下降。當(dāng)警戒下降時(shí)，輕者只是績效下降，重者會(huì)導(dǎo)致非常嚴(yán)重的事故，因而設(shè)計(jì)并生產(chǎn)智能化的、可穿戴的監(jiān)測及喚醒設(shè)備對警戒作業(yè)人員狀態(tài)進(jìn)行識別，及時(shí)喚醒低覺醒狀態(tài)對提高工作績效、安全生產(chǎn)具有非常重要的意義。

采用恰當(dāng)?shù)牡陀X醒狀態(tài)表現(xiàn)特征、在線測量并計(jì)算作業(yè)人員的狀態(tài)特征、評估覺醒水平，是自動(dòng)化生產(chǎn)中的一項(xiàng)重要課題[1]。目前類似研究主要有：1)借助提取呼吸信號和哈欠頻繁次數(shù)等作為判定疲勞狀態(tài)特征參數(shù)的實(shí)時(shí)監(jiān)測系統(tǒng)[2-3]；2)運(yùn)用數(shù)字圖像處理方法提取作業(yè)人員的面部表情來判斷駕駛員是否處于覺醒狀態(tài)的系統(tǒng)[4]；3)采用眼電、心電、肌電等生理特征量的覺醒判別方法[5-7]； 4)結(jié)合眼動(dòng)、方向盤轉(zhuǎn)動(dòng)及生理狀態(tài)等疲勞作業(yè)特征的駕駛員精神狀態(tài)的監(jiān)測方法[8]。上述的眾多研究中，呼吸信號、面部表情、方向盤轉(zhuǎn)動(dòng)等表現(xiàn)特征是覺醒水平下降的表現(xiàn)，但覺醒水平下降并不表明相應(yīng)特征一定出現(xiàn)，用來表征低覺醒水平不夠理想，另外通過圖像采集相關(guān)特征的系統(tǒng)具有明顯的滯后性，預(yù)警效果較差；眼電、心電、肌電等生理特征難于全面、恰當(dāng)?shù)卦u價(jià)人體的覺醒狀態(tài)。腦電(electroencephalogram，EEG)信號被認(rèn)為更適合作為覺醒狀態(tài)檢測的指標(biāo)[9-10]，具有無創(chuàng)性，能及時(shí)、準(zhǔn)確地反映警戒人員的狀態(tài)，是目前最客觀、最常用的研究覺醒狀態(tài)的生理指標(biāo)。例如，當(dāng)警戒作業(yè)人員的覺醒水平下降時(shí)，EEG信號也發(fā)生相應(yīng)的變化，通過處理、分析作業(yè)人員的EEG信號可判斷作業(yè)員是否處于覺醒狀態(tài)，并在出現(xiàn)低覺醒狀態(tài)時(shí)發(fā)出喚醒警告，促使作業(yè)人員保持覺醒狀態(tài)。本文對警戒作業(yè)人員的EEG進(jìn)行監(jiān)控，提取EEG信號，用信號處理方法、模式識別手段，設(shè)計(jì)一種低覺醒狀態(tài)的監(jiān)測系統(tǒng)，對警戒作業(yè)人員的狀態(tài)進(jìn)行識別、報(bào)警及喚醒。

1 系統(tǒng)框架

現(xiàn)場可編程門陣列(field programmable gate array，F(xiàn)PGA)具有非常好的并行處理功能，已發(fā)展為一門與數(shù)字信號處理密切相關(guān)的技術(shù)，其多通道、實(shí)時(shí)性能夠很好地滿足EEG信號處理的要求[11]。在現(xiàn)代化裝備上開發(fā)的EEG狀態(tài)監(jiān)控系統(tǒng)具有可穿戴性、操作簡單，能夠?qū)崟r(shí)監(jiān)測、改善作業(yè)人員的大腦精神狀況。系統(tǒng)的硬件平臺(tái)主要基于Alter公司的DE2開發(fā)板，開發(fā)板內(nèi)部采用片上可編程系統(tǒng)(system-on-a-programmable-chip，SOPC) 技術(shù)把NiosⅡ軟核處理器、存儲(chǔ)器、功能接口以及擴(kuò)展I/O口等部件集成在一塊FPGA芯片上，在開發(fā)板的外圍擴(kuò)展腦電數(shù)據(jù)采集板、A/D轉(zhuǎn)換器、SD存儲(chǔ)卡等硬件設(shè)施來實(shí)現(xiàn)系統(tǒng)的硬件結(jié)構(gòu)，另外還專門準(zhǔn)備了可擴(kuò)展的I/O接口，以備可能的監(jiān)控系統(tǒng)功能升級及擴(kuò)展應(yīng)用。

狀態(tài)監(jiān)控系統(tǒng)主要分為單電極EEG信號采集、模數(shù)轉(zhuǎn)換器、EEG信號處理模塊、SVM特征識別模塊以及語音報(bào)警模塊，EEG信號處理模塊主要通過頻譜的計(jì)算獲取4個(gè)EEG狀態(tài)特征，組成特征向量，系統(tǒng)結(jié)構(gòu)框圖如圖1所示。

2 低覺醒狀態(tài)EEG信號采集及特征分析

2.1 單電極EEG信號采集端

單電極EEG信號采集相比多電極簡單，更易于可穿戴化。EEG采集模板示意圖如圖2所示，通過置于頭皮上的傳感器從大量的噪聲中提取微弱的腦電信號，采集過程中EEG信號處于極化電壓、高頻干擾、50 Hz工頻等各種干擾，在模數(shù)轉(zhuǎn)換前應(yīng)設(shè)計(jì)前置放大電路、高通濾波器、低通濾波器和50 Hz 陷波器、20 000倍左右信號放大電路，整個(gè)電路需處于隔離電源電路的保護(hù)之下。

圖 2 EEG采集模塊示意圖Fig. 2 The schematic diagram of EEG signal collection

2.2 低覺醒單電極EEG信號的特征分析

人體處于不同的生理狀態(tài)下EEG信號呈現(xiàn)出不同的特征，其中節(jié)律特征在目前各類研究中使用非常廣泛，EEG信號的常用節(jié)律主要包括5 種，分別占有不同的頻帶，即 δ(0.5～4 Hz)、θ(4～8 Hz)、α(8～13 Hz)、β(13～25 Hz)和 γ(＞25 Hz)。當(dāng)警戒作業(yè)員大腦處于完全放松或全神貫注等精神狀態(tài)時(shí)多出現(xiàn)α節(jié)律，這時(shí)的大腦注意力集中，思維活躍，思路清晰、快捷，作業(yè)績效高；而作業(yè)人員覺醒度下降甚至進(jìn)入瞌睡狀態(tài)時(shí)，EEG信號中的α節(jié)律能量減少，θ節(jié)律占明顯優(yōu)勢(極度疲勞時(shí)還會(huì)產(chǎn)生更多的δ波)此時(shí)警戒作業(yè)中容易產(chǎn)生脫靶、漏靶現(xiàn)象。對比兩種狀態(tài)，由覺醒狀態(tài)發(fā)展到低覺醒狀態(tài)，EEG的主體節(jié)律頻率下降，導(dǎo)致其頻域中的眾多特征發(fā)生變化，θ節(jié)律相對比重、α節(jié)律的相對比重、頻譜曲線的重心、頻譜曲線的結(jié)構(gòu)都會(huì)產(chǎn)生變化，變化情況如表1如示，因此計(jì)算兩狀態(tài)中的4個(gè)特征并通過機(jī)器學(xué)習(xí)這些特征可以用來識別低覺醒狀態(tài)。

表 1 覺醒與低覺醒狀態(tài)的特征量對比Table 1 Compare the four characteristics of low arousal state and arousal state

3 單電極EEG信號處理模塊的算法

3.1 頻譜的計(jì)算

功率譜分析是EEG頻域分析的經(jīng)典方法，也是最基本的手段之一，它把大腦頭皮電壓的幅度隨時(shí)間變化的波形轉(zhuǎn)化為功率隨頻率分布的頻譜圖，能直觀地分析 EEG 各節(jié)律 (δ、θ、α、β、γ)的分布規(guī)律，是計(jì)算和分析各種頻域特征量的基礎(chǔ)。如圖3所示為一模擬警戒作業(yè)中EEG功率譜(采樣頻率為100 Hz)，表征了該EEG信號中各頻率成分的分布特征。

圖 3 警戒作業(yè)中的EEG功率譜Fig. 3 The spectrum of EEG signal in the simulated vigilance operation

功率譜的計(jì)算主要由快速傅里葉變換(fast Fourier transform，F(xiàn)FT)實(shí)現(xiàn)，是一種快速計(jì)算離散傅里葉變換的算法，N點(diǎn)FFT計(jì)算出來的譜線亦為N(0～N-1)條，對于實(shí)信號(如采集的EEG信號)，其譜線分布共軛對稱，系統(tǒng)只需計(jì)算前N/2條，每條所對應(yīng)的模擬頻率為(k為第k條譜線)，為抽樣頻率，依此可得到EEG信號的各子節(jié)律信號。

3.2 腦電節(jié)律的相對能量

將功率譜序列按頻率分段，獲取θ頻帶和α頻帶的功率譜，并經(jīng)重構(gòu)(傅里葉逆變換)得到這個(gè)兩節(jié)律的信號，由原EEG信號計(jì)算出總能量，兩節(jié)律信號計(jì)算出θ波、α波能量，計(jì)算公式：

3.3 EEG信號頻譜的重心

模仿物理學(xué)中計(jì)算物體重心的公式來計(jì)算EEG信號的重心頻率：

3.4 EEG信號譜熵的計(jì)算

式中：qi為第i個(gè)功率分量在整個(gè)譜中所占的百分比，即。計(jì)算過程中，考慮EEG信號為實(shí)信號，而實(shí)序列的傅里葉變換具有共軛對稱性，因而只需選用功率譜序列的前面一半()來計(jì)算EEG信號的譜熵。

3.5 兩類EEG信號狀態(tài)特征向量的獲取

為智能化地從長時(shí)間EEG信號中識別低覺醒狀態(tài)，應(yīng)預(yù)先設(shè)計(jì)實(shí)驗(yàn)，采集、處理覺醒狀態(tài)與低覺醒狀態(tài)的兩類EEG信號，并提供給系統(tǒng)學(xué)習(xí)，使其能夠從長時(shí)間警戒作業(yè)的EEG信號中識別出低覺醒狀態(tài)。

通過實(shí)驗(yàn)設(shè)計(jì)、實(shí)驗(yàn)過程、特征向量的計(jì)算，由模擬警戒實(shí)驗(yàn)獲取兩種狀態(tài)的EEG特征向量。

1)實(shí)驗(yàn)設(shè)計(jì)：實(shí)驗(yàn)操作指令由事先編制的測試軟件產(chǎn)生，軟件運(yùn)行時(shí)產(chǎn)生不同的警戒刺激(實(shí)驗(yàn)選用駕駛員交通標(biāo)志圖片，包括紅、綠燈，左、右轉(zhuǎn)彎等共10個(gè)圖片)，刺激圖片隨機(jī)地出現(xiàn)在屏幕中心，出現(xiàn)刺激的時(shí)間間隔亦為隨機(jī)編制；為確保被試在整個(gè)實(shí)驗(yàn)進(jìn)程中能夠出現(xiàn)覺醒狀態(tài)以及低覺醒狀態(tài)，選擇有午睡習(xí)慣的被試、在午餐后時(shí)段 (13： 30～14： 30)進(jìn)行實(shí)驗(yàn)，時(shí)間約 60 min。

2)實(shí)驗(yàn)過程：運(yùn)行編制軟件開始實(shí)驗(yàn)，同時(shí)啟動(dòng)腦電儀采集EEG信號，采樣頻率為100 Hz。實(shí)驗(yàn)時(shí)要求被試注視電腦屏幕，眼睛距屏幕60 cm，根據(jù)屏幕中出現(xiàn)的警戒刺激的類型做出判斷，依據(jù)不同的判斷和所對應(yīng)的“按鍵”在電腦鍵盤上完成按鍵操作，其中按鍵操作的反應(yīng)時(shí)間、按鍵操作的正誤都會(huì)被實(shí)驗(yàn)軟件自動(dòng)記錄并保存起來；為減少判斷低覺醒狀態(tài)的“軟件依賴”度，安排實(shí)驗(yàn)操作人員在一旁監(jiān)視并記錄被試出現(xiàn)的狀態(tài)，最后綜合實(shí)驗(yàn)操作員的監(jiān)視和軟件記錄從采集的EEG信號中挑選出兩種狀態(tài)的EEG信號。

3)特征量的計(jì)算流程：①對挑選出的EEG信號，逐次采用矩形窗口進(jìn)行截?cái)啵瞄L為256(方便FFT計(jì)算)點(diǎn)的EEG序列；②運(yùn)用FFT逐次求得每段EEG序列的頻譜數(shù)據(jù)；③由頻譜數(shù)據(jù)分別計(jì)算重心頻率、譜熵；④按EEG節(jié)律從頻譜數(shù)據(jù)中分離θ、α頻帶，計(jì)算它們的相對能量；⑤將4個(gè)特征量組成一個(gè)特征向量，供SVM系統(tǒng)學(xué)習(xí)。經(jīng)多次采集EEG信號實(shí)驗(yàn)，計(jì)算了320個(gè)特征向量，表2為從中抽取的10個(gè)特征向量及其對應(yīng)的狀態(tài)。

表 2 兩種狀態(tài)中4個(gè)特征量的實(shí)驗(yàn)對照值Table 2 Contrasts of the four characteristics about two states

4 SVM特征識別模塊

4.1 識別模型

支持向量機(jī)(support vector machine，SVM)學(xué)習(xí)方法與神經(jīng)網(wǎng)絡(luò)、遺傳算法、人工智能等其他學(xué)習(xí)方法相比，具有較好的推廣能力和非線性處理能力，已在分類EEG信號、識別人臉、融合數(shù)據(jù)、估計(jì)函數(shù)等方面有廣泛應(yīng)用。SVM是由CORTES 等[12]根據(jù)統(tǒng)計(jì)學(xué)習(xí)理論提出的一種機(jī)器學(xué)習(xí)方法，已在小樣本、非線性及高維模式識別中展現(xiàn)出獨(dú)特的優(yōu)勢。使用SVM對被試各段EEG特征進(jìn)行分類時(shí)，關(guān)鍵是構(gòu)造一個(gè)判別函數(shù)，將預(yù)分類的EEG特征量盡可能地區(qū)分為覺醒狀態(tài)類和低覺醒狀態(tài)類，即由EEG的特征向量構(gòu)造超平面，并獲取最優(yōu)判別函數(shù)：

4.2 SVM的核函數(shù)及相應(yīng)參數(shù)

在使用SVM訓(xùn)練和測試樣本時(shí)要選擇合適的核函數(shù)，核函數(shù)的選取關(guān)系到SVM性能的好壞，這里選擇使用最為廣泛的徑向基函數(shù)(radial Basis function，RBF)為核函數(shù)，它能夠適用于低維或高維、小樣本或大樣本等各種情況，能夠?qū)崿F(xiàn)非線性映射，也具有較寬的收斂域，是一種理想的分類函數(shù)。

選取RBF核函數(shù)后，SVM性能的優(yōu)劣還取決于兩參數(shù)—寬度參數(shù)δ(控制函數(shù)的徑向作用范圍)和懲罰因子C，對于不同的一組(δ，C)可得到性能不同的SVM。為了獲取δ和C最佳的參數(shù)組合， 通過MATLAB軟件編程并采用交叉驗(yàn)證方法[13]尋找最優(yōu)的 (δ，C)，經(jīng)過計(jì)算求得 δ=3.8，C=4。

4.3 兩類特征向量的訓(xùn)練與測試

圖4所示為計(jì)算的EEG信號兩類狀態(tài)的4對特征量的盒式圖，從圖可以看出，4對特征量中的兩個(gè)盒子都有一部分重疊，因而就單個(gè)特征量而言難于區(qū)分低覺醒狀態(tài)和覺醒狀態(tài)，識別率不高，采用將4個(gè)特征量組合成一個(gè)特征向量。

但圖4中的每個(gè)特征都有一定的區(qū)分度，可將4個(gè)特征合成一個(gè)特征向量，從而獲得更高的區(qū)分度，更好地識別低覺醒狀態(tài)。將實(shí)驗(yàn)獲得的兩類樣本(4個(gè)特征量)選取80個(gè)EEG特征向量，作為SVM模式識別系統(tǒng)的訓(xùn)練集，將訓(xùn)練集輸入SVM進(jìn)行訓(xùn)練、學(xué)習(xí)，使系統(tǒng)獲得識別兩類樣本特征向量的能力。另一方面，將實(shí)驗(yàn)計(jì)算的剩余240個(gè)特征向量組成測試樣本，作為SVM模式識別系統(tǒng)的測試集。系統(tǒng)測試結(jié)果：240個(gè)樣本中正確識別218個(gè)，識別率90.8%，與單個(gè)特征量相比識別率大幅提高。

圖 4 特征向量的盒式圖Fig. 4 Boxplots of characteristics

表3給出了本文系統(tǒng)與其他類似系統(tǒng)的實(shí)驗(yàn)結(jié)果，從表中可以看出本文方法具有一定的優(yōu)越性。

表 3 本文系統(tǒng)與其他類似系統(tǒng)的比較Table 3 Comparison of this system with the others

5 語音報(bào)警模塊

當(dāng)警戒作業(yè)人員出現(xiàn)低覺醒狀態(tài)時(shí)，使用語音報(bào)警模塊喚醒被監(jiān)控者，以提升覺醒水平，其模塊結(jié)構(gòu)如圖5所示，主要包括：1)低覺醒狀態(tài)接收端，接收特征識別模塊的脈沖信號；2)按鍵操控端，變換報(bào)警語音及音量等；3)智能語音芯片，語音報(bào)警模塊的核心部分，選用PM50系列的智能語音芯片，由專用的語音單片機(jī)和FLASHRAM存儲(chǔ)器集合構(gòu)成；4)擴(kuò)展功能端，供人性化、智能化設(shè)計(jì)時(shí)擴(kuò)展功能使用；5)溫馨報(bào)警提示，接收語音信號并發(fā)出溫馨的報(bào)警聲音。

圖 5 語音報(bào)警模塊Fig. 5 The warning module of pronunciation

在整個(gè)設(shè)計(jì)過程中考慮了人性化、智能化、實(shí)用性的要求。使用前預(yù)先錄制、編譯并載入語音至報(bào)警模塊，由錄音設(shè)備錄制的語音可以是時(shí)長為幾秒至200 s的一個(gè)或多個(gè)片段，這些語音經(jīng)過語音潤色處理，增加人性化的工作環(huán)境。使用過程中，當(dāng)?shù)陀X醒狀態(tài)接收端獲得高電平脈沖(當(dāng)警戒作業(yè)人員出現(xiàn)低覺醒狀態(tài)時(shí)，由特征識別模塊輸入)時(shí)，將其輸入智能語音芯片，啟動(dòng)語音報(bào)警。

6 結(jié)束語

本文通過信號處理手段計(jì)算了警戒狀態(tài)下被試EEG信號的θ相對能量、α相對能量、重心頻率、譜熵等特征量，運(yùn)用支持向量機(jī)識別低覺醒狀態(tài)，能夠在線處理EEG信號并對出現(xiàn)的低覺醒狀態(tài)進(jìn)行自動(dòng)識別和報(bào)警提示。該監(jiān)測與喚醒系統(tǒng)能夠廣泛應(yīng)用于各類警戒作業(yè)中，切實(shí)提高自動(dòng)化的生產(chǎn)效率，文中的數(shù)據(jù)也為表征警戒作業(yè)人員的低覺醒狀態(tài)提供了一類客觀、定量的指標(biāo)。