基于STPS和CNN的人體睡眠狀態(tài)辨識(shí)方法研究

周 強(qiáng)，田杏芝，高樂(lè)樂(lè)

(陜西科技大學(xué) 電氣與控制工程學(xué)院，陜西 西安 710021)

0 引言

隨著生活節(jié)奏的加快和競(jìng)爭(zhēng)壓力的增大，失眠案例逐年增多，嚴(yán)重影響人們的身心健康[1].傳統(tǒng)的失眠治療方法多是將人從清醒狀態(tài)誘導(dǎo)至睡眠狀態(tài)，并未考慮到睡眠是一個(gè)復(fù)雜的生理過(guò)程，遵循一定的睡眠規(guī)律，因此治療效果欠佳.醫(yī)學(xué)研究發(fā)現(xiàn)，在準(zhǔn)確辨識(shí)人體睡眠狀態(tài)的基礎(chǔ)上，有針對(duì)性的對(duì)人體睡眠狀態(tài)進(jìn)行誘導(dǎo)和控制，可以有效地改善人體睡眠質(zhì)量.

早期的睡眠狀態(tài)辨識(shí)主要由人工完成，該方法效率低下且辨識(shí)準(zhǔn)確率極易受個(gè)人經(jīng)驗(yàn)影響[2].因此，尋求高效、客觀且準(zhǔn)確可靠的睡眠狀態(tài)辨識(shí)方法成為睡眠醫(yī)學(xué)領(lǐng)域的一個(gè)研究熱點(diǎn)[3].隨著模式識(shí)別技術(shù)的快速發(fā)展，研究者們提出將其與睡眠狀態(tài)辨識(shí)相結(jié)合的方法，如基于Hilbert-Huang變換與最近鄰分類的方法[4]、基于多尺度熵與線性判別分析的方法[5]等.這類方法可有效提高睡眠辨識(shí)效率，但辨識(shí)準(zhǔn)確率很大程度上依賴于人工提取的睡眠腦電特征.特征提取部分計(jì)算過(guò)程往往比較復(fù)雜，且所選特征量沒(méi)有明確的衡量標(biāo)準(zhǔn)，存在一定的偶然性，辨識(shí)效果仍然不是很理想.

針對(duì)以上問(wèn)題，本文提出了一種基于短時(shí)功率譜(Short-Time Power Spectrum,STPS)和卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)的人體睡眠狀態(tài)辨識(shí)方法，先構(gòu)造不同睡眠狀態(tài)的時(shí)-頻譜圖，再將其輸入至所構(gòu)建的適用于睡眠狀態(tài)辨識(shí)的CNN模型中，由CNN自動(dòng)提取睡眠腦電特征，從而完成人體睡眠狀態(tài)辨識(shí).

1 人體睡眠結(jié)構(gòu)與腦電信號(hào)

人體睡眠過(guò)程極其復(fù)雜，包含若干個(gè)相對(duì)穩(wěn)定的狀態(tài)，這些狀態(tài)并非完全獨(dú)立存在，而是逐漸變化、相互重疊交替的[6].為了方便進(jìn)行睡眠研究，Rechtsehaffen和Kales根據(jù)睡眠過(guò)程中人的各項(xiàng)生理表現(xiàn)將其人為劃分為清醒期(Wake,W)、快速眼動(dòng)睡眠期(Rapid Eye Movement,REM)和非快速眼動(dòng)睡眠期(Non-rapid Eye Movement,NREM)，其中NREM期又可進(jìn)一步劃分為S1～S4四個(gè)時(shí)期[7].在睡眠過(guò)程中NREM期和REM期會(huì)交替出現(xiàn)，交替一次則稱為一個(gè)睡眠周期.對(duì)于正常人來(lái)說(shuō)，整夜的睡眠會(huì)經(jīng)歷4～6個(gè)睡眠周期，每個(gè)睡眠周期歷時(shí)約90～100分鐘，且下一個(gè)睡眠周期并非上一個(gè)睡眠周期的簡(jiǎn)單重復(fù).一般來(lái)說(shuō)，較為靠后的睡眠周期中，REM期睡眠時(shí)間逐漸增加，NREM期睡眠時(shí)間逐漸減少.具體過(guò)程如圖1所示.

圖1 正常人體睡眠過(guò)程示意圖

腦電信號(hào)(Electroencephalogram,EEG)是腦神經(jīng)細(xì)胞群的電生理活動(dòng)在大腦皮層表面的總體表現(xiàn)[8].現(xiàn)代醫(yī)學(xué)研究表明，當(dāng)人從清醒狀態(tài)進(jìn)入至睡眠狀態(tài)時(shí)，身體各個(gè)部位將處于完全放松的狀態(tài)，大腦活動(dòng)也會(huì)發(fā)生明顯的變化，具體表現(xiàn)為EEG信號(hào)的波形、波幅、頻率及相位等發(fā)生變化.因此，可以通過(guò)研究不同睡眠狀態(tài)下EEG信號(hào)的變化情況，深入探究睡眠規(guī)律，進(jìn)而有效的誘導(dǎo)、控制睡眠過(guò)程，最終達(dá)到改善睡眠質(zhì)量的目的[9].

2 基于STPS和CNN的人體睡眠狀態(tài)辨識(shí)

2.1 基于STPS和CNN的人體睡眠狀態(tài)辨識(shí)策略

傳統(tǒng)的睡眠狀態(tài)辨識(shí)都是對(duì)所獲取的EEG信號(hào)進(jìn)行預(yù)處理后，采用時(shí)-頻分析或非線性動(dòng)力學(xué)等方法，在此基礎(chǔ)上，根據(jù)大量的先驗(yàn)知識(shí)人工提取各睡眠狀態(tài)的特征，再將其輸入至人工神經(jīng)網(wǎng)絡(luò)或支持向量機(jī)中，辨識(shí)出不同的睡眠狀態(tài).整個(gè)過(guò)程中睡眠EEG信號(hào)的特征提取部分是實(shí)現(xiàn)準(zhǔn)確辨識(shí)的關(guān)鍵.

與傳統(tǒng)的機(jī)器學(xué)習(xí)不同，CNN是一種善于處理二維圖片數(shù)據(jù)的深度學(xué)習(xí)網(wǎng)絡(luò)模型，無(wú)需任何先驗(yàn)知識(shí)，網(wǎng)絡(luò)可利用多級(jí)層級(jí)結(jié)構(gòu)，通過(guò)端到端的訓(xùn)練方式自行學(xué)習(xí)出圖像中更加復(fù)雜、抽象的特征，使得不同類別的圖像更加可分，從而提高辨識(shí)準(zhǔn)確率[10].且網(wǎng)絡(luò)采用局部感知、權(quán)值共享及下采樣等學(xué)習(xí)策略，可有效地降低模型結(jié)構(gòu)復(fù)雜度，并減少訓(xùn)練參數(shù)數(shù)量，較好地避免了過(guò)擬合現(xiàn)象的發(fā)生，顯著地提高了運(yùn)算速度[11].因此，本文提出一種基于STPS和CNN的人體睡眠狀態(tài)辨識(shí)策略，采用STPS對(duì)預(yù)處理后的EEG信號(hào)進(jìn)行時(shí)-頻處理使之圖形化，然后構(gòu)建適用于人體睡眠狀態(tài)辨識(shí)的CNN模型以便自適應(yīng)的提取各睡眠狀態(tài)的特征，從而實(shí)現(xiàn)端到端的睡眠狀態(tài)辨識(shí).該策略具體過(guò)程如圖2所示.

圖2 基于STPS和CNN的人體睡眠狀態(tài)辨識(shí)策略

2.2 EEG信號(hào)的獲取與預(yù)處理

本文實(shí)驗(yàn)數(shù)據(jù)選自MIT-BIH中的The Sleep-EDF database.所記錄的數(shù)據(jù)為整夜的睡眠腦電數(shù)據(jù)，包括Fpz-Cz和Pz-Oz兩路導(dǎo)聯(lián)，采樣頻率為100 Hz，每幀為30 s，且已由經(jīng)驗(yàn)豐富的睡眠醫(yī)師給出一個(gè)參考睡眠狀態(tài).前期研究中已對(duì)兩路數(shù)據(jù)進(jìn)行了相關(guān)仿真實(shí)驗(yàn)，證實(shí)了Hsu等應(yīng)選用導(dǎo)聯(lián)Fpz-Cz結(jié)論的真實(shí)性[12]，故文中后續(xù)研究均基于導(dǎo)聯(lián)Fpz-Cz展開(kāi).

由于EEG信號(hào)幅值非常微弱，極易受其他生理信號(hào)和采集裝置所帶來(lái)的干擾，且個(gè)體差異較為明顯，故在分析前需要對(duì)其進(jìn)行必要的幾步預(yù)處理[13].本文選用db4小波基函數(shù)對(duì)EEG信號(hào)進(jìn)行7層分解，而后采用去均值、歸一化的操作消除樣本間差異.

2.3 基于STPS的EEG信號(hào)二維圖形化處理

對(duì)于EEG這種非線性、非平穩(wěn)的時(shí)變信號(hào)，單純的時(shí)域或頻域分析方法已不足以刻畫其時(shí)間-頻率-能量特性，即該EEG信號(hào)在某一時(shí)間段及某一頻段的能量分布情況[14]，因此必須兼顧時(shí)域和頻域分析進(jìn)行研究.

STPS是處理非平穩(wěn)信號(hào)最有效的一種方法.它是短時(shí)傅里葉變換與功率譜分析兩種技術(shù)的結(jié)合，先對(duì)非平穩(wěn)信號(hào)進(jìn)行分段加窗處理使之平穩(wěn)化，再計(jì)算每段的譜估計(jì)并進(jìn)行總平均[15].本文的算法分析過(guò)程如下：

(1)將長(zhǎng)度為N的EEG信號(hào)按30 s時(shí)間段(即3 000個(gè)數(shù)據(jù)點(diǎn))分為K段，所得分段信號(hào)記為xε(n)(i=1,…,K)，其長(zhǎng)度記為L(zhǎng).

(2)選擇合適的窗函數(shù)ω(n)，并計(jì)算每段信號(hào)的功率譜

i=1,…,K

(1)

為避免發(fā)生能量泄漏現(xiàn)象，此處選取Hamming窗，其函數(shù)為

0≤n≤M-1

(2)

式(2)中：M為窗函數(shù)的長(zhǎng)度，M=128.

(3)計(jì)算K段信號(hào)功率譜的平均值，即得短時(shí)功率譜

(3)

通過(guò)以上計(jì)算便可將一維的EEG信號(hào)轉(zhuǎn)化為易于CNN處理的二維STPS圖形.

2.4 人體睡眠狀態(tài)辨識(shí)CNN的搭建

CNN模型的基本結(jié)構(gòu)包括輸入層、卷積層、池化層、激勵(lì)層、全連接層五大部分.卷積層是CNN的核心部分，主要利用多個(gè)卷積核與輸入圖像進(jìn)行卷積，提取出圖像中更深層次的特征；池化層一般放在卷積層之后，主要對(duì)卷積后的特征圖進(jìn)行降維處理，避免因特征圖維數(shù)較高造成巨大的計(jì)算量以及過(guò)擬合現(xiàn)象的發(fā)生；全連接層則是將特征空間線性映射至樣本標(biāo)記空間，充當(dāng)分類器的作用.

若要獲取識(shí)別率較高的CNN模型，網(wǎng)絡(luò)層數(shù)和層內(nèi)參數(shù)的確定便是一個(gè)亟待解決的問(wèn)題.但對(duì)于該問(wèn)題，目前尚無(wú)明確的方法，往往需結(jié)合具體問(wèn)題以及樣本數(shù)據(jù)的特點(diǎn)進(jìn)行分析[16].一般地，卷積層參數(shù)的確定遵循"長(zhǎng)而深"的原則，即卷積核大小應(yīng)逐漸變小，輸出通道數(shù)應(yīng)逐漸增多.卷積核大小常以3*3和5*5為主，卷積核數(shù)目結(jié)合GPU硬件的配置，以16的倍數(shù)倍增[17].本文是在AlexNet模型的基礎(chǔ)上，根據(jù)驗(yàn)證集數(shù)據(jù)的辨識(shí)效果不斷調(diào)整層級(jí)結(jié)構(gòu)和網(wǎng)絡(luò)參數(shù)，并結(jié)合其在測(cè)試集上的分類性能好壞，從中尋求一個(gè)適用于人體睡眠狀態(tài)辨識(shí)的最優(yōu)CNN模型.考慮到文中的EEG時(shí)-頻譜數(shù)據(jù)集相較于ImageNet數(shù)據(jù)集，結(jié)構(gòu)簡(jiǎn)單且數(shù)據(jù)量偏少，因此需簡(jiǎn)化AlexNet模型以避免發(fā)生嚴(yán)重的過(guò)擬合現(xiàn)象.經(jīng)過(guò)多次實(shí)驗(yàn)分析，本文最終選定了一個(gè)包含3個(gè)卷積層、3個(gè)池化層和2個(gè)全連接層的CNN模型，其結(jié)構(gòu)如圖3所示.

圖3 實(shí)驗(yàn)所搭建的CNN模型結(jié)構(gòu)圖

網(wǎng)絡(luò)以128*128*3的時(shí)-頻譜圖為輸入數(shù)據(jù)，其卷積層采用ReLU作為激活函數(shù)，卷積核采用方差為0.01的高斯分布初始化方式，池化層均采用最大池化的方式.經(jīng)卷積、池化等操作提取出各睡眠狀態(tài)深層次的特征后，輸入至第一個(gè)全連接層進(jìn)行降維處理并將有用的信息保留下來(lái)，最后由第二個(gè)全連接層輸出當(dāng)前樣本所屬類別，該層輸出節(jié)點(diǎn)設(shè)置為6，對(duì)應(yīng)6個(gè)睡眠狀態(tài).表1所示為該網(wǎng)絡(luò)具體層內(nèi)參數(shù)設(shè)置.

表1 CNN模型參數(shù)

3 人體睡眠狀態(tài)辨識(shí)實(shí)驗(yàn)及實(shí)驗(yàn)結(jié)果分析

3.1 實(shí)驗(yàn)條件

本文選取數(shù)據(jù)庫(kù)中無(wú)睡眠障礙的10位受試者為研究對(duì)象，并按每30 s為一個(gè)樣本對(duì)其進(jìn)行處理，最終可得共24 012個(gè)樣本數(shù)據(jù).利用Matlab軟件實(shí)現(xiàn)EEG信號(hào)的預(yù)處理和二維圖形化處理，并借助Caffe深度學(xué)習(xí)框架完成CNN的搭建、訓(xùn)練和測(cè)試工作.實(shí)驗(yàn)基于Microsoft Windows 10操作系統(tǒng)，Intel(R)Core(TM)i5-6500 CPU @ 3.2 GHz處理器，12 GB運(yùn)行內(nèi)存，在GPU模式下運(yùn)行，所用GPU為NVIDIA GeForce GTX 1050Ti.

3.2 實(shí)驗(yàn)過(guò)程

3.2.1 EEG信號(hào)去噪

實(shí)驗(yàn)中選用小波閾值法對(duì)EEG信號(hào)進(jìn)行頻帶范圍為0.5～30 Hz的去噪處理.圖4所示為某30 s EEG信號(hào)去噪前后效果圖.可以看出，小波閾值法有效的去除了原始EEG信號(hào)中的噪聲信號(hào)，所得信號(hào)可以滿足后續(xù)實(shí)驗(yàn)要求.

(a)original signal

(b)filtered signal圖4 某30 s EEG信號(hào)去噪前后效果圖

3.2.2 STPS時(shí)-頻譜圖

經(jīng)多次實(shí)驗(yàn)分析可知，當(dāng)采用128點(diǎn)的Hamming窗口對(duì)樣本進(jìn)行120點(diǎn)重疊采樣時(shí)，6個(gè)睡眠狀態(tài)的STPS時(shí)-頻譜圖差異最為明顯.同時(shí)，為了提高網(wǎng)絡(luò)的訓(xùn)練速度，并保證時(shí)頻圖中的有用信息不被淹沒(méi)，對(duì)所得時(shí)-頻譜圖也進(jìn)行了適當(dāng)?shù)膲嚎s，設(shè)定壓縮后的時(shí)-頻譜圖大小為128*128.圖5所示為不同睡眠狀態(tài)的STPS時(shí)-頻譜圖.

(a)W狀態(tài) (b)S1狀態(tài)

(c)S2狀態(tài) (d)S3狀態(tài)

(e)S4狀態(tài) (f)REM狀態(tài)圖5 不同睡眠狀態(tài)的STPS時(shí)-頻譜圖

3.2.3 CNN訓(xùn)練與測(cè)試

使用CNN進(jìn)行睡眠狀態(tài)辨識(shí)主要分為訓(xùn)練和測(cè)試兩個(gè)步驟：①使用訓(xùn)練數(shù)據(jù)訓(xùn)練CNN模型，根據(jù)訓(xùn)練過(guò)程中CNN模型對(duì)驗(yàn)證數(shù)據(jù)的識(shí)別效果，判斷所訓(xùn)練CNN模型是否滿足要求，否則繼續(xù)訓(xùn)練；②使用訓(xùn)練好的CNN模型對(duì)測(cè)試數(shù)據(jù)進(jìn)行識(shí)別以檢驗(yàn)網(wǎng)絡(luò)的泛化效果，并計(jì)算網(wǎng)絡(luò)的識(shí)別準(zhǔn)確率.由3.1小節(jié)可知，睡眠樣本總數(shù)為24 012個(gè)，具體分布情況如表2所示.實(shí)驗(yàn)中將每個(gè)睡眠狀態(tài)的樣本數(shù)據(jù)按8∶1∶1的比例分為訓(xùn)練集、驗(yàn)證集和測(cè)試集，且實(shí)驗(yàn)過(guò)程中保證三者之間沒(méi)有重疊部分.

表2 不同睡眠狀態(tài)的樣本分布情況

網(wǎng)絡(luò)結(jié)構(gòu)和輸入樣本確定后，就需要對(duì)訓(xùn)練參數(shù)，如基礎(chǔ)學(xué)習(xí)率(base_lr)、權(quán)重衰減系數(shù)(weight decay)及最大迭代次數(shù)等進(jìn)行調(diào)整以提高CNN對(duì)睡眠狀態(tài)的辨識(shí)準(zhǔn)確率.本文將base_lr設(shè)定為0.001，迭代至2 500次時(shí)調(diào)整為0.000 1，weight decay選為0.000 5，最大迭代次數(shù)根據(jù)訓(xùn)練過(guò)程中訓(xùn)練集和驗(yàn)證集的loss曲線變化情況決定，此處設(shè)置為5 000次.圖6(a)所示為CNN訓(xùn)練過(guò)程的loss曲線圖，可以看出，迭代至5 000次時(shí)訓(xùn)練集的loss值接近0.2，且與驗(yàn)證集的loss值相差很小，網(wǎng)絡(luò)取得了較好的收斂效果.此時(shí)網(wǎng)絡(luò)對(duì)于驗(yàn)證集數(shù)據(jù)的分類準(zhǔn)確率也高達(dá)93.6%，變化曲線如圖6(b)所示.

(a)訓(xùn)練loss曲線

(b)驗(yàn)證集準(zhǔn)確率曲線圖6 CNN訓(xùn)練結(jié)果圖

為了直觀分析CNN隱層特征，還分別可視化了Conv1、Conv2和Conv3的輸出特征圖，如圖7所示.Conv1特征圖與輸入圖片較為相似，可看作只是簡(jiǎn)單的對(duì)輸入圖像進(jìn)行了不同程度的平滑處理；而Conv2和Conv3已難以看出輸入圖片的特征，但可以發(fā)現(xiàn)有的特征圖對(duì)STPS時(shí)-頻譜圖低頻部分顏色、邊緣信息最為敏感.可以推斷，顏色、邊緣信息是CNN網(wǎng)絡(luò)進(jìn)行睡眠狀態(tài)判別最顯著的特征.

(a)Conv1

(b)Conv2

(c)Conv3圖7 CNN卷積層輸出特征圖

最后利用測(cè)試集數(shù)據(jù)檢驗(yàn)該CNN模型的泛化能力.辨識(shí)結(jié)果以混淆矩陣的方式輸出，并引入查準(zhǔn)率(Precision,P)、查全率(Recall,R)及F1-Score三個(gè)性能評(píng)估指標(biāo)，三者的定義如下所示.查準(zhǔn)率反映了該模型對(duì)于不同睡眠狀態(tài)的區(qū)分效果.而查全率則反映了該模型對(duì)于特定睡眠狀態(tài)的特征學(xué)習(xí)能力.F1-Score綜合考慮了查準(zhǔn)率和查全率指標(biāo)，用于綜合反映整體的指標(biāo)，其值越大，表示該模型的分類性能越好[18].

(4)

(5)

(6)

實(shí)驗(yàn)結(jié)果如表3所示.從表3中數(shù)據(jù)可以看出，該模型可以很好的識(shí)別W、S2、S3、S4和REM五個(gè)睡眠狀態(tài)，而對(duì)于S1狀態(tài)的辨識(shí)效果較差.S1多被誤判為REM，究其原因是這兩個(gè)睡眠狀態(tài)的信號(hào)特征相似度極高，都為低電壓、混合頻率的波，且S1是清醒至睡眠的過(guò)渡狀態(tài)，持續(xù)時(shí)間短，在整夜的睡眠結(jié)構(gòu)中占比也很小，因此這種“誤分類”結(jié)果可以說(shuō)具有一定的合理性.

表3 CNN模型辨識(shí)結(jié)果混淆矩陣

3.3 實(shí)驗(yàn)結(jié)果分析

由實(shí)驗(yàn)結(jié)果可知，本文所提的睡眠狀態(tài)辨識(shí)方法具有良好的泛化能力，準(zhǔn)確率達(dá)到了92.04%.為了進(jìn)一步驗(yàn)證本文方法的有效性，文中還進(jìn)行了對(duì)比實(shí)驗(yàn).在保證數(shù)據(jù)集相同的情況下，人工提取睡眠腦電的特征波能量比、樣本熵和功率譜熵等多個(gè)特征，并利用支持向量機(jī)完成睡眠狀態(tài)辨識(shí)，兩種方法所得結(jié)果如表4所示.

表4 辨識(shí)結(jié)果對(duì)比

可以看出，本文方法有效的避免了人為構(gòu)造特征所帶來(lái)的誤差，特征提取這一關(guān)鍵任務(wù)交由CNN完成，通過(guò)端到端的訓(xùn)練方式使其自行提取睡眠腦電中更深層的特征，從而大幅度提升辨識(shí)準(zhǔn)確率.

4 結(jié)論

本文以準(zhǔn)確辨識(shí)人體睡眠狀態(tài)為研究目的，針對(duì)傳統(tǒng)機(jī)器學(xué)習(xí)人工提取特征算法過(guò)程復(fù)雜、辨識(shí)準(zhǔn)確率偏低的問(wèn)題，提出了一種基于STPS和CNN的人體睡眠狀態(tài)辨識(shí)方法.采用STPS處理EEG信號(hào)以生成不同睡眠狀態(tài)的時(shí)-頻譜圖，CNN自動(dòng)提取各睡眠狀態(tài)的特征，進(jìn)而實(shí)現(xiàn)睡眠狀態(tài)辨識(shí).實(shí)驗(yàn)結(jié)果表明，該方法具有較高的辨識(shí)準(zhǔn)確率，且實(shí)現(xiàn)方便、簡(jiǎn)單，為后期的睡眠過(guò)程控制研究奠定了堅(jiān)實(shí)的基礎(chǔ).