基于腦電多視圖混合神經網絡的時空半監(jiān)督睡眠分期

劉虹梅，彭才靜，韓 芳，張 遠?

1) 西南大學電子信息工程學院，重慶 400715 2) 重慶市第九人民醫(yī)院兒童呼吸科，重慶 400700 3) 北京大學人民醫(yī)院睡眠研究中心，北京 100044

睡眠占據人生命時間的1/3，睡眠的質量對學習、身體恢復和新陳代謝有著深遠影響[1].臨床上，使用多導睡眠儀(Polysomnography，PSG)記錄睡眠時的肌電(Electromyography，EMG)、腦電(Electroencephalogram，EEG)和眼電 (Electrooculogram，EOG)等電生理信號.技師根據美國睡眠醫(yī)學會(American academy of sleep medicine，AASM)的睡眠分期準則[2]，將PSG記錄劃分為30 s一個片段，并標記為清醒期(Wake，W)、非快速眼動1～3期(Non-rapid eye movement 1～3, N1、N2 and N3)和快速眼動期 (Rapid eye movement，REM).通常，一整晚PSG記錄的時間約為7～8 h,技師標注一晚的PSG記錄通常需消耗2 h.而近幾年以深度學習為代表的方法僅需數秒鐘就可完成自動睡眠分期.

深度學習在圖像和信號領域都取得了巨大的成功，我們最近發(fā)表的文獻[3]，充分調研了深度學習在睡眠分期任務中的代表性成果.目前采用卷積神經網絡(Convolutional neural networks，CNNs)[4-6]，resnet-50[7]，resnext-50[8]來提取時序內特征，用循環(huán)神經網絡(Recurrent neural networks，RNNs)來提取時序間的特征[9-10]，以及用CNNs + RNNs[11-14]結合的方法提取時序內特征和上下文關聯(lián)的特征.但是用RNN模型提取時序間特征難以調優(yōu)，Jia等[15]提出用注意力機制替換RNN來提取類間特征，并取得了優(yōu)于RNN的準確率.目前，睡眠分期研究輸入方式有一維信號輸入[5,12]，采用快速傅里葉變換(Fast Fourier transform，F(xiàn)FT)將一維信號轉為二維時頻圖作為輸入[10,13]，以及將一維信號與時頻圖聯(lián)合作為輸入[16-17].Phan等[17]將兩者聯(lián)合作為輸入，在Sleep-EDF數據集中，取得了83.9%的分類準確率，驗證了聯(lián)合輸入可獲得多角度特征.

上述工作能夠很好地檢測睡眠階段，并取得76%～88%的睡眠分期準確率，但是現(xiàn)階段所提出的模型大多為全監(jiān)督學習，如: DeepSleepNet[12]，DeepSleepNet-Lite[18]， Mixed NN[19]， Tsinalis et al.(CNN)[20].全監(jiān)督學習的訓練集和測試集都是帶標簽的數據，然而此類數據全部需要技師進行大量的人工標注，訓練的模型準確率受限于技師標注數據的數量和質量.因此，學者提出用無監(jiān)督學習進行睡眠分期，Zhang等[21]提出SleepPriorCL網絡在Sleep-EDF（睡眠集-歐洲數據格式）數據集上取得了76.4%的準確率.Xiao等[22]提出的SleepDPC網絡在相同的數據集上取得了76.4%的準確率.但是，沒有標簽信息，真實的分類結果是未知的.因此，我們提出用部分標簽數據來輔助模型進行訓練，從而提升睡眠分期準確率.

本文基于上述研究，將多視圖輸入方式、注意力機制和半監(jiān)督學習相結合，構建端到端單通道腦電自動睡眠分期模型.該模型通過多通道視圖時空域特征提取機制從標簽數據和無標簽數據中提取多視圖的腦電特征，然后通過注意力機制對顯著特征進行加強并提取，最后通過特征融合機制將多視圖特征結合起來并輸出預測的睡眠階段.為了從無標簽數據中學習到有用特征，模型采用半監(jiān)督學習策略生成無標簽數據的偽標簽，從而構建與全監(jiān)督學習策略相似的訓練過程.本文提出的多視圖混合神經網絡模型能夠從無標簽腦電數據中提取特征并進行睡眠分期，且取得與全監(jiān)督媲美的分類準確率.

本文的主要貢獻有:

（1）提出多視圖混合神經網絡模型，其中，設計了多通道視圖時頻域特征提取機制、注意力機制和特征融合模塊，實現(xiàn)了對時頻域信號和空域信號的特征提取，從而提高睡眠分期的性能.

（2）采用半監(jiān)督學習策略，實現(xiàn)了對腦電無標簽數據的學習，解決了臨床上腦電睡眠數據標注不足而導致睡眠數據未充分利用的問題，同時減少技師標注工作量.

（3）本文在三個公開數據集和一個私有數據集上對提出的睡眠分期模型做了充分的對比實驗.半監(jiān)督學習在僅使用40%的帶標注數據情況下，取得了與全監(jiān)督學習媲美的分類準確率.

1 材料和方法

1.1 數據集

本文用三個公開數據集和一個私有數據集來評估提出模型的性能.表1為數據集的介紹，圖1為不同數據集的睡眠類別分布，詳細描述如下:

表1 睡眠數據集情況Table 1 Summary of the sleep databases

圖1 不同數據集中睡眠類別分布Fig.1 Distribution of sleep categories in different datasets

睡眠集-歐洲數據格式(Sleep-European data format，Sleep-EDF)[23]數據集包含197個整夜PSG睡眠記錄，其中分為153條年齡在25～101歲的健康受試者睡眠記錄和44名患有輕微睡眠障礙受試者的睡眠記錄.每條記錄包含2導腦電信號，1導眼電信號和1導肌電信號.所有信號的采樣頻率均為100 Hz.睡眠技師根據睡眠手冊(Rechtschaffen and Kales，R&K)將數據以30 s為片段劃分和標記.本文選用了40條患有輕微睡眠障礙受試者的睡眠記錄和腦電的額極中線導聯(lián)(Fpz-Cz).

公開睡眠集-健康人(Dreem open dataset-Healthy，DOD-H)[24]睡眠數據集包含25名健康受試者(18～65歲).每個人的PSG記錄時長約為7 h，包含12導腦電信號，2導眼電信號，1導肌電信號和1導心電信號.所有信號的采樣頻率都為250 Hz.5名睡眠技師根據AASM手冊將數據劃分為30 s每段，并標注 (未得分: 1，W: 0，N1: 1，N2: 2，N3: 3，REM: 4).本文選用了該數據的腦電左額導聯(lián)(F3_F4).

公開睡眠集-患阻塞性睡眠呼吸暫停的患者(Dreem open dataset-Obstructive，DOD-O)[24]睡眠數據集包含55名患有阻塞性睡眠呼吸暫停(Obstructive sleep apnea，OSA)的患者 (28～43 歲).每個人的PSG包含8導腦電信號，2導眼電信號和1導肌電信號.所有信號的采樣頻率都為250 Hz.睡眠階段劃分的規(guī)則與DOD-H數據集的規(guī)則相同.

私有數據集由重慶市第九人民醫(yī)院采集，包含9名兒童受試者.每個人的PSG記錄時長約為7 h，包含4導腦電信號，2導眼電信號和2導肌電信號.所有信號采樣頻率為128 Hz.根據AASM手冊對睡眠階段進行標注.本文選用了該數據的腦電左額導聯(lián)(F3-M2).

1.2 方法

圖2為腦電多視圖混合神經網絡睡眠分期框架.其中，先將原始腦電數據轉換為時頻圖；然后如圖3所示用偽標簽半監(jiān)督學習策略處理無標注數據；再聯(lián)合一維信號和二維時頻圖作為模型輸入，然后利用多通道時頻域機制和注意力機制進行特征提??；最后進行特征融合并分類.

圖3 半監(jiān)督學習示意圖Fig.3 Schematic diagram of semi-supervised learning

1.2.1 時空圖數據生成

多視圖指同一事物從不同的途徑或不同的角度對其進行描述后構成的視角.多視圖能使模型提取更多潛在的特征[17]，時空圖數據包含生成的時序數據和時頻圖數據.如圖2(a)所示，一維信號通過FFT轉為二維時頻圖.模型輸入X={[(x1S,x1T),y1],...,[(xlS,xlT),yl]}， 1 ≤i≤l.其中l(wèi)表示總的序列數量，i表示第i個樣本.xiS∈R3000×C表示每個epoch以30 s為窗口提取腦電信號片段，采樣頻率為100 Hz，包含3000個樣本點，C表示通道數.xiT∈RW×H×C表示每個epoch的時頻圖，W和H分別為時頻圖的寬度和長度.根據AASM手冊，yi∈{0,1,2,3,5}代表睡眠分期中的 W，N1，N2，N3和REM期.

圖2 多視圖混合神經網絡架構.(a) 時空數據; (b) 多通道視圖時頻域特征提取; (c) 注意力機制; (d) 特征融合Fig.2 Multi-view hybrid neural network architecture: (a) spatiotemporal data; (b) time-frequency domain feature extraction from multichannel views;(c) attention mechanism; (d) feature fusion

1.2.2 時空圖數據生成

如圖3所示，本文利用半監(jiān)督學習策略[25]實現(xiàn)對無標簽數據的特征提取，其中，空域對比損失函數原理如下: 對于模型無監(jiān)督部分輸出的特征數據，xs為無監(jiān)督空域模態(tài)數據，xt為無監(jiān)督時域模態(tài)數據，xss為 無監(jiān)督空域增強模態(tài)數據，xts為無監(jiān)督時域增強模態(tài)數據，相對應地，xsl為監(jiān)督空域模態(tài)數據，xtl為監(jiān)督時域模態(tài)數據，I(·)為指示函數， η 、T為判斷常數，p(·|z)∝ esm〈·,z〉定義為在無監(jiān)督時空圖數據中關于原始對比模態(tài)數據z的采樣分布，zs,zt分別為空域模態(tài)數據和時域模態(tài)數據，sm〈·,·〉為兩個向量的SoftMax距離， θun(·)為模型無監(jiān)督輸出， θ (·)為模型原始輸出，m為無監(jiān)督數據總數，Lun為對比損失函數:

總的數據損失計算公式如式(3)所示.

其中，B表示監(jiān)督模態(tài)數據總數，CE(·)為多分類交叉熵損失函數，用正則項來防止過擬合.

1.2.3 多通道時頻域特征提取

根據AASM手冊，睡眠分期類別判定是根據特征波種類及所占時長判定的.同一片段中，當存在多個特征波類別時，則根據時間占比判斷.先前的研究用RNN來學習時序間的規(guī)則，但是RNN難以調優(yōu).

為了解決上述問題，我們設計了多通道視圖時頻域特征提取機制來抓取不同時長的睡眠特征波，如圖4所示.多通道視圖時頻域特征由不同卷積核組成，用于抓取多尺度特征波.其中，特征向量輸入到四條由不同卷積核組成的特征提取通道，然后將不同尺度卷積學習到的特征圖串聯(lián)起來，得到多通道的特征圖:

圖4 多視圖時頻域特征提取機制Fig.4 Multi-view time-frequency domain feature extraction mechanism

其中， C onv表 示卷積層，r為通道編號.Hr為每個通道輸出的特征向量，再經過 C oncat進行連接，得到Xm為多通道卷積學習到的特征圖.

為了使模型參數量減少，在每個尺度特征提取通道前，添加1×1卷積，減少特征向量之間的通道.同時，空域特征提取方式與時域特征提取方式相同.

1.2.4 注意力機制

為了對不同睡眠階段特定的睡眠波特征進行加強，我們提出一種注意力模塊，如圖5所示.Q，K，V分別為不同核大小的卷積.

圖5 注意力特征提取機制Fig.5 Attention feature extraction mechanism

注意力機制計算公式如下:

1.2.5 特征融合

如圖2(d)所示，本文將前面提取的時域特征和空域特征通過 C oncat融合起來，并輸入全連接層，再通過Softmax輸出五分類的概率，取最大概

率作為睡眠分類中的一類.

2 實驗

2.1 實驗設計

實驗選用的數據集采樣頻率和睡眠評分劃分方式不同，為了減少實驗誤差，實驗統(tǒng)一采樣頻率為100 Hz，并選用單通道腦電和10折交叉驗證方式.訓練集和測試集比例為7∶3，同時訓練集中標簽數據、無標簽數據比例為4∶6.時域無標簽數據采用濾波進行數據增強，空域無標簽數據采用水平翻轉和垂直翻轉進行數據增強.

實驗在Pytorch框架中實現(xiàn)，利用NVIDIA GTX 3090 GPUs進行模型訓練.優(yōu)化器為隨機梯度下降，批次大小為128，學習率為0.001.S代表全監(jiān)督，SS代表半監(jiān)督.

2.2 實驗評價

本文的實驗用準確率(Accuracy，ACC)、F1分數 (F1-score，F(xiàn)1)、Kappa系數 (Cohen Kappa，K)、靈敏度 (Sensitivity，Sens.)、特異性 (Specificity，Spec.)和混淆矩陣等測量指標進行模型性能評估.具體計算如公式(8)～(14)所示.

其中，TP表示正類預測為正類的數目；FN表示正類預測為負類的數目，同理可得到FP和TN；PR表示預測為正類的樣本中分類器預測正確的比重；RE表示實際為正類的樣本中，分類器預測為正的比重.P0的值與ACC的值相等，Pe示對模型偏向性的懲罰.Sens.的值與RE相等.

3 結果與分析

本文在三個公開數據集和一個私有數據集上，將提出的模型與相關論文模型進行對比，包含全監(jiān)督學習和半監(jiān)督學習兩種方式.表2～表5分別為 Sleep-EDF、 DOD-H、 DOD-O 和私有數據集上模型的實驗性能.其中，S代表全監(jiān)督，SS代表半監(jiān)督.

表2 Sleep-EDF數據集實驗結果Table 2 Experimental results of the Sleep-EDF dataset

表5 私有數據集實驗結果Table 5 Experimental results of the private dataset

表3 DOD-H數據集實驗結果Table 3 Experimental results of the DOD-H dataset

表4 DOD-O數據集實驗結果Table 4 Experimental results of the DOD-O dataset

多視圖睡眠網絡(XSleepNet2、XSleepNet1)[17]：利用CNN 同時提取原始圖像和時頻信號片段內特征，再通過RNN提取片段間特征，實現(xiàn)睡眠分期.

多尺度睡眠網絡(SleepStageNet)[14]：利用多尺度卷積神經網絡提取30 s的單通道信號特征，再通過雙向門循環(huán)單元(Gate Recurrent Unit，GRU)提取片段間特征，實現(xiàn)睡眠分期.

序列睡眠網絡(SeqSleepNet)[10]：對原始信號進行時頻圖轉換，再利用不同濾波的CNN 提取片段內特征，然后通過雙向RNN 提取時序間特征，實現(xiàn)睡眠分期.

深度睡眠網絡(DeepSleepNet)[12]：利用兩種不同濾波的卷積對30 s腦電信號進行特征提取，再用雙向長短記憶遞歸神經網絡提取時序間特征，實現(xiàn)睡眠分期.

混合注意力時序網絡(HATSN)[16]：利用GRU提取短時傅里葉變換后時頻圖的時序表征，再結合注意力機制提取片段間的時序上下文表征，實現(xiàn)睡眠分期.

睡眠卷積網絡(Tsinalis et al.(CNN))[20]：利用CNN提取單通道腦電信號特征，實現(xiàn)睡眠分期.

混合睡眠網絡(Mixed NN)[19]：利用CNN提取單通道腦電信號特征，再用RNN 提取時序之間的特征，實現(xiàn)睡眠分期.

自監(jiān)督先驗睡眠網絡(SleepPriorCL)[21]，利用4層卷積提取單通道腦電信號特征，再用對比學習提取無標簽信號特征，實現(xiàn)睡眠分期.

自監(jiān)督睡眠網絡(SleepDPC)[22]，利用CNN 和GRU 從單通道腦電中提取特征，再用對比學習學習正樣本和負樣本之間的差異，實現(xiàn)睡眠分期.

如表2～5所示，SleepStageNet模型的結果相對較低，因為該模型僅提取了單一維度片段間的特征.而XSleepNet2和XSleepNet1模型的ACC值等指標結果相對較好，因為二者的結構將時序信號和時頻圖作為輸入，充分提取了時頻域特征和空域特征，但是使用RNN提取片段間的特征，存在特征提取不充分和難以調優(yōu)的局限性.此外，HATSN基于注意力機制結構充分提取了時頻圖中的片段內特征和片段間時序上下文信息，對比DeepSleepNet的RNN結構取得了更優(yōu)的結果，但仍忽略了原始信號維度相關特征.本文模型采用多通道視圖時頻域特征提取機制提取時頻域信號和空域信號片段內特征，再用注意力機制提取類間特征并擴大顯著性差異，然后用半監(jiān)督學習方式從無標簽數據中提取特征，從而取得媲美全監(jiān)督學習方式的實驗結果.

4 討論

對比所有數據集的實驗結果，本文模型在DOD-O數據上取得的半監(jiān)督學習睡眠分期結果僅達到79.2%.這是因為該數據集采集的是患有OSA病患者的睡眠數據集，而Sleep-EDF和DODH采集的是健康人的睡眠數據集，而Korkalainen等[26]證明患有OSA病人的睡眠分期準確率會隨著患病的嚴重程度增加而降低.本文模型在私有數據集上取得的準確率較低，這是因為私有數據集采集的是兒童(3～12歲)的睡眠數據，N1期的數量僅占10%，而且兒童睡眠結構與成人的睡眠結構有很大差異，對模型性能產生了一定的影響.但總體上，本文的模型能夠同時對健康人、患有OSA病患者和兒童的睡眠數據集進行睡眠分期，在僅使用少量標簽的情況下，并取得75.0%～81.5%的準確率，證明了本文模型的穩(wěn)定性和魯棒性.

為了驗證注意力模塊對模型性能的影響，本文在私有數據集上做了消融實驗，結果如表6所示.其中，多通道模型表示去除圖2(c)中的注意力模塊.結果表明，用注意力機制的方式，突出卷積提取到的顯著性特征，然后間接將同頻段不同時間域上的尺度信息鏈接起來，使得提取的特征含有豐富的時序之間的特征[27-29]，同時擴大了不同源域類間邊界的差異后，各項性能指標都有了顯著的提升.

表6 私有數據集消融實驗結果Table 6 Ablation experimental results of the private dataset

圖6為多視圖混合神經網絡模型在各個數據集上睡眠分期的混淆矩陣.整體上，N1期相較于其他階段識別率較低，這是因為如表1所示，N1期（從覺醒狀態(tài)到睡眠的過渡期，特征是低振幅混合性腦電頻率）的占比僅占7%，數據量相對較少，模型在對少量樣本反復學習中，可能造成對N1期的過擬合，因此識別率較低.

圖6 多視圖混合神經網絡混淆矩陣.(a) S: Sleep-EDF混淆矩陣; (b) S: DOD-H混淆矩陣; (c) S: DOD-O混淆矩陣; (d) S: 私有數據集混淆矩陣;(e) SS: Sleep-EDF混淆矩陣; (f) SS: DOD-H混淆矩陣; (g) SS: DOD-O混淆矩陣; (h) SS: 私有數據集混淆矩陣Fig.6 Confusion matrices of the multi-view hybrid neural network: (a) S: confusion matrix of supervised learning on Sleep-EDF datasets; (b) S:confusion matrix of supervised learning on DOD-H datasets; (c) S: confusion matrix of supervised learning on DOD-O datasets; (d) S: confusion matrix of supervised learning on private datasets; (e) SS: confusion matrix of semi-supervised learning on Sleep-EDF datasets; (f) SS: confusion matrix of semisupervised learning on DOD-H datasets; (g) SS: confusion matrix of semi-supervised learning on DOD-O datasets; (h) SS: confusion matrix of semisupervised learning on private datasets

5 結論

本文提出半監(jiān)督多視圖混合神經網絡模型，用于原始單通道腦電信號的自動睡眠分期.其中，利用多通道時頻域特征提取機制，提取不同長短時間特征波的時空域特征，然后再用注意力機制提取類間特征并擴大顯著性差異，再將時空域特征融合起來進行睡眠分期.本文的模型在Sleep-EDF、DOD-H、DOD-O和私有數據集進行對比，分別取得半監(jiān)督學習準確率: 81.6%、81.5%、79.2%和75.4%.本文提出的模型能夠實現(xiàn)單通道腦電自動睡眠分期，未來將考慮融合多通道(如：心電、血氧)進行自動睡眠分期.