基于深度強化學(xué)習的單通道EEG信號自動睡眠分期算法

摘 要：

目前，基于腦電（EEG）信號的人體睡眠分期方法呈現(xiàn)出單通道和網(wǎng)絡(luò)模型深度化的趨勢，然而單通道信息采集使得EEG失去大腦區(qū)域的位置信息，EEG中表征睡眠階段的特征因趨向稀疏化而難以提取，同時深度網(wǎng)絡(luò)的共性問題——模型及其訓(xùn)練的超參數(shù)的人工設(shè)定使得訓(xùn)練過程盲目且低效，這些問題導(dǎo)致自動睡眠分期方法的準確率低。為此，提出利用密集連接網(wǎng)絡(luò)（DenseNet）對模型層間特征重用功能，挖掘深藏于EEG信號中的睡眠狀態(tài)信息，針對單通道EEG信號在頻域上的低頻特性以及時域上長程依賴特性，對DenseNet模型進行了改進，實現(xiàn)了人體睡眠的快速和精確分期；為進一步提升DenseNet性能，使用深度確定性策略梯度（DDPG）算法，在網(wǎng)絡(luò)學(xué)習訓(xùn)練過程中利用強化學(xué)習思想對DenseNet關(guān)鍵超參數(shù)進行在線優(yōu)化和自動調(diào)節(jié)。實驗結(jié)果表明，該算法模型在Sleep-EDFx數(shù)據(jù)集上的分期準確率達到了89.23%，總體效果優(yōu)于近年來其他先進分期算法，表現(xiàn)出良好的應(yīng)用前景。

關(guān)鍵詞：睡眠分期；密集連接網(wǎng)絡(luò)；深度強化學(xué)習；超參數(shù)在線優(yōu)化

中圖分類號：TP391 文獻標志碼：A 文章編號：1001-3695（2024）09-019-2699-06

doi：10.19734/j.issn.1001-3695.2024.01.0008

Single channel EEG signal automatic sleep staging algorithm based on deep reinforcement learning

Zhao Yanjing1a，2， Zhou Qiang1a，2， Liu Xin1a，2， Li Wan1b，2， Tian Yunzhi1a，2

（1.a.School of Electrical & Control Engineering， b.School of Electronic Information & Artificial Intelligence， Shaanxi University of Science & Technology， Xi’an 710021， China; 2.Shaanxi Artificial Intelligence Joint Laboratory， Xi’an 710021， China）

Abstract：

Currently， human sleep staging methods based on electroencephalogram （EEG） signals show a trend towards single-channel and deep network models， however， single-channel information acquisition makes EEG lose the positional information of brain regions， and the features characterizing sleep stages in EEG tend to be sparse and thus difficult to extract， at the same time， the common problems of deep networks-the artificial setting of the model and its training hyperparameters make the training process blind and inefficient， and these problems lead to the low accuracy of automatic sleep staging methods. Therefore， this paper proposed to use the inter-layer feature reuse function of DenseNet to explore the sleep state information hidden in EEG signals， and improved the DenseNet model for the low-frequency characteristics of single-channel EEG signals in the frequency domain and the long-range dependence of single-channel EEG signals in the time domain， so as to achieve the fast and accurate sleep staging of the human body. In order to further improve the performance of DenseNet， it used a deep deterministic policy gradient （DDPG） algorithm to optimize and automatically adjust the key hyperparameters of DenseNet using the reinforcement learning idea during the network learning and training process. The experimental results show that the staging accuracy of the algorithm model on the Sleep-EDFx dataset reaches 89.23%， and the overall performance is better than other advanced staging algorithms in recent years， demonstrating good application prospects.

Key words：sleep staging; densely connected networks; deep reinforcement learning; hyperparameter online optimization

0 引言

睡眠與人類健康和生活質(zhì)量息息相關(guān)，然而全球有數(shù)百萬人因睡眠障礙而遭受健康問題［1］困擾。睡眠分期是診斷并治療睡眠障礙的一個重要步驟，目前該過程仍由醫(yī)學(xué)專家根據(jù)多導(dǎo)睡眠圖（polysomnography， PSG）記錄手動完成。PSG數(shù)據(jù)包含多種生理信號，如心電（electrocardiogram， ECG）、肌電（electromyogram， EMG）、腦電（electroencephalogram， EEG）和眼電（electrooculogram， EOG），以監(jiān)測不同的身體功能和區(qū)域［2］。同時根據(jù)美國睡眠醫(yī)學(xué)學(xué)會（American Academy of Sleep Medicine， AASM）制定的睡眠分期標準，將睡眠過程分為五個階段：清醒期（wake， W），快速眼動期（rapid eye moment， REM），非快速眼動期（non-rapid eye moment， NREM），其中NREM又細分為N1～N3這三個階段［3］。由于專家手動分期過程是耗時費力且具有主觀性的［4］，所以自動睡眠分期方法的研究始終受到關(guān)注，而該方法的研究工作更是從信號源模態(tài)、采集通道和分期模型全面開展。

近年來，自動睡眠分期方法的研究呈現(xiàn)出以下趨勢：由于EEG信號含有更加豐富的大腦狀態(tài)信息，睡眠分期的信源模態(tài)從ECG、EMG、EEG和EOG等多種模態(tài)，逐漸集中到EEG的單一模態(tài)［5］；為了完整地獲得診斷睡眠障礙的基本信息，EEG的最大采集通道數(shù)一度達到64路，盡管多采集通道能夠獲得更為完整的EEG位置信息［6］，但這一采樣方式會極大地干擾受試者的睡眠質(zhì)量，從而進一步影響其睡眠的辨識結(jié)果。因此，越來越多研究者傾向于使用單通道EEG信號實現(xiàn)自動睡眠分期；睡眠分期模型由傳統(tǒng)機器學(xué)習方法發(fā)展到深度學(xué)習方法，即從生物電信號中人工提取特征的前饋神經(jīng)網(wǎng)絡(luò)［7～9］逐漸發(fā)展形成了“CNN+ ResNet+ RNN”的深度學(xué)習模型，其中卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network， CNN）用于提取短期的局部時域特征，殘差網(wǎng)絡(luò)（residual network， ResNet）用于消除梯度消失和爆炸，確保模型深度，長短期記憶網(wǎng)絡(luò)（long short term memory network，LSTM）、門控循環(huán)單元（gated recurrent unit， GRU）等循環(huán)神經(jīng)網(wǎng)絡(luò)（recurrent neural network， RNN）模型用于建立EEG長程依賴關(guān)系。如文獻［10～12］通過CNN提取信號時不變特征、RNN捕獲睡眠時期之間的上下文依賴關(guān)系，精度最高達到85.4%；同時針對EEG的寬頻帶特性，多尺度特征提取模塊被應(yīng)用于深度模型中，如Goshtasbi等人［13］設(shè)計多尺度特征提取模塊和殘差擴張因果卷積，使得最終的分類準確率達到84.8%，Yang等人［14］使用多尺度CNN提取EEG信號特征，并通過多頭注意機制捕獲特征之間的時間依賴關(guān)系，其模型分類準確率達到86.6%。

雖然研究者提出了多種結(jié)構(gòu)的深度網(wǎng)絡(luò)模型用于進行睡眠分期任務(wù)，但由于單通道信息采集使得EEG失去多數(shù)大腦區(qū)域的位置信息［15］，EEG中表征睡眠階段的特征則因趨向稀疏化而難以提取，從而導(dǎo)致其最終的分類準確率徘徊不前［16］；另一方面，深度學(xué)習模型包含許多需要人工設(shè)定的超參數(shù)，例如學(xué)習率、正則化參數(shù)等，這些參數(shù)對模型性能影響極大，而深度網(wǎng)絡(luò)的共性問題——模型及其訓(xùn)練的超參數(shù)人工設(shè)定的盲目性使得模型訓(xùn)練過程低效和訓(xùn)練結(jié)果的過擬合，這些問題導(dǎo)致自動睡眠分期方法的訓(xùn)練過程時間較長、準確率低。

針對以上問題，本文提出了一個基于深度強化學(xué)習（deep reinforcement learning， DRL）超參數(shù)優(yōu)化的改進密集連接網(wǎng)絡(luò)（densely connected network， DenseNet）自動睡眠分期算法（DRL-DenseNet）。使用改進DenseNet提取單通道EEG信號睡眠階段多尺度和長程特征，通過其密集連接方式充分提取融合EEG信號淺層和深層特征，并在深度挖掘EEG信號特征信息的同時緩解梯度消失問題，加強特征傳播以提高網(wǎng)絡(luò)表達能力。針對網(wǎng)絡(luò)學(xué)習訓(xùn)練過程中超參數(shù)的設(shè)置嚴重依賴人工經(jīng)驗及盲目性問題，利用深度確定性策略梯度（deep deterministic policy gradient， DDPG）［17］算法對訓(xùn)練過程中關(guān)鍵超參數(shù)進行在線動態(tài)優(yōu)化，避免了人工調(diào)整參數(shù)的繁瑣過程，從而有效提升了模型的分期性能。本文方法期望實現(xiàn)對單通道EEG信號的高效自動睡眠分期，為睡眠研究提供更有效的方法。

1 本文方法思路

針對單通道睡眠EEG信號特征難以被充分提取與有效利用，以及關(guān)鍵超參數(shù)的優(yōu)化與自動連續(xù)控制等問題，本文構(gòu)建了基于深度強化學(xué)習超參數(shù)優(yōu)化的改進密集連接網(wǎng)絡(luò)（DRL-DenseNet）自動睡眠分期模型，原理結(jié)構(gòu)如圖1所示。a）構(gòu)建適用于單通道睡眠EEG信號的改進DenseNet，以有效提取并利用信號特征信息；b）提出使用深度強化學(xué)習中的DDPG算法對學(xué)習率、L2正則化參數(shù)等超參數(shù)進行在線優(yōu)化和實時控制，在模型訓(xùn)練過程中連續(xù)控制學(xué)習率、L2正則化參數(shù)變化，進一步提升分期模型的性能，實現(xiàn)良好的分期效果。

2 睡眠分期算法

2.1 密集連接網(wǎng)絡(luò)睡眠分期模型構(gòu)建

DenseNet是一種深度卷積神經(jīng)網(wǎng)絡(luò)，它不僅解決了傳統(tǒng)深度網(wǎng)絡(luò)中隨著網(wǎng)絡(luò)層數(shù)的加深導(dǎo)致的梯度爆炸或消失的問題，并通過其密集連接的架構(gòu)充分利用每一層的特征數(shù)據(jù)［18］，從而最大化發(fā)揮CNN網(wǎng)絡(luò)的特征提取性能。在傳統(tǒng)的卷積網(wǎng)絡(luò)中，每層都只與后一層相連，而在DenseNet中，每層都會直接連接到后續(xù)所有層，即前面所有層的特征映射都被轉(zhuǎn)移到了后面的每一層，促進了信息流動，可以充分提取并融合EEG信號淺層和深層特征，從而更有效地利用單通道EEG信號相對稀疏的睡眠特征。

針對單通道EEG信號特性，本文對DenseNet進行了如下改進。首先，由于EEG信號是低頻的生物醫(yī)學(xué)信號［19］，且在時域上具有長程依賴特性，使用小卷積核難以提取到有意義的變化信號區(qū)域及其特征，所以首層采用較大尺寸的卷積核增大感受野，從而捕捉到EEG信號更多的上下文信息，以更好地提取EEG信號淺層特征。其次，網(wǎng)絡(luò)輸入為一維EEG信號，因此采用一維卷積層進行特征提取，有效捕捉信號的動態(tài)變化，經(jīng)過多次實驗，最終網(wǎng)絡(luò)僅設(shè)計兩個密集塊，分別包含6和4個卷積層，避免因網(wǎng)絡(luò)層數(shù)太深造成參數(shù)量巨大，有效降低了網(wǎng)絡(luò)的復(fù)雜性，使其網(wǎng)絡(luò)架構(gòu)更簡單高效。最后，為了充分融合EEG信號中不同頻段的特征信息，實現(xiàn)更好的分類，添加了兩層全連接層進行降采樣，分別有512和256個神經(jīng)元，再通過softmax分類器實現(xiàn)睡眠分期的分類任務(wù)。

2.1.1 模型結(jié)構(gòu)

本文睡眠分期任務(wù)中DenseNet結(jié)構(gòu)設(shè)計如圖2所示，該網(wǎng)絡(luò)主要由密集塊和過渡層兩部分組成。首先，輸入的EEG信號經(jīng)過大小為1×50的卷積核初步提取特征，再通過1×3的最大池化層降低數(shù)據(jù)維度的同時保留信號的關(guān)鍵特征，接著使用第一個密集塊充分提取睡眠EEG信號淺層特征，使用第二個密集塊繼續(xù)提取睡眠EEG信號深層特征，深入挖掘信號中的特征信息，然后通過全局平均池化層將特征進行整合，最后引入全連接層進行降采樣，使用softmax分類器完成分期任務(wù)。該網(wǎng)絡(luò)旨在通過多層次的特征提取與融合，全面捕捉睡眠EEG信號特征，從而有效提高分期準確率。

密集塊是網(wǎng)絡(luò)的核心組成部分，通過一系列密集連接的層級實現(xiàn)了強大的特征重用，使得睡眠EEG信號的特征信息在每層網(wǎng)絡(luò)中得到充分利用與融合，從而準確地對睡眠各階段進行分類，如式（1）所示。

2.2.2 優(yōu)化策略

DDPG算法是一種用于連續(xù)動作空間決策的深度強化學(xué)習算法，可以有效實現(xiàn)對模型訓(xùn)練過程中超參數(shù)的自動優(yōu)化和連續(xù)控制，其網(wǎng)絡(luò)框圖如圖3所示。在每個時刻，DDPG智能體會接收環(huán)境中的狀態(tài)st，并作出決策動作at將環(huán)境轉(zhuǎn)移到下一狀態(tài)st+1，同時環(huán)境會產(chǎn)生一個獎勵信號rt并將其反饋給智能體，智能體的最終目標是最大化獎勵值。

DDPG算法采用演員-評論者（Actor-Critic）結(jié)構(gòu)，該結(jié)構(gòu)包含Actor網(wǎng)絡(luò)和Critic網(wǎng)絡(luò)兩個關(guān)鍵組件。Actor網(wǎng)絡(luò)是一個基于策略的神經(jīng)網(wǎng)絡(luò)θμ，它將環(huán)境中的狀態(tài)，即睡眠分期任務(wù)中驗證損失率，映射到連續(xù)動作空間關(guān)鍵超參數(shù)調(diào)節(jié)中，即它負責學(xué)習并輸出一個確定性策略，給出超參數(shù)組合策略以優(yōu)化模型訓(xùn)練；Critic網(wǎng)絡(luò)則是一個基于價值的神經(jīng)網(wǎng)絡(luò)ωQ，它的任務(wù)是評估Actor網(wǎng)絡(luò)輸出的超參數(shù)組合策略，并給出相應(yīng)的價值估計，判斷該超參數(shù)組合值是否合適。這兩個網(wǎng)絡(luò)相互配合：本文Actor網(wǎng)絡(luò)隱藏層有兩個全連接層，分別包含100和50個神經(jīng)元個數(shù)，輸出采用sigmoid激活函數(shù)，根據(jù)當前狀態(tài)輸出決策的超參數(shù)組合動作θμ（st）=at；Critic網(wǎng)絡(luò)的輸入狀態(tài)經(jīng)過一個包含100個神經(jīng)元的全連接層后與輸入動作結(jié)合，再通過一個包含50個神經(jīng)元的全連接層輸出Q值，根據(jù)當前狀態(tài)和動作的組合來輸出價值估計值Q（st， θμ（st）|ωQ），且每個網(wǎng)絡(luò)均由一個對應(yīng)的在線子網(wǎng)絡(luò)和目標子網(wǎng)絡(luò)組成。

在線Critic網(wǎng)絡(luò)通過最小化均方誤差作為損失函數(shù)loss來更新參數(shù)，以獲得最大的Q值，如式（8）所示。

3 實驗過程與結(jié)果分析

3.1 實驗條件

3.1.1 數(shù)據(jù)來源

本文數(shù)據(jù)集來自公開的復(fù)雜生理信號研究資源網(wǎng)站（research resource for complex physiologic signals， PhysioNet）的歐洲數(shù)據(jù)格式存儲的睡眠數(shù)據(jù)庫拓展版（sleep-European data format database expanded， Sleep-EDFx）［22］。從Fpz-Cz通道EEG信號中選取了20組數(shù)據(jù)，根據(jù)AASM標準將N3和N4合并為一個睡眠階段，同時為了更好地關(guān)注睡眠階段，剔除不屬于睡眠階段的無效數(shù)據(jù)，只保留睡眠階段前后30 min的清醒時間數(shù)據(jù)。處理后，W、N1、N2、N3、REM各類別樣本數(shù)量分別為3 974、1 989、8 466、2 811、3 437，累計共20 677個樣本。

3.1.2 評價指標

為了全面評價模型性能，本文對整體和每類指標進行了評估。使用每類的精確率（precision rate，PR）、召回率（recall，RE）和F1分數(shù)（F1-score，F(xiàn)1）來評估每個睡眠階段的分類性能；使用準確率（accuracy，Acc）和宏平均F1值（macro-averaged F1-score，MF1）來直觀地理解模型在整個數(shù)據(jù)集上的性能表現(xiàn)。各類指標計算公式如下：

MF1=（∑Ii=1F1i）/I（15）

其中：TP表示預(yù)測輸出、實際輸出均為真，即正確預(yù)測的正樣本數(shù)；FP表示預(yù)測輸出為真、實際輸出為假，即錯誤預(yù)測的負樣本數(shù)；TN表示預(yù)測輸出、實際輸出均為假，即正確預(yù)測的負樣本數(shù)；FN表示預(yù)測輸出為假、實際輸出為真，即錯誤預(yù)測的正樣本數(shù)。

3.2 實驗過程

本文模型基于TensorFlow 2.10框架、采用Python 3.9編程語言編寫代碼，在NVIDIA RTX4060 GPU上進行訓(xùn)練。訓(xùn)練時采用隨機梯度下降法，每輪訓(xùn)練批大小為100。

本文模型的訓(xùn)練過程由負責完成睡眠分期任務(wù)的改進DenseNet模型和負責完成對關(guān)鍵超參數(shù)連續(xù)控制的DDPG模型交替訓(xùn)練組成。具體的訓(xùn)練過程如下：

a）初始化DenseNet分期模型的參數(shù)；

b）定義超參數(shù)：確定需要調(diào)整的超參數(shù)及范圍，學(xué)習率（10-5，10-2），L2正則化參數(shù)（10-9，10-3）；

c）初始化DDPG模型相關(guān)參數(shù)，包含策略網(wǎng)絡(luò)、價值網(wǎng)絡(luò)等；

d）在訓(xùn)練過程中交替進行以下兩個步驟：

（a）基于DDPG進行超參數(shù)優(yōu)化：采用當前睡眠分期模型的驗證損失率作為狀態(tài)，借助DDPG算法對關(guān)鍵超參數(shù)進行在線自動調(diào)節(jié)，以提升模型性能；

（b）利用DenseNet模型進行睡眠分期訓(xùn)練：采用調(diào)優(yōu)后的超參數(shù)，使用睡眠EEG數(shù)據(jù)對網(wǎng)絡(luò)模型進行訓(xùn)練，進而更新模型的內(nèi)部參數(shù)。

在整個訓(xùn)練過程中，通過這種交互方式可以有效地調(diào)整關(guān)鍵超參數(shù)以優(yōu)化模型的最終性能。

3.3 消融實驗

本文方法使用DDPG優(yōu)化算法來對睡眠分期網(wǎng)絡(luò)的兩個關(guān)鍵超參數(shù)進行連續(xù)在線控制，為驗證分期網(wǎng)絡(luò)和優(yōu)化算法的有效性，合理評估本文方法的性能表現(xiàn)，進行了一系列消融對比實驗。

首先，為使分期模型更適合睡眠EEG信號，在不加入優(yōu)化算法的情況下，學(xué)習率固定選取0.001，對密集塊個數(shù)、密集塊中卷積塊個數(shù)n，以及首層卷積核大小選取分別進行了對比實驗。密集塊與其卷積塊個數(shù)優(yōu)化實驗結(jié)果如圖4所示，可知當選取兩個密集塊，且第一個密集塊包含6個卷積塊、第二個密集塊包含4個卷積塊時模型的分類準確率最高。由于EEG信號樣本數(shù)據(jù)量有限，卷積塊與密集塊個數(shù)持續(xù)增加會導(dǎo)致模型過擬合分類，性能逐漸下降，所以模型選取n1=6，n2=4進行后續(xù)實驗。

首層卷積核大小分別使用原始DenseNet小卷積核1×7、中卷積核1×50、大卷積核1×100進行實驗，結(jié)果如表1所示。使用1×50大小的卷積核分期效果更好，可以在捕捉全局信息的同時保留局部細節(jié)特征，更適用于低頻EEG信號。最后，將DDPG優(yōu)化算法加入到睡眠分期任務(wù)中，結(jié)果顯示模型的準確率達到了89.23%，分類性能得到了進一步提升，證明了對關(guān)鍵超參數(shù)優(yōu)化的必要性。

3.4 實驗結(jié)果分析

圖5～7分別為使用DDPG優(yōu)化算法進行超參數(shù)優(yōu)化時學(xué)習率、L2正則化參數(shù)以及獎勵變化的曲線圖?？梢郧逦吹?，模型在訓(xùn)練過程中的動態(tài)調(diào)整和優(yōu)化過程，分析曲線可知，模型在約400輪次時開始收斂，起初超參數(shù)處于探索階段，各曲線均有較大波動，表明智能體正在嘗試不同參數(shù)組合以尋找最優(yōu)解。隨著模型的訓(xùn)練和學(xué)習，最終獎勵值逐漸收斂到0附近，證明模型得到了較好收斂，且兩個關(guān)鍵超參數(shù)都逐漸趨于穩(wěn)定狀態(tài)，在動態(tài)變化中模型找到了最優(yōu)的超參數(shù)值。

為驗證模型的泛化性與可靠性，對樣本集以外的受試者整晚睡眠狀態(tài)進行分類預(yù)測，圖8為本文模型自動睡眠分期與睡眠專家手動分期的對比結(jié)果，圖中N代表樣本數(shù)，每個樣本對應(yīng)于30 s的睡眠狀態(tài)?？梢姳疚哪Ｐ偷姆制诮Y(jié)果與專家手動分期結(jié)果整體上呈現(xiàn)高度的一致性，證明本文模型具有較好的睡眠分期能力，可有效輔助臨床分期任務(wù)。

3.4.1 混淆矩陣與性能指標

圖9為本文DRL-DenseNet算法結(jié)果的混淆矩陣，對角線位置表示正確分類的樣本比例，其他位置則表示被錯誤分成其他類別的樣本比例，顏色越深，表明比例越高。表2為模型對于每個類別的預(yù)測性能指標，其中W、N2、N3階段都達到了較高的準確率，最難識別的N1階段的F1值也達到了61.81%。實驗結(jié)果表明，本文算法具有良好的分期性能。

3.4.2 相關(guān)研究方法對比

為進一步證明本文算法的有效性，將本文分期實驗結(jié)果與近年來使用相同數(shù)據(jù)集的先進分期算法進行比較，如表3所示。其中文獻［23］為多模態(tài)電生理信號輸入，其余為單通道EEG信號輸入，文獻［24］使用Transformer模型，基于自注意力機制捕捉睡眠信號特征，文獻［25，26］結(jié)合了多尺度CNN和多頭注意力機制完成分期任務(wù)，文獻［27］提出了輕量化的多尺度CNN網(wǎng)絡(luò)模型。從表中對比得出，本文DRL-DenseNet分期算法在總體與每類性能中均取得了最優(yōu)表現(xiàn)，與其余算法相比具有更好的分類性能。

4 結(jié)束語

本文提出了一種基于深度強化學(xué)習超參數(shù)優(yōu)化的改進密集連接網(wǎng)絡(luò)的睡眠分期方法，以解決目前基于腦電的自動睡眠分期方法中存在的信號特征提取與利用不充分、關(guān)鍵超參數(shù)手工調(diào)整優(yōu)化效果差而導(dǎo)致的分期準確率低的問題。該方法將單通道睡眠EEG信號輸入到改進密集連接網(wǎng)絡(luò)中進行充分的特征提取，通過其特征重用有效利用所有層級的特征信息，加強特征傳播；同時利用深度確定性策略梯度算法在模型學(xué)習訓(xùn)練過程中對關(guān)鍵超參數(shù)進行自動連續(xù)控制與優(yōu)化，從而有效提升睡眠分期準確率。通過多組消融實驗以及與相關(guān)方法作對比，證明了本文方法的有效性，為自動睡眠分期研究提供了新的有效解決方案。在未來的研究工作中，筆者將進一步優(yōu)化本文方法，以提升對睡眠過渡階段N1的辨識準確率，進而增強模型整體性能，為后期睡眠改善研究提供技術(shù)支持。

參考文獻：

［1］Chen Baixin，Vgontzas A N，Li Yun. Good sleep and health ［J］. The Lancet Healthy Longevity，2023，4（7）： e295-e296.

［2］Chriskos P，F(xiàn)rantzidis A C，Nday M C，et al. A review on current trends in automatic sleep staging through biosignal recordings and future challenges ［J］. Sleep Medicine Reviews，2021，55： 101377.

［3］Berry R B，Brooks R，Gamaldo C，et al. AASM scoring manual updates for 2017 （Version 2. 4） ［J］. Journal of Clinical Sleep Medi-cine，2017，13（5）： 665-666.

［4］柏浩冉，張偉，陸冠澤. 基于多尺度深度網(wǎng)絡(luò)的自動睡眠分期 ［J］. 中國生物醫(yī)學(xué)工程學(xué)報，2021，40（2）： 170-176. （Bai Haoran，Zhang Wei，Lu Guanze. Multi-scale deep network for automatic sleep staging ［J］. Chinese Journal of Biomedical Engineering，2021，40（2）： 170-176.）

［5］Phan H，Mikkelsen K. Automatic sleep staging of EEG signals： recent development，challenges，and future directions ［J］. Physiological Measurement，2022，43（4）： 04TR01.

［6］韋泓妤，陳黎飛，羅天健. 運動想象腦電信號的跨域特征學(xué)習方法 ［J］. 計算機應(yīng)用研究，2022，39（8）： 2340-2346，2351. （Wei Hongyu，Chen Lifei，Luo Tianjian. Cross-domain feature learning method for motor imagery EEG signals ［J］. Application Research of Computers，2022，39（8）： 2340-2346，2351.）

［7］Ghimatgar H，Kazemi K，Helfroush S M，et al. An automatic single-channel EEG-based sleep stage scoring method based on hidden Markov model ［J］. Journal of Neuroscience Methods，2019，324： 108320.

［8］許力，吳云肖，肖冰，等. 基于一維卷積神經(jīng)網(wǎng)絡(luò)的兒童睡眠分期 ［J］. 工程科學(xué)學(xué)報，2021，43（9）： 1253-1260. （Xu Li，Wu Yun-xiao，Xiao Bing，et al. One-dimensional convolutional neural network for children’s sleep sta-ging ［J］. Chinese Journal of Engineering，2021，43（9）： 1253-1260.）

［9］Liu Junbiao，Wu Duanpo，Wang Zimeng，et al. Automatic sleep staging algorithm based on random forest and hidden Markov model ［J］. Computer Modeling in Engineering & Sciences，2020，123（1）： 401-426.

［10］Mousavi S，Afghah F，Acharya U R. SleepEEGNet： automated sleep stage scoring with sequence to sequence deep learning approach ［J］. PLoS One，2019，14（5）： e0216456.

［11］Supratak A，Guo Yike. TinySleepNet： an efficient deep learning mo-del for sleep stage scoring based on raw single-channel EEG ［C］// Proc of the 42nd Annual International Conference of IEEE Enginee-ring in Medicine and Biology Society. Piscataway，NJ：IEEE Press，2020： 641-644.

［12］Lee M，Kwak H，Kim H，et al. SeriesSleepNet： an EEG time series model with partial data augmentation for automatic sleep stage scoring ［J］. Frontiers in Physiology，2023，14： 1188678.

［13］Goshtasbi N，Boostani R，Sanei S. SleepFCN： a fully convolutional deep learning framework for sleep stage classification using single-channel electroencephalograms ［J］. IEEE Trans on Neural Systems and Rehabilitation Engineering，2022，30： 2088-2096.

［14］Yang Chenguang，Li Baozhu，Li Yamei，et al. LWSleepNet： a lightweight attention-based deep learning model for sleep staging with single channel EEG ［J］. Digital Health，2023，9： 20552076231188206.

［15］周鵬，葉慶衛(wèi)，羅慧艷，等. 基于最優(yōu)子段深度學(xué)習的手指運動想象腦電信號分類研究 ［J］. 計算機應(yīng)用研究，2023，40（6）： 1728-1733. （Zhou Peng，Ye Qingwei，Luo Huiyan，et al. Finger motor imagery based on optimal sub-segment deep learning research on EEG signal classification ［J］. Application Research of Computers，2023，40（6）： 1728-1733.）

［16］Haghayegh S，Hu Kun，Stone K，et al. Automated sleep stages classification using convolutional neural network from raw and time-frequency electroencephalogram signals： systematic evaluation study ［J］. Journal of Medical Internet Research，2023，25： e40211.

［17］陳建平，何超，劉全，等. 增強型深度確定策略梯度算法 ［J］. 通信學(xué)報，2018，39（11）： 106-115. （Chen Jianping，He Chao，Liu Quan，et al. Enhanced deep deterministic policy gradient algorithm ［J］. Journal on Communications，2018，39（11）： 106-115.）

［18］Huang Gao，Liu Zhuang，Pleiss G，et al. Convolutional networks with dense connectivity ［J］. IEEE Trans on Pattern Analysis and Machine Intelligence，2022，44（12）： 8704-8716.

［19］Niso G，Romero E，Moreau J T，et al. Wireless EEG： a survey of systems and studies ［J］. Neuroimage，2023，269： 119774.

［20］Hu Xinyi，F(xiàn)ang Hangxiang，Zhang Ling，et al. Dynamic connection pruning for densely connected convolutional neural networks ［J］. Applied Intelligence，2023，53（16）： 19505-19521.

［21］Probst P，Boulesteix A L，Bischl B. Tunability： importance of hyperparameters of machine learning algorithms ［J］. Journal of Machine Learning Research，2019，20： 1-32.

［22］Goldberger A L，Amaral L A N，Glass L，et al. PhysioBank，Physio-Toolkit，and PhysioNet： components of a new research resource for complex physiologic signals ［J］. Circulation，2000，101（23）： e215-e220.

［23］Zheng Yubo，Luo Yingying，Zou Bing，et al. MMASleepNet： a multimodal attention network based on electrophysiological signals for automatic sleep staging ［J］. Frontiers in Neuroscience，2022，16： 973761.

［24］Phan H，Mikkelsen K B，Chen O，et al. SleepTransformer： automatic sleep staging with interpretability and uncertainty quantification ［J］. IEEE Trans on Biomedical Engineering，2022，69（8）： 2456-2467.

［25］Zhou Wei，Zhu Hangyu，Shen Ning，et al. A lightweight segmented attention network for sleep staging by fusing local characteristics and adjacent information ［J］. IEEE Trans on Neural Systems and Rehabilitation Engineering，2023，31： 238-247.

［26］Eldele E，Chen Zhenghua，Liu Chengyu，et al. An attention-based deep learning approach for sleep stage classification with single-channel EEG ［J］. IEEE Trans on Neural Systems and Rehabilitation Engineering，2021，29： 809-818.

［27］Fiorillo L，F(xiàn)avaro P，F(xiàn)araci F D. DeepSleepNet-Lite： a simplified automatic sleep stage scoring model with uncertainty estimates ［J］. IEEE Trans on Neural Systems and Rehabilitation Engineering，2021，29： 2076-208.

收稿日期：2024-01-09；修回日期：2024-03-04 基金項目：國家自然科學(xué)基金資助項目（62101312）；陜西省科技廳工業(yè)項目（2024GX-YBXM-544）

作者簡介：趙彥晶（2000—），女，河北張家口人，碩士研究生，CCF會員，主要研究方向為腦電信號處理、深度學(xué)習；周強（1969—），男（通信作者），重慶人，教授，博導(dǎo)，博士，主要研究方向為智能信息處理、機器學(xué)習（zhouqiang@sust.edu.cn）；劉鑫（2000—），男，陜西商洛人，碩士研究生，主要研究方向為機器視覺、圖像處理；李婉（1989—），女，陜西西安人，講師，博士，主要研究方向為圖像重構(gòu)、壓縮感知；田蘊郅（1998—），男，陜西渭南人，碩士研究生，主要研究方向為圖像處理、深度學(xué)習.