采用小波變換和雙向長短期記憶網(wǎng)絡(luò)的腦電睡眠分期模型

睡眠是人類最重要的生理活動(dòng)之一,擁有正常睡眠對(duì)維持大腦穩(wěn)定和人的身心健康十分重要。世界衛(wèi)生組織調(diào)查顯示,27%的人有睡眠問題。研究表明,睡眠異常是心血管病、肥胖癥、抑郁癥和焦慮癥等多種疾病的誘因

。因此,睡眠障礙已經(jīng)成為威脅世界公眾的突出問題。

睡眠分期是睡眠異常診斷的重要手段。在臨床上,專業(yè)睡眠醫(yī)師通過采集病人的多導(dǎo)睡眠圖(PSG),并依照美國睡眠醫(yī)學(xué)學(xué)會(huì)AASM睡眠分期標(biāo)準(zhǔn)

進(jìn)行人工睡眠分期,分為快速眼動(dòng)期(REM)、非快速眼動(dòng)1期(N1)、非快速眼動(dòng)2期(N2)、非快速眼動(dòng)3期(N3)、清醒期(W),但是人工睡眠分期效率較低、成本高昂

。有許多基于多導(dǎo)信號(hào)進(jìn)行自動(dòng)睡眠分期的研究。Kuo等從腦電、心電、眼電信號(hào)中提取多種特征,使用堆疊的長短期記憶網(wǎng)絡(luò)(LSTM)構(gòu)建了睡眠分期模型

,實(shí)驗(yàn)中的最佳準(zhǔn)確率達(dá)到83.7%;Patanaik等使用短時(shí)傅里葉變換從多通道腦電和眼電信號(hào)中提取時(shí)頻圖,并使用深度卷積神經(jīng)網(wǎng)絡(luò)(CNN)和多層感知機(jī)構(gòu)建模型

,能夠進(jìn)行實(shí)時(shí)睡眠分期;Phan等同樣使用短時(shí)傅里葉變換從多通道生理信號(hào)中提取時(shí)頻圖,并使用濾波器組和帶注意力機(jī)制的雙向循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)構(gòu)建了SeqSleepNet模型

,在小數(shù)據(jù)集上準(zhǔn)確率達(dá)到87.1%;Perslev等

和Jia等

分別使用U型結(jié)構(gòu)的深度神經(jīng)網(wǎng)絡(luò)模型來捕獲腦電和眼電信號(hào)中的顯著特征和睡眠狀態(tài)轉(zhuǎn)換規(guī)則,能夠有效進(jìn)行睡眠分期?；诙鄬?dǎo)生理信號(hào)的睡眠分期模型,雖然能夠得到較高的準(zhǔn)確率,但是由于采集的信號(hào)較多,計(jì)算復(fù)雜度較大,故采用單通道生理信號(hào)進(jìn)行睡眠分期,保證相同水平的準(zhǔn)確率,同時(shí)降低生理信號(hào)采集難度、減小計(jì)算復(fù)雜度,是一個(gè)值得探索的方向

。腦電信號(hào)(EEG)能夠直接反映人腦狀態(tài),在基于單通道信號(hào)的睡眠分期研究中有著天然的優(yōu)勢。

Supratak等基于單通道EEG使用不同大小的一維卷積神經(jīng)網(wǎng)絡(luò)和雙向長短期記憶網(wǎng)絡(luò)(BiLSTM),設(shè)計(jì)了睡眠分期模型DeepSleepNet

,并在隨后的研究中對(duì)模型進(jìn)行簡化,構(gòu)建了用小卷積核的一維CNN和長短期記憶網(wǎng)絡(luò)組合的TinySleepNet模型

。兩個(gè)模型都以單通道EEG作為輸入,用39人和197人的小數(shù)據(jù)集進(jìn)行了實(shí)驗(yàn)驗(yàn)證,準(zhǔn)確率分別達(dá)到82%和85.4%;Korkalainen等使用三層堆疊的卷積池化塊和BiLSTM

,基于腦電信號(hào)進(jìn)行睡眠分期,在39人的數(shù)據(jù)集上準(zhǔn)確率達(dá)到83.7%,并與腦電結(jié)合眼電的方法在多個(gè)數(shù)據(jù)集上進(jìn)行了比較,結(jié)果顯示準(zhǔn)確率差異在1%以內(nèi);Qu等自然語言處理領(lǐng)域獲得靈感,同樣以單通道EEG作為輸入,采用自編碼器構(gòu)建了睡眠分期網(wǎng)絡(luò)

,在200人和197人的數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn),準(zhǔn)確率達(dá)到84.3%;Zhou等通過公式計(jì)算從單通道EEG中提取108維特征,并利用隨機(jī)森林和LGB構(gòu)建了雙層堆疊分類器

,在8人和197人的小數(shù)據(jù)集上達(dá)到了較高的準(zhǔn)確率;Jiang等利用頻域和時(shí)域分解從單通道EEG中提取特征,并利用隨機(jī)森林和隱馬爾可夫模型構(gòu)建分類器

,在8人、20人和61人的小數(shù)據(jù)集上準(zhǔn)確率達(dá)到89.4%。相對(duì)于從EEG原始信號(hào)中利用CNN提取的抽象特征,利用信號(hào)分析方法能夠更直觀有效地提取出EEG的時(shí)頻域特征。現(xiàn)有研究多基于小數(shù)據(jù)集進(jìn)行建模,數(shù)據(jù)采集周期短,數(shù)據(jù)穩(wěn)定性較高,而實(shí)際大規(guī)模應(yīng)用中,不同批次的睡眠數(shù)據(jù)往往存在一定的差異性,所以模型的準(zhǔn)確率和穩(wěn)定性較差。

本文提出了一種采用小波變換和BiLSTM的腦電睡眠分期模型,預(yù)先計(jì)算單通道EEG的時(shí)頻圖,再利用二維卷積網(wǎng)絡(luò)提取時(shí)頻特征,進(jìn)一步使用雙向長短期記憶網(wǎng)絡(luò)來捕捉睡眠狀態(tài)轉(zhuǎn)換規(guī)則,并使用大數(shù)據(jù)集驗(yàn)證,得到了性能優(yōu)秀的睡眠分期模型。

1 睡眠分期模型

采用小波變換和BiLSTM的睡眠分期模型主要包含3個(gè)部分:睡眠腦電時(shí)頻圖的提取與壓縮;二維卷積網(wǎng)絡(luò)時(shí)頻特征的提取;睡眠狀態(tài)轉(zhuǎn)換規(guī)則的提取與睡眠分期。采用小波變換和BiLSTM的睡眠分期模型結(jié)構(gòu)如圖1所示。

1.1 睡眠腦電時(shí)頻圖的提取與壓縮

連續(xù)小波變換(CWT)是一種多尺度時(shí)頻分析方法,可以由粗到細(xì)地逐步分析信號(hào),是進(jìn)行腦電信號(hào)時(shí)頻分析和處理的理想工具

。

Y為工業(yè)生產(chǎn)總值，K為投入資本，A（t）為技術(shù)水平，L為勞動(dòng)資本投入，α和β分為資本與勞動(dòng)產(chǎn)出彈性。為便于回歸分析，對(duì)上式兩端取對(duì)數(shù)可得到線性生產(chǎn)函數(shù)：

(1)

式中:

(

)為輸入的腦電信號(hào);

為尺度;

為偏移量。

將腦電信號(hào)按照30 s時(shí)長劃分為多個(gè)連續(xù)片段組成的序列,如下式

(2)

利用小波變換從原始腦電信號(hào)起始處開始,依次計(jì)算每一個(gè)30 s片段的小波時(shí)頻圖,直到信號(hào)末尾,如下式

(3)

連續(xù)片段的小波時(shí)頻圖重新組成序列,如下式

(4)

由于時(shí)頻圖在時(shí)間維度上過大,為降低數(shù)據(jù)維度,提高神經(jīng)網(wǎng)絡(luò)訓(xùn)練速度,將小波時(shí)頻圖通過加窗求均值的方式進(jìn)行時(shí)間采樣點(diǎn)數(shù)的壓縮。將每

個(gè)點(diǎn)的值相加求得均值,作為壓縮后的值,如下式

(5)

1.2 二維卷積特征提取

不同睡眠狀態(tài)下的EEG中各頻帶幅度隨時(shí)間的改變不同

,EEG頻率的強(qiáng)弱是大腦活動(dòng)強(qiáng)度的最直接體現(xiàn),小波時(shí)頻圖能夠在各頻帶上體現(xiàn)不同尺度的時(shí)頻域信息。通過二維卷積網(wǎng)絡(luò),可以進(jìn)一步提取出小波時(shí)頻圖中的時(shí)頻域特征。依據(jù)視覺幾何組(visual geometry group,VGG)提出的VGGNet

構(gòu)建了一個(gè)二維卷積神經(jīng)網(wǎng)絡(luò),如圖2所示。

二維卷積神經(jīng)網(wǎng)絡(luò)主要包含4個(gè)卷積池化塊,每個(gè)卷積核大小均為(3,3),卷積核的個(gè)數(shù)依次為32、48、64、72,每個(gè)卷積池化塊包含2次卷積運(yùn)算,1次池化運(yùn)算,每層依次計(jì)算得到特征向量如下式

第二，在編制房屋拆遷肺預(yù)算方面，測繪系統(tǒng)的應(yīng)用，其有利于相關(guān)部門全面掌握情況，進(jìn)而做到科學(xué)合理的復(fù)核。

1

=CPBlock1(

)

(6)

2.2.3 實(shí)驗(yàn)實(shí)施

(7)

3

=CPBlock3(

2

)

綜上所述，課堂提問作為語文教學(xué)中的重要組成部分之一，若想實(shí)現(xiàn)提問的藝術(shù)性，就要注重問題設(shè)置的啟發(fā)性、審美性及創(chuàng)造性。在語文教學(xué)中，充分展示提問的藝術(shù)性，從而提高學(xué)生的綜合素養(yǎng)，促進(jìn)教師的教學(xué)專業(yè)性，優(yōu)化語文課堂質(zhì)量。

由于SHHS數(shù)據(jù)集有5 793條記錄,本文以8∶1∶1的比例隨機(jī)劃分了訓(xùn)練集、驗(yàn)證集、測試集,即隨機(jī)挑選了4 635條記錄作為訓(xùn)練集,579條記錄作為驗(yàn)證集,剩余的579條記錄作為測試集。使用早停法在訓(xùn)練集和驗(yàn)證集上將模型最優(yōu)化,最后在測試集上得到最終的性能評(píng)價(jià)。

(8)

4

=CPBlock4(

3

)

(9)

經(jīng)過4個(gè)堆疊卷積和池化計(jì)算后得到特征向量

4

,再進(jìn)行1次卷積池化運(yùn)算進(jìn)一步縮減特征維數(shù),得到特征向量

5

如下式

5

=CPBlock5(

4

)

(10)

一是增加x波段多普勒天氣雷達(dá)等局地警戒監(jiān)測設(shè)施,加強(qiáng)對(duì)小尺度強(qiáng)天氣的識(shí)別、發(fā)展的監(jiān)測分析,提高監(jiān)測預(yù)報(bào)預(yù)警的精準(zhǔn)性;二是提高氣象災(zāi)害監(jiān)測站網(wǎng)密度,加大在全縣范圍內(nèi)氣象災(zāi)害易發(fā)區(qū)、防御薄弱區(qū)、監(jiān)測空白區(qū)等地的監(jiān)測站點(diǎn)建設(shè),并科學(xué)增加原有區(qū)域自動(dòng)氣象站的監(jiān)測要素;三是落實(shí)氣象探測環(huán)境保護(hù)責(zé)任制,加強(qiáng)區(qū)域自動(dòng)氣象站探測環(huán)境保護(hù)。

=Reshape(

5

)

(11)

式中:

1

、

2

、

3

、

4

、

5

表示5個(gè)卷積池化塊的輸出;CPBlock1、CPBlock2、CPBlock3、CPBlock4、CPBlock5表示網(wǎng)絡(luò)中的卷積池化運(yùn)算;Reshape表示將時(shí)頻特征展平為特征向量;

表示二維卷積網(wǎng)絡(luò)提取出的時(shí)頻特征向量。

1.3 睡眠狀態(tài)轉(zhuǎn)換規(guī)則提取與睡眠分期

睡眠狀態(tài)轉(zhuǎn)換規(guī)則具有明顯的時(shí)間相關(guān)性和階段性

。在睡眠分期規(guī)則中,當(dāng)前片段的睡眠分期既要考慮前向的變化也要考慮后向的變化。長短期記憶網(wǎng)絡(luò)通過沿著時(shí)間傳遞隱狀態(tài)和細(xì)胞狀態(tài),能夠?qū)W習(xí)到時(shí)序數(shù)據(jù)中的抽象特征

。BiLSTM

通過讓兩個(gè)LSTM分別獨(dú)立的處理前向和后向輸入序列,并將兩個(gè)方向得到的特征向量組合,同時(shí)利用來自過去和未來的信息。本文使用了BiLSTM從特征圖中進(jìn)一步計(jì)算睡眠狀態(tài)轉(zhuǎn)換規(guī)則,并得到最終的睡眠分期結(jié)果。

材料中的損傷用Deform 3D軟件中所帶的Cockcroft-Latham準(zhǔn)則損傷參數(shù)進(jìn)行表征，其表達(dá)式為[10]：

模型采用的BiLSTM細(xì)胞核數(shù)為128,丟棄概率為0.5,采用雙向結(jié)構(gòu),通過BiLSTM得到前向和后向的隱向量,如下式

(12)

(13)

(14)

2 數(shù)據(jù)集和實(shí)驗(yàn)結(jié)果

2.1 數(shù)據(jù)集

2.2.1 數(shù)據(jù)擴(kuò)充

實(shí)驗(yàn)選用了C3-A2通道的EEG,降采樣到100 Hz,并且將每條記錄按照30 s一個(gè)片段進(jìn)行分段。本文采用了兩種樣本分割方式:以單個(gè)30 s片段作為樣本進(jìn)行預(yù)訓(xùn)練;以連續(xù)多個(gè)30 s片段組成的序列作為樣本進(jìn)行微調(diào)。

2.2.2 改進(jìn)的粗粒度劃分AP聚類 通過利用類內(nèi)和類間距離來構(gòu)造樣本數(shù)據(jù)點(diǎn)之間的相似性，使得聚類算法能同時(shí)考慮到樣本類內(nèi)的緊密程度和樣本類間的離散程度.假定有n個(gè)數(shù)據(jù)，這些數(shù)據(jù)點(diǎn)構(gòu)成N×N的相似度矩陣S′，S′(i， j) 即為樣本數(shù)據(jù)點(diǎn)i和j之間的相似度，根據(jù)公式(9)可得：

由于每個(gè)記錄的開始和結(jié)束部分包含長時(shí)間清醒階段,本文對(duì)數(shù)據(jù)進(jìn)行了清洗,表1為數(shù)據(jù)分割清洗后每類睡眠階段數(shù)的統(tǒng)計(jì),其中

表示每類睡眠階段數(shù)占所有睡眠階段數(shù)的比例。以第一個(gè)睡眠期出現(xiàn)之前30 min為新起始點(diǎn),以最后一個(gè)睡眠期結(jié)束30 min后為新終止點(diǎn),丟棄原起始點(diǎn)和新起始點(diǎn)之間的清醒階段以及新終止點(diǎn)和原終止點(diǎn)之間的清醒階段。AASM標(biāo)準(zhǔn)相比R&K標(biāo)準(zhǔn)應(yīng)用更廣泛,故去除了標(biāo)記為運(yùn)動(dòng)和未知的階段,將睡眠標(biāo)注轉(zhuǎn)化為AASM標(biāo)準(zhǔn)中的W、N1、N2、N3、REM 5類。

2.2 睡眠分期模型訓(xùn)練過程

睡眠心臟健康研究(SHHS)

由美國心肺血液研究所開展,從多個(gè)中心收集數(shù)據(jù),旨在確定睡眠呼吸障礙和心血管疾病的關(guān)聯(lián)。數(shù)據(jù)子集1包含5 793名被試者的PSG記錄,其中EEG采集兩通道數(shù)據(jù)(C4-A1、C3-A2),采樣頻率為125 Hz。睡眠專家根據(jù)R&K標(biāo)準(zhǔn)標(biāo)注睡眠階段。

由表1可得,雖然數(shù)據(jù)清洗去除了部分清醒期,但是整個(gè)數(shù)據(jù)集仍然處于極其不均衡的狀態(tài),N1睡眠階段數(shù)遠(yuǎn)遠(yuǎn)小于其他睡眠階段數(shù)。為了增強(qiáng)模型對(duì)小類別的判別能力,進(jìn)一步使用數(shù)據(jù)擴(kuò)充方法處理數(shù)據(jù)集,并在訓(xùn)練VGG時(shí)使用數(shù)據(jù)擴(kuò)充后的數(shù)據(jù)。數(shù)據(jù)擴(kuò)充過程如下:首先統(tǒng)計(jì)每個(gè)睡眠記錄中所有睡眠階段數(shù),以最多數(shù)作為數(shù)據(jù)擴(kuò)充上限。然后對(duì)于數(shù)量不足的睡眠階段,隨機(jī)選取樣本進(jìn)行復(fù)制,直到此類睡眠階段數(shù)達(dá)到數(shù)據(jù)擴(kuò)充上限。通過復(fù)制擴(kuò)充了小類別的樣本數(shù),使數(shù)據(jù)集整體達(dá)到均衡狀態(tài)。

2.2.2 訓(xùn)練算法

為了強(qiáng)化模型對(duì)于不平衡數(shù)據(jù)集的學(xué)習(xí)和判別能力,通過數(shù)據(jù)擴(kuò)充進(jìn)行了數(shù)據(jù)增強(qiáng),提高了模型的性能和魯棒性

,但是這破壞了原有的時(shí)序連續(xù)性

,無法使用BiLSTM直接進(jìn)行學(xué)習(xí)。因此采用了兩步訓(xùn)練的方法,即第一步先使用擴(kuò)充后的均衡數(shù)據(jù)集訓(xùn)練VGG,第二步微調(diào)過程中再將VGG隱藏層連接到BiLSTM,使用原始數(shù)據(jù)集進(jìn)行微調(diào)學(xué)習(xí)。

具體來說,第一階段訓(xùn)練時(shí),在VGG的最后一層隱藏層后拼接一個(gè)全連接層,以Softmax作為激活函數(shù),單個(gè)30 s片段作為輸入,對(duì)應(yīng)的標(biāo)簽作為輸出,使用Adam優(yōu)化器,學(xué)習(xí)率設(shè)置為10

,并用早停法決定停止學(xué)習(xí)的epoch。在訓(xùn)練結(jié)束后,丟棄Softmax層及相應(yīng)的參數(shù),將特征圖展平。

夏季的廬山很熱鬧。合面街是最繁華的商業(yè)街，從合面街到河南路口是單面街。河南路口對(duì)面，現(xiàn)在的振豪超市，原是赫赫有名的胡金芳大旅社，門面后背的一大片房屋也屬于它。觀光客多選擇在這里住，臨街近，方便。當(dāng)年的胡金芳大旅社聲名遠(yuǎn)播，生意遠(yuǎn)勝于仙巖飯店。

在第二階段微調(diào)時(shí),將訓(xùn)練好的VGG參數(shù)導(dǎo)入到完整的網(wǎng)絡(luò)模型中,以連續(xù)50個(gè)片段組成的序列作為輸入,對(duì)應(yīng)的標(biāo)簽序列作為輸出,使用Adam優(yōu)化器,對(duì)于訓(xùn)練好的VGG設(shè)置較小的學(xué)習(xí)率10

,對(duì)于還未訓(xùn)練的BiLSTM設(shè)置原本的學(xué)習(xí)率10

,以避免網(wǎng)絡(luò)過擬合,并用早停法決定停止學(xué)習(xí)的epoch。

小波變換的公式如下

2

=CPBlock2(

1

)

將特征展平得到時(shí)頻特征向量

,如下式

（6）排水消音速流三通也同樣具備順?biāo)ǖ男Ч?，且為偏心三通，是有連接排水立管的豎向管體和連接橫管的側(cè)面管體構(gòu)成，側(cè)面管體呈右側(cè)向偏心向下螺旋形，與豎向管體右側(cè)相連接，這樣可以避免橫管的水流直接沖擊對(duì)面的管壁從而起到降噪作用。

基于Python編程語言(版本號(hào)3.7),使用Pytorch1.8深度學(xué)習(xí)框架實(shí)現(xiàn)了本文的模型,實(shí)驗(yàn)平臺(tái)配置為:CPU型號(hào)為Intel(R) Xeon(R) Gold 6240 CPU @ 2.60 GHz,內(nèi)存容量為256 GB,GPU型號(hào)為NVIDIA GeForce RTX 3090。模型實(shí)際訓(xùn)練花費(fèi)時(shí)間約為10 h。

2.2.4 評(píng)價(jià)方法

使用準(zhǔn)確率(

)、每類精度(

)、每類召回率(

)、每類F1分?jǐn)?shù)(

)、宏平均F1分?jǐn)?shù)(

)和Cohen’s Kappa系數(shù)(

)來評(píng)估模型的性能。F1分?jǐn)?shù)能夠較為精準(zhǔn)地評(píng)估模型不平衡數(shù)據(jù)分類的性能,宏平均F1分?jǐn)?shù)為各類F1分?jǐn)?shù)的均值。Cohen’s Kappa系數(shù)能夠綜合反映模型分期結(jié)果和睡眠專家分期結(jié)果之間的一致性。

、

、

、

、

和

的表達(dá)式如下

(15)

(16)

(17)

(18)

(19)

(20)

(21)

式中:

、

、

、

是實(shí)驗(yàn)分類結(jié)果中各類別的數(shù)量,

為真陽性,表示分類正確的正例;

為假陽性,表示分類錯(cuò)誤的正例;

為真陰性,表示分類正確的反例;

為假陰性,表示分類錯(cuò)誤的反例;

與

相等,表示總體的準(zhǔn)確率;

表示每一類真實(shí)的樣本個(gè)數(shù);

表示模型預(yù)測出來的每一類預(yù)測的樣本個(gè)數(shù);

為樣本總數(shù)。

有機(jī)氮含量、溫度、水分、土壤動(dòng)物、土壤微生物、質(zhì)地和耕作方式等都會(huì)對(duì)土壤氮礦化有所影響，特別是溫度和水分是氮礦化的主要影響因素，并且他們存在明顯的交互作用。不同的耕作方式影響土壤的容重、孔隙度、理化性質(zhì)等，間接導(dǎo)致了土壤氮礦化過程的差異。很多學(xué)者研究的免耕措施會(huì)導(dǎo)致農(nóng)田二氧化氮排放量增加。

2.3 實(shí)驗(yàn)結(jié)果對(duì)比與分析

模型在SHHS數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn),表2給出了3個(gè)不同的基線模型和本文提出的模型的對(duì)比結(jié)果。3個(gè)基線模型包括DeepSleepNet(DSN)、TinySleepNet(TSN)和SeqSleepNet(SSN)。DeepSleepNet使用不同大小的一維CNN提取抽象特征,并利用BiLSTM學(xué)習(xí)睡眠階段之間的轉(zhuǎn)換規(guī)則;TinySleepNet使用簡單的CNN和單向LSTM構(gòu)建的睡眠分期模型;SeqSleepNet由濾波器組和用于編碼睡眠序列信息的雙向RNN組成。原文使用了EEG、EOG、EMG三通道數(shù)據(jù),為形成有效對(duì)比,復(fù)現(xiàn)時(shí)僅使用了EEG通道。

對(duì)比的參數(shù)包括準(zhǔn)確率

、

、

和

。由于基線模型沒有在SHHS上進(jìn)行過實(shí)驗(yàn),根據(jù)論文中的描述,重新實(shí)現(xiàn)了基線模型并在SHHS上進(jìn)行了實(shí)驗(yàn)。與其他模型相比,本文的模型整體表現(xiàn)最好,在整體的評(píng)價(jià)指標(biāo)上均達(dá)到了最高,并且由于采用了數(shù)據(jù)擴(kuò)充算法,增強(qiáng)了模型對(duì)N1階段等小樣本類別的學(xué)習(xí)能力,所以本文的模型對(duì)于N1階段的識(shí)別能力也較為優(yōu)秀。

使用原始腦電信號(hào)作為輸入的網(wǎng)絡(luò),例如DeepSleepNet和TinySleepNet等能夠在一定程度上劃分不同的睡眠周期,但是采用原始信號(hào)作為輸入無法完全捕捉到不同睡眠階段的時(shí)頻特征;SeqSleepNet模型使用了短時(shí)傅里葉變換和濾波器組捕捉腦電信號(hào)中的時(shí)頻特征,所以其性能相對(duì)較好,但是本文的模型利用連續(xù)小波變換更有效地捕捉了時(shí)頻特征,因此比其他模型有更好的表現(xiàn)。

多數(shù)基線模型在SHHS數(shù)據(jù)集上未能完全表現(xiàn)出原本的性能,這是由于生理信號(hào)數(shù)據(jù)的穩(wěn)定性易受采集時(shí)間、地點(diǎn)、設(shè)備等客觀因素影響,基線模型使用的小數(shù)據(jù)集PSG記錄數(shù)為39或153,采集周期較短、采集地點(diǎn)固定,數(shù)據(jù)較為穩(wěn)定,所以基線模型表現(xiàn)較好。SHHS數(shù)據(jù)集記錄數(shù)多達(dá)5 793,采集周期長,受客觀因素影響數(shù)據(jù)穩(wěn)定性較低,所以基線模型在SHHS數(shù)據(jù)集上性能有所降低。

3 方法優(yōu)化的考慮

3.1 小波時(shí)頻圖時(shí)間采樣點(diǎn)數(shù)對(duì)模型性能的影響

為確定連續(xù)小波變換得到的時(shí)頻圖時(shí)間采樣點(diǎn)數(shù)大小對(duì)于模型性能的影響,進(jìn)行了不同時(shí)間采樣點(diǎn)數(shù)的比較實(shí)驗(yàn)。原時(shí)頻圖采樣時(shí)間為30 s,采樣頻率為100 Hz,由采樣時(shí)間乘采樣頻率可得時(shí)間采樣點(diǎn)數(shù)為3 000(100 Hz×30 s)。將原本時(shí)間采樣點(diǎn)數(shù)為3 000的數(shù)據(jù)通過加窗求平均值的方式,壓縮為原本的1/200、1/100、1/50、1/30、1/25、1/20、1/15、1/12,得到新的時(shí)頻圖時(shí)間采樣點(diǎn)數(shù)分別為15、30、60、100、120、150、200和250,實(shí)驗(yàn)結(jié)果如圖3所示。

塌陷主要形成于2017年10月16～17日的降雨期間和11月20日的人工降雨期間，短時(shí)間較強(qiáng)降水導(dǎo)致第四系土層含水量大大增加，土體重度增加，地下水補(bǔ)給徑流加快，水位變幅頻繁，在上覆土體自重、動(dòng)靜水壓力及土洞真空吸蝕(負(fù)壓)等共同作用下，產(chǎn)生地面塌陷。降雨前后，天氣比正常年份雨水偏少，出現(xiàn)較明顯的干旱，不僅改變了地下水動(dòng)力條件，也造成土壤干裂，為地表水的入滲提供了良好通道。

從實(shí)驗(yàn)結(jié)果可得,當(dāng)時(shí)間采樣點(diǎn)數(shù)小于200時(shí),模型性能較低,當(dāng)時(shí)間采樣點(diǎn)數(shù)等于200時(shí),模型性能達(dá)到最高,且在超過200時(shí)模型性能不再明顯提升,因此最終確定時(shí)間采樣點(diǎn)數(shù)為200。

(3) 坑內(nèi)疏干降水效果不佳。積水沿連續(xù)墻向下滲透，造成土體含水量增加，土體的工程性能降低，基坑內(nèi)被動(dòng)區(qū)土壓力減小，嵌固端向基坑內(nèi)位移。

3.2 LSTM與BiLSTM性能比較

為了確定LSTM雙向結(jié)構(gòu)相對(duì)于單向結(jié)構(gòu)的性能提升,設(shè)計(jì)并進(jìn)行了LSTM與BiLSTM的實(shí)驗(yàn)結(jié)果比較,如圖4所示。LSTM為128個(gè)記憶單元的單層單向結(jié)構(gòu);BiLSTM為128個(gè)記憶單元的單層雙向結(jié)構(gòu)。

圖4中

表示N1階段的F1分?jǐn)?shù),

表示N2階段的F1分?jǐn)?shù),

、

、

為整體性能指標(biāo)。BiLSTM的各項(xiàng)評(píng)價(jià)指標(biāo)均優(yōu)于LSTM。這是由于在睡眠分期中,相比于單向結(jié)構(gòu)的網(wǎng)絡(luò),雙向結(jié)構(gòu)的網(wǎng)絡(luò)和睡眠狀態(tài)轉(zhuǎn)換規(guī)則更加契合。睡眠狀態(tài)轉(zhuǎn)換規(guī)則不是一個(gè)在時(shí)間上單向確定的規(guī)則,在人工睡眠分期的過程中,睡眠專家通過睡眠狀態(tài)轉(zhuǎn)換規(guī)則和相鄰的已確定的睡眠階段來確定當(dāng)前睡眠階段,這不只包括之前的睡眠階段,也包括之后的睡眠階段。只有采用雙向結(jié)構(gòu),同時(shí)考慮前向和后向,才能更完整的捕捉睡眠狀態(tài)轉(zhuǎn)換規(guī)則。

3.3 數(shù)據(jù)擴(kuò)充和兩步訓(xùn)練算法的作用

在第一階段訓(xùn)練二維卷積神經(jīng)網(wǎng)絡(luò)時(shí),采用了數(shù)據(jù)擴(kuò)充算法來強(qiáng)化模型對(duì)于小樣本類別的學(xué)習(xí)能力,并且進(jìn)一步使用微調(diào)的方法調(diào)整模型。為了證明數(shù)據(jù)擴(kuò)充和兩步訓(xùn)練算法的有效性,設(shè)計(jì)并進(jìn)行了實(shí)驗(yàn),結(jié)果見表3。不擴(kuò)充指不使用數(shù)據(jù)擴(kuò)充和兩步訓(xùn)練算法,模型直接以連續(xù)序列數(shù)據(jù)作為輸入進(jìn)行一步訓(xùn)練;復(fù)制擴(kuò)充指本文所使用的數(shù)據(jù)擴(kuò)充算法,使用復(fù)制的方式進(jìn)行數(shù)據(jù)擴(kuò)充,并使用兩步訓(xùn)練算法完成模型訓(xùn)練;平移擴(kuò)充指使用平移數(shù)據(jù)的方式擴(kuò)充數(shù)據(jù),即將小樣本片段隨機(jī)左右平移0～3 s的數(shù)據(jù)擴(kuò)充算法,保持樣本標(biāo)簽不變,并使用兩步訓(xùn)練算法完成模型訓(xùn)練。

從表3結(jié)果可得,數(shù)據(jù)擴(kuò)充和兩步訓(xùn)練算法對(duì)于模型性能提升有顯著效果,模型在第一階段,通過數(shù)據(jù)擴(kuò)充算法,強(qiáng)化了對(duì)于小樣本類別的識(shí)別能力,這使得模型的性能大大提升;同時(shí),不同的數(shù)據(jù)擴(kuò)充算法對(duì)于模型性能的影響不顯著,為了減少計(jì)算復(fù)雜度,本文沒有采用更復(fù)雜的平移擴(kuò)充算法,而是使用了簡單且有效的復(fù)制擴(kuò)充算法。

4 結(jié)論和展望

本文采用小波變換和BiLSTM構(gòu)建了一種單通道腦電睡眠分期模型,利用連續(xù)小波變換針對(duì)不同睡眠狀態(tài)EEG中各頻帶分布不同的特性,計(jì)算睡眠腦電的時(shí)頻圖;利用基于VGGNet的二維卷積網(wǎng)絡(luò)提取其中的時(shí)頻域信息,進(jìn)一步使用BiLSTM,有效提取睡眠狀態(tài)轉(zhuǎn)換規(guī)則并進(jìn)行睡眠分期。針對(duì)數(shù)據(jù)集中睡眠階段數(shù)不均衡的特點(diǎn),采用了數(shù)據(jù)擴(kuò)充和兩步訓(xùn)練算法訓(xùn)練模型,并在大數(shù)據(jù)集上進(jìn)行了測試。睡眠分期5分類的準(zhǔn)確率

達(dá)到85.82%,

達(dá)到78.39,

達(dá)到0.799。本文構(gòu)建的模型精度更高、穩(wěn)定性更好,證實(shí)了小波變換提取睡眠EEG時(shí)頻域信息相比于一維卷積網(wǎng)絡(luò)直接計(jì)算更有效。

第一，公路橋梁養(yǎng)護(hù)技術(shù)水平的缺失。公路橋梁的內(nèi)部結(jié)構(gòu)十分復(fù)雜與繁瑣，有關(guān)部門在對(duì)其進(jìn)行養(yǎng)護(hù)時(shí)需要運(yùn)用具有現(xiàn)代化技術(shù)水平的設(shè)備和高素質(zhì)的工作人員；與此同時(shí)，公路橋梁的養(yǎng)護(hù)工作還需要技術(shù)人員定期對(duì)其進(jìn)行檢查及時(shí)發(fā)現(xiàn)其中的安全隱患并采取有效的措施進(jìn)行管理。但是大多數(shù)工作人員在實(shí)際工作中很少會(huì)高效完成工作。其主要有以下原因：一方面是公路橋梁養(yǎng)護(hù)設(shè)備的配備不足，工作人員對(duì)于公路橋梁中的問題經(jīng)常會(huì)出現(xiàn)檢測不到位的現(xiàn)象；另外一方面是公路橋梁養(yǎng)護(hù)人員的施工技術(shù)水平不夠，這些因素經(jīng)常引起公路橋梁養(yǎng)護(hù)的安全隱患[2]。

防治措施：在播種之前可以選用玉米生物型種衣劑進(jìn)行拌種?；蛘呖梢赃x用2.5%咯菌腈懸浮種衣劑按照1∶500的比例進(jìn)行配比，拌種10千克?？梢杂行ьA(yù)防基腐病的發(fā)生。并且應(yīng)該在播種期，采用46.1%氫氧化銅水分散粒劑按照1∶1500的比例進(jìn)行調(diào)和，或者可以選用12.5%氯溴異氰尿酸水溶性粉劑按照1∶1000的比例進(jìn)行配比，進(jìn)行對(duì)植株的莖部的噴淋，起到有效的預(yù)防作用。

本文的方法仍有一些不足之處:數(shù)據(jù)擴(kuò)充和兩步訓(xùn)練算法雖然能夠提升睡眠分期N1階段的精度,但是無法徹底消除樣本數(shù)不均衡的影響,未來仍需要不斷探究更好的均衡策略;時(shí)頻圖需要經(jīng)過壓縮才能夠利用二維卷積網(wǎng)絡(luò)進(jìn)一步提取特征,而時(shí)間采樣點(diǎn)數(shù)的減小定然會(huì)造成時(shí)域信息的損失,進(jìn)而影響模型的精度,未來仍需改進(jìn)模型結(jié)構(gòu),彌補(bǔ)時(shí)域信息的損失。

:

[1] 趙忠新.睡眠醫(yī)學(xué) [M].北京:人民衛(wèi)生出版社,2016.

[2] MOSER D,ANDERER P,GRUBER G,et al.Sleep classification according to AASM and Rechtschaffen &Kales:effects on sleep scoring parameters [J].Sleep,2009,32(2):139-149.

[3] 徐富獻(xiàn),王抒偉,錢鑲鈺,等.睡眠自動(dòng)分期方法綜述 [J].生物物理學(xué),2019,7(3):34-48.

XU Fuxian,WANG Shuwei,QIAN Xiangyu,et al.A review of automatic sleep staging [J].Biophysics,2019,7(3):34-48.

[4] KUO C E,CHEN Guanting.Automatic sleep staging based on a hybrid stacked LSTM neural network:verification using large-scale dataset [J].IEEE Access,2020,8:111837-111849.

[5] PATANAIK A,ONG J L,GOOLEY J J,et al.An end-to-end framework for real-time automatic sleep stage classification [J].Sleep,2018,41(5):zsy041.

[6] PHAN H,ANDREOTTI F,COORAY N,et al.SeqSleepNet:end-to-end hierarchical recurrent neural network for sequence-to-sequence automatic sleep staging [J].IEEE Transactions on Neural Systems and Rehabilitation Engineering,2019,27(3):400-410.

[7] PERSLEV M,JENSEN M H,DARKNER S,et al.U-Time:a fully convolutional network for time series segmentation applied to sleep staging [C]∥Proceedings of the 33rd International Conference on Neural Information Processing Systems.Red Hook,NY,USA:Curran Associates Inc.,2019:4415-4426.

[8] JIA Ziyu,LIN Youfang,WANG Jing,et al.SalientSleepNet:multimodal salient wave detection network for sleep staging [C]∥Proceedings of the 30th International Joint Conference on Artificial Intelligence.San Mateo,CA,USA:Morgan Kaufmann,2021:2614-2620.

[9] WEI Yuhui,QI Xia,WANG Huaning,et al.A multi-class automatic sleep staging method based on long short-term memory network using single-lead electrocardiogram signals [J].IEEE Access,2019,7:85959-85970.

[10] SUPRATAK A,DONG Hao,WU Chao,et al.DeepSleepNet:a model for automatic sleep stage scoring based on raw single-channel EEG [J].IEEE Transactions on Neural Systems and Rehabilitation Engineering,2017,25(11):1998-2008.

[11] SUPRATAK A,GUO Yike.TinySleepNet:an efficient deep learning model for sleep stage scoring based on raw single-channel EEG [C]∥Proceedings of the 2020 42nd Annual International Conference of the IEEE Engineering in Medicine &Biology Society (EMBC).Piscataway,NJ,USA:IEEE,2020:641-644.

[12] KORKALAINEN H,AAKKO J,NIKKONEN S,et al.Accurate deep learning-based sleep staging in a clinical population with suspected obstructive sleep apnea [J].IEEE Journal of Biomedical and Health Informatics,2020,24(7):2073-2081.

[13] QU Wei,WANG Zhiyong,HONG Hong,et al.A residual based attention model for EEG based sleep staging [J].IEEE Journal of Biomedical and Health Informatics,2020,24(10):2833-2843.

[14] ZHOU Jinjin,WANG Guangsheng,LIU Junbiao,et al.Automatic sleep stage classification with single channel EEG signal based on two-layer stacked ensemble model [J].IEEE Access,2020,8:57283-57297.

[15] JIANG Dihong,LU Yanan,MA Yu,et al.Robust sleep stage classification with single-channel EEG signals using multimodal decomposition and HMM-based refinement [J].Expert Systems with Applications,2019,121:188-203.

[16] WACKER W,WITTE H.Time-frequency techniques in biomedical signal analysis [J].Methods of Information in Medicine,2013,52(4):279-296.

[17] 胡勤偉,陶慶,王妮妮,等.用于穩(wěn)態(tài)視覺誘發(fā)電位目標(biāo)識(shí)別的多尺度特征融合卷積神經(jīng)網(wǎng)絡(luò)方法 [J].西安交通大學(xué)學(xué)報(bào),2022,56(4):185-193,202.

HU Qinwei,TAO Qing,WANG Nini,et al.A multi-scale feature fusion convolutional neural network approach for steady-state visual evoked potential target recognition [J].Journal of Xi’an Jiaotong University,2022,56(4):185-193,202.

[18] 邵舒羽,吳錦濤,周前祥,等.睡眠-覺醒節(jié)律紊亂下注意誘發(fā)腦電特征分析與識(shí)別 [J].航天醫(yī)學(xué)與醫(yī)學(xué)工程,2021,34(6):439-447.

SHAO Shuyu,WU Jintao,ZHOU Qianxiang,et al.EEG characteristics analysis and recognition induced by attention under sleep-wake rhythm disorder [J].Space Medicine &Medical Engineering,2021,34(6):439-447.

[19] SIMONYAN K,ZISSERMAN A.Very Deep convolutional networks for large-scale image recognition [C]∥Proceedings of the 3rd International Conference on Learning Representations.Amherst,Massachusetts,USA:OpenReview,2015:1-14.

[20] BERRY R B.Fundamentals of sleep medicine [M].Philadelphia,USA:Elsevier/Saunders,2012.

[21] 陳保家,陳學(xué)力,沈保明,等.CNN-LSTM深度神經(jīng)網(wǎng)絡(luò)在滾動(dòng)軸承故障診斷中的應(yīng)用 [J].西安交通大學(xué)學(xué)報(bào),2021,55(6):28-36.

CHEN Baojia,CHEN Xueli,SHEN Baoming,et al.An application of convolution neural network and long short-term memory in rolling bearing fault diagnosis [J].Journal of Xi’an Jiaotong University,2021,55(6):28-36.

[22] SCHUSTER M,PALIWAL K K.Bidirectional recurrent neural networks [J].IEEE Transactions on Signal Processing,1997,45(11):2673-2681.

[23] ZHANG Guoqiang,CUI Licong,MUELLER R,et al.The national sleep research resource:towards a sleep data commons [J].Journal of the American Medical Informatics Association,2018,25(10):1351-1358.

[24] QUAN S F,HOWARD B V,IBER C,et al.The sleep heart health study:design,rationale,and methods [J].Sleep,1997,20(12):1077-1085.

[25] ROY Y,BANVILLE H,ALBUQUERQUE I,et al.Deep learning-based electroencephalography analysis:a systematic review [J].Journal of Neural Engineering,2019,16(5):051001.

[26] SUN Chenglu,FAN Jiahao,CHEN Chen,et al.A two-stage neural network for sleep stage classification based on feature learning,sequence learning,and data augmentation [J].IEEE Access,2019,7:109386-109397.