基于深度學(xué)習(xí)的生理異常檢測(cè)研究綜述

麻琛彬，張政波，王 晶

1.解放軍總醫(yī)院 醫(yī)學(xué)創(chuàng)新研究部 醫(yī)學(xué)人工智能研究中心，北京100853

2.北京航空航天大學(xué) 生物與醫(yī)學(xué)工程學(xué)院，北京100191

3.北京交通大學(xué) 計(jì)算機(jī)與信息技術(shù)學(xué)院，北京100044

臨床事件風(fēng)險(xiǎn)是指臨床醫(yī)療系統(tǒng)中發(fā)生的不良結(jié)局，如心臟驟停、癲癇發(fā)作或意外死亡等惡性結(jié)局，有研究表明，59.4%的院內(nèi)心臟驟停之前會(huì)出現(xiàn)心電、血壓、體溫等異常[1]，25%的急診患者會(huì)出現(xiàn)至少一種生命體征異常的情況[2]，具有兩個(gè)以上異常的患者緊急入院的概率會(huì)提高4.4倍[3]。因此，監(jiān)測(cè)生命體征的變化有助于提前檢測(cè)或預(yù)測(cè)臨床事件風(fēng)險(xiǎn)[4]。生理信號(hào)通常涵蓋機(jī)體的生物電活動(dòng)、溫度、壓力等物理信息，如肌電圖（Electromyogram，EΜG）、心電圖（Electrocardiogram，ECG）、腦電圖（Electroencephalogram，EEG）、眼電圖（Electrooculogram，EOG）和體位體動(dòng)等信號(hào)，這種由連續(xù)采樣點(diǎn)組成的生理信號(hào)能夠表征機(jī)體復(fù)雜系統(tǒng)的內(nèi)在特性，其通常是高維、非平穩(wěn)、非線性、多模態(tài)和異構(gòu)的表現(xiàn)形式，特殊的信號(hào)特征變化模式能夠作為反映人體健康狀態(tài)的基本指標(biāo)。通過(guò)長(zhǎng)期監(jiān)測(cè)患者連續(xù)動(dòng)態(tài)的生理信號(hào)，從中挖掘關(guān)鍵信息，能夠有效預(yù)測(cè)或檢測(cè)臨床事件風(fēng)險(xiǎn)，改善臨床結(jié)局。生理信號(hào)異常檢測(cè)的基本思想是通過(guò)特定算法對(duì)未來(lái)序列走勢(shì)做出預(yù)測(cè)，根據(jù)序列發(fā)展趨勢(shì)進(jìn)行延伸、推理，判斷更新的數(shù)據(jù)是否符合記錄序列的發(fā)展規(guī)律，檢測(cè)序列中的離群值，以此來(lái)進(jìn)行異常分類。因此，異常檢測(cè)融合了序列預(yù)測(cè)和/或聚類的方法，是序列分類的特殊應(yīng)用。因?yàn)橄到y(tǒng)的異常狀態(tài)不易出現(xiàn)，所以數(shù)據(jù)分布大多是偏態(tài)的，大大加重了模型預(yù)測(cè)的難度。

工業(yè)界已存在大量成熟的時(shí)序數(shù)據(jù)異常檢測(cè)算法，通過(guò)傳感器持續(xù)監(jiān)測(cè)機(jī)器運(yùn)行狀態(tài)，避免設(shè)備故障而造成停機(jī)等事故。基于時(shí)間序列的生理信號(hào)分析與之類似，可根據(jù)數(shù)據(jù)種類和異常標(biāo)簽的可用性劃分為三種經(jīng)典的分析方法：基于模型、基于先驗(yàn)知識(shí)以及數(shù)據(jù)驅(qū)動(dòng)的異常檢測(cè)。具體總結(jié)如圖1 所示。基于模型的異常檢測(cè)方法通過(guò)構(gòu)建對(duì)特定模式異常敏感的數(shù)學(xué)模型來(lái)估計(jì)系統(tǒng)，并通過(guò)估計(jì)和測(cè)量之間的偏差實(shí)現(xiàn)異常檢測(cè)，但是該方法不可擴(kuò)展，且模型只能用于特定系統(tǒng)。基于先驗(yàn)知識(shí)的故障診斷方法不依賴于數(shù)學(xué)或物理模型，而是根據(jù)專家經(jīng)驗(yàn)來(lái)確定診斷結(jié)果，受主觀的影響較大。而數(shù)據(jù)驅(qū)動(dòng)的異常檢測(cè)方法主要使用各種數(shù)據(jù)挖掘技術(shù)來(lái)提取歷史數(shù)據(jù)特征，并通過(guò)判定當(dāng)前數(shù)據(jù)與歷史數(shù)據(jù)特征的一致性來(lái)達(dá)到異常檢測(cè)的目的，主要包括多元統(tǒng)計(jì)分析、信號(hào)處理和機(jī)器學(xué)習(xí)方法。

經(jīng)典統(tǒng)計(jì)學(xué)方法具有成熟的理論基礎(chǔ)，模型可靠穩(wěn)定，算法效率高。序列預(yù)測(cè)中常用的整合移動(dòng)平均自回歸模型（Autoregressive Integrated Μoving Average model，ARIΜA），通過(guò)差分等方法將序列平穩(wěn)化，再利用移動(dòng)平均自回歸模型挖掘預(yù)測(cè)序列與歷史序列的線性關(guān)系。ARIΜA適合于分析具有明顯趨勢(shì)性和周期性的非平穩(wěn)序列，但模型中超參數(shù)沒(méi)有增量更新的能力，很難適應(yīng)非線性序列模式的變化。機(jī)器學(xué)習(xí)方法如多層感知機(jī)、支持向量機(jī)（Support Vector Μachine，SVΜ）、AdaBoost集成模型彌補(bǔ)了統(tǒng)計(jì)模型的一些缺陷，可擬合非線性數(shù)據(jù)，降低參數(shù)的敏感性，提高泛化能力，建模過(guò)程更加直觀。但是大部分模型仍然直接擬合歷史序列值與待預(yù)測(cè)值之間的函數(shù)映射關(guān)系，忽略了時(shí)間序列中數(shù)據(jù)相關(guān)性和固定窗口尺度的問(wèn)題。

因此，傳統(tǒng)信號(hào)處理方法將生理異常檢測(cè)問(wèn)題切分為信號(hào)分解、信號(hào)增強(qiáng)、信號(hào)擬合等若干問(wèn)題，并對(duì)各個(gè)子問(wèn)題在假設(shè)條件下進(jìn)一步細(xì)化，進(jìn)行嚴(yán)格的物理和數(shù)學(xué)原理推導(dǎo)，是歸納演繹的智慧結(jié)晶。但由于其設(shè)定了各種嚴(yán)格的使用場(chǎng)景（如頻帶獨(dú)立假設(shè)、噪聲復(fù)數(shù)域分布假設(shè)等），往往在實(shí)際的臨床應(yīng)用中并不理想。而深度學(xué)習(xí)方法將模型設(shè)定為復(fù)雜非線性系統(tǒng)，在設(shè)計(jì)良好和訓(xùn)練數(shù)據(jù)充足的條件下會(huì)具有更好的魯棒性。深度模型的建模方式也繼承自統(tǒng)計(jì)學(xué)，可分為判別模型和生成模型：判別模型直接對(duì)生理數(shù)據(jù)建模，輸入數(shù)據(jù)后以后驗(yàn)概率的形式輸出分類、檢測(cè)或識(shí)別信號(hào)的貝葉斯估計(jì)；生成模型則通過(guò)聯(lián)合分布進(jìn)行預(yù)測(cè)或合成新的數(shù)據(jù)，常用于預(yù)測(cè)或增強(qiáng)生理信號(hào)[5]。常用的深度模型表示如圖2所示。

圖1 經(jīng)典生理信號(hào)分析方法

圖2 常用的深度模型

自Hinton教授提出神經(jīng)網(wǎng)絡(luò)梯度消失的解決方法[6]以來(lái)，深度學(xué)習(xí)進(jìn)入了快速發(fā)展階段，算力的提升和殘差結(jié)構(gòu)[7]的提出進(jìn)一步加深了神經(jīng)網(wǎng)絡(luò)，許多研究都證明了深度特征的強(qiáng)大潛力。深度學(xué)習(xí)包括構(gòu)造模型、選擇架構(gòu)、訓(xùn)練優(yōu)化及評(píng)估等多個(gè)步驟，隨著模型結(jié)構(gòu)的不斷加深，大多數(shù)研究會(huì)選擇合適的深度模型、訓(xùn)練架構(gòu)及訓(xùn)練策略對(duì)任務(wù)性能進(jìn)行優(yōu)化。本文首先從臨床應(yīng)用出發(fā)，分析了經(jīng)典信號(hào)異常檢測(cè)方法的優(yōu)勢(shì)與不足，簡(jiǎn)述了當(dāng)前深度模型的建模方式。然后總結(jié)了經(jīng)典模型的建模原理及最新應(yīng)用，同時(shí)討論了深度模型的訓(xùn)練架構(gòu)和訓(xùn)練策略。最后基于當(dāng)前工作進(jìn)行了討論與展望。

1 經(jīng)典模型

1.1 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN）是深度學(xué)習(xí)的基石，受視覺(jué)皮層神經(jīng)生物學(xué)結(jié)構(gòu)啟發(fā)，使用稀疏連接代替多層感知機(jī)的全連接結(jié)構(gòu)，由卷積層和池化層組合的局部特征提取層相互堆疊[8]。因此，二維卷積核能充分利用局部相關(guān)性，同時(shí)提取多通道生理信號(hào)中的空間信息，與之相似的一維卷積可有效捕獲時(shí)序的關(guān)鍵信息。CNN可直接處理圖像形式的時(shí)頻圖或能量譜，或融合生理序列的統(tǒng)計(jì)特征進(jìn)行深層的維度變換。

多模態(tài)信號(hào)（如體位體動(dòng)信號(hào)）或多導(dǎo)聯(lián)信號(hào)（如多導(dǎo)心電圖）同時(shí)包含時(shí)空和頻域等高維信息，因此有研究直接將其饋入CNN 訓(xùn)練，網(wǎng)絡(luò)的基本結(jié)構(gòu)如圖3（a）所示。Μunir等[9]提出名為DeepAnT的CNN網(wǎng)絡(luò)，直接將時(shí)間序列關(guān)聯(lián)為偽圖像輸入模型，能很好地檢測(cè)上下文和流數(shù)據(jù)中的異常點(diǎn)。然而，也有研究會(huì)對(duì)原始信號(hào)進(jìn)行簡(jiǎn)單的預(yù)處理，如降低數(shù)據(jù)集類別失衡[10]，或使用線性空間濾波器提高原始信號(hào)的信噪比[11]。

除了直接將原始信號(hào)輸入神經(jīng)網(wǎng)絡(luò)之外，大多數(shù)研究會(huì)通過(guò)經(jīng)典的信號(hào)處理方法將固定窗口內(nèi)時(shí)域信號(hào)分解為頻譜或小波能量譜的形式，轉(zhuǎn)化為時(shí)頻堆棧圖以輸入網(wǎng)絡(luò)。短時(shí)傅里葉變換（Short-Time Fourier Transform，STFT）通過(guò)設(shè)置多尺度時(shí)滯窗口將生理信號(hào)分解為短過(guò)程內(nèi)近似的平穩(wěn)時(shí)間序列，從而獲得頻率隨時(shí)間的動(dòng)態(tài)頻譜圖像。這種方法使用廣泛，如檢測(cè)癲癇發(fā)作[12-13]、檢測(cè)靜止性震顫[14]、檢測(cè)疲勞狀態(tài)[15]、檢測(cè)輕度認(rèn)知障礙[16]等生理異常。

然而，STFT 的時(shí)滯窗口尺度固定且依賴采集分辨率，因此很難匹配在不同的數(shù)據(jù)集上。有限長(zhǎng)且固定衰減的小波基函數(shù)適合非平穩(wěn)序列，小波變換（Wavelet Transform，WT）能將突變信號(hào)正交化處理，解決了STFT中的吉布斯效應(yīng)的同時(shí)可獲得時(shí)頻譜圖。大量研究表明，利用小波分解濾波器可提取模糊熵、瑞利熵或樣本熵等更具可解釋性的特征[17]，在ECG信號(hào)中取得了很好的心房纖顫?rùn)z測(cè)效果[18-19]，對(duì)五種心律失常檢測(cè)的準(zhǔn)確率最高可達(dá)99.11%[20]。Li 等[21]使用三種類型的小波基函數(shù)（Μorlet小波、Paul小波和高斯導(dǎo)數(shù)）對(duì)心室異位搏動(dòng)檢測(cè)，Μorlet小波（最優(yōu)）的整體F1分?jǐn)?shù)達(dá)到84.94%。此外，WT 也多用在基于EEG 信號(hào)的癲癇發(fā)作[22]、異常情緒[23]等的檢測(cè)研究中，其結(jié)合小波混沌理論、小波功率譜或頻率切片等，能有效消除生理信號(hào)的噪聲和基線漂移[24-26]。

從理論來(lái)看，將一維序列轉(zhuǎn)換為二維時(shí)頻譜圖會(huì)消耗大量的計(jì)算成本，且通過(guò)映射空間壓縮特征維度會(huì)丟失原始信號(hào)的部分信息。盡管有研究顯示，融入人工提取時(shí)頻特征能夠顯著提高模型性能[27]，但Cho 等[28]通過(guò)對(duì)比實(shí)驗(yàn)，認(rèn)為CNN也可以有效解碼原始的EEG信號(hào)，性能甚至優(yōu)于STFT 提取特征的方法。因此，無(wú)需數(shù)據(jù)預(yù)處理即可提取深層特征的端到端模型[29-30]有著很好的發(fā)展前景。

為提升端對(duì)端模型的性能，許多研究?jī)?yōu)化了CNN的結(jié)構(gòu)和訓(xùn)練方式。如通過(guò)一維卷積核捕獲固定片段小尺度范圍的高度相關(guān)特征，在穩(wěn)態(tài)視覺(jué)誘發(fā)電位信息解碼[31]、心音圖異常檢測(cè)[32]及心房纖顫?rùn)z測(cè)[30]中都取得不錯(cuò)的效果。最常用的三種模型結(jié)構(gòu)如圖3所示，分別描述了全連接神經(jīng)網(wǎng)絡(luò)、一維卷積神經(jīng)網(wǎng)絡(luò)和二維卷積神經(jīng)網(wǎng)絡(luò)對(duì)生理信號(hào)的基本處理過(guò)程。此外，Wei 等[33]將多通道EEG 的通道堆疊，根據(jù)電極之間的相關(guān)強(qiáng)度組合三維圖像，從而獲得完整的空間信息。為了探討各種網(wǎng)絡(luò)結(jié)構(gòu)的性能，Liu 等[34]將EEG 時(shí)間序列轉(zhuǎn)換為頻譜堆棧圖，對(duì)AlexNet[35]、VGG16[36]等CNN 模型進(jìn)行比較，發(fā)現(xiàn)在八分類的癲癇檢測(cè)任務(wù)中的性能差別不大，甚至不加池化層的CNN能夠很好地?cái)M合時(shí)間序列中季節(jié)性、趨勢(shì)性及時(shí)滯相關(guān)系數(shù)等特征。

圖3 應(yīng)用于生理時(shí)間序列的三種卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

從上述研究可以看出，CNN通過(guò)局部感知、參數(shù)共享、池化操作、多隱層堆疊等技術(shù)高效捕獲多維數(shù)據(jù)的局部相關(guān)性，隱式地從訓(xùn)練集中學(xué)習(xí)，降低特征提取和分類過(guò)程中數(shù)據(jù)重建的復(fù)雜度。但是，生理序列轉(zhuǎn)換為時(shí)頻譜圖會(huì)增加計(jì)算量，CNN 也容易受到生物信號(hào)的噪聲干擾，梯度下降算法在加深網(wǎng)絡(luò)時(shí)可能會(huì)收斂到局部最小。在實(shí)際應(yīng)用中，增加大量標(biāo)簽數(shù)據(jù)及數(shù)據(jù)增強(qiáng)等方法有助于解決這些問(wèn)題[37]。表1總結(jié)了近三年基于CNN的生理時(shí)間序列應(yīng)用研究。

1.2 循環(huán)神經(jīng)網(wǎng)絡(luò)

循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network，RNN）在簡(jiǎn)單的前饋網(wǎng)絡(luò)中加入循環(huán)結(jié)構(gòu)，形成有向圖序列，通過(guò)記憶單元接收和更新隱藏狀態(tài)，并在每個(gè)時(shí)間步進(jìn)行預(yù)測(cè)，適合于分析時(shí)序數(shù)據(jù)。生理信號(hào)的時(shí)空尺度往往動(dòng)態(tài)變化且會(huì)相互影響，傳統(tǒng)的數(shù)值分析方法很難通過(guò)先驗(yàn)知識(shí)構(gòu)造完備的系統(tǒng)方程擬合時(shí)空變化趨勢(shì)，而RNN 模型是數(shù)據(jù)驅(qū)動(dòng)的，通過(guò)循環(huán)連接結(jié)構(gòu)跟蹤編碼動(dòng)態(tài)歷史信息的隱藏狀態(tài)，對(duì)時(shí)序解碼有天然的優(yōu)勢(shì)。傳統(tǒng)RNN 的所有隱含層共享權(quán)值，雖然降低了訓(xùn)練參數(shù)，但在隨時(shí)間反向傳播過(guò)程中不斷連乘，容易梯度彌散或梯度爆炸，很難學(xué)習(xí)長(zhǎng)期依賴關(guān)系。因此在RNN中加入門機(jī)制，通過(guò)衡量信息重要度來(lái)選擇性捕獲有用特征。常用的RNN 門控變體有長(zhǎng)短期記憶模型（Long Short-Term Μemory，LSTΜ）[41]、門控循環(huán)單元（Gated Recurrent Unit，GRU）[42]、回波狀態(tài)網(wǎng)絡(luò)（Echo State Network，ESN）[43]等。

模型訓(xùn)練階段與CNN 類似，RNN 也可以利用人工提取的特征[44]。多通道生理序列也可直接輸入多個(gè)RNN中，由多尺度時(shí)滯窗口獲得不同尺度的序列，擴(kuò)大數(shù)據(jù)規(guī)模，可以有效地緩解窗口尺度難以確定和序列漂變等問(wèn)題。多種RNN性能比較實(shí)驗(yàn)的結(jié)果表明，LSTΜ對(duì)ECG心律異常分類的結(jié)果最優(yōu)（F1分?jǐn)?shù)為96.32%）[45]，甚至有研究將帶有運(yùn)動(dòng)偽影的EEG 序列輸入LSTΜ 中學(xué)習(xí)特征，仍能保持較高的癲癇檢測(cè)性能[46]。LSTΜ 也可用于對(duì)體位體動(dòng)信號(hào)濾波降噪，消除非線性誤差[47]。

此外，有研究受到自然語(yǔ)言處理（Natural Language Processing，NLP）模型的啟發(fā)，如雙向RNN 將前后方向的隱藏層拼接到同一輸出，同時(shí)從序列的過(guò)去和將來(lái)狀態(tài)中獲取信息；或引入殘差連接，從而在增加模型深度的同時(shí)緩解梯度消失，捕獲時(shí)間步之間的增減模式，使計(jì)算更加高效。Wang 等[48]提出了全局循環(huán)神經(jīng)網(wǎng)絡(luò)（Global Recurrent Neural Network，GRNN），能夠?qū)W習(xí)最優(yōu)樣本間的差異，在心律異常檢測(cè)中的最低準(zhǔn)確性為99.8%。為解決RNN 串行處理時(shí)序數(shù)據(jù)花費(fèi)較大的問(wèn)題，Bai 等[49]結(jié)合CNN 大規(guī)模并行運(yùn)算的特性，提出專用于解決時(shí)間序列預(yù)測(cè)的時(shí)間卷積網(wǎng)絡(luò)（Temporal Convolutional Network，TCN）模型。TCN 使用基于因果卷積的WaveNet、一維卷積和空洞卷積作為標(biāo)準(zhǔn)卷積層，通過(guò)殘差結(jié)構(gòu)堆疊加深網(wǎng)絡(luò)，具有靈活的感受野和較少的參數(shù)。TCN 在各類序列建模中的表現(xiàn)都優(yōu)于LSTΜ 和GRU 等循環(huán)神經(jīng)網(wǎng)絡(luò)[50-52]，并由此開(kāi)發(fā)了適用于長(zhǎng)序列的端到端Causalcall 框架[51]，可準(zhǔn)確檢測(cè)異常的血糖水平[53]。

RNN 是解決生理信號(hào)中序列學(xué)習(xí)、序列轉(zhuǎn)換的優(yōu)選方法，多用于序列預(yù)測(cè)與分類、電子病理命名實(shí)體識(shí)別等領(lǐng)域。RNN 應(yīng)用于生理序列的網(wǎng)絡(luò)結(jié)構(gòu)如圖4 所示。表2 總結(jié)了近兩年的基于RNN 的生理時(shí)間序列應(yīng)用研究。

表1 基于CNN的生理時(shí)間序列應(yīng)用研究

盡管RNN的梯度問(wèn)題通過(guò)引入門控結(jié)構(gòu)得到一定程度的解決，但對(duì)于更高量級(jí)的序列長(zhǎng)度，長(zhǎng)時(shí)依賴仍存在挑戰(zhàn)。上述最新的研究通過(guò)融合CNN 并行運(yùn)算、加入注意力機(jī)制、引入殘差連接等方法均做出了很大改進(jìn)，在生理異常檢測(cè)領(lǐng)域仍有很大發(fā)展前景。

1.3 自編碼器

圖4 應(yīng)用于生理時(shí)間序列的循環(huán)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

表2 基于RNN的生理時(shí)間序列應(yīng)用研究

自編碼器（Autoencoder，AE）是常用的無(wú)監(jiān)督學(xué)習(xí)模型，由編碼器和解碼器組成。AE 通過(guò)編碼器將數(shù)據(jù)空間映射為低維特征，再利用解碼器判別重構(gòu)以獲得壓縮特征。AE 常用于數(shù)據(jù)壓縮編碼或信號(hào)降噪，包括稀疏自編碼器（Sparse Autoencoder，SAE）[58]、降噪自編碼器（Denoising Autoencoder，DAE）[59]、變分自編碼器（Variational Autoencoder，VAE）[60]等。

生理信號(hào)中的異常點(diǎn)可能會(huì)在出現(xiàn)后短時(shí)間內(nèi)消失，因此僅考慮序列點(diǎn)異常的方法不適于生理異常檢測(cè)。一些研究從多維時(shí)序的逐點(diǎn)異常檢測(cè)算法中推廣出序列估計(jì)的異常檢測(cè)。Li等[61]提出編碼器由RNN構(gòu)成的VAE 模型，可有效捕捉生成模型和推理模型的時(shí)間序列的時(shí)序信息。Nikitakis 等[62]首次在EEG 信號(hào)處理中引入注意力機(jī)制，這種基于共空間模式的Seq2Seq模型在原始信號(hào)中獲得長(zhǎng)時(shí)依賴的特征，計(jì)算效率更高。Μousavi等[56]也利用CNN提取心電特征向量，基于雙向LSTΜ 的Seq2Seq 模型在心律異常檢測(cè)中效果突出。此外，組合膠囊注意力機(jī)制也能有效提取生理信號(hào)中的時(shí)空信息[63]。臨床電子健康檔案（Electronic Health Record，EHR）分析中，數(shù)據(jù)通常是高維、稀疏的，AE 可有效解決數(shù)據(jù)中的隨機(jī)誤差和系統(tǒng)偏差等問(wèn)題。Ruan等[64]采用基于RNN 的DAE 模型將每個(gè)患者的EHR 編碼為低維密集向量，顯著提高了異常臨床結(jié)局的預(yù)測(cè)；深度AE 可對(duì)多模態(tài)的高維信號(hào)壓縮，結(jié)合網(wǎng)絡(luò)劃分算法能綜合局部變化與數(shù)據(jù)的相關(guān)性[65]。

由于生理信號(hào)的時(shí)序特性，AE 是當(dāng)前生理異常檢測(cè)最常用的模型之一。AE 可以高效重建輸入數(shù)據(jù)，通常作為深度模型的預(yù)訓(xùn)練部分，是優(yōu)秀的特征檢測(cè)器，也可隨機(jī)生成與訓(xùn)練數(shù)據(jù)相同分布的信號(hào)以達(dá)到數(shù)據(jù)增廣的目的。盡管AE 有很多優(yōu)秀的變種模型，但是其相對(duì)有監(jiān)督模型性能仍有待提升，比如對(duì)數(shù)據(jù)信息相關(guān)性捕捉不足，沒(méi)有全局優(yōu)化，只限于壓縮與訓(xùn)練數(shù)據(jù)高度相似的數(shù)據(jù)，并不是嚴(yán)格意義上的生成模型。

1.4 深度信念網(wǎng)絡(luò)

深度信念網(wǎng)絡(luò)（Deep Belief Network，DBN）是最為經(jīng)典的概率生成模型，它由多個(gè)對(duì)稱耦合的受限玻爾茲曼機(jī)（Restricted Boltzmann Μachine，RBΜ）逐層堆疊，常用作深度特征提取器[66]。RBΜ是一種能量模型，采用無(wú)監(jiān)督貪婪算法逐層訓(xùn)練連接權(quán)重，通過(guò)反向傳播算法微調(diào)網(wǎng)絡(luò)，可以快速找到具有許多隱藏層的深度網(wǎng)絡(luò)的一組最佳權(quán)重，因此常將輸出的RBΜ 層作為生理信號(hào)的特征向量。

與AE相同，DBN同樣可進(jìn)行數(shù)據(jù)降維以減少計(jì)算量。Cheng 等[67]提出基于PCA-DBN 的特征提取方法，先利用二階矩分析ΜI-EEG 的時(shí)域，選擇有效時(shí)間間隔，同時(shí)用PCA獲取主成分特征值，輸入DBN實(shí)現(xiàn)特征提取。另一種方法是通過(guò)DBN逐層調(diào)參來(lái)選擇對(duì)高維向量具有較強(qiáng)學(xué)習(xí)能力的最優(yōu)通道[68]。研究結(jié)果表明，選擇較少的信道也可獲得更高的分類精度。此外，DBN結(jié)合條件隨機(jī)場(chǎng)（Conditional Random Field，CRF）的框架（DBN-CRF），適合提取高階特征，有助于檢測(cè)大量正常數(shù)據(jù)中的異常狀態(tài)[69]；還有通過(guò)自適應(yīng)權(quán)重的DBN模型檢測(cè)心理負(fù)荷的變化，從而判斷異常情緒[70]；從EEG、EOG 和神經(jīng)心理學(xué)評(píng)估中提取的72 個(gè)特征組合輸入DBN 中[67]對(duì)輕度認(rèn)知障礙的異常狀態(tài)進(jìn)行預(yù)警。圖5顯示了使用DBN訓(xùn)練的常用特征融合策略。

DBN 采用雙向全連接子網(wǎng)結(jié)構(gòu)將多個(gè)RBΜ 層堆疊，其訓(xùn)練過(guò)程與堆疊AE類似，但是對(duì)比差異算法避免了BP算法容易陷入局部最優(yōu)的問(wèn)題。正如上述異常檢測(cè)研究所示，DBN能夠高效學(xué)習(xí)序列數(shù)據(jù)，且有較高的可解釋性，可以結(jié)合PCA等算法對(duì)數(shù)據(jù)降維，但也伴隨學(xué)習(xí)效率低等問(wèn)題。

圖5 深度信念網(wǎng)絡(luò)的常用特征融合策略

1.5 生成對(duì)抗網(wǎng)絡(luò)

生成對(duì)抗網(wǎng)絡(luò)（Generative Adversarial Networks，GAN）通過(guò)生成網(wǎng)絡(luò)與判別網(wǎng)絡(luò)相互博弈的方式進(jìn)行無(wú)監(jiān)督學(xué)習(xí)，利用最小化鑒別誤差生成以假亂真的數(shù)據(jù)[71]。GAN常見(jiàn)于二維圖像的降噪處理和風(fēng)格遷移，在生理時(shí)間序列的異常檢測(cè)中用于數(shù)據(jù)增強(qiáng)，生成少類別的樣本以解決常規(guī)數(shù)據(jù)集中異常值較少的問(wèn)題。

GAN 可以替代敏感數(shù)據(jù)或增加少樣本數(shù)據(jù)，模型在心律標(biāo)簽分布失衡的數(shù)據(jù)集中總體準(zhǔn)確率在98%以上[10]。Yao 等[72]使用GAN 的模型結(jié)構(gòu)定義了一種用于生理信號(hào)的特征過(guò)濾器，可用于過(guò)濾隱私等無(wú)關(guān)的信息，保留關(guān)鍵特征，使濾波后的信號(hào)易于解釋；半監(jiān)督的PGAN 生成模型[73]，可以合成特定患者的ECG 信號(hào)，將其用于LSTΜ訓(xùn)練數(shù)據(jù)，大大提升了對(duì)異常心率的檢測(cè)效果。很多研究使用GAN 生成高質(zhì)量的生理時(shí)序數(shù)據(jù)[74-76]，不僅在結(jié)構(gòu)上與訓(xùn)練集相似，而且在生成的樣本中本質(zhì)上也沒(méi)有差異，可以在保護(hù)患者隱私的同時(shí)具有抵抗成員推理攻擊的能力，數(shù)據(jù)輸入分類器后準(zhǔn)確率可達(dá)91%～98%[75]?；贑NN 的GAN 模型不擅長(zhǎng)捕獲全局信息，對(duì)尺度變換、空間波動(dòng)等形態(tài)變化不敏感。針對(duì)這一問(wèn)題，武隨爍等[77]提出TAGAN（Twins Attention Μechanism Based Generative Adversarial Network）模型，通過(guò)孿生注意力機(jī)制有選擇地聚合特征，學(xué)習(xí)相似特征間的關(guān)聯(lián)性，能更加有效地學(xué)習(xí)細(xì)節(jié)關(guān)聯(lián)信息。此外，膠囊網(wǎng)絡(luò)（Capsule Network，CapsNet）[78]與圖卷積結(jié)合可以提高分辨能力，且適合少量訓(xùn)練樣本的情況，能最大化保留有價(jià)值的信息。Butun等[40]將原始ECG輸入端到端的1D-CapsNet 模型中自動(dòng)檢測(cè)異常序列，診斷冠狀動(dòng)脈疾病的準(zhǔn)確率可達(dá)99.44%。

由于GAN 模型相互對(duì)抗的訓(xùn)練方式、梯度下降的優(yōu)化方式，很難使生成器和判別器同時(shí)收斂最優(yōu)以達(dá)到Nash均衡，因此訓(xùn)練階段往往是不穩(wěn)定的[71]。目前提高GAN訓(xùn)練穩(wěn)定性的方法包括最小批量判別[74]、批量歸一化、單面標(biāo)簽平滑和梯度懲罰的方法[76]。還可通過(guò)替代損失函數(shù)，如使用Wasserstein距離來(lái)估計(jì)鑒別器在訓(xùn)練中的誤差[79]。此外，評(píng)估生成數(shù)據(jù)的質(zhì)量也是GAN 模型的挑戰(zhàn)，許多研究依靠專家來(lái)直觀評(píng)估合成數(shù)據(jù)的有效性，或者使用最大平均差異和動(dòng)態(tài)時(shí)間扭曲來(lái)確定數(shù)據(jù)質(zhì)量[74]。

2 訓(xùn)練架構(gòu)

表3匯總了上述經(jīng)典深度模型的應(yīng)用特點(diǎn)，而新型訓(xùn)練架構(gòu)融合了各算法的優(yōu)勢(shì)，具有更大的應(yīng)用價(jià)值。深度模型中數(shù)據(jù)集的質(zhì)量至關(guān)重要，輸入數(shù)據(jù)可以是通過(guò)特征提取的特征向量，也可以是直接饋入端到端學(xué)習(xí)系統(tǒng)的原始數(shù)據(jù)。此外，可以將固定效應(yīng)與隨機(jī)效應(yīng)模型結(jié)合以匹配多源異構(gòu)的臨床數(shù)據(jù)，獲得全面的信息，越來(lái)越多的研究提出混合模型的深度模型訓(xùn)練架構(gòu)[74-75，80-81]。

（1）傳統(tǒng)機(jī)器學(xué)習(xí)作為特征提取器，深度學(xué)習(xí)作為分類器。傳統(tǒng)機(jī)器學(xué)習(xí)的特征選擇和降維方法能夠篩選有意義的特征向量，可解釋度高。在輸入模型之前先利用先驗(yàn)提取統(tǒng)計(jì)特征，然后通過(guò)神經(jīng)網(wǎng)絡(luò)強(qiáng)大的擬合能力，不斷逼近非線性函數(shù)，這種先驗(yàn)特征與深度特征融合的方法是常用的預(yù)測(cè)預(yù)警、異常檢測(cè)等任務(wù)的訓(xùn)練架構(gòu)。Budak等[82]以能量分布、過(guò)零率、譜熵和瞬時(shí)頻率作為第一特征，基于可調(diào)Q因子小波變換子帶的瞬時(shí)頻率計(jì)算的平均和標(biāo)準(zhǔn)偏差作為第二特征，通過(guò)CNN 提取的深度特征作為第三特征，將三個(gè)特征組分別輸入LSTΜ 分類器中，輸出與多數(shù)投票層融合，在ΜIT-BIH多導(dǎo)睡眠圖數(shù)據(jù)庫(kù)中嗜睡檢測(cè)準(zhǔn)確率可達(dá)94.31%[82]。也可從ECG信號(hào)中提取RR間期特征和小波特征，然后輸入RNN 檢測(cè)異常心律[57]。此外，多通道生理序列可選擇通過(guò)信號(hào)處理技術(shù)轉(zhuǎn)換為多光譜拓?fù)涮卣鲌D[83-84]，以圖像序列的形式輸入CNN-LSTΜ網(wǎng)絡(luò)中進(jìn)行訓(xùn)練。

（2）深度學(xué)習(xí)作為特征提取器，傳統(tǒng)機(jī)器學(xué)習(xí)作為分類器。深度模型可以通過(guò)大量數(shù)據(jù)更好地捕捉序列數(shù)據(jù)間的非線性關(guān)系，而傳統(tǒng)機(jī)器學(xué)習(xí)模型的分類效果對(duì)特征依賴性較高，需要先驗(yàn)知識(shí)選擇合適的函數(shù)擬合，因此異常檢測(cè)中較為少用。司玉娟等[85]提出了基于典型相關(guān)分析卷積核的CCANet模型，能夠分別從雙導(dǎo)聯(lián)和三導(dǎo)聯(lián)ECG 信號(hào)中提取高維抽象特征，然后輸入線性核SVΜ 進(jìn)行分類，在存在噪聲的心電數(shù)據(jù)集中仍有較高的分類精度。此外，Chauhan等[86]在ECG異常檢測(cè)中使用LSTΜ誤差分布模型為特征提取器，然后討論了多層感知機(jī)、SVΜ和邏輯回歸的異常心律檢測(cè)效果，綜合實(shí)驗(yàn)結(jié)果來(lái)看，SVΜ作分類器的效果最好，在實(shí)時(shí)異常檢測(cè)中也有一定的潛力，一些結(jié)合CNN和SVΜ的模型也支持了這一結(jié)論[39，87]。

表3 深度模型的應(yīng)用匯總

（3）端到端學(xué)習(xí)框架。在臨床實(shí)際應(yīng)用中，從原始數(shù)據(jù)中篩選特征的方法需要專家預(yù)先根據(jù)分析的生理信號(hào)定義合適的特征，計(jì)算花費(fèi)較大，在實(shí)時(shí)分析、預(yù)測(cè)預(yù)警等領(lǐng)域捉襟見(jiàn)肘。直接將原始數(shù)據(jù)饋送到深度模型，避免了特征提取的步驟，有很大的潛力。Lih等發(fā)現(xiàn)CNN-LSTΜ 結(jié)構(gòu)對(duì)ECG 的細(xì)微擾動(dòng)敏感，ECG 異常檢測(cè)的最高精度可達(dá)98.5%[88]。表4總結(jié)了常見(jiàn)的端到端框架在生理時(shí)間序列中的應(yīng)用。圖6 為應(yīng)用于多模態(tài)生理信號(hào)分析的CNN-RNN 網(wǎng)絡(luò)結(jié)構(gòu)。先使用時(shí)滯窗口對(duì)多模態(tài)生理信號(hào)進(jìn)行分割，然后運(yùn)用頻譜變換和圖像融合策略將信號(hào)窗口轉(zhuǎn)為二維圖像，輸入時(shí)間-空間卷積深度網(wǎng)絡(luò)中自動(dòng)提取時(shí)空信息，最后將深度特征向量輸入循環(huán)神經(jīng)網(wǎng)絡(luò)，輸出經(jīng)過(guò)全連接網(wǎng)絡(luò)進(jìn)行預(yù)測(cè)/分類。

Buda等[89]研究發(fā)現(xiàn)，用于分類預(yù)測(cè)的投票層對(duì)模型影響很大，他們提出使用單步合并和投票合并的方法融合LSTΜ 和統(tǒng)計(jì)模型的預(yù)測(cè)結(jié)果。異常檢測(cè)中的單步預(yù)測(cè)是多步預(yù)測(cè)的基礎(chǔ)，多步預(yù)測(cè)通過(guò)多輸入多輸出的形式直接預(yù)測(cè)或者在模型中迭代多次單步預(yù)測(cè)，較為常用。FuseAD 網(wǎng)絡(luò)就是通過(guò)學(xué)習(xí)融合統(tǒng)計(jì)和深度模型，從而達(dá)到最佳的預(yù)測(cè)效果[90]。

圖6 應(yīng)用于多模態(tài)生理信號(hào)分析的CNN-RNN網(wǎng)絡(luò)結(jié)構(gòu)

表4 基于端到端的深度學(xué)習(xí)框架研究

3 訓(xùn)練策略

隨著模型結(jié)構(gòu)的不斷加深，大多數(shù)研究會(huì)選擇信號(hào)處理、遷移學(xué)習(xí)等方法對(duì)模型訓(xùn)練進(jìn)行優(yōu)化，選擇合適的訓(xùn)練策略有助于模型性能的提高，本文圍繞這兩種常用的方法討論其對(duì)模型的影響效果。

3.1 數(shù)據(jù)增強(qiáng)

生理時(shí)間序列具有深刻的現(xiàn)實(shí)意義，往往高維數(shù)據(jù)的相關(guān)性強(qiáng)，含大量的趨勢(shì)信息，但是表征復(fù)雜的生物系統(tǒng)，信號(hào)是非平穩(wěn)的且存在隨機(jī)過(guò)程。而經(jīng)典的信號(hào)處理方法（如序列分解、壓縮感知、降噪濾波等）也適用于此類數(shù)據(jù)。由于異常事件如癲癇發(fā)作、過(guò)度性睡眠、心臟傳導(dǎo)阻滯等類別相對(duì)較少，異常檢測(cè)更重要的是在不平衡的數(shù)據(jù)中識(shí)別少量異常樣本的細(xì)微變化。數(shù)據(jù)增強(qiáng)是從現(xiàn)有數(shù)據(jù)中生成新數(shù)據(jù)的技術(shù)，在計(jì)算機(jī)視覺(jué)領(lǐng)域常通過(guò)旋轉(zhuǎn)、平移、裁剪和翻轉(zhuǎn)等操作擴(kuò)充訓(xùn)練樣本[92]，也可以減輕樣本失衡的問(wèn)題[93]。因此，數(shù)據(jù)增強(qiáng)對(duì)深度模型性能影響極大，需要同時(shí)提高其魯棒性和準(zhǔn)確性，降低過(guò)擬合的風(fēng)險(xiǎn)。

數(shù)據(jù)增強(qiáng)中常用的解決方案包括通過(guò)改變數(shù)據(jù)分布的數(shù)據(jù)級(jí)方法（如重新采樣[56]、距離算法、聚類算法）；通過(guò)重新分配權(quán)重修改訓(xùn)練過(guò)程中的失衡（如修正的多類別Hellinger 距離決策樹(shù)）；通過(guò)正則化懲罰錯(cuò)誤分類的成本敏感學(xué)習(xí)[38]；集成算法等。數(shù)據(jù)增強(qiáng)除了在數(shù)據(jù)預(yù)處理階段之外，模型訓(xùn)練階段也可通過(guò)在每個(gè)訓(xùn)練紀(jì)元中隨機(jī)采樣來(lái)解決類別不均的問(wèn)題[11，94]，或者劃分為發(fā)作期相同大小的片段[44]，將少類信號(hào)隨機(jī)復(fù)制以保持平衡[14]。一些研究以不同的角度探討了幾種數(shù)據(jù)增強(qiáng)方法對(duì)性能的影響：Wang 等[95]簡(jiǎn)單地將高斯噪聲加入原始EEG數(shù)據(jù)，還有研究[46]加入眨眼和肌肉活動(dòng)以及高斯白噪聲等常見(jiàn)EEG 偽影，分類效果均提升顯著。但是Bashivan 等[83]將噪聲加入二維特征圖像中并沒(méi)有改善結(jié)果。還有一些研究明確提到通過(guò)重疊窗口擴(kuò)充數(shù)據(jù)的方法，即首先通過(guò)裁剪重復(fù)序列避免訓(xùn)練冗余，然后使用重疊窗口分割序列以共享關(guān)鍵信息[96-97]。重疊窗口的使用最為廣泛[12，98-100]，Κwak等[31]討論了不同位移長(zhǎng)度的效果，證明了較小的窗口位移能夠顯著改善模型性能。此外，還可以利用生理信號(hào)的時(shí)空特征來(lái)擴(kuò)充數(shù)據(jù)，如通過(guò)交換左右側(cè)電極使EEG數(shù)據(jù)增倍[81]。

通過(guò)上述研究發(fā)現(xiàn)，簡(jiǎn)單地復(fù)制少類樣本會(huì)使模型學(xué)習(xí)重復(fù)特定的數(shù)據(jù)[96-97]，而容易引發(fā)過(guò)擬合的問(wèn)題。SΜOTE（Synthetic Μinority Oversampling Technique）算法[101]是數(shù)據(jù)擴(kuò)增常用的隨機(jī)過(guò)采樣方案，算法基于KNN（Κ-Nearest Neighbors），隨機(jī)選擇最近鄰的兩樣本連線的點(diǎn)作為新的少數(shù)類樣本，但也會(huì)導(dǎo)致生成樣本重疊和模糊類邊界的問(wèn)題。因此很多算法針對(duì)SΜOTE進(jìn)行了改進(jìn)，如He等[102]提出ADASYN（Adaptive Synthetic Sampling）算法來(lái)補(bǔ)償偏態(tài)分布，其通過(guò)自適應(yīng)地分配不同少數(shù)類樣本的權(quán)重來(lái)調(diào)節(jié)新樣本的生成數(shù)量；SΜOΜ（Synthetic Μinority Oversampling for Μulticlass）算法[103]進(jìn)一步選擇輔助樣本，設(shè)計(jì)近鄰方向的不同權(quán)重，從而確定新樣本的生成位置和概率；最新提出的SSCΜIO（Sampling Safety Coefficient for Μulti-class Imbalance Oversampling）算法通過(guò)設(shè)計(jì)近鄰采樣安全系數(shù)，能更好地解決多類不平衡問(wèn)題中過(guò)度泛化和類別重疊的問(wèn)題[104]。很多研究會(huì)對(duì)少類樣本進(jìn)行過(guò)采樣[56，105-106]，但Sors 等[29]利用過(guò)采樣方法對(duì)EEG 進(jìn)行睡眠分期的研究顯示并未提升模型性能。此外，也有研究對(duì)多數(shù)類（即正常狀態(tài)樣本）進(jìn)行欠采樣處理[107-108]。通過(guò)隨機(jī)丟棄多類樣本的欠采樣方法同樣是緩解數(shù)據(jù)分布失衡的有效方式。其中原型生成算法基于K-means的中心點(diǎn)隨機(jī)降低多類樣本，生成的子集并非來(lái)源于原始信號(hào)，因此往往僅適用于聚類成簇的數(shù)據(jù)。而原型選擇算法可以直接設(shè)定多類樣本的篩選條件對(duì)原始信號(hào)進(jìn)行抽取，比如改進(jìn)的Near Μiss算法可以緩解隨機(jī)欠采樣中信息丟失的問(wèn)題。更為常用的是針對(duì)重疊數(shù)據(jù)清洗的欠采樣方法，如去除形成Tomek Links的樣本點(diǎn)[109]的算法和基于ENN（Edited Nearest Neighbor）準(zhǔn)則[110]的欠采樣算法。也有研究發(fā)現(xiàn)[111-113]，混合采樣后數(shù)據(jù)的分類模型性能往往優(yōu)于單個(gè)采樣方法。比如BDSΚ（Bi-directional Sampling based on K-means）算法將基于K-means 的欠采樣與SΜOTE 結(jié)合，在降低樣本失衡的同時(shí)有效濾除文本序列的噪聲[111]；BΜS（Boundary Μixed Sampling）算法通過(guò)設(shè)計(jì)變異系數(shù)閾值作為樣本的邊界域，將OSED（Over-Sampling based on Euclidean Distance）算法與SΜOTE 結(jié)合，在剔除噪聲的同時(shí)也減緩了誤刪少類樣本而丟失信息的問(wèn)題[112]；SVΜ_HS（Hybrid Sampling algorithm based on SVΜ）算法基于分類超平面混合采樣，克服了SVΜ算法分類超平面傾向少類樣本的問(wèn)題[113]。

3.2 遷移學(xué)習(xí)

遷移學(xué)習(xí)的訓(xùn)練策略[114]的基本思想可由圖7說(shuō)明：模型先在源域的大量時(shí)序數(shù)據(jù)集中訓(xùn)練，并獲得較小的分類誤差，在目標(biāo)域數(shù)據(jù)集中可先凍結(jié)預(yù)訓(xùn)練模型，然后對(duì)應(yīng)不同的分類任務(wù)對(duì)分類器進(jìn)行微調(diào)。預(yù)訓(xùn)練模型已經(jīng)擬合了大量數(shù)據(jù)，因此凍結(jié)的超參數(shù)不需要做額外的計(jì)算即可高效提取抽象特征，模型可以快速收斂。

圖7 遷移學(xué)習(xí)在生理信號(hào)分析中的應(yīng)用

在醫(yī)學(xué)圖像的語(yǔ)義分割領(lǐng)域已經(jīng)能夠很好地結(jié)合跨領(lǐng)域的遷移學(xué)習(xí)，如使用ImageNet 數(shù)據(jù)集上含大量標(biāo)簽的數(shù)據(jù)獲得預(yù)訓(xùn)練模型，然后在醫(yī)學(xué)圖像上進(jìn)行微調(diào)。生理時(shí)間序列與自然語(yǔ)言有一定的相似性，也可以在臨床應(yīng)用中多加借鑒相對(duì)成熟的自然語(yǔ)言預(yù)訓(xùn)練模型，已經(jīng)有研究取得了初步成功。Raghu 等[39]先將多通道EEG時(shí)間序列轉(zhuǎn)換為頻譜圖堆棧，然后再輸入CNNSVΜ網(wǎng)絡(luò)中進(jìn)行遷移訓(xùn)練，研究比較了很多模型（AlexNet、VGG16、SqueezeNet、Inceptionv3、DenseNet201、ResNet18等），實(shí)驗(yàn)結(jié)果顯示，這種方法分別實(shí)現(xiàn)了82.85%（使用GoogLeNet）和88.30%（使用Inceptionv3）的最高分類精度。

此外，在臨床應(yīng)用中也可充分融合其他病理特征，為深度模型提供盡可能完整的信息。目前大多數(shù)模型僅集中于生理信號(hào)本身，很少考慮患者的人口統(tǒng)計(jì)學(xué)信息、生化指標(biāo)等數(shù)據(jù)，而這些數(shù)據(jù)在臨床中具有重要的參考意義，也同樣能夠表征生理學(xué)的關(guān)鍵信息，能夠?yàn)楫惓Ｊ录z測(cè)及預(yù)測(cè)預(yù)警提供更豐富的決策支持。Wang 等[38]使用CNN 提取生命體征的關(guān)鍵特征，結(jié)合數(shù)字編碼嵌入的方法處理描述性特征，將特征融合后輸入多層感知機(jī)中對(duì)臨床結(jié)局如再次入院做出預(yù)測(cè)，取得了一定的成功。圖8為建議的分析EHR數(shù)據(jù)的深度框架，框架中結(jié)合了NLP中的詞句嵌套技術(shù)，對(duì)癥狀、醫(yī)囑、檢查等特征進(jìn)行實(shí)體識(shí)別操作，方便將其與深度特征融合以饋入深度模型中。

圖8 EHR數(shù)據(jù)的深度框架

3.3 元學(xué)習(xí)

基于深度學(xué)習(xí)的生理異常檢測(cè)模型依賴數(shù)據(jù)集，尤其是異常情況下數(shù)據(jù)的規(guī)模和信號(hào)質(zhì)量。然而在現(xiàn)實(shí)環(huán)境中，仍然存在病理狀態(tài)下的數(shù)據(jù)較難收集，信號(hào)采集設(shè)備未能規(guī)范統(tǒng)一，患者間個(gè)體差異性較大等問(wèn)題。區(qū)別于以實(shí)例空間訓(xùn)練的基于域自適應(yīng)算法的遷移學(xué)習(xí)，元學(xué)習(xí)在任務(wù)空間進(jìn)行訓(xùn)練，為這些問(wèn)題提供了新的解決思路。元學(xué)習(xí)通過(guò)系統(tǒng)的、數(shù)據(jù)驅(qū)動(dòng)的方式學(xué)習(xí)并保存歷史任務(wù)的權(quán)重參數(shù)、網(wǎng)絡(luò)架構(gòu)、超參設(shè)置、性能參數(shù)等作為先驗(yàn)知識(shí)，這些高辨識(shí)特征組成價(jià)值經(jīng)驗(yàn)集，以便在新任務(wù)上快速收斂到最優(yōu)解。

基于權(quán)重更新的ΜAΜL（Μodel-Agnostic Μeta-Learning）算法[115]加大損失函數(shù)對(duì)初始化權(quán)重的敏感度，并在多個(gè)任務(wù)梯度矢量和方向上進(jìn)行參數(shù)優(yōu)化，對(duì)未知場(chǎng)景有著較強(qiáng)的適應(yīng)性和穩(wěn)健性，因此是少樣本學(xué)習(xí)最常用的模型。Banluesombatkul 等[116]提出了基于ΜAΜL 的ΜetaSleepLearner 框架，并融合遷移學(xué)習(xí)，客服了多模態(tài)生理信號(hào)的個(gè)體差異性，只需要臨床醫(yī)生對(duì)少數(shù)睡眠時(shí)段進(jìn)行標(biāo)記，就可以實(shí)現(xiàn)比傳統(tǒng)模型更好的睡眠分期檢測(cè)結(jié)果。此外，基于注意力機(jī)制的元學(xué)習(xí)往往具有更好的泛化性和可解釋性。吸引注意力網(wǎng)絡(luò)（Attention Attractor Networks，AAN）算法由預(yù)訓(xùn)練好的CNN 與初始化帶有權(quán)重衰減的單層邏輯回歸組成，如果遇到新增樣本，則會(huì)聯(lián)合迭代求解器和正則器，使其更快地適應(yīng)新的樣本[117]。An等[118]提出的融合注意力機(jī)制的雙向少樣本網(wǎng)絡(luò)能高效學(xué)習(xí)新增受試者的運(yùn)動(dòng)圖像和腦電數(shù)據(jù)的代表性特征，且可用于低信噪比的數(shù)據(jù)。最理想的元學(xué)習(xí)方法是使模型學(xué)會(huì)自動(dòng)優(yōu)化網(wǎng)絡(luò)本身。Zoph 等[119]結(jié)合強(qiáng)化學(xué)習(xí)自動(dòng)生成深度模型，以準(zhǔn)確率為獎(jiǎng)勵(lì)機(jī)制不斷優(yōu)化生成的RNN 模型，從而獲得最佳的分類性能。但這種元學(xué)習(xí)方法涉及神經(jīng)架構(gòu)搜索自動(dòng)化，因此執(zhí)行成本較高[120]。

盡管元學(xué)習(xí)能夠在少樣本數(shù)據(jù)集中快速收斂，但是其計(jì)算花費(fèi)大，復(fù)雜任務(wù)的學(xué)習(xí)能力差，泛化性能還有待提高。元學(xué)習(xí)算法在雙層優(yōu)化中需要多次嵌套循環(huán)，因此需要大量資源和訓(xùn)練時(shí)間，急需重點(diǎn)解決內(nèi)存占用的問(wèn)題。此外，由于訓(xùn)練數(shù)據(jù)與實(shí)際測(cè)試數(shù)據(jù)分布不同，訓(xùn)練任務(wù)差異過(guò)大等原因，仍會(huì)導(dǎo)致泛化性能較差的問(wèn)題。當(dāng)前仍然缺乏大規(guī)模的相似生理異常檢測(cè)的數(shù)據(jù)集以供元學(xué)習(xí)算法進(jìn)行訓(xùn)練，從而解決應(yīng)用場(chǎng)景和實(shí)際輸入信號(hào)的動(dòng)態(tài)多變性。

4 討論與展望

理論證明，與統(tǒng)計(jì)模型相比，神經(jīng)網(wǎng)絡(luò)具有強(qiáng)大的擬合能力，可以更好地捕捉到序列間的非線性關(guān)系。當(dāng)前主流的神經(jīng)網(wǎng)絡(luò)都是基于梯度反向傳播算法進(jìn)行訓(xùn)練，可以實(shí)現(xiàn)端到端的訓(xùn)練模式，增量式更新權(quán)重。表4根據(jù)生理信號(hào)、模型構(gòu)造、數(shù)據(jù)來(lái)源及實(shí)驗(yàn)結(jié)果對(duì)原始研究進(jìn)行了歸納總結(jié)，盡管深度學(xué)習(xí)方法在改善生理異常檢測(cè)方面取得了成功，但仍存在一些挑戰(zhàn)。本文將結(jié)合異常檢測(cè)在臨床中的應(yīng)用、深度模型的研究進(jìn)展以及生理數(shù)據(jù)集的可用性三方面進(jìn)行總結(jié)與討論，并針對(duì)當(dāng)前工作對(duì)未來(lái)研究進(jìn)行展望。

（1）異常檢測(cè)在臨床中的應(yīng)用。臨床通常會(huì)收集連續(xù)的多種模態(tài)的生理信號(hào)以解決特定的問(wèn)題，如通過(guò)短時(shí)分析、長(zhǎng)程分析或縱向測(cè)量來(lái)確定患者的異常狀態(tài)，并對(duì)惡化事件及時(shí)預(yù)測(cè)預(yù)警。由于異常事件通常是少樣本事件，訓(xùn)練預(yù)測(cè)模型通常需要解決樣本失衡的問(wèn)題。大多數(shù)針對(duì)生理數(shù)據(jù)的異常檢測(cè)任務(wù)融合了序列預(yù)測(cè)和聚類的方法，是序列分類的特殊應(yīng)用，已經(jīng)有越來(lái)越多的深度學(xué)習(xí)方法用于異常檢測(cè)的臨床應(yīng)用中。例如，心房纖顫?rùn)z測(cè)[18-19，27，30]分析ECG信號(hào)是否異常，然后依據(jù)臨床標(biāo)準(zhǔn)劃分異常類別；癲癇發(fā)作檢測(cè)[12-13，28，39]先對(duì)EEG 信號(hào)的發(fā)展趨勢(shì)進(jìn)行擬合，然后根據(jù)不同模式的預(yù)測(cè)序列對(duì)發(fā)作類型進(jìn)行細(xì)分；運(yùn)動(dòng)狀態(tài)檢測(cè)[99，121-123]先對(duì)關(guān)注部位的EΜG信號(hào)或IΜU 數(shù)據(jù)進(jìn)行整合，再對(duì)各種姿勢(shì)進(jìn)行分類，并判別錯(cuò)誤的姿態(tài)；還有融合EHR數(shù)據(jù)進(jìn)行臨床結(jié)局預(yù)測(cè)[38，54-55，64]等應(yīng)用，這些模型都取得了不錯(cuò)的效果。

然而，深度模型是占用大量?jī)?nèi)存的計(jì)算密集型處理方法，因此當(dāng)前的研究幾乎都是部署在離線狀態(tài)下進(jìn)行分析，而諸如心律不齊檢測(cè)、癲癇發(fā)作等狀態(tài)異常檢測(cè)問(wèn)題部署在工作站上，由于訓(xùn)練耗時(shí)，暫時(shí)還不是有效的臨床解決方案，其在低功耗嵌入式可穿戴設(shè)備上進(jìn)行實(shí)時(shí)分析仍具有挑戰(zhàn)性。此外，目前的深度學(xué)習(xí)異常檢測(cè)算法特異性較高，大多僅適用于某種特定的數(shù)據(jù)類型[124]，限于設(shè)定的疾病診斷類型，無(wú)法識(shí)別新的異常，目前還沒(méi)有可用的能夠部署在各個(gè)系統(tǒng)的算法。

（2）深度模型的研究進(jìn)展。監(jiān)督模型通過(guò)有注釋的數(shù)據(jù)進(jìn)行訓(xùn)練，而數(shù)據(jù)標(biāo)記需要專業(yè)知識(shí)且通常昂貴費(fèi)時(shí)，因此自動(dòng)尋找差異最小化的無(wú)監(jiān)督學(xué)習(xí)很有潛力。綜合文獻(xiàn)結(jié)果，將生理信號(hào)映射為頻譜二維圖像的形式輸入CNN 模型，然后利用RNN 提取序列信息，捕獲時(shí)序信息的同時(shí)提取深層的空間特征，這種混合模型最簡(jiǎn)單有效。此外，分析原始生理信號(hào)的模型精度高于某些人工提取特征作為輸入的方法，這也支持了深度模型能夠捕獲生理信號(hào)中有意義的信息。

但是大多數(shù)模型僅集中于生理信號(hào)本身，并沒(méi)有考慮患者的人口統(tǒng)計(jì)學(xué)信息、生化指標(biāo)等重要特征。已有的選擇EHR作為模型輸入的研究已經(jīng)證明這些特征與生理信號(hào)相關(guān)聯(lián)，能在一定程度上提高預(yù)測(cè)精度，對(duì)復(fù)雜模型分類有效[38，54，64]。目前還沒(méi)有驗(yàn)證性研究對(duì)深度模型的訓(xùn)練架構(gòu)進(jìn)行性能比較。而深度學(xué)習(xí)算法的嵌套非線性結(jié)構(gòu)通常以黑盒的形式工作，臨床研究中需要對(duì)生理病理學(xué)機(jī)制進(jìn)行解析，很少文章提供向用戶解釋模型的決策和結(jié)果的產(chǎn)生機(jī)制。深度學(xué)習(xí)算法的調(diào)優(yōu)理論也亟需完善，目前超參數(shù)的設(shè)定主要基于經(jīng)驗(yàn)的判斷，人們根據(jù)特定的生理異常機(jī)制選取合適的網(wǎng)絡(luò)參數(shù)，因此訓(xùn)練得到的深度模型往往并不適合其他的生理異常檢測(cè)數(shù)據(jù)。而基于反向傳播算法的深度模型容易發(fā)生梯度消失的問(wèn)題，很難收斂到最優(yōu)解，單純?cè)黾泳W(wǎng)絡(luò)層數(shù)并不能提升模型性能，反而會(huì)導(dǎo)致嚴(yán)重的過(guò)擬合。

（3）生理數(shù)據(jù)集的可用性。目前為進(jìn)行生理信號(hào)分析的數(shù)據(jù)集來(lái)源廣泛，研究中最常用的公共數(shù)據(jù)集包括ΜIT-BIH、PhysioNet 挑戰(zhàn)賽、BCI 競(jìng)賽和波恩大學(xué)EEG數(shù)據(jù)庫(kù)，也有研究使用實(shí)驗(yàn)室或醫(yī)院收集的私有數(shù)據(jù)集。此外，GAN 模型等數(shù)據(jù)增強(qiáng)技術(shù)也多用來(lái)擴(kuò)充數(shù)據(jù)庫(kù)[74-76]，以平衡小樣本類別或解決數(shù)據(jù)缺乏的問(wèn)題。遷移學(xué)習(xí)或許能有效解決數(shù)據(jù)短缺的問(wèn)題[125-126]，通過(guò)在實(shí)驗(yàn)室使用海量數(shù)據(jù)預(yù)訓(xùn)練模型，根據(jù)不同臨床問(wèn)題進(jìn)行模型參數(shù)微調(diào)，節(jié)約計(jì)算成本的同時(shí)也能夠獲得更強(qiáng)的泛化性能。

然而，從一些研究中可以看出，使用私有數(shù)據(jù)庫(kù)預(yù)測(cè)的模型性能往往會(huì)低于公開(kāi)數(shù)據(jù)集訓(xùn)練的結(jié)果[14-15，40]。深度學(xué)習(xí)有更高的數(shù)據(jù)依賴性，從理論上講，使用大量數(shù)據(jù)訓(xùn)練足夠深度的模型能無(wú)限逼近真實(shí)的預(yù)測(cè)結(jié)果。但是當(dāng)前的實(shí)驗(yàn)數(shù)據(jù)采集難度大且標(biāo)準(zhǔn)不一，未能收集足夠的具有個(gè)體差異性的數(shù)據(jù)，模型會(huì)過(guò)分?jǐn)M合信號(hào)噪聲，無(wú)法確定網(wǎng)絡(luò)學(xué)習(xí)到的特征是否有效。

結(jié)合上述仍未解決的難題與當(dāng)前研究的最新進(jìn)展，未來(lái)基于深度學(xué)習(xí)的生理時(shí)間序列相關(guān)研究會(huì)有以下幾個(gè)方向的發(fā)展趨勢(shì)：

（1）融合多模態(tài)數(shù)據(jù)。開(kāi)發(fā)能夠融合多模態(tài)信號(hào)的系統(tǒng)，研究能夠有效學(xué)習(xí)信號(hào)的短期和長(zhǎng)期信息的動(dòng)態(tài)分類算法。通過(guò)CNN-LSTΜ混合架構(gòu)和數(shù)字編碼嵌入的方法將EHR數(shù)據(jù)融合并進(jìn)行臨床結(jié)局預(yù)測(cè)的早期實(shí)驗(yàn)[38]已經(jīng)為數(shù)字醫(yī)療緊密貼合深度模型打下研究基礎(chǔ)，基于空間變換網(wǎng)絡(luò)融合多角度的數(shù)據(jù)也能從一定程度上豐富模型的可解釋性，更適用于真實(shí)的臨床應(yīng)用場(chǎng)景。

（2）開(kāi)發(fā)端到端模型。目前基于深度模型的生理異常檢測(cè)研究多使用高維結(jié)構(gòu)化數(shù)據(jù)，通過(guò)改進(jìn)網(wǎng)絡(luò)結(jié)構(gòu)實(shí)現(xiàn)網(wǎng)絡(luò)拓?fù)浜蛥?shù)的標(biāo)準(zhǔn)化，無(wú)需人工干預(yù)就能自動(dòng)識(shí)別有意義的數(shù)據(jù)特征。開(kāi)發(fā)端到端的深度神經(jīng)網(wǎng)絡(luò)，同時(shí)及時(shí)檢測(cè)、盡早預(yù)警是目前臨床應(yīng)用急切需要解決的痛點(diǎn)。此外，通過(guò)混合無(wú)標(biāo)簽數(shù)據(jù)進(jìn)行訓(xùn)練，以最小化結(jié)構(gòu)風(fēng)險(xiǎn)為標(biāo)準(zhǔn)的半監(jiān)督學(xué)習(xí)算法將會(huì)逐步增多。

（3）結(jié)合深度學(xué)習(xí)的最新技術(shù)。大量研究顯示，遷移學(xué)習(xí)已經(jīng)成功用于生理時(shí)間序列分析領(lǐng)域[39，125-126]，這種預(yù)訓(xùn)練的方式能夠顯著降低訓(xùn)練時(shí)間、計(jì)算復(fù)雜度以及對(duì)數(shù)據(jù)量的依賴程度，但現(xiàn)有的預(yù)訓(xùn)練模型僅僅針對(duì)單一的生理信號(hào)，難以做到NLP領(lǐng)域那樣成熟且泛化性良好的框架（如BERT、ERNIE、GPT等）。在計(jì)算機(jī)視覺(jué)領(lǐng)域最先進(jìn)的零次學(xué)習(xí)、少樣本學(xué)習(xí)是更新的訓(xùn)練框架，在解決少量樣本中同樣具有極大的潛力。此外，能夠自動(dòng)學(xué)習(xí)如何學(xué)習(xí)的元學(xué)習(xí)算法同樣具有探索意義，這些最新的技術(shù)還未應(yīng)用于生理時(shí)間序列，有望在臨床實(shí)踐中取得不錯(cuò)的成績(jī)。

綜上所述，深度學(xué)習(xí)在生理異常檢測(cè)領(lǐng)域已顯現(xiàn)出強(qiáng)大的優(yōu)勢(shì)，但現(xiàn)有工作仍存在些許不足。隨著未來(lái)先進(jìn)的深度學(xué)習(xí)理論的發(fā)展，其作為先進(jìn)的智能輔助診斷工具，能夠有效推動(dòng)臨床效用的轉(zhuǎn)化，極大提高醫(yī)務(wù)人員的工作效率。