一種通道自適應與局部增強的Transformer術中血壓預測方法?

王 塵 蔡晶晶 郝學超 張偉義 舒紅平 王亞強 陳 果

（1.成都信息工程大學軟件工程學院 成都 610225）（2.成都信息工程大學數(shù)據(jù)科學與工程研究所 成都 610225）（3.成都信息工程大學軟件自動生成與智能服務實驗室 成都 610225）（4.四川大學華西醫(yī)院麻醉手術中心 成都 610044）

1 引言

由于術后并發(fā)癥導致的非心臟手術患者的術后30 天死亡是全球第三大死亡原因，據(jù)統(tǒng)計約有2%的住院非心臟手術患者在術后第一個月內(nèi)死亡［1］。而術中低血壓（Intraoperative Hypotension，IH）事件的發(fā)生是導致術后并發(fā)癥的重要因素［2］。目前對于IH 的治療大多依靠醫(yī)生的經(jīng)驗進行判斷和干預，并且經(jīng)常發(fā)生一些延遲。因此，若夠提前預測患者的血壓狀態(tài)，可以實現(xiàn)早期的干預，例如調(diào)整麻醉劑、液體和血管活性藥物，從而減少IH 對患者傷害［3］，具有重要研究意義和實際應用價值。

IH 的預測是圍術期人工智能的研究熱點問題之一，現(xiàn)有的IH 預測研究主要集中在事件的預測，即利用術中實時監(jiān)測的生理數(shù)據(jù)預測IH 在未來5min、10min、15min 是否會發(fā)生。Hatib 等［9］利用術中監(jiān)測的動脈壓波形數(shù)據(jù)，將IH 的預測定義為二分類問題。然而，一方面由于臨床IH 的定義存在差異，導致這些方法存在普適性不足的問題。另一方面僅僅依靠分類結(jié)果，沒有考慮患者血壓發(fā)展變化的過程，進而限制了干預策略的制定，因為通常麻醉醫(yī)生在判斷主動給予液體、血管加壓藥或肌力藥物時，是基于一定時間范圍內(nèi)的臨床證據(jù)。因此提前預測血壓的變化和趨勢，具有更重要的臨床研究和應用價值。當前一些研究開始使用深度學習技術對術中血壓的連續(xù)值進行實時預測，Jeong等［4］使用循環(huán)神經(jīng)網(wǎng)絡實時預測未來3min 的血壓，初步驗證了實時預測術中血壓的可行性，但僅限于短期預測。Lee等［5］使用卷積神經(jīng)網(wǎng)絡建立了回歸任務來預測未來5min、10min、15min 的術中血壓值，但精準度仍有待提升。鑒于高精度，長范圍的預測血壓序列是一項挑戰(zhàn)，同時長序列的預測也是時間序列預測領域相對忽視的問題，因此當前對于術中血壓實時預測的探索尚不充分。

近年來，基于深度學習的時間序列預測模型取得很大進展，尤其是基于Transformer 模型，受益于注意力機制，Transformer在序列數(shù)據(jù)的長期依賴關系建模方面獲得了巨大優(yōu)勢［6］。先前的一些研究如Zhou 等［7］提出的Informer 采用了稀疏注意力算法以降低注意力機制的復雜度，并在各類時序預測任務有優(yōu)異表現(xiàn)。然而，在血壓序列預測任務中僅使用規(guī)范的注意力機制來捕捉序列內(nèi)部的重要信息，忽視了血壓序列中的局部特征的提取以及多生理序列之間的依賴關系建模。針對上述問題，本文在前人工作Informer 的框架上，設計了相應的改進策略，提出名為CACformer 的通道自適應與局部增強Transformer模型，通過術中多項生理序列來實時預測術中血壓，主要貢獻如下：

以往的術中血壓預測方法存在預測長度短，精準度不高的問題。針對這一挑戰(zhàn)，本文提出了一種基于Transformer 的術中血壓預測方法，利用Transformer 的長序列建模的優(yōu)勢，能夠更準確地捕捉術中血壓的動態(tài)變化，并實時預測未來的血壓變化趨勢。

針對血壓序列中存在相似節(jié)律的特點，引入了局部增強的卷積注意力機制，取代了原始的規(guī)范注意力機制，使其在捕捉長序列依賴的同時，引局部時間相關性和趨勢性，從而更加準確地預測術中血壓變化。

考慮到血壓的變化受益于多個生理序列的信息，同時生理序列之間存在復雜的交互關系。本文提出了一種通道自適應模塊嵌入模型中，該模塊能夠自適應地學習不同通道之間的權(quán)重，增強模型對于多通道輸入的通道間關系的建模能力，更好地利用多個生理序列的信息，提高血壓預測的準確度。

實驗結(jié)果表明，本文提出的CACformer 在術中血壓預測上優(yōu)于目前先進的時間序列預測模型，相比于改進前的基準模型在5min、10min、15min 預測精度分別提升4.88%、8.2%、8.42%，平均絕對誤差達到2.997、3.393、3.743，能夠更準確地預測術中血壓的變化。此外，通過可視化分析表明預測結(jié)果的穩(wěn)定性，并進一步通過消融實驗驗證了改進模塊對于血壓預測的有效性。

2 相關工作

2.1 術中低血壓

當前許多研究致力于通過機器學習技術預測IH，Kendale 等［8］開發(fā)了用于預測全身麻醉后誘導性血壓發(fā)生的機器學習算法，該算法涉及特征復雜，無法實現(xiàn)IH 的實時預測。Hatib 等［9］從術中動脈波形中提取出數(shù)千個組合特征，并使用邏輯回歸方法來實時預測IH，但僅使用動脈波形作為單一數(shù)據(jù)源。上述機器學習方法需要基于領域知識人工提取特征，深度學習的作為機器學習的分支彌補了這一缺陷。Lee等［5］使用卷積神經(jīng)網(wǎng)絡用多個波形信號進行實時的預測IH，并取得了的不錯的效果。

以往研究都是把IH 預測當作分類任務，既根據(jù)特定閾值劃分出樣本來預測IH 是否會發(fā)生，然而臨床IH 的定義仍存在爭議。Bijker 等［10］在審查了130 篇文章后，確定了140 個IH 定義，這些不同的定義會導致不同的IH 發(fā)生率。最近，Weinberg等［11］的一項IH 定義研究表明，在接受非心臟手術的人中，IH 主要由收縮壓（Systolic Arterial Pressure，SAP），平均動脈壓（Mean Arterial Pressure，MAP）或兩者的組合的變化來定義，大多數(shù)研究報告MAP < 60 mmHg 或SAP < 90 mmHg 作為IH 發(fā)生的絕對閾值，部分相對閾值的定義則是MAP 或SAP 較基線下降百分比（10%～60%）作為標準。

近年來，一些初步的研究開始關注術中血壓連續(xù)值的預測，并嘗試用深度學習模型建立實時血壓預測模型。Jeong 等［4］使用循環(huán)神經(jīng)網(wǎng)絡通過監(jiān)護的生命體征數(shù)據(jù)來實時預測未來3min 的血壓，但僅限于短期預測。Lee等［5］使用卷積神經(jīng)網(wǎng)絡分別建立回歸與分類模型比較，并認為通過回歸任務預測血壓值更具臨床適用性。因此在本研究中，將致力于填補實時術中血壓預測領域的研究空白，旨在開發(fā)一種創(chuàng)新的方法，能夠準確、實時地預測術中血壓的變化。

2.2 基于Transformer的時間序列預測模型

當前Transformer 的許多變體被提出來解決時間序列預測中的特殊挑戰(zhàn)，Zhou等［7］研究的Informer 提出了一種稀疏注意力和蒸餾技術來提取最重要的鍵。Wu 等［12］研究的Autoformer 借鑒了傳統(tǒng)時間序列分析方法的分解和自相關思想，在周期性的數(shù)據(jù)上的預測效果有顯著提升。FEDformer［13］使用傅立葉增強結(jié)構(gòu)來獲得線性復雜度。Nie等［14］提出的Patch_TST，利用通道獨立補丁操作來降低模型的計算的時空復雜度。這些模型大多側(cè)重于設計新穎的機制以降低原始注意機制的復雜性，從而在預測上取得更好的性能。但原始注意力機制是從時間維度上提取重要信息，忽略了時序通道維度之間的潛在關聯(lián)，同時大多數(shù)使用的逐點注意力，來關注全局的信息，忽略了局部的特征重要性，本文提出的CACformer 模型則針對以上問題進行優(yōu)化，充分利用生理序列的有效特征，達到提高的預測精度的目的。

2.3 任務定義

2.4 模型架構(gòu)

本文提出的CACformer 架構(gòu)如圖1 所示，采用原始的編碼器、解碼器架構(gòu)，主要包含卷積注意力層、標準化層、通道自適應模塊、自注意力蒸餾層。編碼器輸入Xt，經(jīng)過位置編碼，將序列的位置信息融入，注意力層采用卷積注意力機制［15］，增強序列局部特征的提取。為了降低注意力機制復雜度，利用了Informer 的稀疏自注意力策略［7］（ProbSparse Self-attention），提取卷積注意力機制中重要的查詢和鍵，將注意力機制的時空復雜度縮減到O（LlogL），每一個注意力層后嵌入通道自適應模塊進一步提取通道維度的依賴關系。最后通過自注意力蒸餾層［7］，消除特征圖的冗余值，進一步縮減輸入的時間維度的同時讓模型更加關注主導特征。

圖1 CACformer模型架構(gòu)

2.5 卷積注意力層

規(guī)范注意力機制是對時間序列進行逐點運算，旨在提取不同序列點之間的相關程度來提取序列內(nèi)的重要信息，而對于細粒度采集的生理數(shù)據(jù)，單個序列的值不像文本具有重要的語義信息，因此提取局部信息十分重要。

從數(shù)據(jù)中截取的血壓序列的片段如圖2（a）所示，血壓序列中存在明顯的局部相似性，即不同時刻存在相似節(jié)律。為了引入序列中的局部信息以更好地捕捉時間相關性、趨勢性和異常情況，采用一種卷積注意力機制，如圖2（b）。在卷積注意力層中，多頭注意力子層將隱層H?RLx×dmodel分別轉(zhuǎn)化為h個不同的查詢矩陣Qh、關鍵矩陣Kh、值矩陣Vh。Qh、Kh的轉(zhuǎn)化方式使用內(nèi)核大小為k，步幅為1 的一維卷積構(gòu)造（使用0 進行適當填充維持維度大?。?，即，而Vh使用卷積核大小為1構(gòu)造，Vh=，其等同于線性變換。W為參數(shù)矩陣，。這樣生成的Qh和Kh可以通過局部的上下文信息計算相似性而不是逐點值，從而更好的捕捉血壓中的相似節(jié)律。其次，在對序列進行注意力計算時，只有部分點積對貢獻主要注意力，而其他點積對產(chǎn)生微不足道的注意力，因此采用ProbSparse Self-attention 來提取重要的Qˉ，公式如下：

圖2 血壓的局部特征捕獲

2.6 通道自適應模塊

心率、灌注指數(shù)、呼吸指標等生理指標與血壓相關［16］。而手術技巧，機械通氣，用藥這些外部因素也會引起生理數(shù)據(jù)的變化，成為風險事件發(fā)生的信號，意味著各生理序列之間交互關系是動態(tài)變化的。自注意力機制作為Transformer 的核心構(gòu)建模塊，主要學習序列在時間維度上的依賴關系，并沒有顯式地對通道之間的依賴關系建模，在血壓預測任務中限制了多生理序列輸入的預測能力。擠壓激勵塊［17］（Squeeze-and-Excitation Block，SE_Block）圖像分類任務中取得成效，受此啟發(fā)，本文提出了一種應用于時序數(shù)據(jù)通道自適應模塊，如圖3，把SE_Block嵌入到每個卷積注意力層之后，作為注意力機制的補充，以進一步提高模型對通道重要性的建模能力。

圖3 通道自適應模塊

具體來說，經(jīng)過卷積注意力層后的輸出為O?RL×dmodel，O包含了在序列時間維度上的相關信息，為了進一步提取通道關聯(lián)性，先聚合時間維度上的信息，如式（2）所示：

oc表示O的第c個通道，zc代表聚合時間維度后第c個通道的平均值。式（2）表示對oc在時間維度上進行全局平均池化，即通過對序列長度L的所有時間步i進行求和，并除以L，將通道oc匯聚到一個標量值，在聚合時間信息得到通道平均值z后，下一步旨在捕獲通道之間的依賴性，如式（3）所示。

2.7 自注意力蒸餾層

經(jīng)過卷積注意力層的ProbSparse Self-attention機制會導致特征圖具有冗余值，因此使用自注意力蒸餾層［7］來提取主導特征，同時削減了輸入的時間維度，減少了內(nèi)存的使用量，其定義如下：

[?]cs包含卷積注意力層和通道自適應模塊的操作。ELU(?)為激活函數(shù)，對輸入特征圖進行一維卷積和最大池化操作來聚焦特征圖，并從編碼器的j層傳遞到j+1層。

2.8 生成式預測

2.9 損失函數(shù)

在預測目標序列時選擇均方誤差（Mean Square Error，MSE）作為損失函數(shù)，Yi和Y?i分別為真實值和預測值，損失函數(shù)定義如下：

3 實驗結(jié)果及其分析

3.1 實驗數(shù)據(jù)

3.1.1 數(shù)據(jù)介紹

數(shù)據(jù)描述如表1 所示，數(shù)據(jù)集來源于某三級甲等醫(yī)院通過監(jiān)護儀采集的術中生理監(jiān)護數(shù)據(jù)，共150 臺手術，包含58 種指標，在本研究將無創(chuàng)血壓作為預測目標，為了提高普適性，僅選取了大多數(shù)手術監(jiān)測常見的11 種生理指標，其中包括無創(chuàng)血壓在內(nèi)，采集頻率均為1s。

表1 數(shù)據(jù)介紹

3.1.2 數(shù)據(jù)預處理

數(shù)據(jù)下采樣：原始數(shù)據(jù)采集頻率為每秒一次，因此一次手術過程可能會有幾萬個數(shù)據(jù)點，數(shù)據(jù)冗余的同時對于模型計算十分耗時。進行初步實驗后，本研究對數(shù)據(jù)進行下采樣為每5s 一個值，即每隔5s 取一個點，避免過多信息損失的同時，能夠平滑噪聲以及降低數(shù)據(jù)量。

缺失值處理：數(shù)據(jù)部分缺失值用線性插值法填充。

樣本劃分：使用常見的滑動窗口技術構(gòu)建樣本，首先將所有手術截取出平穩(wěn)期的數(shù)據(jù)，并使用滑動窗口對連續(xù)時間的數(shù)據(jù)劃分為固定長度的數(shù)據(jù)塊來創(chuàng)造樣本集。如圖4 所示，滑動窗口向后滑動，每個新的數(shù)據(jù)塊由前一個數(shù)據(jù)塊向后移s個步長所得?；瑒哟翱谟苫厮荽翱诤皖A測窗口兩個部分組成，回溯窗口用于輸入，包含用于預測的歷史生理序列數(shù)據(jù)，而預測窗口對應于預測的血壓序列數(shù)據(jù)。

圖4 樣本劃分

3.2 評估指標

預測值的誤差衡量采用平均絕對誤差（Mean Absolute Error，MAE）和均方根誤差（Root Mean Square Error，RMSE），MAE（見式（9））用于評估模型預測結(jié)果與真實值之間的誤差絕對值，RMSE（見式（8））則加大了對異常值的懲罰，兩者越小越好。此外使用相關系數(shù)（Correlation，CORR）（見式（10））來評估真實序列和預測序列的線性相關度，CORR的取值范圍在-1～1 之間，代表序列之間的負相關性和正相關性，當CORR越接近1時，相關性越強。

3.3 實驗設置

3.3.1 實驗對比設置

在術中血壓預測任務上，實驗設置預測未來5min、10min、15min，對應的預測時間步為60、120、180、三個預測范圍進行對比實驗，5min 為目前大多數(shù)低血壓預測任務設置的基準，臨床醫(yī)生能夠在這個窗口期根據(jù)預測結(jié)果及時采取措施，10min、15min 則是在允許誤差的范圍內(nèi)去評估模型長序列預測的效果，為臨床提供更多的決策時間，所有實驗均采用5 折交叉驗證，最終結(jié)果取平均值。時間窗口的大小很大程度影響預測效果，可視為超參數(shù)，在進行模型對比實驗時，均設置為預測長度的3倍。

3.3.2 參數(shù)設置

模型訓練使用初始學習率為10-4的Adam 優(yōu)化器，批量大小為64，最大訓練輪次設置為100，并使用早停機制。

CACformer 模型參數(shù)經(jīng)實驗調(diào)整，卷積注意力的卷積核大小設置為3，通道自適應模塊中r的設置為4，模型隱層維度為512，編碼器層數(shù)為2，解碼器層數(shù)為1，dropout設置為0.05。

3.3.3 對比模型

為了驗證CACformer 的有效性，使用下面當前5種先進時序預測模型對比。

LSTNet［18］，一種CNN+GRU 結(jié)構(gòu)的模型，是深度學習模型在時序預測中重要的基線，可作為一種自回歸結(jié)構(gòu)預測模型的代表。

Patch_TST［14］，一種最新的利用通道獨立補丁技術的Transformer模型。Dlinear［19］，一種多變量時序預測的線性模型。Autoformer［12］，一 種 基 于 時 序 分 解 架 構(gòu) 的Transformer模型，可作為時序分解預測的代表。

最后Informer 作為本方法改進前的基線，通過選擇以上模型進行對比，能夠充分驗證CACformer在術中血壓預測任務上的有效性。

3.4 實驗結(jié)果及其分析

3.4.1 模型對比分析

通過將不同模型在設置預測長度分別為5min、10min、15min 作對比（見表2），用舒張壓、平均動脈壓、收縮壓、三者預測的平均誤差指標作為結(jié)果，本文提出的方法在三個指標上均表現(xiàn)最優(yōu)。此外，相較于Informer 的MAE 分別降低了4.88%、8.2%、8.42%。

表2 模型對比結(jié)果

同時圖5 展示了各模型在預測長度為10min（120 個時間步），平均動脈壓的預測效果對比圖，可以觀察出，本文的模型對于血壓的上升、平穩(wěn)、下降趨勢都能很好地捕捉，并且顯著優(yōu)于其他對比模型。

圖5 預測效果可視化對比

3.4.2 預測結(jié)果分析

表3 為本文模型在分別三個血壓的誤差指標，例如預測5min預測的平均動脈壓MAE為2.997，一部分研究將MAP 小于65mmHg 作為低血壓的發(fā)生的閾值，意味著如果實際血壓值為65mmHg 時，本文模型的預測結(jié)果可能在62mmHg 到68mmHg 之間，然而在極端情況可能會導致兩種相反的管理方式，當預測值為62mmHg，醫(yī)生可能會尋找低血壓的原因進行干預，而當預測值為68mmHg 時，醫(yī)生可能只會觀察血壓而不采取任何措施。在這種模糊地帶，預測結(jié)果可能很難為醫(yī)生提供有效幫助，但至少大部分情況，這個誤差范圍對于臨床醫(yī)生在術中麻醉期間的輔助決策是有重要意義的。

圖6 顯示了三個血壓真實值和預測值的Bland-Altman 圖，其中TBP 和PBP 分別表示真實血壓和預測血壓，首先我們觀察到大多數(shù)據(jù)點分布在平均差異線的上下限內(nèi)（95%置信區(qū)間），較少的數(shù)據(jù)點超出上下限，說明所提出的術中血壓預測模型在整體上展現(xiàn)出較高的可靠性。此外，可以觀察到圖中數(shù)據(jù)點呈現(xiàn)出帶狀分布的趨勢，這種分布模式表明預測誤差在不同血壓值范圍內(nèi)可能存在一定的系統(tǒng)性差異。這可能與術中生理變化和血壓波動模式有關，對于血壓預測模型的進一步改進，可以考慮這種系統(tǒng)性差異，并針對不同血壓范圍進行模型的調(diào)整和優(yōu)化。同時也要注意到一些超出上下限的數(shù)據(jù)點，這可能是由于特定的個體差異、噪聲數(shù)據(jù)或其他未知因素導致的。因此在實際應用中，仍然需要謹慎解釋和使用預測結(jié)果，并結(jié)合其他臨床指標和專業(yè)知識進行綜合評估和決策。

3.4.3 消融實驗

為研究通道自適應模塊和卷積注意力機制對血壓預測的影響，本文設計了消融實驗，如表4 所示，CACformer 為本文模型，Informer+c 代表用卷積注意力替換原始的規(guī)范注意力，Informer+s 代表添加通道自適應模塊，Informer則是未改進的模型。

表4 消融實驗結(jié)果

經(jīng)觀察表4，在用卷積注意力代替規(guī)范注意力后，MAE 降低了2.42%，這表明卷積注意力引入的局部性進行注意力提取來關注序列的局部相似性，能夠在一定程度上提升模型的預測性能。此外，僅加入通道自適應模塊，MAE 降低了6.98%，表明通過建模通道維度的重要程度，從而增強模型對多通道生理序列的深層交互關系的捕捉，能夠有效增強模型的預測能力。

4 結(jié)語

本文提出了一種通道自適應與局部增強Transformer模型，通過生理監(jiān)護數(shù)據(jù)對術中血壓實時預測。該模型考慮了血壓序列的特點，引入卷積注意力機制有效捕捉血壓的局部性相關性。此外，針對多個生理時序輸入通道間潛在關聯(lián)建模的不足問題，還提出了通道自適應模塊嵌入模型來進一步提高了的血壓預測的準確度。實驗結(jié)果表明，所提出的模型在術中血壓預測的任務上顯著優(yōu)于對比模型，通過消融實驗驗證了卷積注意力和通道自適應模塊在血壓預測任務上的有效性。為醫(yī)學時間序列領域提供了新的思路和方法，具有重要的理論價值和實際應用價值。未來的工作將集中在收集更多的數(shù)據(jù)，并進行實驗和臨床應用驗證，更加全面地評估該模型在臨床實踐中的性能，為術中血壓管理提供更可靠的預測和干預策略。