基于多通道的ICU腦血管疾病死亡風險預測模型

成亞鑫，李潤知，趙紅領(lǐng)

1.鄭州大學 信息工程學院，鄭州 450001

2.鄭州大學 互聯(lián)網(wǎng)醫(yī)療與健康服務(wù)河南省協(xié)同創(chuàng)新中心，鄭州 450052

腦血管疾?。╟erebrovascular disease，CVD）[1]是危害我國人民健康的首要殺手，它具有高發(fā)病率、高復發(fā)率、高致殘率以及高死亡率的特點，給患者家庭帶來嚴重的醫(yī)療負擔和經(jīng)濟損失[2]。腦血管疾病是神經(jīng)內(nèi)科的一個急癥，一旦發(fā)病都具有急、危、重的特點，治療是否及時、合理將直接影響患者預后。在腦血管疾病發(fā)生、發(fā)展及預后的過程中對一些臨床病理指標進行動態(tài)觀察，能有效指導臨床治療。

重癥監(jiān)護病房（intensive care unit，ICU）是為重癥或昏迷患者提供設(shè)備和隔離的場所，致力于為患者提供有針對性的監(jiān)測和最佳的護理[3-4]。臨床醫(yī)生在ICU根據(jù)反映生理惡化的監(jiān)測參數(shù)做出的決定具有重大的醫(yī)學意義，MIMIC Ⅲ數(shù)據(jù)庫對有關(guān)參數(shù)進行了記錄和評估[5-7]。

傳統(tǒng)的ICU 評分機制根據(jù)患者心率、呼吸頻率、睜眼反應、語言反應和肢體反應程度等進行評分，然后進行手工加分的方式，判斷評分的等級來預測ICU患者是否有發(fā)生威脅生命事件的風險。但隨著ICU 患者數(shù)據(jù)的復雜性和多樣性，傳統(tǒng)的評分機制已經(jīng)不能滿足臨床的要求。伴隨著計算機技術(shù)和醫(yī)療大數(shù)據(jù)的發(fā)展，將計算機技術(shù)應用在醫(yī)療方面進行死亡風險預測已經(jīng)成為醫(yī)學問題新的解決思路。

死亡風險預測可根據(jù)常規(guī)體征數(shù)據(jù)預測患者是否有死亡的風險。目前關(guān)于ICU死亡風險預測的研究中，傳統(tǒng)研究大多使用機器學習方法來預測ICU 患者的死亡風險，但由于有些研究數(shù)據(jù)量少且選取特征變量過少，導致分類器性能不理想。并且ICU數(shù)據(jù)往往存在嚴重的高維性和數(shù)據(jù)不平衡等現(xiàn)象，這都會嚴重影響分類器的性能。因此，為了提高死亡風險預測模型的性能，本文引入多通道的概念應用到BiLSTM 模型，使用BiLSTM模型獨立地處理不同的變量，結(jié)合基于Attention機制的BiLSTM模型，提出一種基于多通道的ICU腦血管疾病死亡風險預測模型Multichannel-BiLSTMs+Attention。為醫(yī)生判斷ICU 腦血管患者生理狀況提供了參考，輔助醫(yī)護人員了解ICU 患者病情發(fā)展，為及時干預和防治腦血管疾病患者病情惡化提供參考，在腦血管患者的健康護理和醫(yī)院的資源配置中發(fā)揮著重要的作用。

1 相關(guān)工作

ICU死亡風險預測因其重要性，一直以來是臨床科研研究的重點，從建模方法上，主要包括機器學習方法和深度學習方法。首先，謝俊卿等[8-9]基于本地電子病歷數(shù)據(jù)構(gòu)建了ICU患者住院死亡風險預測模型，為了獲得更優(yōu)的預測性能，應用了人工神經(jīng)網(wǎng)絡(luò)、決策樹和支持向量機三種機器學習模型，結(jié)果顯示支持向量機的性能最優(yōu)，但因選取的特征變量過少，使得分類器性能受到影響。許僑洋[10]基于MIMIC Ⅱ數(shù)據(jù)庫，利用機器學習方法建立ICU死亡風險預測模型，重點根據(jù)單個特征值分類的AUC得分情況進行特征降維，解決了ICU數(shù)據(jù)維度高問題，并對比了決策樹、隨機森林和XGBoost 三種機器學習方法，XGBoost 的性能最優(yōu)，AUC 值達到85.6%。但在解決數(shù)據(jù)高維性的過程中，該研究僅對AUC值低的特征進行降維，模型的預測性能更加優(yōu)越，AUC 值達到85.3%。以上是采用機器學習方法對死亡風險預測模型的研究情況，在預測精度方面有待提高。近年來，隨著深度學習技術(shù)的發(fā)展，大量深度學習模型被提出用于醫(yī)學臨床輔助決策，產(chǎn)生了很好的應用效果，劉瑞[11]基于MIMIC Ⅲ數(shù)據(jù)庫采用深度學習卷積神經(jīng)網(wǎng)絡(luò)算法建立一種智能化的死亡風險預測模型，并將模型與ICU患者中普遍使用的SAPS-Ⅱ（簡化急性生理評分）進行預測性能比較，針對ICU 患者死亡風險數(shù)據(jù)的非線性、復雜性和無規(guī)律性，驗證了深度學習模型比SAPS-Ⅱ具有更好的泛化能力和更高準確率，其準確率達到了75.77%。在該研究中，未考慮患者數(shù)據(jù)的時序性和特征的選擇。

目前ICU 使用的風險預測評分機制大多為MEWS（改良早期預警評分）表和Glasgow 昏迷評分量表。MEWS表是一種簡易的病情及預后評估系統(tǒng)，依據(jù)患者的心率、收縮壓、呼吸頻率、體溫和意識進行綜合評分，將病情危重程度分值化，能快速、科學地對病人危險性進行預測[12]。Glasgow昏迷評分量表是醫(yī)學上評估病人昏迷程度的方法，昏迷程度以睜眼、語言和運動三者得分相加來評估，得分值越高，提示意識狀態(tài)越好，患者狀況則相對安全[13]。本文提出的ICU 腦血管死亡風險預測模型考慮了數(shù)據(jù)的時序性和疾病研究所需的時間長度，依據(jù)腦血管疾病的相關(guān)重要參數(shù)、ICU 使用的MEWS 表和Glasgow 昏迷評分量表等選取了17 個相關(guān)變量用于預測模型構(gòu)建。

2 實驗數(shù)據(jù)

在ICU腦血管疾病死亡風險預測研究中，使用的數(shù)據(jù)是基于MIMIC Ⅲ數(shù)據(jù)庫提取出的腦血管疾病相關(guān)時序數(shù)據(jù)。該數(shù)據(jù)庫主要由臨床數(shù)據(jù)庫和生理波形數(shù)據(jù)庫構(gòu)成。數(shù)據(jù)包括生命體征、藥物、實驗室測量值、護理人員提供的觀察結(jié)果和注釋、體液平衡、程序代碼、診斷代碼、住院時間、生存數(shù)據(jù)等。

為實現(xiàn)對腦血管疾病患者死亡風險的預測，本文從MIMIC Ⅲ數(shù)據(jù)庫的Patients、Admissions、ICU stays、Chartevents、Labevents、Outputevents、Diagnoses 7 個表格中提取腦血管疾病的相關(guān)時序數(shù)據(jù)。首先去除腦血管疾病數(shù)據(jù)中標簽缺失、格式和內(nèi)容錯誤的記錄，其次去除了在不同ICU 病房之間有轉(zhuǎn)移的記錄和所有患者未滿18 歲的記錄。然后根據(jù)ICU 使用的MEWS 表和Glasgow 昏迷評分量表從腦血管疾病數(shù)據(jù)中提取了17項生理參數(shù)（格斯拉昏迷量表睜眼反應、格斯拉昏迷量表運動反應、格斯拉昏迷量表口頭反應、格斯拉昏迷量表總計、毛細血管充盈率、舒張壓、吸入氧氣分數(shù)、葡萄糖、心率、體溫、血壓、氧飽和度、呼吸率、收縮壓、身高、體重、PH 值）作為研究的特征變量。最終將3 080 位腦血管疾病患者的16 260條記錄用于此次研究，其中每條記錄包含著患者在24小時后的生理參數(shù)值和對應的風險性（0 代表無風險，1 代表有風險）。由于數(shù)據(jù)庫中各類型的變量都是以原始值的形式存儲的，所以需要將變量進行預處理，17個變量的預處理方法及處理后的數(shù)據(jù)長度見表1。

表1 特征變量預處理方法Table 1 Feature variable preprocessing method

3 ICU腦血管死亡風險預測模型

3.1 模型介紹

3.1.1 多通道BiLSTM模型

長短期記憶網(wǎng)絡(luò)（long short-term memory，LSTM）是循環(huán)神經(jīng)網(wǎng)絡(luò)（recurrent neural network，RNN）中的一種，適合處理信息傳播過程中間隔和延遲相對較長的信息，以提取重要特征，非常適合用于對時序數(shù)據(jù)的建模。如果算法模型可以像處理過去的上下文信息一樣訪問未來的上下文，則它對具有時間序列性的醫(yī)學數(shù)據(jù)具有深遠的意義。標準LSTM單元用于處理序列數(shù)據(jù)，由于數(shù)據(jù)是按時間順序處理的，因此它通常會忽略未來的上下文信息。雙向長短時記憶網(wǎng)絡(luò)（bi-directional long short-term memory，BiLSTM）的基本思想是每個訓練序列由前向LSTM 神經(jīng)網(wǎng)絡(luò)層和后向LSTM 神經(jīng)網(wǎng)絡(luò)層組成，工作原理如圖1所示。前向LSTM層從頭到尾編碼選取的特征，后向LSTM層編碼方向相反。因此，BiLSTM在t時刻的隱含層狀態(tài)Ht是將前向隱含層狀態(tài)與后向隱含層狀態(tài)加權(quán)求和得到的，公式如式（1）～（3）所示：

圖1 BiLSTM工作原理Fig.1 BiLSTM working principle

其中，Ht為Bi-LSTM 神經(jīng)網(wǎng)絡(luò)上層的輸出向量，wt、vt分別代表BiLSTM 隱含層狀態(tài)對應的前向隱含層狀態(tài)和后向隱含層狀態(tài)的權(quán)值，bt代表t時刻隱含層狀態(tài)對應的偏置。

由于ICU 腦血管數(shù)據(jù)的時序性，本文引入BiLSTM模型用于實驗研究。在BiLSTM 模型中，本文向前向LSTM 依次輸入{x1,x2,…,xt} ，得到向量{hL1,hL2,…,hLT}，向后向的LSTM依次輸入{xT,…,x3,x2,x1}，得到向量{hR1,hR2,…,hRT}。然后將前向和后向的隱向量進行加權(quán)求和得到BiLSTM模型的輸出{H1,H2,…,Ht}。

多通道（Multichannel）最早應用于機器視覺中的RGB圖像通道，將含有通道的圖像分割成多個單通道，以便圖像處理，提升圖像特征學習能力。由于ICU 腦血管數(shù)據(jù)中的每個生理參數(shù)都對死亡風險預測具有重要意義，本文引入多通道的概念應用到BiLSTM 模型，提出多通道BiLSTM 模型，工作原理如圖2 所示，使用BiLSTM模型獨立地處理不同的變量。

圖2 特征輸入至多通道BiLSTM模型Fig.2 Feature input to BiLSTM model

3.1.2 基于Attention機制的BiLSTM模型

2014 年，Mnih 等提出了一種模擬人類大腦注意力的模型——Attention機制，其核心理念是將更多的注意力放在它認為重要的東西上，將較少的注意力放在其他部分上，當模型輸出時，有選擇地關(guān)注有關(guān)輸入的相應信息。它通過權(quán)重突出關(guān)鍵輸入，從而優(yōu)化了傳統(tǒng)模型。Attention機制的方法廣泛應用于時間序列分類，包括文本自動生成、文本摘要等。Attention機制打破了傳統(tǒng)的編譯碼結(jié)構(gòu)在編碼和解碼過程中內(nèi)部依賴固定長度向量的限制?；贏ttention 機制的BiLSTM 模型是通過BiLSTM編碼器保留輸入序列的中間輸出，然后訓練一個模型有選擇地學習這些輸入來實現(xiàn)的。基于Attention機制的BiLSTM模型可以解決BiLSTM模型輸入序列較長時很難獲得合理的向量表示問題，更有利于學習每一個特征，提高分類器性能?；贏ttention機制的BiLSTM 模型的工作原理如圖3 所示，公式如式（4）～（6）所示：

圖3 BiLSTM+Attention工作原理Fig.3 BiLSTM+Attention working principle

其中，Ht為Bi-LSTM 神經(jīng)網(wǎng)絡(luò)上層的輸出向量，WW為權(quán)重系數(shù)，bw為偏置系數(shù)，ut為Ht確定的權(quán)值。αt為新隱含層狀態(tài)下各隱含層狀態(tài)比重的加權(quán)系數(shù)。uw是一個隨機初始化的注意矩陣，在訓練過程中不斷學習。vt是通過Attention機制的輸出向量。

3.2 Multichannel-BiLSTMs+Att模型

本文將基于Attention 機制的BiLSTM 模型與多通道BiLSTM模型進行結(jié)合，提出集成的ICU腦血管疾病死亡風險預測模型Multichannel-BiLSTMs+Attention，以獲得更良好的模型性能，為醫(yī)生判斷ICU腦血管患者生理狀況提供參考，輔助醫(yī)護人員了解患者病情發(fā)展。Multichannel-BiLSTMs+Attention 模 型 進 行ICU 腦 血管死亡風險預測過程如圖4 所示，本文使用多通道BiLSTM 模型獨立地處理不同的變量，然后將這些BiLSTM 模型的輸出按照患者id 以并集的方式concat（拼接）。再將拼接后的結(jié)果輸入至基于Attention 機制的BiLSTM 模型，Attention 計算權(quán)重系數(shù)后，向量vt輸出到全連接層，全連接層由線性整流（Relu）函數(shù)接收處理。由于線性模型的表達能力不足，采用激活函數(shù)來添加非線性因素。Relu 函數(shù)是神經(jīng)網(wǎng)絡(luò)中最常用的激活函數(shù)。Relu函數(shù)使部分神經(jīng)元的輸出為0，降低了網(wǎng)絡(luò)的稀疏性和參數(shù)間的依賴性，減輕了過擬合的發(fā)生，減少了深度網(wǎng)絡(luò)的訓練時間。加權(quán)后的輸出經(jīng)過激勵函數(shù)ReLu 傳播到Dropout 層，Dropout 層在訓練和預測時隨機讓網(wǎng)絡(luò)中某些隱含層節(jié)點不工作，減少了特征個數(shù)，有效地防止了網(wǎng)絡(luò)過擬合。最后，通過sigmoid函數(shù)計算輸入，并輸出最終結(jié)果。模型輸出0代表無死亡風險，輸出1代表有死亡風險。

圖4 ICU腦血管疾病死亡風險預測流程Fig.4 Risk prediction process for cerebrovascular disease death in ICU

4 實驗

4.1 評價指標

在實驗中，評價指標可以了解模型的泛化能力，使用同一個指標來對比不同模型，從而得知模型的好壞，并且可以通過這個指標來逐步優(yōu)化模型。本文在實驗中使用的評價指標有準確率（Accuracy，Acc）、靈敏度（Sensitive，Sens）、特異性（Specificity，Spec）、AUC-ROC和AUC-PRC。其中：

（1）Acc 是指在測試集中正確分類的樣本數(shù)NR占總樣本數(shù)N的比率，如式（7）所示：

（2）Sens是指測試集中真陽性（true positive，TP）預測數(shù)與真陽性和假陰性（false negative，F(xiàn)N）之和的比率，如式（8）所示：

（3）Spec 是指測試集中真陰性（true negative，TN）預測數(shù)與真陰性和假陽性（false positive，F(xiàn)P）之和的比率，如式（9）所示：

（4）AUC-ROC表示的是ROC曲線與坐標軸圍成的面積，用它來表示分類器的性能，值越接近1 表示分類器性能越好。

（5）AUC-PRC 表示的是PRC 曲線與坐標軸圍成的面積，橫軸是Recall，縱軸是Precision。Recall越大、Precision 越大表明模型效果越好，此時PRC 曲線靠近右上角，AUC-PRC值越大，分類器性能越好。

4.2 實驗設(shè)置

ICU 腦血管疾病死亡風險預測研究實驗使用的數(shù)據(jù)是基于MIMIC Ⅲ數(shù)據(jù)庫提取出的腦血管疾病相關(guān)時序數(shù)據(jù)。本實驗使用了3 080 個腦血管疾病患者的16 260 條記錄的常規(guī)測量數(shù)據(jù)和其對應的風險性（0 代表無風險，1代表有風險）。實驗將數(shù)據(jù)的13 008（80%）條記錄作為訓練集，3 252（20%）條記錄作為測試集。在實驗中，針對ICU 腦血管疾病數(shù)據(jù)的時序性和特殊性，提出了ICU腦血管疾病死亡風險預測模型Multichannel-BiLSTMs+Attention。實驗中所有模型使用的損失函數(shù)均為二元交叉熵函數(shù)（binary cross entroy loss）。

超參數(shù)是在模型開始訓練之前所設(shè)置的參數(shù)值，而不是通過訓練后得到的參數(shù)數(shù)據(jù)。通常情況下，需要對超參數(shù)進行優(yōu)化，給模型選擇一組最優(yōu)超參數(shù)，以提高學習的性能和效果。為了優(yōu)化參數(shù)達到分類器最好效果，本文做了以下六組超參數(shù)實驗，包括參數(shù)epoch、dropout、batchsize、學習率、優(yōu)化器以及激活函數(shù)的相關(guān)對比實驗。實驗結(jié)果如圖5所示。在此基礎(chǔ)上，為了驗證文中提出的ICU腦血管疾病死亡風險預測模型的有效性能，將該模型與其他的四種模型進行了比較，包括LSTM、多通道BiLSTM、Logistic 和SVM 模型。實驗結(jié)果如圖6所示。

圖5 超參數(shù)對實驗結(jié)果的影響Fig.5 Influence of hyperparameters on experimental results

圖6 模型分類結(jié)果對比Fig.6 Comparison of model classification results

4.3 實驗分析

圖5 給出了本文實驗模型參數(shù)最優(yōu)化選取。圖5（a）為epoch參數(shù)對模型性能的影響，結(jié)果顯示epoch隨著數(shù)量增加，權(quán)重更新迭代的次數(shù)增多，曲線從最開始的不擬合狀態(tài)，進入優(yōu)化擬合狀態(tài)，最終進入過擬合，epoch 取120 時，模型精度AUC-ROC 達最優(yōu)0.943。圖5（b）和圖5（c）分別體現(xiàn)實驗中dropout rate 和batch size參數(shù)最優(yōu)化選取情況，很明顯當dropout rate為0.3，batch size 為8 時，模型達最優(yōu)性能。圖5（d）為學習率learning rate 參數(shù)選取，當學習率取0.001 時，目標函數(shù)收斂到局部最小值，圖5（e）和圖5（f）表明模型激活函數(shù)和優(yōu)化器的選取情況，實驗表明，模型選取Sigmoid激活函數(shù)，且優(yōu)化器為Adam時，模型精度最高。

從圖6模型對比實驗結(jié)果中可以看出，本文提出的集成模型Multichannel-BiLSTMs+Attention 的預測結(jié)果表現(xiàn)最優(yōu)，多通道BiLSTM 模型預測結(jié)果次之，Logistic模型預測結(jié)果表現(xiàn)最差。Multichannel-BiLSTMs+Attention 模型的Acc 值為0.892，AUC-ROC 值為0.943，AUC-PRC 值為0.952，Sens 值為0.863，Spec 值為0.912。在Acc 方面比Logistic 模型提高了0.175，比SVM 模型提高了0.138，比LSTM 模型提高了0.111，比多通道BiLSTM 模型提高了0.019。在ROC 方面比Logistic 模型提高了0.218，比SVM 模型提高了0.161，比LSTM 模型提高了0.057，比多通道BiLSTM 模型提高了0.036。在PRC 方面比Logistic 模型提高了0.201，比SVM 模型提高了0.139，比LSTM 模型提高了0.056，比多通道BiLSTM 模型提高了0.031。在Sens 方面比Logistic 模型提高了0.129，比SVM 模型提高了0.105，比LSTM 模型提高了0.007，比多通道BiLSTM 模型提高了0.045。在Spec 方面比Logistic 模型提高了0.207，比SVM 模型提高了0.161，比LSTM 模型提高了0.184，比多通道BiLSTM模型提高了0.039。

Multichannel-BiLSTMs+Attention模型比Logistic模型和SVM 模型的預測效果好，是因為Multichannel-BiLSTMs+Attention 模型考慮了數(shù)據(jù)的時序性，多通道BiLSTM 模型結(jié)合基于Attention 機制的BiLSTM 模型的集成模型方式解決了輸入序列較長時很難獲得合理的向量表示的問題，加強了模型對特征的學習能力，比Logistic 模型和SVM 模型更好地解決了數(shù)據(jù)的高維性和數(shù)據(jù)的時序性帶來的問題。Multichannel-BiLSTMs+Attention 模型比LSTM 模型的預測效果好，是因為Multichannel-BiLSTMs+Attention 模型中每個特征學習模塊的信道方向都是雙向的且使用了多通道的BiLSTM模型，它有助于在將單個變量的數(shù)據(jù)與其他變量的數(shù)據(jù)混合之前對其進行預處理。通過多通道的方式，模型可以學習存儲一些只與特定變量相關(guān)的有用信息。Multichannel-BiLSTMs+Attention模型比多通道BiLSTM模型預測效果好，是因為Multichannel-BiLSTMs+Attention 模型將基于Attention 機制的BiLSTM 模型與多通道BiLSTM 模型進行結(jié)合，Attention 機制打破了傳統(tǒng)的編譯碼結(jié)構(gòu)在編碼和解碼過程中內(nèi)部依賴固定長度向量的限制。基于Attention 機制的BiLSTM 模型是通過BiLSTM 編碼器保留輸入序列的中間輸出，然后訓練一個模型有選擇地學習這些輸入來實現(xiàn)的，可以解決BiLSTM 模型輸入序列較長時很難獲得合理的向量表示問題，更有利于學習每一個特征，提高分類器性能。綜上，本文提出的Multichannel-BiLSTMs+Attention 模型在ICU 腦血管疾病死亡風險預測中具有更良好的預測性能。并且，醫(yī)學數(shù)據(jù)時序性較強、生理參數(shù)較多的研究均適用于由多通道BiLSTM模型和基于Attention 機制的BiLSTM 模型的集成模型Multichannel-BiLSTMs+Attention，該研究為醫(yī)學ICU 風險預測提供了新的思路。

5 結(jié)束語

本文提出了一個ICU 腦血管疾病死亡風險預測模型Multichannel-BiLSTMs+Attention，實驗數(shù)據(jù)來自MIMIC Ⅲ數(shù)據(jù)庫，重點對提取的3 080 位腦血管疾病患者的16 260條記錄進行分析建模，實驗表明模型預測精度AUC-ROC值達到94.3%。該研究可輔助醫(yī)生用于ICU病患死亡風險預測，為及時干預和防治腦血管疾病患者病情惡化提供參考。研究發(fā)現(xiàn)，在對醫(yī)學中時序性較強、參數(shù)較多的醫(yī)學數(shù)據(jù)進行分析建模時，多通道BiLSTM模型和Attention機制的結(jié)合，將有效提高模型精度。