可解釋的層次注意力機制網(wǎng)絡(luò)危重癥預(yù)警

王天罡，張曉濱，馬紅葉，蔡宏偉

1.西安工程大學 計算機科學學院，西安710048

2.西安交通大學第一附屬醫(yī)院 網(wǎng)絡(luò)信息部，西安710061

3.西安交通大學第一附屬醫(yī)院 重癥醫(yī)學科，西安710061

隨著近年來人工智能的日益發(fā)展，通過深度學習輔助臨床診療決策研究一直是醫(yī)療領(lǐng)域的熱點，它在醫(yī)療大數(shù)據(jù)中主要用于醫(yī)學影像識別、電子病歷解析、基于基因組學的精準醫(yī)學研究以及臨床決策支持系統(tǒng)等方面。采用臨床表現(xiàn)的疾病預(yù)測模型是臨床決策支持系統(tǒng)一個重要研究內(nèi)容，然而實際醫(yī)療軟件大多僅能提供數(shù)據(jù)的集成和展示，所具備的功能僅限于醫(yī)患管理和床旁數(shù)據(jù)的查詢統(tǒng)計。特別是住院ICU危急重癥的患者在病情變化非常復雜的情況下，醫(yī)護人員通過實時觀察異常生理指標來治療患者有時為時已晚。與此同時，ICU床旁監(jiān)護設(shè)備數(shù)量多、類型復雜，所提取的各項生命指標較多，僅對每個患者體征數(shù)據(jù)進行檢索瀏覽就給醫(yī)生帶來了較大的工作量。

當前基于機器學習的疾病預(yù)警研究大多采用標準化數(shù)據(jù)集（例如MIMIC-III）的理論研究，許多模型在得出較好結(jié)果的同時由于缺乏可解釋性而無法實際應(yīng)用。例如，當醫(yī)生通過基于CNN或RNN模型判定一個病人是否有患病風險時，更希望知道模型究竟從各類儀器、床旁設(shè)備提取的海量數(shù)據(jù)中學到了哪些能夠以人類可理解方式表達的知識，并且發(fā)現(xiàn)各類風險因素之間的關(guān)聯(lián)，從而生成決策結(jié)果。如果一個模型難以理解，那么在關(guān)乎生命風險的醫(yī)療領(lǐng)域就會因無法給出更多的可靠信息而受限，最終只是不同曲線的擬合結(jié)果。因此本研究針對臨床危重癥疾病預(yù)警缺乏前瞻性和可解釋性等問題，作出了如下工作：

（1）創(chuàng)新性地提出將HAN模型用于基于生理指標的時間序列危急重癥預(yù)警，利用分層注意力機制分別學習時間及風險因素兩個維度上的權(quán)重分布，即對每個患者輸入序列不同時刻或風險因素賦予不同重要性，將神經(jīng)網(wǎng)絡(luò)訓練過程中產(chǎn)生的中間項與患者生理指標漸變的過程相結(jié)合，提醒醫(yī)生在治療過程中應(yīng)該關(guān)注的重點。

（2）模型提出一種利用分層機制分離時間和風險因素的多通道輸入結(jié)構(gòu)，使每個因素享有單獨的輸入序列，更適合當前臨床應(yīng)用中的數(shù)據(jù)結(jié)構(gòu)。同時提出了一種HAN的輸出優(yōu)化結(jié)構(gòu)，將患者靜態(tài)人口統(tǒng)計信息和診療過程產(chǎn)生的上下文表征序列相結(jié)合，使結(jié)果除了時序數(shù)據(jù)的表征外添加了更多的關(guān)聯(lián)特征。4.1節(jié)的實驗表明，通過與基線神經(jīng)網(wǎng)絡(luò)相比，該模型大幅度提升了預(yù)警的準確率。

（3）通過對模型添加可解釋組件（Interpretable Layer），探討了深度學習在實際臨床醫(yī)療的可解釋性，證明該模型相較于其他深度學習模型具有良好的可靠性。

（4）研究采集的數(shù)據(jù)均為現(xiàn)三甲醫(yī)院ICIS系統(tǒng)提取的臨床真實數(shù)據(jù)，提出的方法真實有效，為醫(yī)療人工智能在醫(yī)院信息系統(tǒng)實際應(yīng)用奠定了基礎(chǔ)。

1 相關(guān)工作

1.1 基于臨床數(shù)據(jù)集的疾病預(yù)警模型

近年來常用的多變量疾病預(yù)警模型按照基礎(chǔ)理論的不同可劃分成兩類：靜態(tài)統(tǒng)計分析預(yù)警模型和動態(tài)人工智能預(yù)警模型[1]。其中統(tǒng)計分析預(yù)警模型相關(guān)研究關(guān)注的方向主要包括：監(jiān)測實時生理指標的單變量分析模型、基于多項危險因素指標估測的廣義線性回歸模型。文獻[1]提出通過多因素Logistic回歸分析分別提取患者入院和實時的多項危險因素指標，進而比對分析并建立評分機制，評估冠心病的可能性[2]。文獻[2-3]分別提出了基于隨機森林（RF）支持向量機（SVM）在ICU患者住院24 h內(nèi)死亡風險預(yù)測的應(yīng)用[3-4]。

上述臨床疾病預(yù)警研究均采用構(gòu)建統(tǒng)計分析模型和對實時生理指標的評分預(yù)測，無法解決海量數(shù)據(jù)下的過擬合、梯度消失等問題，同時沒能充分利用檢查數(shù)據(jù)時間狀態(tài)上的關(guān)聯(lián)性或其他與疾病關(guān)聯(lián)的因素對模型的影響，對臨床急重癥突變預(yù)警能力差。因此文獻[4]提出了一種多因素線索LSTM模型預(yù)測血壓變化進而對高血壓及時預(yù)警，適用于高血壓等慢性病的長期預(yù)測分析。在實際臨床治療過程中，由于該模型將與血壓關(guān)聯(lián)的時序測量數(shù)據(jù)和患者的環(huán)境信息一起作為未來線索數(shù)據(jù)與血壓預(yù)測相結(jié)合，預(yù)測精準度較高[5]。文獻[5]采用循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）或卷積神經(jīng)網(wǎng)絡(luò)（CNN）等當前主流深度學習模型得到了不錯的實驗結(jié)果[6]。

1.2 基于深度學習模型的可解釋性研究

準確性和可解釋性是決定預(yù)測模型能否成功應(yīng)用的兩個主要因素。近年來，隨著深度學習的不斷發(fā)展，模型可解釋性的相關(guān)準則逐漸被研究人員所關(guān)注，Lipton指出了構(gòu)建可解釋性模型的必要性[7]：使人能建立對模型的信任；可以體現(xiàn)事件因果關(guān)系；對其他領(lǐng)域可以遷移應(yīng)用；在訓練過程中可附加額外知識等，并認為一個可解釋的模型應(yīng)該至少具備以下特點：

（1）透明性，即模型對人是透明的，可以在模型對具體任務(wù)訓練之前就模擬預(yù)測到對應(yīng)參數(shù)和模型決策，包括模型整體、組件和算法的透明性。

（2）事后可解釋性，某些模型盡管事先無法精確闡明其是如何工作的，但是在訓練過程中可以為研究人員提供對事實有用的信息，通過對結(jié)果可視化或訓練過程產(chǎn)生的參數(shù)分析得到相關(guān)知識。

決策樹（Decision Tree，DT）是具備透明可解釋性的典型機器學習模型，并已經(jīng)廣泛地在醫(yī)療領(lǐng)域應(yīng)用[8]。但是多數(shù)不具備先驗知識的情況下，現(xiàn)實更關(guān)注的是模型的事后可解釋性，Zhang等人提出了一種可解釋的卷積神經(jīng)網(wǎng)絡(luò)[9]，該模型通過將每一維度的卷積層對應(yīng)于圖像的一部分，不需要其他標注對模型進行解釋即可以幫助人們在卷積的過程中獲取額外的信息。

近年來，隨著注意力機制的興起，通過對輸入序列分配不同權(quán)重而影響輸出的結(jié)果這一方法使神經(jīng)網(wǎng)絡(luò)的可解釋性得到了重視，具體對于Attention模型的可解釋性，有正反兩方面的觀點。首先自Bahdanau等[10]將Attention用于機器翻譯等任務(wù)起，研究人員就對其可解釋性進行大量的實驗論證[11]。然而，最近由Serrano等[12]和Jain等[13]分別對注意力機制的可解釋性產(chǎn)生了質(zhì)疑，并認為注意力機制是不可解釋的，前者通過將訓練過程中的注意力權(quán)重擦除或翻轉(zhuǎn)后觀察決策結(jié)果，后者引入了對抗注意力權(quán)重分布的思想并比較權(quán)重和訓練梯度的變化趨勢來分析模型的可解釋性。但是上述研究僅對個別權(quán)重較大的參數(shù)進行操作，忽略了注意力模型的權(quán)重分布并不是獨立存在的事實，例如，在文本分類過程中，一篇體育報道中擦除了“體育”“足球”等詞向量，但是文章中出現(xiàn)的人名和事件仍然能夠使模型產(chǎn)生體育的決策分類結(jié)果。對此，Wiegreffe等[14]的研究對以上注意力模型不可解釋的驗證方法提出了質(zhì)疑，他認為Attention中間層的參數(shù)是無法同整個模型隔離開的，否則就失去了實際的意義。本研究受到上述方法的啟發(fā)，在模型訓練的過程中對其注意力參數(shù)進行了整體擦除和重置等操作，實驗結(jié)果證明了IHAN具有良好的事后可解釋性。

圖1 編碼器-解碼器結(jié)構(gòu)

2 基于IHAN的疾病預(yù)警模型構(gòu)建

2.1 注意力機制

與大多數(shù)標準化醫(yī)學數(shù)據(jù)集不同，在實際基于臨床表現(xiàn)的疾病預(yù)測應(yīng)用中，基于患者生理指標的序列結(jié)構(gòu)通常存在以下幾個問題：

（1）床旁數(shù)據(jù)大量冗余。例如心率、呼吸等測定頻率為30 s/次，患者在大部分住院期間此類測定均處于正常狀態(tài)。如果采用傳統(tǒng)seq2seq的神經(jīng)網(wǎng)絡(luò)，將會把多數(shù)無意義的數(shù)據(jù)混雜到圖1所示編碼器-解碼器結(jié)構(gòu)（Encoder-Decoder）的序列表征c中，嚴重影響了最終的預(yù)測結(jié)果。

（2）不同患者的檢驗數(shù)據(jù)缺失。例如血紅蛋白、紅細胞計數(shù)測定等檢驗分析項測定時間間隔較長，頻次不一致，導致大多患者均存在數(shù)據(jù)缺失問題，如果大量使用缺失值填補或樣本篩選等方法，同樣引起結(jié)果不準確。

（3）同一患者不同生理指標采樣頻次不一致，導致輸入序列長度相差較大。例如患者在住院期間進行“平診腎功七項[復]”檢查次數(shù)在3～4次，“血細胞分析+五分類”的檢查次數(shù)在8～9次，而心率血壓等測量頻率更加頻繁。因此在構(gòu)建例如廣義線性回歸、CNN等多因素分析模型時，序列長度的差異會導致輸入序列不能滿足模型的輸入結(jié)構(gòu)；而若采用單通道的RNN分析模型時，由于患者病情的變化是多種因素相互作用產(chǎn)生的效果，故忽略了共同作用對結(jié)果的影響。

基于神經(jīng)網(wǎng)絡(luò)的注意力模型已經(jīng)成功地應(yīng)用在計算機視覺[15]、自然語言處理[16]、語音識別[17]等領(lǐng)域。在機器翻譯的過程中可以明顯體現(xiàn)注意力機制的作用。此時注意力機制在翻譯的過程中遵循如下步驟：給定一個長度為S的輸入句子，通過h1,h2,…,hs表示句子中的單詞序列。為了翻譯目標句子中的第j個單詞，對原始句子中的每個單詞生成一個注意力權(quán)值αi代表它與目標單詞的關(guān)聯(lián)程度，最后計算式（1）中的上下文表征向量c并且用它預(yù)測目標單詞。

因此本文利用概念上相似的時間注意力機制在不定長序列轉(zhuǎn)換上的成熟應(yīng)用[18]，使用臨床數(shù)據(jù)集生成可解釋的預(yù)測模型，基于可解釋的層次注意力模型（IHAN），該模型的優(yōu)勢在于：

（1）總體模仿醫(yī)生如何關(guān)注病人的需求和探索病人的生理指標的特殊變化，利用注意力權(quán)重分配的不同忽略無意義的指標，其中重點關(guān)注疾病異常風險因素的指標。

（2）使用分層注意力機制分離時間和風險因素，使不同檢查項享有單獨的不定長時序輸入序列，更適合臨床實際應(yīng)用的數(shù)據(jù)結(jié)構(gòu)，能最大限度地還原數(shù)據(jù)集本身的特征。

（3）在保留RNN預(yù)測時序數(shù)據(jù)能力的同時，通過對注意力權(quán)重的分析，更加容易讓醫(yī)生理解不同疾病的關(guān)鍵風險因素，而且對HAN的輸出層根據(jù)不同患者的靜態(tài)統(tǒng)計信息合并優(yōu)化，有效地提高了預(yù)測的準確率。

2.2 基于IHAN模型架構(gòu)

圖2 基于輸出優(yōu)化的IHAN網(wǎng)絡(luò)模型

圖2 顯示了IHAN的總體架構(gòu)，模型通過改進層次注意力模型生成不同維度的注意力權(quán)重進行結(jié)果預(yù)測，分別構(gòu)建基于時序級（時間維度）和元素級（風險因素維度）的層次注意力模型，主要由時序編碼器、時序注意力機制、元素編碼器、元素注意力機制、預(yù)測輸出、解釋決策六部分構(gòu)成。已知數(shù)據(jù)集有N個風險因素si,i∈[1,N]，且包含M個時刻的離散檢查變量xi,t,t∈[1,M]，對于K名患者的檢查序列IHAN將單個患者Xi,i∈[1,K]按不同風險因素的時間順序重構(gòu)成輸入序列輸出為對應(yīng)患者Xi是否患病的概率通過Softmax函數(shù)后的分類結(jié)果Yi∈{0,1}。

對于輸入層，給定一個輸入數(shù)據(jù)集S，由于風險因素之間量綱不同，即使相同量綱之間數(shù)量級也可能相差較大，例如：白細胞計數(shù)測定的正常范圍是（3.5～9.5）×109個/L，紅細胞計數(shù)為（4.0～7.0）×1012個/L，而血紅蛋白為（120～165）g/L。因此定義V={v1,1,v1,2,…,v1,m,…,vi,t,…,vn,1,vn,2,…,vn,m}為因素si在p時間窗內(nèi)的離散值xi,1,xi,2,…,xi,p通過Z-score標準化函數(shù)映射至（0，1）范圍內(nèi)的向量集合，其中vi,t表示患者風險因素i在第t時段的時序向量：

2.2.1 基于實時生理指標變化的時序注意力層

時序編碼器（time encoder）：對患者任意風險因素i共M時間內(nèi)的時序向量{vi,1,vi,2,…,vi,t,…,vi,m}，模型首先采用基于LSTM的雙向循環(huán)神經(jīng)網(wǎng)絡(luò)計算患者在對應(yīng)病情發(fā)展過程的隱藏狀態(tài)hi,t，LSTM架構(gòu)如圖3所示。

時序向量vi,t輸入LSTM時，由公式（3）～（8）得出單向時間維度隱藏表征hi,t：

時序注意力機制（time attention）：床旁設(shè)備所采集的例如血壓、心率等生理指標并非在任意時刻都有重要的作用，甚至大多正常時間采集的時序變量是無意義的。因此引入注意力機制來提取異常的時序信息：對隱藏表征hi,t分配不同的權(quán)重αi,t，如果生理指標在一段時間內(nèi)較為平穩(wěn)則該權(quán)重較小，反之則權(quán)重較大。通過權(quán)重αi,t與對應(yīng)hi,t求加權(quán)和，形成單項風險因素si的在整個治療過程中的表征ri：

其中，αi,t為代表風險因素si在時間[1,M]內(nèi)各時段生理指標的異常程度，即隱藏表征hi,t的權(quán)重，計算方法為：

由于公式（11）中hi,t表示正向和逆向的時序隱藏信息，代表了當前時段在過去和未來的特征表達，因此將[1,t-1]的hi,t-1和進行內(nèi)積計算異常程度得分即可得到當前生理指標與前后的關(guān)聯(lián)度，若某時段生理指標與前后差異較大，則此時為異常時段。最后通過Softmax函數(shù)將各時刻異常得分歸一化，即可得基于時間維度的權(quán)重αi,t。

2.2.2 基于風險因素的元素注意力層

元素編碼器（element encoder）。已知對任意風險因素si有其在病情發(fā)展變化的表征ri，使用同樣的BiLSTM編碼方式可以獲得其他因素的隱藏表征向量gi。

元素注意力機制（element attention）。為了能在檢查過程中正確預(yù)警不同疾病的風險因素，再次使用注意力機制并對因素的隱藏表征gi引入對應(yīng)的關(guān)聯(lián)權(quán)重βi，并使用該權(quán)重來衡量患者診療過程中致病因素的重要性，通過加權(quán)和得到患者在疾病發(fā)展過程中的表征c：

與時序性權(quán)重αi,t計算不同，模型訓練基于不同疾病表達的上下文向量uβ來度量各風險因素在病情變化過程中的重要性βi。將每個風險因素表征gi的轉(zhuǎn)換為非線性表達ui：

計算uβ和ui的相似度并使用Softmax函數(shù)進行歸一化得到βi：uβ∈Rm×n是在神經(jīng)網(wǎng)絡(luò)訓練過程中形成的表征向量參數(shù)，是一種無監(jiān)督端到端的記憶網(wǎng)絡(luò)表達形式，可以看作某類疾病的風險因素影響程度高低的分布，通過衡量訓練好的uβ和ui的相似程度可以得知哪一個風險因素是引起某類病癥的根本因素。該參數(shù)在訓練中經(jīng)過反向傳播不斷更新后迭代生成。

2.2.3 結(jié)合患者基本信息的輸出模型優(yōu)化

為了對患者病情發(fā)展過程中產(chǎn)生的風險進行預(yù)警分類，將表示該患者基本人口統(tǒng)計信息構(gòu)成的上下文向量d與患者病情變化表達c拼接并通過全連接層分類輸出預(yù)警結(jié)果。W為參數(shù)矩陣，選取患者是否患病的概率中較大的作為預(yù)測輸出yi-pred，采用交叉熵損失作為模型的損失函數(shù)進行學習：

2.2.4 解釋決策層

1.2節(jié)中Lipton將可解釋模型特點分為透明性和事后可解釋性，研究通過在4.2節(jié)實驗分析來證明模型的事后可解釋性。同時構(gòu)建中間可解釋層，分析患者Xi在治療過程中權(quán)重αi,t、βi和輸入V={v1,1,v1,2,…,v1,m,…,vi,t,…,vn,1,vn,2,…,vn,m}變化對患病預(yù)測輸出Y的影響來說明IHAN的透明性。已知c為患者診療過程的表征，由IHAN的相關(guān)機制可表示成關(guān)于αi,t、βi和V的如下公式：

患者是否患病的概率取決于全連接層之前的各風險因素總體表征：

其中公式（23）可以完全分解為對任意輸入vi,t,i∈[1,N],有風險因素si在t時段的輸入vi,t對預(yù)測結(jié)果Y的貢獻度

其中經(jīng)過兩次LSTM編碼LSTMβ(αi,tLSTMα((vi,t))可作為關(guān)于vi,t的非線性變換：

（1）若對元素維度權(quán)重βi=0進行擦除，則預(yù)先可見公式（24）權(quán)重對應(yīng)的風險因素貢獻度為由公式（19）可得?i∈N,βi＞0，則風險越高的因素所對應(yīng)的權(quán)重βi對預(yù)測結(jié)果貢獻越大。

（2）若對單一風險因素si在任意時段的權(quán)重αi,t=0進行擦除：

同理可得該時段在整個治療過程中貢獻度為0。然而任意修改αi,t或輸入vi,t，貢獻度仍然受制于風險因素的權(quán)重βi，這說明了IHAN能夠輔助醫(yī)生挖掘在病情變化過程中的高危因素，降低對非致病因素的關(guān)注度，并將注意力集中在治療患者具有高權(quán)重βi對應(yīng)的致病因素。

3 實驗設(shè)計

模型在某三甲醫(yī)院CIS系統(tǒng)產(chǎn)生的數(shù)據(jù)集進行了測試，該數(shù)據(jù)集包含6年內(nèi)的2 198例ICU患者在住院過程中發(fā)生急性腎損傷的175 840次數(shù)據(jù)采集結(jié)果。實驗將IHAN模型的預(yù)測精度與傳統(tǒng)計分析和深度學習方法進行了比較，以預(yù)測ICU住院患者生成急性腎損傷的診斷。通過對比分析得出，所提模型在準確率上優(yōu)于傳統(tǒng)方法，在運行速度方面具有可接受性能，同時具備良好的可解釋性。

3.1 實驗數(shù)據(jù)

急性腎損傷（Acute Kidney Injury，AKI）為臨床常見危重癥之一，臨床上表現(xiàn)為氮質(zhì)血癥、水電解質(zhì)和酸堿平衡以及全身各系統(tǒng)癥狀，其發(fā)病率一直居高不下，給患者的身體、心理和經(jīng)濟帶來沉重的負擔。既往相關(guān)研究指出，機械通氣、器官衰竭、低蛋白血癥是急性腎損傷患者死亡的獨立危險因素，早期預(yù)防、診斷能降低急性腎損傷的病死率，對改善預(yù)后有重要的意義。實驗中所采用的AKI診斷標準為RIFLE，即血清肌酐（SCr）升高1.5倍，腎小球濾過率（GFR）升高25個百分點，尿量＜0.5 mL/（kg·h）×6 h。

實驗采用了某三甲醫(yī)院CIS系統(tǒng)提供的住院患者生理指標數(shù)據(jù)集，納入輸入序列的i∈[1,N]風險因素包括血小板計數(shù)、血清肌酐等9項，構(gòu)成患者基本統(tǒng)計信息d的因素包括性別、年齡、是否進行連續(xù)性血液凈化、基礎(chǔ)疾病、戴機時間5項，數(shù)據(jù)處理過程如圖4所示，所有資料均進行統(tǒng)一隱私處理并編碼。

圖4 基于可解釋的HAN流程示意圖

3.2 實驗環(huán)境

實驗使用的硬件配置如下：處理器Core i7-6500U@2.50 GHz；獨立顯卡GeForce GTX Titan 8 GB顯存；RAM為16.0 GB；操作系統(tǒng)類型Windows Sever 2012；開發(fā)工具python 3.6+TensorFlow+CUDA框架；模型采用GPU運行環(huán)境進行訓練加速，訓練次數(shù)設(shè)置為200次，學習率初始化為0.1并持續(xù)遞減訓練到損失函數(shù)收斂為止。

3.3 基線模型

Logisitc回歸（LR）：LR是經(jīng)典的疾病預(yù)測統(tǒng)計分析模型。作為實驗對比，設(shè)置致病因素和患者基本信息為自變量，住院過程中是否產(chǎn)生AKI為因變量，提取患者入院時的檢查結(jié)果作為模型輸入后回歸處理。

隨機森林、BP神經(jīng)網(wǎng)絡(luò)：研究通過咨詢臨床醫(yī)生構(gòu)建風險因素為葉子結(jié)點的隨機森林，對比方法采用Cart算法生成回歸森林以及設(shè)置1 024結(jié)點構(gòu)成的2層BP神經(jīng)網(wǎng)絡(luò)。模型輸入樣本同為患者入院生理指標信息。

CNN：卷積神經(jīng)網(wǎng)絡(luò)因其能夠從復雜的數(shù)據(jù)集中提取信息的能力而在醫(yī)療影像診斷中得到了應(yīng)用?；€模型參考CNN對圖像的識別原理，根據(jù)患者各項風險因素的輸入序列設(shè)定統(tǒng)一的滑動時間窗，對該時間窗內(nèi)的一維患者數(shù)據(jù)進行二維重構(gòu)成基于時間點采樣的多因素線索數(shù)據(jù)“圖像”，采用多尺度卷積的方法提取不同時間、風險因素維度上的疾病表征信息，輸出分類結(jié)果。

LSTM：長短期記憶神經(jīng)網(wǎng)絡(luò)主要用于單變量時序序列的分析預(yù)測?；贚STM的基線模型設(shè)計方法如下，通過構(gòu)造患者在整個住院期間N個風險因素的LSTM預(yù)測序列，將每個序列最后一次的輸出值作為單層感知機的輸入，實時預(yù)警患者下一時間段病情變化。

IHAN+LSTM：2.2節(jié)公式（3）、（4）、（8）、（9）的RNNα、RNNβ采用LSTM模型。

IHAN+GRU：方法上同樣使用公式（3）、（4）、（8）、（9）的RNNα、RNNβ采用GRU模型。

4 實驗結(jié)果與分析

4.1 性能比較

數(shù)據(jù)集按0.75∶0.15∶0.1的比例劃分為測試集、訓練集、驗證集并采用交叉折疊進行訓練。為了能夠預(yù)測患者在住院治療過程中是否發(fā)生AKI從而輔助醫(yī)生及時調(diào)整診療方案，實驗評價引入三個評價指標，準確率（Precision）、召回率（Recall）和訓練時間，如公式（27）、（28）所示：

根據(jù)表1實驗結(jié)果，在準確率方面，Logistic回歸、隨機森林和BP神經(jīng)網(wǎng)絡(luò)因其沒有考慮到患者在治療過程中生理指標的漸變信息，無法在長時間住院過程中充分利用檢查數(shù)據(jù)時間狀態(tài)上的關(guān)聯(lián)性，不具有提前預(yù)測的能力，對急重癥突變預(yù)警能力差。而以CNN和RNN為代表的深度學習模型在準確率上有了較大的提升，相比上述統(tǒng)計模型在準確率上提高了8～10個百分點，這體現(xiàn)了基于深度學習對復雜時序信息的捕捉能力，然而由于患者在住院過程中產(chǎn)生的數(shù)據(jù)量多，“無意義”的正常數(shù)據(jù)占比大，導致輸入模型數(shù)據(jù)集噪聲大而影響了預(yù)測結(jié)果的精準度?；贗HAN的層次注意力神經(jīng)網(wǎng)絡(luò)解決了上述問題，同時準確率相比之下提升了12～13個百分點。運行效率上，IHAN+LSTM因其計算的復雜性導致訓練時間較長，在實驗環(huán)境下訓練時間達到了29.50 min，而LSTM+GRU相對模型較簡單，訓練時間也達到了25.25 min。

表1 IHAN預(yù)測結(jié)果

綜上所述，IHAN模型與Logistic回歸、隨機森林、卷積神經(jīng)網(wǎng)絡(luò)、LSTM等神經(jīng)網(wǎng)絡(luò)相比在預(yù)測中表現(xiàn)良好，但是訓練時間相對較長，與預(yù)計效果基本符合。因此所提模型能夠在患者住院過程中一定程度地提前預(yù)測可能所伴隨的急性腎損傷，提醒醫(yī)生調(diào)整治療方案，從而達到醫(yī)療輔助決策的作用。

4.2 可解釋性分析

實驗評估了IHAN在預(yù)測AKI任務(wù)中的事后可解釋性，即根據(jù)2.2節(jié)中各風險因素在不同時段的αi,t、βi的分布修改輸入序列vi,t，或直接改變?nèi)我猞羒,t、βi觀察y1,y2,…,yt結(jié)果的變化，并對訓練參數(shù)進行可視化。方法是從測試集中選擇一名發(fā)生疾病的患者，咨詢醫(yī)生及問詢診療過程并計算輸入的各項序列對于診斷預(yù)測的貢獻值進行比對。圖5為冠狀動脈粥樣硬化性心臟病患者在住院治療過程中，不同風險因素的注意力權(quán)重β隨時間變化的分布情況和產(chǎn)生AKI的概率，其中Y軸表示疾病的各項風險因素，X軸表示入院時間和某時刻的患病概率（T0d：47.30%表示在0天時產(chǎn)生AKI的概率為47.30%），Z軸表示不同風險因素隨著時間變化時注意力權(quán)重β。入院T0d至T2d時間段內(nèi)各項生理指標權(quán)重較為平穩(wěn)（由于篇幅所限，圖中[T0d,T2d]為平穩(wěn)期，實際為13 d），[T2d,T3.2d]血壓（BP）、心率（HR）影響比重逐漸上升，[T3.2d,T3.8d]時刻SCr和GFR緊隨升高，并在T3.5d時刻提前預(yù)警，T3.8d患者達到AKI的診斷標準。通過醫(yī)生調(diào)閱病程記錄得出，[T0d,T2d]為入院手術(shù)前準備時期。隨后于T2d完成冠狀動脈旁路移植術(shù)后發(fā)生心力衰竭對應(yīng)[T2d,T3.2d]時段，[T3.2d,T3.8d]即為由心力衰竭產(chǎn)生的AKI癥狀。

圖5 β隨時間變化的分布情況和產(chǎn)生AKI的概率

為了探究模型的解釋能力，圖6～圖9顯示了IHAN在人為改變輸入序列數(shù)值以及訓練權(quán)重參數(shù)時，輸出結(jié)果的變化，X軸表示在治療過程中的患病概率，Y軸表示疾病的風險因素隨時間變化的權(quán)重β，圖6表示原始結(jié)果作為對照組。圖7中實驗首先在T2d改變SCr和GFR的輸入序列為正常均值，相比于原結(jié)果βSCr、βGFR降低11～13個百分點，T3.8d時刻輸出產(chǎn)生疾病的可能性為58.32%（Average），這說明了Attention的權(quán)重高低與其對應(yīng)位置信息的重要程度正相關(guān)。圖8令βSCr=βGFR=0則T3.8d結(jié)果為40.19%（Reset 0），患病概率相對于對照組可能性降低45.77個百分點。這說明SCr和GFR是AKI產(chǎn)生的關(guān)鍵因素，符合醫(yī)學對該疾病診斷的定義，同時可得高權(quán)重的輸入單元對輸出結(jié)果有決定性作用。圖9中實驗對輸入序列進行翻轉(zhuǎn)（Reverse），結(jié)果顯示在開始階段患病幾率高達86.33%，SCr和GFR仍然對輸出結(jié)果影響較大，這是由于逆序輸入使SCr和GFR直接導致了疾病的產(chǎn)生，而非其他因素漸進變化引起結(jié)果的改變，同時證明了IHAN相對于易解釋模型（LR/DT逆序結(jié)果不變）時間序列處理能力。

圖7 IHAN預(yù)測結(jié)果（Average：58.32%）

圖8 IHAN預(yù)測結(jié)果（Reset0：40.19%）

圖9 IHAN預(yù)測結(jié)果（Reverse：86.33%）

5 結(jié)語

本文提出了一種基于可解釋的層次注意力神經(jīng)網(wǎng)絡(luò)算法用于急重癥突變預(yù)測，利用分層注意力將大量床旁醫(yī)學數(shù)據(jù)劃分成時間和風險因素兩個維度，采用擦除重置的方法對算法的可解釋性進行建模。該模型在保留RNN預(yù)測時序數(shù)據(jù)能力的同時，更加容易讓醫(yī)生理解不同疾病在不同時間致病的關(guān)鍵風險因素，而且對HAN的輸出層根據(jù)不同患者的靜態(tài)統(tǒng)計信息合并優(yōu)化，有效地提高了預(yù)測的準確率。實驗在大量數(shù)據(jù)集上進行了對比實驗，并對模型的可解釋性進行驗證，結(jié)果表明注意力權(quán)重能夠代表患者在醫(yī)療過程中的致病因素，較好地起到臨床輔助決策的作用，并為實際臨床技術(shù)轉(zhuǎn)化具有重要的應(yīng)用意義。在以后的工作中，將在不同病種的數(shù)據(jù)集上進行評估，添加例如非結(jié)構(gòu)化的病歷文本等不同類型的實驗數(shù)據(jù)進一步優(yōu)化模型結(jié)構(gòu)，進行更加高效的預(yù)測。