可解釋的層次注意力機制網(wǎng)絡(luò)危重癥預(yù)警

王天罡，張曉濱，馬紅葉，蔡宏偉

1.西安工程大學(xué) 計算機科學(xué)學(xué)院，西安710048

2.西安交通大學(xué)第一附屬醫(yī)院 網(wǎng)絡(luò)信息部，西安710061

3.西安交通大學(xué)第一附屬醫(yī)院 重癥醫(yī)學(xué)科，西安710061

隨著近年來人工智能的日益發(fā)展，通過深度學(xué)習(xí)輔助臨床診療決策研究一直是醫(yī)療領(lǐng)域的熱點，它在醫(yī)療大數(shù)據(jù)中主要用于醫(yī)學(xué)影像識別、電子病歷解析、基于基因組學(xué)的精準(zhǔn)醫(yī)學(xué)研究以及臨床決策支持系統(tǒng)等方面。采用臨床表現(xiàn)的疾病預(yù)測模型是臨床決策支持系統(tǒng)一個重要研究內(nèi)容，然而實際醫(yī)療軟件大多僅能提供數(shù)據(jù)的集成和展示，所具備的功能僅限于醫(yī)患管理和床旁數(shù)據(jù)的查詢統(tǒng)計。特別是住院ICU危急重癥的患者在病情變化非常復(fù)雜的情況下，醫(yī)護人員通過實時觀察異常生理指標(biāo)來治療患者有時為時已晚。與此同時，ICU床旁監(jiān)護設(shè)備數(shù)量多、類型復(fù)雜，所提取的各項生命指標(biāo)較多，僅對每個患者體征數(shù)據(jù)進行檢索瀏覽就給醫(yī)生帶來了較大的工作量。

當(dāng)前基于機器學(xué)習(xí)的疾病預(yù)警研究大多采用標(biāo)準(zhǔn)化數(shù)據(jù)集（例如MIMIC-III）的理論研究，許多模型在得出較好結(jié)果的同時由于缺乏可解釋性而無法實際應(yīng)用。例如，當(dāng)醫(yī)生通過基于CNN或RNN模型判定一個病人是否有患病風(fēng)險時，更希望知道模型究竟從各類儀器、床旁設(shè)備提取的海量數(shù)據(jù)中學(xué)到了哪些能夠以人類可理解方式表達的知識，并且發(fā)現(xiàn)各類風(fēng)險因素之間的關(guān)聯(lián)，從而生成決策結(jié)果。如果一個模型難以理解，那么在關(guān)乎生命風(fēng)險的醫(yī)療領(lǐng)域就會因無法給出更多的可靠信息而受限，最終只是不同曲線的擬合結(jié)果。因此本研究針對臨床危重癥疾病預(yù)警缺乏前瞻性和可解釋性等問題，作出了如下工作：

（1）創(chuàng)新性地提出將HAN模型用于基于生理指標(biāo)的時間序列危急重癥預(yù)警，利用分層注意力機制分別學(xué)習(xí)時間及風(fēng)險因素兩個維度上的權(quán)重分布，即對每個患者輸入序列不同時刻或風(fēng)險因素賦予不同重要性，將神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程中產(chǎn)生的中間項與患者生理指標(biāo)漸變的過程相結(jié)合，提醒醫(yī)生在治療過程中應(yīng)該關(guān)注的重點。

（2）模型提出一種利用分層機制分離時間和風(fēng)險因素的多通道輸入結(jié)構(gòu)，使每個因素享有單獨的輸入序列，更適合當(dāng)前臨床應(yīng)用中的數(shù)據(jù)結(jié)構(gòu)。同時提出了一種HAN的輸出優(yōu)化結(jié)構(gòu)，將患者靜態(tài)人口統(tǒng)計信息和診療過程產(chǎn)生的上下文表征序列相結(jié)合，使結(jié)果除了時序數(shù)據(jù)的表征外添加了更多的關(guān)聯(lián)特征。4.1節(jié)的實驗表明，通過與基線神經(jīng)網(wǎng)絡(luò)相比，該模型大幅度提升了預(yù)警的準(zhǔn)確率。

（3）通過對模型添加可解釋組件（Interpretable Layer），探討了深度學(xué)習(xí)在實際臨床醫(yī)療的可解釋性，證明該模型相較于其他深度學(xué)習(xí)模型具有良好的可靠性。

（4）研究采集的數(shù)據(jù)均為現(xiàn)三甲醫(yī)院ICIS系統(tǒng)提取的臨床真實數(shù)據(jù)，提出的方法真實有效，為醫(yī)療人工智能在醫(yī)院信息系統(tǒng)實際應(yīng)用奠定了基礎(chǔ)。

1 相關(guān)工作

1.1 基于臨床數(shù)據(jù)集的疾病預(yù)警模型

近年來常用的多變量疾病預(yù)警模型按照基礎(chǔ)理論的不同可劃分成兩類：靜態(tài)統(tǒng)計分析預(yù)警模型和動態(tài)人工智能預(yù)警模型[1]。其中統(tǒng)計分析預(yù)警模型相關(guān)研究關(guān)注的方向主要包括：監(jiān)測實時生理指標(biāo)的單變量分析模型、基于多項危險因素指標(biāo)估測的廣義線性回歸模型。文獻[1]提出通過多因素Logistic回歸分析分別提取患者入院和實時的多項危險因素指標(biāo)，進而比對分析并建立評分機制，評估冠心病的可能性[2]。文獻[2-3]分別提出了基于隨機森林（RF）支持向量機（SVM）在ICU患者住院24 h內(nèi)死亡風(fēng)險預(yù)測的應(yīng)用[3-4]。

上述臨床疾病預(yù)警研究均采用構(gòu)建統(tǒng)計分析模型和對實時生理指標(biāo)的評分預(yù)測，無法解決海量數(shù)據(jù)下的過擬合、梯度消失等問題，同時沒能充分利用檢查數(shù)據(jù)時間狀態(tài)上的關(guān)聯(lián)性或其他與疾病關(guān)聯(lián)的因素對模型的影響，對臨床急重癥突變預(yù)警能力差。因此文獻[4]提出了一種多因素線索LSTM模型預(yù)測血壓變化進而對高血壓及時預(yù)警，適用于高血壓等慢性病的長期預(yù)測分析。在實際臨床治療過程中，由于該模型將與血壓關(guān)聯(lián)的時序測量數(shù)據(jù)和患者的環(huán)境信息一起作為未來線索數(shù)據(jù)與血壓預(yù)測相結(jié)合，預(yù)測精準(zhǔn)度較高[5]。文獻[5]采用循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）或卷積神經(jīng)網(wǎng)絡(luò)（CNN）等當(dāng)前主流深度學(xué)習(xí)模型得到了不錯的實驗結(jié)果[6]。

1.2 基于深度學(xué)習(xí)模型的可解釋性研究

準(zhǔn)確性和可解釋性是決定預(yù)測模型能否成功應(yīng)用的兩個主要因素。近年來，隨著深度學(xué)習(xí)的不斷發(fā)展，模型可解釋性的相關(guān)準(zhǔn)則逐漸被研究人員所關(guān)注，Lipton指出了構(gòu)建可解釋性模型的必要性[7]：使人能建立對模型的信任；可以體現(xiàn)事件因果關(guān)系；對其他領(lǐng)域可以遷移應(yīng)用；在訓(xùn)練過程中可附加額外知識等，并認為一個可解釋的模型應(yīng)該至少具備以下特點：

（1）透明性，即模型對人是透明的，可以在模型對具體任務(wù)訓(xùn)練之前就模擬預(yù)測到對應(yīng)參數(shù)和模型決策，包括模型整體、組件和算法的透明性。

（2）事后可解釋性，某些模型盡管事先無法精確闡明其是如何工作的，但是在訓(xùn)練過程中可以為研究人員提供對事實有用的信息，通過對結(jié)果可視化或訓(xùn)練過程產(chǎn)生的參數(shù)分析得到相關(guān)知識。

決策樹（Decision Tree，DT）是具備透明可解釋性的典型機器學(xué)習(xí)模型，并已經(jīng)廣泛地在醫(yī)療領(lǐng)域應(yīng)用[8]。但是多數(shù)不具備先驗知識的情況下，現(xiàn)實更關(guān)注的是模型的事后可解釋性，Zhang等人提出了一種可解釋的卷積神經(jīng)網(wǎng)絡(luò)[9]，該模型通過將每一維度的卷積層對應(yīng)于圖像的一部分，不需要其他標(biāo)注對模型進行解釋即可以幫助人們在卷積的過程中獲取額外的信息。

近年來，隨著注意力機制的興起，通過對輸入序列分配不同權(quán)重而影響輸出的結(jié)果這一方法使神經(jīng)網(wǎng)絡(luò)的可解釋性得到了重視，具體對于Attention模型的可解釋性，有正反兩方面的觀點。首先自Bahdanau等[10]將Attention用于機器翻譯等任務(wù)起，研究人員就對其可解釋性進行大量的實驗論證[11]。然而，最近由Serrano等[12]和Jain等[13]分別對注意力機制的可解釋性產(chǎn)生了質(zhì)疑，并認為注意力機制是不可解釋的，前者通過將訓(xùn)練過程中的注意力權(quán)重擦除或翻轉(zhuǎn)后觀察決策結(jié)果，后者引入了對抗注意力權(quán)重分布的思想并比較權(quán)重和訓(xùn)練梯度的變化趨勢來分析模型的可解釋性。但是上述研究僅對個別權(quán)重較大的參數(shù)進行操作，忽略了注意力模型的權(quán)重分布并不是獨立存在的事實，例如，在文本分類過程中，一篇體育報道中擦除了“體育”“足球”等詞向量，但是文章中出現(xiàn)的人名和事件仍然能夠使模型產(chǎn)生體育的決策分類結(jié)果。對此，Wiegreffe等[14]的研究對以上注意力模型不可解釋的驗證方法提出了質(zhì)疑，他認為Attention中間層的參數(shù)是無法同整個模型隔離開的，否則就失去了實際的意義。本研究受到上述方法的啟發(fā)，在模型訓(xùn)練的過程中對其注意力參數(shù)進行了整體擦除和重置等操作，實驗結(jié)果證明了IHAN具有良好的事后可解釋性。

圖1 編碼器-解碼器結(jié)構(gòu)

2 基于IHAN的疾病預(yù)警模型構(gòu)建

2.1 注意力機制

與大多數(shù)標(biāo)準(zhǔn)化醫(yī)學(xué)數(shù)據(jù)集不同，在實際基于臨床表現(xiàn)的疾病預(yù)測應(yīng)用中，基于患者生理指標(biāo)的序列結(jié)構(gòu)通常存在以下幾個問題：

（1）床旁數(shù)據(jù)大量冗余。例如心率、呼吸等測定頻率為30 s/次，患者在大部分住院期間此類測定均處于正常狀態(tài)。如果采用傳統(tǒng)seq2seq的神經(jīng)網(wǎng)絡(luò)，將會把多數(shù)無意義的數(shù)據(jù)混雜到圖1所示編碼器-解碼器結(jié)構(gòu)（Encoder-Decoder）的序列表征c中，嚴(yán)重影響了最終的預(yù)測結(jié)果。

（2）不同患者的檢驗數(shù)據(jù)缺失。例如血紅蛋白、紅細胞計數(shù)測定等檢驗分析項測定時間間隔較長，頻次不一致，導(dǎo)致大多患者均存在數(shù)據(jù)缺失問題，如果大量使用缺失值填補或樣本篩選等方法，同樣引起結(jié)果不準(zhǔn)確。

（3）同一患者不同生理指標(biāo)采樣頻次不一致，導(dǎo)致輸入序列長度相差較大。例如患者在住院期間進行“平診腎功七項[復(fù)]”檢查次數(shù)在3～4次，“血細胞分析+五分類”的檢查次數(shù)在8～9次，而心率血壓等測量頻率更加頻繁。因此在構(gòu)建例如廣義線性回歸、CNN等多因素分析模型時，序列長度的差異會導(dǎo)致輸入序列不能滿足模型的輸入結(jié)構(gòu)；而若采用單通道的RNN分析模型時，由于患者病情的變化是多種因素相互作用產(chǎn)生的效果，故忽略了共同作用對結(jié)果的影響。

基于神經(jīng)網(wǎng)絡(luò)的注意力模型已經(jīng)成功地應(yīng)用在計算機視覺[15]、自然語言處理[16]、語音識別[17]等領(lǐng)域。在機器翻譯的過程中可以明顯體現(xiàn)注意力機制的作用。此時注意力機制在翻譯的過程中遵循如下步驟：給定一個長度為S的輸入句子，通過h1,h2,…,hs表示句子中的單詞序列。為了翻譯目標(biāo)句子中的第j個單詞，對原始句子中的每個單詞生成一個注意力權(quán)值αi代表它與目標(biāo)單詞的關(guān)聯(lián)程度，最后計算式（1）中的上下文表征向量c并且用它預(yù)測目標(biāo)單詞。

因此本文利用概念上相似的時間注意力機制在不定長序列轉(zhuǎn)換上的成熟應(yīng)用[18]，使用臨床數(shù)據(jù)集生成可解釋的預(yù)測模型，基于可解釋的層次注意力模型（IHAN），該模型的優(yōu)勢在于：

（1）總體模仿醫(yī)生如何關(guān)注病人的需求和探索病人的生理指標(biāo)的特殊變化，利用注意力權(quán)重分配的不同忽略無意義的指標(biāo)，其中重點關(guān)注疾病異常風(fēng)險因素的指標(biāo)。

（2）使用分層注意力機制分離時間和風(fēng)險因素，使不同檢查項享有單獨的不定長時序輸入序列，更適合臨床實際應(yīng)用的數(shù)據(jù)結(jié)構(gòu)，能最大限度地還原數(shù)據(jù)集本身的特征。

（3）在保留RNN預(yù)測時序數(shù)據(jù)能力的同時，通過對注意力權(quán)重的分析，更加容易讓醫(yī)生理解不同疾病的關(guān)鍵風(fēng)險因素，而且對HAN的輸出層根據(jù)不同患者的靜態(tài)統(tǒng)計信息合并優(yōu)化，有效地提高了預(yù)測的準(zhǔn)確率。

2.2 基于IHAN模型架構(gòu)

圖2 基于輸出優(yōu)化的IHAN網(wǎng)絡(luò)模型

圖2 顯示了IHAN的總體架構(gòu)，模型通過改進層次注意力模型生成不同維度的注意力權(quán)重進行結(jié)果預(yù)測，分別構(gòu)建基于時序級（時間維度）和元素級（風(fēng)險因素維度）的層次注意力模型，主要由時序編碼器、時序注意力機制、元素編碼器、元素注意力機制、預(yù)測輸出、解釋決策六部分構(gòu)成。已知數(shù)據(jù)集有N個風(fēng)險因素si,i∈[1,N]，且包含M個時刻的離散檢查變量xi,t,t∈[1,M]，對于K名患者的檢查序列IHAN將單個患者Xi,i∈[1,K]按不同風(fēng)險因素的時間順序重構(gòu)成輸入序列輸出為對應(yīng)患者Xi是否患病的概率通過Softmax函數(shù)后的分類結(jié)果Yi∈{0,1}。

對于輸入層，給定一個輸入數(shù)據(jù)集S，由于風(fēng)險因素之間量綱不同，即使相同量綱之間數(shù)量級也可能相差較大，例如：白細胞計數(shù)測定的正常范圍是（3.5～9.5）×109個/L，紅細胞計數(shù)為（4.0～7.0）×1012個/L，而血紅蛋白為（120～165）g/L。因此定義V={v1,1,v1,2,…,v1,m,…,vi,t,…,vn,1,vn,2,…,vn,m}為因素si在p時間窗內(nèi)的離散值xi,1,xi,2,…,xi,p通過Z-score標(biāo)準(zhǔn)化函數(shù)映射至（0，1）范圍內(nèi)的向量集合，其中vi,t表示患者風(fēng)險因素i在第t時段的時序向量：

2.2.1 基于實時生理指標(biāo)變化的時序注意力層

時序編碼器（time encoder）：對患者任意風(fēng)險因素i共M時間內(nèi)的時序向量{vi,1,vi,2,…,vi,t,…,vi,m}，模型首先采用基于LSTM的雙向循環(huán)神經(jīng)網(wǎng)絡(luò)計算患者在對應(yīng)病情發(fā)展過程的隱藏狀態(tài)hi,t，LSTM架構(gòu)如圖3所示。

時序向量vi,t輸入LSTM時，由公式（3）～（8）得出單向時間維度隱藏表征hi,t：

時序注意力機制（time attention）：床旁設(shè)備所采集的例如血壓、心率等生理指標(biāo)并非在任意時刻都有重要的作用，甚至大多正常時間采集的時序變量是無意義的。因此引入注意力機制來提取異常的時序信息：對隱藏表征hi,t分配不同的權(quán)重αi,t，如果生理指標(biāo)在一段時間內(nèi)較為平穩(wěn)則該權(quán)重較小，反之則權(quán)重較大。通過權(quán)重αi,t與對應(yīng)hi,t求加權(quán)和，形成單項風(fēng)險因素si的在整個治療過程中的表征ri：

其中，αi,t為代表風(fēng)險因素si在時間[1,M]內(nèi)各時段生理指標(biāo)的異常程度，即隱藏表征hi,t的權(quán)重，計算方法為：

由于公式（11）中hi,t表示正向和逆向的時序隱藏信息，代表了當(dāng)前時段在過去和未來的特征表達，因此將[1,t-1]的hi,t-1和進行內(nèi)積計算異常程度得分即可得到當(dāng)前生理指標(biāo)與前后的關(guān)聯(lián)度，若某時段生理指標(biāo)與前后差異較大，則此時為異常時段。最后通過Softmax函數(shù)將各時刻異常得分歸一化，即可得基于時間維度的權(quán)重αi,t。

2.2.2 基于風(fēng)險因素的元素注意力層

元素編碼器（element encoder）。已知對任意風(fēng)險因素si有其在病情發(fā)展變化的表征ri，使用同樣的BiLSTM編碼方式可以獲得其他因素的隱藏表征向量gi。

元素注意力機制（element attention）。為了能在檢查過程中正確預(yù)警不同疾病的風(fēng)險因素，再次使用注意力機制并對因素的隱藏表征gi引入對應(yīng)的關(guān)聯(lián)權(quán)重βi，并使用該權(quán)重來衡量患者診療過程中致病因素的重要性，通過加權(quán)和得到患者在疾病發(fā)展過程中的表征c：

與時序性權(quán)重αi,t計算不同，模型訓(xùn)練基于不同疾病表達的上下文向量uβ來度量各風(fēng)險因素在病情變化過程中的重要性βi。將每個風(fēng)險因素表征gi的轉(zhuǎn)換為非線性表達ui：

計算uβ和ui的相似度并使用Softmax函數(shù)進行歸一化得到βi：uβ∈Rm×n是在神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程中形成的表征向量參數(shù)，是一種無監(jiān)督端到端的記憶網(wǎng)絡(luò)表達形式，可以看作某類疾病的風(fēng)險因素影響程度高低的分布，通過衡量訓(xùn)練好的uβ和ui的相似程度可以得知哪一個風(fēng)險因素是引起某類病癥的根本因素。該參數(shù)在訓(xùn)練中經(jīng)過反向傳播不斷更新后迭代生成。

2.2.3 結(jié)合患者基本信息的輸出模型優(yōu)化

為了對患者病情發(fā)展過程中產(chǎn)生的風(fēng)險進行預(yù)警分類，將表示該患者基本人口統(tǒng)計信息構(gòu)成的上下文向量d與患者病情變化表達c拼接并通過全連接層分類輸出預(yù)警結(jié)果。W為參數(shù)矩陣，選取患者是否患病的概率中較大的作為預(yù)測輸出yi-pred，采用交叉熵損失作為模型的損失函數(shù)進行學(xué)習(xí)：

2.2.4 解釋決策層

1.2節(jié)中Lipton將可解釋模型特點分為透明性和事后可解釋性，研究通過在4.2節(jié)實驗分析來證明模型的事后可解釋性。同時構(gòu)建中間可解釋層，分析患者Xi在治療過程中權(quán)重αi,t、βi和輸入V={v1,1,v1,2,…,v1,m,…,vi,t,…,vn,1,vn,2,…,vn,m}變化對患病預(yù)測輸出Y的影響來說明IHAN的透明性。已知c為患者診療過程的表征，由IHAN的相關(guān)機制可表示成關(guān)于αi,t、βi和V的如下公式：

患者是否患病的概率取決于全連接層之前的各風(fēng)險因素總體表征：

其中公式（23）可以完全分解為對任意輸入vi,t,i∈[1,N],有風(fēng)險因素si在t時段的輸入vi,t對預(yù)測結(jié)果Y的貢獻度

其中經(jīng)過兩次LSTM編碼LSTMβ(αi,tLSTMα((vi,t))可作為關(guān)于vi,t的非線性變換：

（1）若對元素維度權(quán)重βi=0進行擦除，則預(yù)先可見公式（24）權(quán)重對應(yīng)的風(fēng)險因素貢獻度為由公式（19）可得?i∈N,βi＞0，則風(fēng)險越高的因素所對應(yīng)的權(quán)重βi對預(yù)測結(jié)果貢獻越大。

（2）若對單一風(fēng)險因素si在任意時段的權(quán)重αi,t=0進行擦除：

同理可得該時段在整個治療過程中貢獻度為0。然而任意修改αi,t或輸入vi,t，貢獻度仍然受制于風(fēng)險因素的權(quán)重βi，這說明了IHAN能夠輔助醫(yī)生挖掘在病情變化過程中的高危因素，降低對非致病因素的關(guān)注度，并將注意力集中在治療患者具有高權(quán)重βi對應(yīng)的致病因素。

3 實驗設(shè)計

模型在某三甲醫(yī)院CIS系統(tǒng)產(chǎn)生的數(shù)據(jù)集進行了測試，該數(shù)據(jù)集包含6年內(nèi)的2 198例ICU患者在住院過程中發(fā)生急性腎損傷的175 840次數(shù)據(jù)采集結(jié)果。實驗將IHAN模型的預(yù)測精度與傳統(tǒng)計分析和深度學(xué)習(xí)方法進行了比較，以預(yù)測ICU住院患者生成急性腎損傷的診斷。通過對比分析得出，所提模型在準(zhǔn)確率上優(yōu)于傳統(tǒng)方法，在運行速度方面具有可接受性能，同時具備良好的可解釋性。

3.1 實驗數(shù)據(jù)

急性腎損傷（Acute Kidney Injury，AKI）為臨床常見危重癥之一，臨床上表現(xiàn)為氮質(zhì)血癥、水電解質(zhì)和酸堿平衡以及全身各系統(tǒng)癥狀，其發(fā)病率一直居高不下，給患者的身體、心理和經(jīng)濟帶來沉重的負擔(dān)。既往相關(guān)研究指出，機械通氣、器官衰竭、低蛋白血癥是急性腎損傷患者死亡的獨立危險因素，早期預(yù)防、診斷能降低急性腎損傷的病死率，對改善預(yù)后有重要的意義。實驗中所采用的AKI診斷標(biāo)準(zhǔn)為RIFLE，即血清肌酐（SCr）升高1.5倍，腎小球濾過率（GFR）升高25個百分點，尿量＜0.5 mL/（kg·h）×6 h。

實驗采用了某三甲醫(yī)院CIS系統(tǒng)提供的住院患者生理指標(biāo)數(shù)據(jù)集，納入輸入序列的i∈[1,N]風(fēng)險因素包括血小板計數(shù)、血清肌酐等9項，構(gòu)成患者基本統(tǒng)計信息d的因素包括性別、年齡、是否進行連續(xù)性血液凈化、基礎(chǔ)疾病、戴機時間5項，數(shù)據(jù)處理過程如圖4所示，所有資料均進行統(tǒng)一隱私處理并編碼。

圖4 基于可解釋的HAN流程示意圖

3.2 實驗環(huán)境

實驗使用的硬件配置如下：處理器Core i7-6500U@2.50 GHz；獨立顯卡GeForce GTX Titan 8 GB顯存；RAM為16.0 GB；操作系統(tǒng)類型Windows Sever 2012；開發(fā)工具python 3.6+TensorFlow+CUDA框架；模型采用GPU運行環(huán)境進行訓(xùn)練加速，訓(xùn)練次數(shù)設(shè)置為200次，學(xué)習(xí)率初始化為0.1并持續(xù)遞減訓(xùn)練到損失函數(shù)收斂為止。

3.3 基線模型

Logisitc回歸（LR）：LR是經(jīng)典的疾病預(yù)測統(tǒng)計分析模型。作為實驗對比，設(shè)置致病因素和患者基本信息為自變量，住院過程中是否產(chǎn)生AKI為因變量，提取患者入院時的檢查結(jié)果作為模型輸入后回歸處理。

隨機森林、BP神經(jīng)網(wǎng)絡(luò)：研究通過咨詢臨床醫(yī)生構(gòu)建風(fēng)險因素為葉子結(jié)點的隨機森林，對比方法采用Cart算法生成回歸森林以及設(shè)置1 024結(jié)點構(gòu)成的2層BP神經(jīng)網(wǎng)絡(luò)。模型輸入樣本同為患者入院生理指標(biāo)信息。

CNN：卷積神經(jīng)網(wǎng)絡(luò)因其能夠從復(fù)雜的數(shù)據(jù)集中提取信息的能力而在醫(yī)療影像診斷中得到了應(yīng)用?；€模型參考CNN對圖像的識別原理，根據(jù)患者各項風(fēng)險因素的輸入序列設(shè)定統(tǒng)一的滑動時間窗，對該時間窗內(nèi)的一維患者數(shù)據(jù)進行二維重構(gòu)成基于時間點采樣的多因素線索數(shù)據(jù)“圖像”，采用多尺度卷積的方法提取不同時間、風(fēng)險因素維度上的疾病表征信息，輸出分類結(jié)果。

LSTM：長短期記憶神經(jīng)網(wǎng)絡(luò)主要用于單變量時序序列的分析預(yù)測?；贚STM的基線模型設(shè)計方法如下，通過構(gòu)造患者在整個住院期間N個風(fēng)險因素的LSTM預(yù)測序列，將每個序列最后一次的輸出值作為單層感知機的輸入，實時預(yù)警患者下一時間段病情變化。

IHAN+LSTM：2.2節(jié)公式（3）、（4）、（8）、（9）的RNNα、RNNβ采用LSTM模型。

IHAN+GRU：方法上同樣使用公式（3）、（4）、（8）、（9）的RNNα、RNNβ采用GRU模型。

4 實驗結(jié)果與分析

4.1 性能比較

數(shù)據(jù)集按0.75∶0.15∶0.1的比例劃分為測試集、訓(xùn)練集、驗證集并采用交叉折疊進行訓(xùn)練。為了能夠預(yù)測患者在住院治療過程中是否發(fā)生AKI從而輔助醫(yī)生及時調(diào)整診療方案，實驗評價引入三個評價指標(biāo)，準(zhǔn)確率（Precision）、召回率（Recall）和訓(xùn)練時間，如公式（27）、（28）所示：

根據(jù)表1實驗結(jié)果，在準(zhǔn)確率方面，Logistic回歸、隨機森林和BP神經(jīng)網(wǎng)絡(luò)因其沒有考慮到患者在治療過程中生理指標(biāo)的漸變信息，無法在長時間住院過程中充分利用檢查數(shù)據(jù)時間狀態(tài)上的關(guān)聯(lián)性，不具有提前預(yù)測的能力，對急重癥突變預(yù)警能力差。而以CNN和RNN為代表的深度學(xué)習(xí)模型在準(zhǔn)確率上有了較大的提升，相比上述統(tǒng)計模型在準(zhǔn)確率上提高了8～10個百分點，這體現(xiàn)了基于深度學(xué)習(xí)對復(fù)雜時序信息的捕捉能力，然而由于患者在住院過程中產(chǎn)生的數(shù)據(jù)量多，“無意義”的正常數(shù)據(jù)占比大，導(dǎo)致輸入模型數(shù)據(jù)集噪聲大而影響了預(yù)測結(jié)果的精準(zhǔn)度?；贗HAN的層次注意力神經(jīng)網(wǎng)絡(luò)解決了上述問題，同時準(zhǔn)確率相比之下提升了12～13個百分點。運行效率上，IHAN+LSTM因其計算的復(fù)雜性導(dǎo)致訓(xùn)練時間較長，在實驗環(huán)境下訓(xùn)練時間達到了29.50 min，而LSTM+GRU相對模型較簡單，訓(xùn)練時間也達到了25.25 min。

表1 IHAN預(yù)測結(jié)果

綜上所述，IHAN模型與Logistic回歸、隨機森林、卷積神經(jīng)網(wǎng)絡(luò)、LSTM等神經(jīng)網(wǎng)絡(luò)相比在預(yù)測中表現(xiàn)良好，但是訓(xùn)練時間相對較長，與預(yù)計效果基本符合。因此所提模型能夠在患者住院過程中一定程度地提前預(yù)測可能所伴隨的急性腎損傷，提醒醫(yī)生調(diào)整治療方案，從而達到醫(yī)療輔助決策的作用。

4.2 可解釋性分析

實驗評估了IHAN在預(yù)測AKI任務(wù)中的事后可解釋性，即根據(jù)2.2節(jié)中各風(fēng)險因素在不同時段的αi,t、βi的分布修改輸入序列vi,t，或直接改變?nèi)我猞羒,t、βi觀察y1,y2,…,yt結(jié)果的變化，并對訓(xùn)練參數(shù)進行可視化。方法是從測試集中選擇一名發(fā)生疾病的患者，咨詢醫(yī)生及問詢診療過程并計算輸入的各項序列對于診斷預(yù)測的貢獻值進行比對。圖5為冠狀動脈粥樣硬化性心臟病患者在住院治療過程中，不同風(fēng)險因素的注意力權(quán)重β隨時間變化的分布情況和產(chǎn)生AKI的概率，其中Y軸表示疾病的各項風(fēng)險因素，X軸表示入院時間和某時刻的患病概率（T0d：47.30%表示在0天時產(chǎn)生AKI的概率為47.30%），Z軸表示不同風(fēng)險因素隨著時間變化時注意力權(quán)重β。入院T0d至T2d時間段內(nèi)各項生理指標(biāo)權(quán)重較為平穩(wěn)（由于篇幅所限，圖中[T0d,T2d]為平穩(wěn)期，實際為13 d），[T2d,T3.2d]血壓（BP）、心率（HR）影響比重逐漸上升，[T3.2d,T3.8d]時刻SCr和GFR緊隨升高，并在T3.5d時刻提前預(yù)警，T3.8d患者達到AKI的診斷標(biāo)準(zhǔn)。通過醫(yī)生調(diào)閱病程記錄得出，[T0d,T2d]為入院手術(shù)前準(zhǔn)備時期。隨后于T2d完成冠狀動脈旁路移植術(shù)后發(fā)生心力衰竭對應(yīng)[T2d,T3.2d]時段，[T3.2d,T3.8d]即為由心力衰竭產(chǎn)生的AKI癥狀。

圖5 β隨時間變化的分布情況和產(chǎn)生AKI的概率

為了探究模型的解釋能力，圖6～圖9顯示了IHAN在人為改變輸入序列數(shù)值以及訓(xùn)練權(quán)重參數(shù)時，輸出結(jié)果的變化，X軸表示在治療過程中的患病概率，Y軸表示疾病的風(fēng)險因素隨時間變化的權(quán)重β，圖6表示原始結(jié)果作為對照組。圖7中實驗首先在T2d改變SCr和GFR的輸入序列為正常均值，相比于原結(jié)果βSCr、βGFR降低11～13個百分點，T3.8d時刻輸出產(chǎn)生疾病的可能性為58.32%（Average），這說明了Attention的權(quán)重高低與其對應(yīng)位置信息的重要程度正相關(guān)。圖8令βSCr=βGFR=0則T3.8d結(jié)果為40.19%（Reset 0），患病概率相對于對照組可能性降低45.77個百分點。這說明SCr和GFR是AKI產(chǎn)生的關(guān)鍵因素，符合醫(yī)學(xué)對該疾病診斷的定義，同時可得高權(quán)重的輸入單元對輸出結(jié)果有決定性作用。圖9中實驗對輸入序列進行翻轉(zhuǎn)（Reverse），結(jié)果顯示在開始階段患病幾率高達86.33%，SCr和GFR仍然對輸出結(jié)果影響較大，這是由于逆序輸入使SCr和GFR直接導(dǎo)致了疾病的產(chǎn)生，而非其他因素漸進變化引起結(jié)果的改變，同時證明了IHAN相對于易解釋模型（LR/DT逆序結(jié)果不變）時間序列處理能力。

圖7 IHAN預(yù)測結(jié)果（Average：58.32%）

圖8 IHAN預(yù)測結(jié)果（Reset0：40.19%）

圖9 IHAN預(yù)測結(jié)果（Reverse：86.33%）

5 結(jié)語

本文提出了一種基于可解釋的層次注意力神經(jīng)網(wǎng)絡(luò)算法用于急重癥突變預(yù)測，利用分層注意力將大量床旁醫(yī)學(xué)數(shù)據(jù)劃分成時間和風(fēng)險因素兩個維度，采用擦除重置的方法對算法的可解釋性進行建模。該模型在保留RNN預(yù)測時序數(shù)據(jù)能力的同時，更加容易讓醫(yī)生理解不同疾病在不同時間致病的關(guān)鍵風(fēng)險因素，而且對HAN的輸出層根據(jù)不同患者的靜態(tài)統(tǒng)計信息合并優(yōu)化，有效地提高了預(yù)測的準(zhǔn)確率。實驗在大量數(shù)據(jù)集上進行了對比實驗，并對模型的可解釋性進行驗證，結(jié)果表明注意力權(quán)重能夠代表患者在醫(yī)療過程中的致病因素，較好地起到臨床輔助決策的作用，并為實際臨床技術(shù)轉(zhuǎn)化具有重要的應(yīng)用意義。在以后的工作中，將在不同病種的數(shù)據(jù)集上進行評估，添加例如非結(jié)構(gòu)化的病歷文本等不同類型的實驗數(shù)據(jù)進一步優(yōu)化模型結(jié)構(gòu)，進行更加高效的預(yù)測。