基于Doc2Vec和BiLSTM的老年患者疾病預(yù)測研究*

藏潤強(qiáng)，左美云，郭鑫鑫

(中國人民大學(xué)信息學(xué)院智慧養(yǎng)老研究所,北京 100872)

1 引言

人體是一個各系統(tǒng)相互關(guān)聯(lián)、協(xié)同運作的有機(jī)整體，疾病的侵入可以導(dǎo)致人體部分機(jī)能和生理體征發(fā)生復(fù)雜的關(guān)聯(lián)變化，并且可能導(dǎo)致身體其他部位發(fā)生病變。老年人身體健康水平逐年降低，常常身患多種疾病。由于某些疾病的臨床表現(xiàn)有著相似或相同的癥狀，導(dǎo)致醫(yī)生確診一種疾病后，忽視了相關(guān)疾病的識別。另一方面，疾病之間有一定的時序相關(guān)性，某些疾病隨著時間的發(fā)展，可能會衍生出新的疾病。因此，研究疾病之間的關(guān)聯(lián)性，可以在發(fā)現(xiàn)老年患者患有某種疾病時，預(yù)測可能引發(fā)其他疾病的風(fēng)險，制定預(yù)防措施，以減少疾病風(fēng)險對患者的影響[1]。

以前的許多疾病預(yù)測工作都是采用基于規(guī)則的方法，需要人工對疾病特征[2]進(jìn)行診斷。后來，一些研究人員使用數(shù)據(jù)挖掘方法[3]自動地從臨床記錄中學(xué)習(xí)特征，為不同的疾病預(yù)測任務(wù)提供更好的結(jié)果。有些學(xué)者對冠心病、皮膚病、帕金森綜合癥和糖尿病等疾病的預(yù)測進(jìn)行了基于數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)方法[4 - 6]的研究，達(dá)到了較好的預(yù)測精確度。

有的學(xué)者對多種疾病記錄進(jìn)行序列化處理，用于跟蹤每位病人的個性化疾病預(yù)防方案。例如，F(xiàn)arhan等人[7]使用word2vec將疾病序列轉(zhuǎn)換成語義向量，通過分析這些向量可以計算疾病之間的關(guān)聯(lián)程度，成功估計了病人潛在的患病風(fēng)險。可以用類似語義的向量說明疾病之間的關(guān)聯(lián)關(guān)系，除了word2vec可以處理序列信息，還有傳統(tǒng)的計算詞語共現(xiàn)頻數(shù)模型，如隱含狄利克雷分布LDA(Latent Dirichlet Allocation)和潛在語義分析LSA(Latent Semantic Analysis)等，但是這些模型忽略了詞的順序和詞的語義問題。Baroni等人[8]證實word2vec模型優(yōu)于傳統(tǒng)的詞語共現(xiàn)計數(shù)模型。Le等人[9]在word2vec基礎(chǔ)上提出Doc2Vec模型，該模型在word2vec的基礎(chǔ)上融入段落向量特征，實驗證明該模型不僅優(yōu)于傳統(tǒng)的詞語共現(xiàn)計數(shù)模型，而且還具有比word2vec更優(yōu)秀的文本語義特征處理能力。

對于時間序列數(shù)據(jù)的處理還可以使用深度學(xué)習(xí)方法，Manashty等人[10]將疾病數(shù)據(jù)表示為一個適用于長短時記憶LSTM(Long Short-Term Memory)模型訓(xùn)練的固定長度時間序列，解決了無法處理變長稀疏的長時序序列問題。Tourille等人[11]利用雙向長短時記憶BiLSTM(Bi-directional Long Short-Term Memory)模型抽取歷史診斷記錄的時序關(guān)系，實驗結(jié)果表明該模型能夠有效學(xué)習(xí)過去和將來的語義信息。

以前的研究多數(shù)是根據(jù)患者電子病歷EMR(Electronic Medical Record)中的病狀預(yù)測疾病(例如病人的病狀為“微咳痰多，呼吸急促等”，根據(jù)該病狀預(yù)測病人可能會患“寒哮證”疾病)[12]，對疾病之間的相關(guān)性預(yù)測較少。因此，本文引入了一種新的電子病歷表示法，該表示法考慮了醫(yī)療疾病的上下文感知信息，以Doc2Vec生成的詞向量為基礎(chǔ)，引入BiLSTM神經(jīng)網(wǎng)絡(luò)，提出一種基于Doc2Vec向量表示的BiLSTM疾病預(yù)測Doc2Vec-BiLSTM模型。該模型不僅能夠提升疾病預(yù)測性能，還可以捕捉到疾病序列中更深層次的語義信息。首先，本文利用Doc2Vec在數(shù)據(jù)集上訓(xùn)練一個神經(jīng)網(wǎng)絡(luò)，將每個中心詞及其上下文關(guān)系映射到一個矢量空間，進(jìn)而提取每個醫(yī)療疾病的語義。通過計算語義相似性(通過嵌入向量空間中的余弦距離計算)可以反映上下文關(guān)聯(lián)程度(例如，具有高度相似性的詞語a和b傾向于出現(xiàn)在相同的上下文中)。其次，本文將BiLSTM模型中的每個神經(jīng)元設(shè)置為雙向LSTM，隱藏層的單元都會影響到相鄰的隱藏單元，這種方法有助于模型更加準(zhǔn)確地學(xué)習(xí)疾病的高級語義特征。最后在真實的醫(yī)院數(shù)據(jù)集上評估本文模型，并對比多種數(shù)據(jù)挖掘模型[13]：邏輯回歸LR(Logistics Regression)、決策樹DT(Decision Tree)、K-近鄰KNN(K-Nearest Neighbor)、卷積神經(jīng)網(wǎng)絡(luò)CNN(Convolutional Neural Networks)、隨機(jī)森林RF(Random Forest)、支持向量機(jī)SVM(Support Vector Machine)和LSTM模型[14]。通過接收者操作特征曲線ROC(Receiver Operating Characteristic curve)對模型進(jìn)行評估，對上述常用數(shù)據(jù)挖掘模型的疾病預(yù)測性能進(jìn)行綜合比較。

2 基于上下文和時間序列的疾病預(yù)測研究

本文在深入調(diào)查理解醫(yī)療數(shù)據(jù)的基礎(chǔ)上，提出了針對老年人易發(fā)關(guān)聯(lián)疾病的預(yù)測模型。該模型從老年患者的病歷入手，將數(shù)據(jù)挖掘方法應(yīng)用在病人的歷史診斷記錄上并做出疾病預(yù)測，并將預(yù)測結(jié)果與醫(yī)生的實際診斷結(jié)果的對比作為預(yù)測性能的驗證。預(yù)測模型框架如圖1所示。

Figure 1 Framework of disease prediction model圖1 疾病預(yù)測模型框架

在學(xué)習(xí)階段，首先從電子病歷EMR數(shù)據(jù)集中學(xué)習(xí)疾病診斷的結(jié)果，按診斷時間順序?qū)⒉∪怂胁煌娜朐涸\斷結(jié)果拼接起來形成疾病序列。然后計算每種疾病在EMR中的頻數(shù)。為了避免數(shù)據(jù)不平衡問題而導(dǎo)致預(yù)測出罕見疾病，本文篩選出頻數(shù)排在前面的20種疾病(即圖1中的疾病選擇)，并將它們用作樣本的多標(biāo)簽分類，每個病人序列包含多個診斷標(biāo)簽。多標(biāo)簽分類的目的是驗證模型的泛化能力，保證模型盡量多地預(yù)測多種疾病，而不是單一的疾病。

在預(yù)測階段，使用Doc2Vec將訓(xùn)練階段的疾病診斷結(jié)果轉(zhuǎn)換成醫(yī)療疾病向量，并將老年患者的醫(yī)療診斷記錄映射到相應(yīng)的醫(yī)療疾病向量。本文通過拼接的方法生成患者的組合向量，這個向量代表患者所有疾病的結(jié)果。最后將學(xué)習(xí)階段的疾病多標(biāo)簽分類結(jié)果和預(yù)測階段的病人向量拼接起來，放入構(gòu)建的各種疾病預(yù)測模型中，進(jìn)而分析對比每個模型的性能。

2.1 模型框架

本文模型的總體框架如圖2所示。(1)將每位病人的歷史疾病信息按照時間順序進(jìn)行排列。(2)將所有疾病序列輸入到Doc2Vec模型中，生成相對應(yīng)的詞向量(Word Embedding)。(3)使用BiLSTM處理詞向量，輸出每一種疾病的預(yù)測概率。

Figure 2 Framework of Doc2Vec-BiLSTM model圖2 Doc2Vec-BiLSTM模型框架

2.2 疾病時間序列結(jié)構(gòu)

疾病時間序列結(jié)構(gòu)由所在歷史記錄中的疾病和疾病的上下文組成，這里“上下文”是針對老年患者的EMR中每個醫(yī)療疾病診斷結(jié)果定義的。醫(yī)療疾病A的上下文是指在老年患者EMR主體內(nèi)發(fā)生在疾病A之前和之后的醫(yī)療診斷結(jié)果。對于每位老年患者，可以根據(jù)其病歷記錄中記載的時間順序?qū)⑵銭MR中的所有醫(yī)療疾病串聯(lián)起來。因此，時間軸中特定醫(yī)療疾病的上下文與自然語言文本中詞語的上下文相似。按時間軸生成的疾病序列如圖3所示。

Figure 3 Disease sequence based on time axis圖3 基于時間軸的疾病序列

在圖3中，以一位病人的所有歷史診斷記錄為例，將早期入院診斷的結(jié)果作為歷史的疾病序列，這個序列作為訓(xùn)練集，近期入院的診斷結(jié)果用于預(yù)測窗口的測試集。

2.3 上下文嵌入

Doc2Vec是一種可以處理可變長度文本的模型，Doc2Vec包含段落向量的分布式存儲模型PV-DM(Distributed Memory model of Paragraph Vectors)和段落向量的分布式詞袋模型PV-DBOW(Distributed Bag Of Words version of Paragraph Vector)。因為本文的目的是通過歷史疾病序列預(yù)測潛在疾病的風(fēng)險，所以，本文選用PV-DM模型。如圖4所示，該模型利用3層神經(jīng)網(wǎng)絡(luò)對段落(句子)進(jìn)行建模，即利用段落和段落中詞的上下文信息預(yù)測該詞，其中，上下文信息是按照固定的滑動窗口在段落上逐步進(jìn)行采樣獲得。

Figure 4 PV-DM model圖4 PV-DM模型

在PV-DM模型訓(xùn)練過程中，將所有段落和段落中每個詞初始化為獨熱One-Hot編碼向量。對段落向量與該段落的每個詞向量求和，并將其作為投影層輸入。最后，輸出層的神經(jīng)元使用Softmax函數(shù)，使得輸出結(jié)果是一些具有概率分布的浮點值。整個過程的段落向量和詞向量由隨機(jī)梯度下降方法共同進(jìn)行訓(xùn)練，其中段落向量是唯一的，可以將段落向量視為一個單詞，它可以記憶當(dāng)前上下文中缺少的內(nèi)容，而詞向量是共享的。經(jīng)過訓(xùn)練之后可以獲得段落和詞的最優(yōu)向量。

以文本段落中序列“w1,w2,…,wT={高血壓，下肢靜脈曲張，行走困難，腦血管病，下肢腫脹，重度骨關(guān)節(jié)炎，…，胸痛}”為例，T為序列長度，在訓(xùn)練過程中，文本段落的ID保持不變，由段落矩陣D中的Db表示，該段落中的每個詞共享同一個段落向量。而每個詞語也被One-Hot編碼映射為一個獨立的向量，本文使用矩陣M中的Mi來表示，Mi代表著這個詞在詞典中的位置。對段落向量和上下文中的詞向量求和得到一個矩陣，用來預(yù)測上下文中下一個詞的詞向量特征。PV-DM模型[10]的目標(biāo)是在給定上下文(假設(shè)窗口距離k=1，以序列中wt為腦血管病為例，其上文對應(yīng)wt-1行走困難，下文對應(yīng)wt+1下肢腫脹)和段落向量的條件下預(yù)測中心詞(腦血管病)最大平均似然估計：

(1)

本文模型的預(yù)測任務(wù)由Softmax函數(shù)完成：

(2)

其中，yi表示輸出詞i的非標(biāo)準(zhǔn)化對數(shù)概率，其計算如下所示：

y=a+Uh(wt-k,…,wt+kDb;M+D)

(3)

其中，U和a是Softmax的參數(shù)，h是由D中提取的段落向量和M中提取的詞向量求和構(gòu)造的。段落向量和詞向量使用隨機(jī)梯度下降方法訓(xùn)練，這個梯度由反向傳播BP(Back Propagation)算法獲得。每一步隨機(jī)梯度下降獲得上下文信息，都是從一個隨機(jī)的段落里進(jìn)行采樣得到的，通過PV-DM模型計算梯度誤差并且使用該梯度更新模型中的參數(shù)。經(jīng)過訓(xùn)練之后，解決了序列中詞序和詞之間的關(guān)聯(lián)問題，具有關(guān)聯(lián)的詞會被映射到向量空間中相似的位置上，這樣就可以把這些特征向量直接用到數(shù)據(jù)挖掘算法中進(jìn)行預(yù)測。

2.4 BiLSTM模型

LSTM是一種循環(huán)神經(jīng)網(wǎng)絡(luò)RNN(Recurrent Neural Networks)，模型結(jié)構(gòu)如圖5所示，它是在RNN的基礎(chǔ)上加入“門控”來處理信息的傳遞。符合規(guī)則的信息會被留下，不符合規(guī)則的信息會被遺忘，有效解決了RNN的梯度消失或梯度爆炸問題[15]。LSTM的優(yōu)點是可以捕獲序列數(shù)據(jù)中的長期依賴關(guān)系，適合用于處理與時間序列高度相關(guān)的問題。

Figure 5 LSTM model structure圖5 LSTM模型結(jié)構(gòu)

以2.3節(jié)中使用Doc2Vec生成的疾病向量序列X={x1,x2,x3,…,xn}中的元素作為輸入，輸出向量由H={h1,h2,h3,…,hn}中的元素表示，對應(yīng)輸入中每一步序列的一些信息。ct為LSTM的記憶細(xì)胞狀態(tài)，記錄著不同時刻記憶單元的值，LSTM通過3個門結(jié)構(gòu)來控制信息的通過，包括去除或者增加信息到記憶細(xì)胞，從輸入到輸出的過程如式(4)～式(9)所示：

ft=σ(Wxfxt+Whfht-1+Wcfct-1+bf)

(4)

it=σ(Wxixt+Whiht-1+Wcict-1+bi)

(5)

(6)

(7)

ot=σ(Wxoxt+Whoht-1+Wcoct+bo)

(8)

ht=ot⊙tanh(ct)

(9)

其中，σ(·)表示通過Sigmoid函數(shù)生成[0,1]的數(shù)值，⊙表示2個矩陣對應(yīng)元素各自相乘。W為初始化權(quán)重矩陣，b為偏差。ft、it和ot分別為LSTM的遺忘門、輸入門和輸出門。

遺忘門ft將xt和ht-1作為輸入，經(jīng)過Sigmoid函數(shù)后，輸出值在0～1，對應(yīng)著舊信息ct-1的通過率。

輸出門ot控制著輸出信息，該門通過xt和ht-1共同決定從當(dāng)前狀態(tài)中可以輸出多少信息，記憶細(xì)胞狀態(tài)ct通過tanh函數(shù)得到-1～1的值，該值乘以ot作為當(dāng)前時刻的輸出值ht。

(10)

(11)

(12)

3 實驗和結(jié)果分析

3.1 數(shù)據(jù)集

從某三甲醫(yī)院電子病歷數(shù)據(jù)庫中獲得了2016年11月～2018年3月期間311 429名60歲以上老年患者脫敏后的相關(guān)診斷數(shù)據(jù)。該數(shù)據(jù)包括有關(guān)患者的詳細(xì)信息，如人口基本信息、入院、診斷結(jié)果和交費等信息，一共1 024 712條數(shù)據(jù)。首先對數(shù)據(jù)進(jìn)行去重和對接，然后刪除大量僅有一種疾病的老年患者記錄。為了探索疾病序列，最后留下患有2種以上疾病的患者40 999名，其中61%的老人患有2～6種疾病，平均每位老人患病8.9種，各年齡段的老人患病數(shù)量如圖6所示。

Figure 6 Number of diseases in elderly people at different ages圖6 不同年齡的老人患病數(shù)量

3.2 基線

為了確定哪個數(shù)據(jù)挖掘模型預(yù)測效果更好，本文將Doc2Vec-BiLSTM模型與其他多種數(shù)據(jù)挖掘模型進(jìn)行對比分析，如LR、DT、RF、KNN、SVM、CNN和LSTM模型。首先，將醫(yī)療疾病轉(zhuǎn)換為One-Hot表示向量；然后，將疾病向量作為輸入特征，輸出為多標(biāo)簽分類；最后對20種常見疾病使用8種模型進(jìn)行對比分析。

實驗將Doc2Vec與8種模型分別組合進(jìn)行預(yù)測，其中Doc2Vec采用以下參數(shù)：根據(jù)圖6所示，平均每位老人患病8.9種，疾病序列較短，所以滑動窗口不宜設(shè)置過大，窗口過大容易導(dǎo)致無法關(guān)注序列的局部信息，窗口過小無法學(xué)習(xí)序列的全局信息，經(jīng)實驗驗證，滑動窗口大小設(shè)為5，詞向量維度為100最為適宜，8種模型的參數(shù)均為默認(rèn)參數(shù)。

3.3 評價標(biāo)準(zhǔn)

為了評價模型的好壞，需要使用評估函數(shù)。本文采用通用的評價標(biāo)準(zhǔn)對實驗結(jié)果進(jìn)行評估：準(zhǔn)確率Acc(Accuracy)[17]、ROC和ROC曲線下的面積AUC(Area Under Curve)[18]、F1值(F1 Score)[19]和p值(p-value)。準(zhǔn)確率指所有預(yù)測正確的樣本(包括正類和負(fù)類)占總體樣本的比重；ROC是反映敏感性和特異性連續(xù)變量的綜合指標(biāo)；ROC曲線下的面積為AUC值，其值越大表示分類器性能越好；F1值準(zhǔn)確率和召回率的調(diào)和均值；p值衡量模型之間的性能差異程度，當(dāng)p值小于0.05時，表明模型與模型之間的性能有顯著性差異，當(dāng)p值小于0.01時，表明模型與模型之間的性能有極其顯著的差異。

3.4 性能比較

實驗包括對老年患者的20種常見疾病的預(yù)測，本文構(gòu)建了一個多標(biāo)簽分類問題。在這個問題中，每位患者序列都可以標(biāo)記多個診斷。只有當(dāng)某個特定的診斷在醫(yī)院確診時(即預(yù)測窗口)，患者才會被貼上標(biāo)簽。8種模型在對20種常見疾病的平均預(yù)測性能如表1所示，表1中訓(xùn)練時間和測試時間分為在GPU和CPU上的運行結(jié)果，括號前數(shù)字為模型在CPU上的運行時間，括號內(nèi)數(shù)字為模型在GPU上的運行時間。

Table 1 Performance comparison of different models表1 不同模型的性能比較

從表1可以看出，BiLSTM性能比單向 LSTM 更優(yōu)。雖然BiLSTM比LSTM多了一個反向傳播的隱藏層處理過程，但是模型的訓(xùn)練和測試時間相比LSTM增加不多，而且BiLSTM可以考慮更多的上下文關(guān)系，而不是僅僅遞進(jìn)的前向關(guān)系。另外，在檢驗水平α=0.05下，BiLSTM與其他模型做差異性檢驗，得出p值均小于0.05，可知，BiLSTM模型的預(yù)測性能相對于其他模型具有明顯優(yōu)勢。由此可知，Doc2Vec和BiLSTM的組合在所有組合中性能最好。

圖7所示為BiLSTM模型在前8種疾病預(yù)測上的ROC曲線。其中，最高的AUC是重度骨關(guān)節(jié)炎,為0.96，最低的AUC是高血壓,為0.86，不同疾病之間的AUC波動較小且ROC曲線都遠(yuǎn)離橫縱軸對角線，說明BiLSTM模型的準(zhǔn)確率高。

Figure 7 ROC curve of BiLSTM model圖7 BiLSTM模型的ROC曲線

Figure 8 Prediction performance of 20 common diseases in elderly patients(AUC)圖8 老年患者常見的20種疾病預(yù)測性能(AUC)

如表1所示，SVM具有較好的預(yù)測性能(AUC=0.91，Acc=86.49%，F(xiàn)1=80.42%)，與除BiLSTM外的其他方法相比具有更高的準(zhǔn)確率、AUC值和F1值。但是，SVM模型的訓(xùn)練時間和測試時間均比其他模型時間更長，其對一種疾病進(jìn)行預(yù)測大約需要8 s，無法適用于處理實時數(shù)據(jù)的任務(wù)，而耗時最少的邏輯回歸模型LR只需要0.02 s，但是其F1值比BiLSTM的低很多。

CNN的AUC為0.89，模型的預(yù)測性能接近SVM，比除SVM外的其他傳統(tǒng)機(jī)器學(xué)習(xí)方法好很多，這樣的結(jié)果可能得益于深度學(xué)習(xí)方法更適合處理具有時序性的數(shù)據(jù)。隨機(jī)森林由多棵決策樹構(gòu)成，利用多棵決策樹的平均結(jié)果進(jìn)行預(yù)測，這樣可以降低采樣造成的偏差，所以其AUC值、準(zhǔn)確率和F1值都要比決策樹好(隨機(jī)森林的AUC為0.84，決策樹的AUC為0.80)。但是，決策樹的優(yōu)點是可以用層級樹狀圖展示出疾病之間的關(guān)系。然而，樹的深度越深，解釋起來就越困難，過度擬合的風(fēng)險也隨之增加。

邏輯回歸模型作為傳統(tǒng)的統(tǒng)計學(xué)方法，具有模型簡單且可以解釋變量的優(yōu)點，因此作為本文實驗的基準(zhǔn)線，在本文實驗的整體評估結(jié)果中表現(xiàn)良好(其平均AUC值為0.86)。KNN模型的預(yù)測效果相對于其他模型表現(xiàn)較差(AUC=0.74，Acc=82.17%和F1=45.57%)，模型測試時間為238.3 s。而當(dāng)把模型參數(shù)n_jobs設(shè)置為-1時，KNN開始在多核CPU上運行，測試時間為46.84 s，速度快了近5倍，不過耗時仍然較長。8種模型對20種疾病預(yù)測的AUC值如圖8所示。

由圖8可知，在大多數(shù)情況下，無論采用哪種預(yù)測模型，AUC值都達(dá)到了0.72以上?？梢娛褂肈oc2Vec提取的特征向量包含豐富的文本語義信息，原因在于：從數(shù)據(jù)角度，本文研究的是老年病人患病的情況，每條數(shù)據(jù)內(nèi)容較短，故本文利用字級別的文本向量表示方法可以提取到疾病之間更加細(xì)粒度的關(guān)聯(lián)信息；從技術(shù)角度，Doc2Vec不是計算頻繁出現(xiàn)或共同出現(xiàn)詞的頻數(shù)去度量疾病之間的關(guān)聯(lián)程度，而是通過逐步采樣上下文信息來度量詞與詞之間的關(guān)聯(lián)，而且還考慮了詞語之間的排列順序?qū)φZ義分析的影響。

4 結(jié)束語

人體疾病通常是有關(guān)聯(lián)的。本文利用Doc2Vec模型提取出老年人前期疾病的語義信息作為特征向量，并結(jié)合BiLSTM建立后續(xù)疾病的預(yù)測模型，最后通過實驗驗證了Doc2Vec-BiLSTM模型在疾病預(yù)測中的有效性，同時分析對比了不同的數(shù)據(jù)挖掘算法在疾病預(yù)測方面的性能。

本文是自然語言處理在智慧醫(yī)療方面的一個重要應(yīng)用，今后將進(jìn)一步考慮融入更多的老年人特征來提升預(yù)測準(zhǔn)確率，準(zhǔn)確地判斷哪些老年病會關(guān)聯(lián)在一起，為醫(yī)生診治疾病提供決策支持，同時也為老人疾病預(yù)警提供有效的幫助。