基于深度學習的中醫(yī)古文獻臨床經(jīng)驗抽取

盧永美， 卜令梅， 陳 黎， 于中華， 張婷婷， 葉 瑩

(1. 四川大學計算機學院， 成都610065；2. 成都中醫(yī)藥大學醫(yī)學信息工程學院， 成都610075；3. 成都中醫(yī)藥大學基礎醫(yī)學院， 成都610075)

中醫(yī)古文獻包含了幾千年來中醫(yī)從業(yè)者在臨床診療中的經(jīng)驗性總結(jié).這些經(jīng)驗總結(jié)是中醫(yī)知識的重要組成部分，對現(xiàn)在的中醫(yī)臨床實踐有著重要的指導價值.如圖1所示，臨床經(jīng)驗描述了疾病的癥狀、用藥以及煎服方法等信息，它為現(xiàn)代中醫(yī)進行各種疾病的臨床診斷和治療提供了大量參考.甚至2015年諾貝爾醫(yī)學獎獲得者屠呦呦也是受到了東晉葛洪的《肘后備急方》一書中“青蒿一握，以水二升漬，絞取汁，盡服之”的啟發(fā)，成功提取出青蒿素并研制出抗瘧新藥.

圖1 臨床經(jīng)驗實例Fig.1 An example of clinical experience

然而，醫(yī)學工作者從海量的古文獻中手工篩選所需要的臨床經(jīng)驗耗時耗力.據(jù)不完全統(tǒng)計，目前有10 000多種中醫(yī)古文獻，其中有37 000多種版本[1].此外，古文獻使用的古漢語和現(xiàn)代漢語的語言風格差異很大，如文獻中常會出現(xiàn)通假字、古今字等一字多用，“中風”等一詞多義和“妊，娠，孕，胎”等多詞一義的現(xiàn)象.雖然現(xiàn)有一些檢索工具，如《中華醫(yī)典》，能夠輔助醫(yī)生從古文獻中檢索臨床經(jīng)驗，但是基于字面相似性的全文檢索系統(tǒng)依舊存在檢索結(jié)果噪聲大、檢索性能不好等問題.因此，這些挑戰(zhàn)嚴重阻礙了研究者從古文獻中獲取臨床治療經(jīng)驗.古文獻對現(xiàn)代中醫(yī)研究和臨床實踐的重要性人們早就認識到了，但直到最近，一些研究者才開始利用文本挖掘和信息抽取技術對古文獻進行分析處理，如術語規(guī)范[2]、方藥配伍[3]、醫(yī)案分類[4,5]和知識圖譜構(gòu)建[6]等.

據(jù)我們所知，目前還沒有從中醫(yī)古文獻中自動抽取臨床經(jīng)驗的相關研究及檢索工具，而這樣的研究成果對輔助中醫(yī)臨床診斷以及中醫(yī)的理論研究起著積極的促進作用.因此，本文提出從古文獻中自動抽取臨床經(jīng)驗文本片段的任務.古文獻臨床經(jīng)驗的自動抽取能為中醫(yī)領域下游的研究(如方劑溯源，癥狀名演變等)提供重要的數(shù)據(jù)支撐.

本文把從古文獻中抽取臨床經(jīng)驗(Extraction of Clinical Experiences，ECE)的任務歸結(jié)為序列標注問題，為了驗證ECE任務，本文手工構(gòu)建了數(shù)據(jù)集，并提出一個序列到序列的深度學習模型.首先，模型使用卷積神經(jīng)網(wǎng)絡(Convolutional Neural Network，CNN)學習句子中字的n元組的表示，然后通過最大池化聚合形成句子表示.然后，進一步地利用一個雙向長短時記憶網(wǎng)絡(Bi-directional Long Short-Term Memory，Bi-SLTM)來聚合句子上下文的特征，從而輸出的句子嵌入表達不僅攜帶了當前句子的信息，也包含了句子間的前后文信息.此外，考慮到標簽之間存在的關聯(lián)性，模型利用條件隨機場(Conditional Random Field，CRF)[7]輸出優(yōu)化后的標簽序列.

近年來，使用詞嵌入的深度學習方法在處理文本方面非常流行.然而，由于文本中詞的偏態(tài)分布，基于深度學習的方法總是受到未登錄詞 (Out-Of-Vocabulary，OOV) 的影響.為了克服OOV挑戰(zhàn)，研究者們提出使用子詞(sub-words)嵌入(對于中文來說是字嵌入)來提升文本任務的性能[5,8,9].此外，與處理現(xiàn)代漢語文本不同，處理古漢語文本面臨著分詞的困境，即由于字詞差異模糊而導致的分詞困難.因此，對于古漢語文本，使用字嵌入而不是詞嵌入更合理.因此，在本文模型中，一個句子被認為是由字序列組成，字是最小的處理單元而不是詞.

此外，由于臨床經(jīng)驗數(shù)據(jù)集手工標注工作量和時間耗費過于龐大，使得可以獲取的標注數(shù)據(jù)集規(guī)模有限.眾所周知，深度學習模型在小數(shù)據(jù)上容易出現(xiàn)過擬合現(xiàn)象.為了解決這個問題，本文引入對抗訓練(Adversarial Training，AT)[10]和虛擬對抗訓練(Virtual Adversarial Training，VAT)[11]兩種不同的方法來增強模型的泛化能力，并以此來進一步提高抽取性能.

本文在有限的臨床經(jīng)驗數(shù)據(jù)集上進行了一系列實驗，并從兩個角度驗證臨床經(jīng)驗的抽取性能：一是模型在句子級別的分類能力；另一個是模型抽取完整臨床經(jīng)驗文本片段的能力.本文的實驗結(jié)果表明，在對句子的標注性能可以達到78.53%的F1值和81.5%的準確率.臨床經(jīng)驗片段的抽取上，性能可以達到61.17%的精確率和51.14%的召回率.實驗結(jié)果證明了從古文獻中抽取臨床經(jīng)驗的任務是可行的，本文提出的模型對抽取任務是有效的.

本文的貢獻主要有以下4個方面：(1) 提出了古文獻的臨床經(jīng)驗自動抽取任務，并手工構(gòu)建了用于訓練和測試的臨床經(jīng)驗數(shù)據(jù)集；(2) 將臨床經(jīng)驗抽取任務轉(zhuǎn)換為序列標注問題，并提出一個基于深度學習的序列標注模型；(3) 針對數(shù)據(jù)集規(guī)模小的問題，引入對抗訓練和虛擬對抗訓練兩種方法來解決模型的泛化能力問題；(4) 在構(gòu)建的臨床經(jīng)驗數(shù)據(jù)集上進行了一系列實驗，從兩個角度驗證了抽取任務的可行性和本文模型的有效性.

2 相關工作

信息抽取(Information Extraction，IE)作為自然語言處理的基本任務之一，在醫(yī)學、材料和法律等各個研究領域得到廣泛研究.在醫(yī)學領域，IE常用于提取醫(yī)學文本(例如電子病歷)中的實體以及關系，來幫助構(gòu)建醫(yī)學知識圖譜，以輔助醫(yī)生進行醫(yī)學決策[12-14].隨著IE在醫(yī)學領域的廣泛研究，其也進入了中醫(yī)的視野.目前大多數(shù)的研究工作都以現(xiàn)代漢語書寫的結(jié)構(gòu)化或非結(jié)構(gòu)化文本為研究對象，如方藥配伍[15,16]、辨證論治[17]、知識圖譜構(gòu)建[18]和細粒度實體語料庫構(gòu)建[19]等.古文獻作為古中醫(yī)的文本載體，記載了豐富的中醫(yī)醫(yī)學信息，因此，對中醫(yī)古文獻的分析研究有利于發(fā)揮中醫(yī)的原始優(yōu)勢.

近幾年，利用機器學習技術對古文獻的挖掘和分析逐漸成為研究熱點.2014年，Weng等[2]利用隱馬爾可夫模型對古文獻中與脾有關的短語進行醫(yī)學術語識別，以此進行脾相關術語規(guī)范，并進一步開發(fā)了一套系統(tǒng)來支持與脾相關的中醫(yī)研究.2015年，聶佳等[3]利用關聯(lián)規(guī)則算法對巴蜀中醫(yī)古文獻中醫(yī)案進行數(shù)據(jù)挖掘與分析，擬在進一步探究巴蜀中醫(yī)學術流派的辨證施治、用藥規(guī)律等.2016和2019年，Yao等[4,5]提出了中醫(yī)古文獻醫(yī)案臨床分類的任務，分別使用了傳統(tǒng)的機器學習技術(例如SVM、MaxEnt等)與現(xiàn)下流行的BERT語言模型對古文獻中的醫(yī)案進行分類，且獲得不錯的性能.2019年，Zhou等[6]通過摘錄中醫(yī)學相關資料(包含中醫(yī)古文獻)中與疾病、癥狀、方劑和藥物等相關概念構(gòu)建了中醫(yī)藥知識圖譜，期望形成完善的知識服務體系.同年，Gao等[20]綜合調(diào)查了中醫(yī)古文獻研究進展，提到古文獻研究面臨著巨大的數(shù)據(jù)挑戰(zhàn)：大部分研究者手動收集、檢索和整理數(shù)據(jù)，這些數(shù)據(jù)通常會遺漏信息，以及寶貴的知識.

簡而言之，利用人工智能技術對中醫(yī)古文獻智能分析研究還處于起步階段.據(jù)我們所知，古文獻中的臨床經(jīng)驗的自動抽取研究還屬于空白.為了彌補這一空白，本文提出了一個新的中醫(yī)古文獻信息抽取任務，其中待提取的實體是文獻中存在的臨床經(jīng)驗，并進一步提出了一種基于深度學習的框架來解決此任務.

3 任務與模型

本節(jié)將會描述ECE任務并介紹本文提出的模型.針對任務的特點和挑戰(zhàn)，本文將ECE任務轉(zhuǎn)換成序列標注問題，并且提出了基于字符的序列到序列模型，同時考慮到標注數(shù)據(jù)集規(guī)模較少，在模型嘗試了不同的正則化方法來增強模型的泛化性能.

3.1 任務定義

古文獻具有一定的篇章結(jié)構(gòu)，可視為多個小節(jié)構(gòu)成的一個文檔.通常來說，臨床經(jīng)驗是由中醫(yī)古文獻小節(jié)中的幾個連續(xù)句子組成，并且?guī)缀鯖]有跨越章節(jié)之間的邊界.因此，本文模型的輸入以每一小節(jié)為單位，并采用了流行的BIO策略進行標注.

假設給定一節(jié)D=(S1,S2,…,Sl)由l個句子組成，其中每個句子Si=(c1,c2,…,cn)是由n個字組成.本文的任務是為輸入的D中每個句子Si確定唯一標簽yi∈{′B′，′I′，′O′}.

本文提出的ECE模型由兩層組成：句子編碼層和序列標注層，如圖2所示.首先將古文獻拆分為多個小節(jié)，每個小節(jié)D作為模型的輸入.句子編碼層對D中每個句子通過CNN來學習句子表達.然后將所獲得的D中所有句子的嵌入表達輸入到序列標注層，經(jīng)過Bi-LSTM為每個句子獲得更為豐富的上下文信息.最終經(jīng)過一個前饋神經(jīng)網(wǎng)絡與CRF優(yōu)化句子的標簽.

3.3 句子編碼層

每一篇古文獻按照篇章結(jié)構(gòu)被切分為多個小節(jié)，每一小節(jié)D由l個句子組成.句子編碼層的目標為小節(jié)D中的每個句子生成一個對應的句子表達.對于由n個字構(gòu)成的句子S，本文使用預訓練的bert-base-Chinese語言模型[21]對S中每個字進行初始化嵌入得到對應的字嵌入序列e=(e1,e2,…,en).本文使用CNN作為句子編碼器，它通過帶有卷積濾波器的層來提取字之間的局部依賴關系.具體來說，對于一個包含n個漢字句子S，可以表示為

(1)

(2)

其中，b是偏置項.注意本文使用了填充操作.所以對于卷積核g和長度為n的句子S，可通過式(3)獲得序列長度為n的N-gram向量表示.

(3)

最后，對于序列cg，本文使用最大池化得到句子編碼z.

3.4 序列標注層

D經(jīng)過句子編碼層可以獲得一個向量序列(z1,z2,…,zl)，其與句子序列一一對應.Bi-LSTM考慮了句子前后的上下文信息，可以捕獲長距離依賴關系和雙向語義信息.因此，為了進一步考慮小節(jié)D中句子之間的關系，本文使用Bi-LSTM作為編碼器.對于第i個句子的句子表達zi，Bi-LSTM通過拼接每個時刻前向和后向的隱藏表達獲取句子表達hi，如式(4)所示.

(4)

獲得最終的句子表達(h1,h2,…,hl)之后，將其作為輸入送入到前饋神經(jīng)網(wǎng)絡中來得到每個句子屬于每個標簽的概率分布，本文用ri來表示句子Si相應的概率向量.

(5)

然后，利用softmax將D的所有可能標簽序列Y的得分轉(zhuǎn)換為這些標簽序列的概率分布，如式(6)所示.

(6)

然后，使用維特比算法為D選擇最優(yōu)標簽序列y*，如式(7)所示.

(7)

本文通過使用最小化負log似然與L2正則損失進行聯(lián)合訓練，如公式(8)所示.其中ω表示所有模型參數(shù)，λ是超參數(shù).

(8)

3.5 對抗訓練和虛擬對抗訓練

深度學習模型容易在小數(shù)據(jù)上過擬合，正則化在深度學習中防止過擬合十分有效.本文將對抗訓練和虛擬對抗訓練作為一種有效的方法，訓練時在字嵌入上添加小擾動來正則化分類器，以此來增強本文提出的模型的泛化能力[10,11].然而，ECE模型可以學習大范數(shù)的嵌入，這使得小范數(shù)的對抗性擾動的影響變得微不足道[10].為了避免這種影響，本文對字嵌入進行歸一化，如式(9)～式(11)所示.

圖3 引入擾動的ECE句子編碼器

(9)

(10)

(11)

(12)

(13)

(14)

本文也使用了虛擬對抗來解決數(shù)據(jù)集規(guī)模小的問題.與對抗訓練不同，虛擬對抗訓練并不需訓練樣本的標簽真實分布，所以即使訓練樣本是沒有真實標記的樣本點，同樣可以加入訓練，因此VAT不但適用于有監(jiān)督學習，還適用于半監(jiān)督學習.對于虛擬對抗訓練，本文使用式(15)和式(16)計算虛擬對抗擾動dVAT，其中o是一個很小的隨機向量和KL[p||q]表示概率分布p和q之間的KL散度.虛擬對抗訓練的損失如式(17)所示計算，其中K′是句子數(shù)量.

(15)

(16)

(17)

在訓練時，ECE模型的總損失函數(shù)定義為

L=Lorigin+LA

(18)

訓練使用對抗損失時LA=ξ1LAT；使用虛擬對抗訓練時LA=ξ2LVAT；同時使用時LA=ξ1LAT+ξ2LVAT.其中ξ1和ξ2分別是控制對抗訓練損失和虛擬對抗訓練損失的超參數(shù).

4 實驗與結(jié)果

4.1 實驗數(shù)據(jù)

本文收集了368本中醫(yī)古籍(不包含醫(yī)案類)，對所有古籍按照章節(jié)結(jié)構(gòu)拆分，得到4萬多小節(jié).考慮到需要小節(jié)數(shù)據(jù)量龐大且全部人工標注費時費力，所以本文隨機抽取了1000節(jié)并邀請兩名中醫(yī)專家進行臨床經(jīng)驗標注.一個臨床經(jīng)驗主要包含疾病的癥狀和療法(方劑或藥物組成)，如圖1所示.對于標注不統(tǒng)一的情況，兩名專家再次進行協(xié)商討論，確定最后的標注結(jié)果.最終手工標注數(shù)據(jù)集統(tǒng)計結(jié)果如表1所示.

表1 實驗數(shù)據(jù)統(tǒng)計

本文按照8∶1∶1比例隨機劃分了訓練集、驗證集和測試集，采用了十折交叉驗證，并計算了95%的置信區(qū)間.我們從兩個不同的角度評價臨床經(jīng)驗抽取的有效性：一是句子的分類性能；另一個是完整臨床經(jīng)驗片段的抽取性能.對于分類性能，本文使用的評價指標包括精準率、召回率、F1值和準確率.對于抽取性能，本文使用預測的臨床經(jīng)驗的精準率，如式(19)、黃金標準的臨床經(jīng)驗的召回率，如式(20)和臨床經(jīng)驗的F1值，如式(21).值得注意的是只有當預測的臨床經(jīng)驗片段與黃金標準完全一致才認為是正確的臨床經(jīng)驗.

(19)

(20)

(21)

4.2 實 現(xiàn)

本文實現(xiàn)并對比分析了4個模型：(1) Baseline：句子編碼層編碼器為CNN，序列標注層編碼器為Bi-LSTM和CRF的模型；(2) Baseline-AT：在Baseline模型中加入對抗訓練，以增強模型的魯棒性.這是一種有監(jiān)督學習的方法；(3) Baseline-VAT：在Baseline模型中引入虛擬對抗訓練.由于計算損失時不需要訓練樣本的真實標簽信息，這是一種半監(jiān)督學習的方法；(4) Baseline-AT-VAT：在Baseline模型中同時引入AT和VAT.這是一種半監(jiān)督學習方法.

本文使用bert-base-Chinese(https://github.com/google-research/bert)初始化字嵌入，維度大小為768.CNN使用的卷積核大小分別為3、4和5，維度都是300維.Bi-LSTM正向和反向的維度都是150維.在訓練階段，本文利用Adam優(yōu)化器[22]學習模型參數(shù)，為了避免模型過擬合dropout設置為0.5.本文的學習率設置為0.0001，L2正則項的λ設置為0.0001，對抗訓練中εAT和εVAT分別設置為8和4，ξ1和ξ2分別設置為0.2和0.05.對于有監(jiān)督學習和半監(jiān)督學習，訓練集、驗證集和測試集使用的同等數(shù)據(jù)樣本；其中使用VAT部分時不使用訓練樣本的真實標簽信息.

4.3 句子分類結(jié)果分析

本文在臨床經(jīng)驗數(shù)據(jù)集上的句子分類結(jié)果如表2所示，Baseline模型在F1值和Acc上分別達到77%和79.7%，表現(xiàn)出不錯的分類效果.同時，引入對抗訓練或虛擬對抗訓練都顯著提高了模型的性能，在對抗訓練上提高了1.53%的F1值和1.8%的準確率.這樣的結(jié)果說明加入擾動能有效解決模型的泛化性能并進一步提升模型的性能.另一方面，同時加入對抗訓練和虛擬對抗訓練的Baseline-AT-VAT模型性能與Baseline-AT相比，F(xiàn)1值降低0.16%而準確率提升0.3%；與Baseline-VAT相比，F(xiàn)1和準確率明顯提升1.24%和1.4%.這進一步表現(xiàn)出引入對抗訓練比引入虛擬對抗訓練更有優(yōu)勢.

總體來看，引入對抗訓練獲得更佳的實驗結(jié)果.雖然單獨引入VAT帶來的改進并不優(yōu)于引入AT，但VAT的優(yōu)點是可以使用無標簽數(shù)據(jù)，這使得利用與有標簽數(shù)據(jù)來自同一來源的大量未標記數(shù)據(jù)能更好地泛化模型的可能性.

4.4 臨床經(jīng)驗抽取結(jié)果分析

為了分析ECE模型在抽取完整臨床經(jīng)驗的效果，本文在臨床經(jīng)驗數(shù)據(jù)集上計算并統(tǒng)計了實驗結(jié)果，如表3所示.

表2 句子分類實驗結(jié)果

表3 臨床經(jīng)驗文本片段抽取實驗結(jié)果

從表3實驗結(jié)果可以看出，Baseline-AT同樣獲得了最佳實驗結(jié)果，61.17%的PECE、51.14%的RECE和55.48%的F1ECE.將表2與表3進行比較，可以看到識別完整臨床經(jīng)驗的性能大幅下降，這體現(xiàn)了本文提出新的信息提取任務中的特殊困難.與其他信息提取任務中要提取的實體不同，本文要提取的臨床經(jīng)驗在古文獻中往往具有更大的跨度，而且在古文獻中，臨床經(jīng)驗總是稀疏出現(xiàn).所有這些現(xiàn)象使本文的框架不得不面對機器學習中未解決的三個挑戰(zhàn)，即數(shù)據(jù)分布偏斜、數(shù)據(jù)稀疏性和序列標記中的長距離依賴.

此外，表3結(jié)果體現(xiàn)出本文提出的模型框架至少能召回一半的完整臨床經(jīng)驗，以及在預測的臨床經(jīng)驗中60%以上的都是正確的.這證明本文模型對臨床經(jīng)驗的抽取是有效的并且可行的.而且，還可以觀察發(fā)現(xiàn)相較于Baseline，引入AT和VAT的模型性能都得到了顯著的提升，更進一步說明了引入AT和VAT能有效提升模型性能.

4.5 錯誤分析

此外，本文獨立地對每種類型標簽的分類性能進行了進一步的研究.本文選擇了十折交叉驗證結(jié)果其中一折的結(jié)果作為分析目標，其中B∶I∶O句子比例為934∶3317∶3508.如圖4所示，本文對4個對比模型的標簽分類比率進行了可視化，用不同的陰影表示本文的模型預測的標簽類別百分比，其中橫坐標表示黃金標準標簽，縱坐標代表模型的預測標簽.每個矩陣中的斜對角線分別對應B、I和O的精度.

圖4 可視化展示Fig.4 Visualized demonstration

圖4清晰地反應了BIO三類標簽的分類情況，其能用于比較預測標簽和正確標簽.結(jié)果表明，BIO三類標簽都產(chǎn)生了較高的精度.其中O標簽的精度明顯高出B和I標簽，然而O與I的數(shù)量相近，產(chǎn)生這樣的結(jié)果極有可能是受到B標簽的影響.B標簽作為臨床經(jīng)驗的起始句，這在抽取臨床經(jīng)驗任務中起著決定性作用，這也對I標簽的精度會產(chǎn)生了極大的影響，因為I標簽始終是出現(xiàn)在B標簽之后.B標簽的分類性能最高達到72.59%，能夠較好地抽取臨床經(jīng)驗的開始邊界，這進一步表明模型的可行性與有效性.對于臨床經(jīng)驗邊界的識別，本文也在后續(xù)研究中對這一事件十分關注.

5 結(jié) 論

本文提出了一個新的信息抽取任務，即抽取的實體是中醫(yī)古文獻中的臨床經(jīng)驗，以幫助從事中醫(yī)人員在大量古文獻中獲取有價值的疾病臨床經(jīng)驗.為此，本文考慮了文獻的篇章結(jié)構(gòu)與臨床經(jīng)驗的文本片段特點，將臨床經(jīng)驗的抽取任務轉(zhuǎn)換為文本片段的序列標注任務.本文提出了一個基于深度學習的序列標注模型解決該任務.本文使用bert-base-Chinese初始化字嵌入，利用CNN作為句子編碼器獲取N-gram信息豐富句子語義編碼，并引入文檔級別的Bi-LSTM學習句子之間的上下文信息進一步豐富句子的語義編碼；最后考慮到句子標簽之間的關聯(lián)性，加入CRF進行序列標簽優(yōu)化，為每個句子選擇最優(yōu)標簽.為驗證提出模型的有效性，本文在專家標注的臨床經(jīng)驗數(shù)據(jù)集上進行一系列實驗.實驗驗證了本文模型的有效性與可行性.但也證明了任務特有的困難，特別是在確定臨床經(jīng)驗的確切跨度和解決發(fā)生稀疏性問題方面，這是本文今后對這一新信息提取任務的學習方向.