一種基于元學(xué)習(xí)的醫(yī)療文本分類模型

趙 楠， 趙志樺

(1.海軍軍醫(yī)大學(xué)第二附屬醫(yī)院信息中心，上海 200003；2.海角科技政策服務(wù)部，浙江 杭州 310000)

醫(yī)療文本包含病歷文書、診斷報(bào)告、病理報(bào)告、影像報(bào)告等大量的醫(yī)療信息，是進(jìn)行疾病預(yù)測(cè)、輔助診療、藥物研發(fā)、個(gè)性化信息推薦、臨床決策支持等的重要文本資源[1]。醫(yī)療文本具有復(fù)雜的專業(yè)術(shù)語(yǔ)，常見(jiàn)的傳統(tǒng)文本分類模型在處理醫(yī)療文本時(shí)常常面臨文本語(yǔ)義稀疏、訓(xùn)練數(shù)據(jù)不足等問(wèn)題[2,3]。

遷移學(xué)習(xí)可以從大量的先驗(yàn)任務(wù)中學(xué)習(xí)元知識(shí),利用以往的先驗(yàn)知識(shí)來(lái)指導(dǎo)模型在新的小樣本任務(wù)中更快地學(xué)習(xí)[4]。Finn等人[5]提出MAML方法，從少量數(shù)據(jù)中進(jìn)行訓(xùn)練從而得到較好的分類結(jié)果，Xiang等人[6]在2018年將MAML遷移到文本分類領(lǐng)域，并且根據(jù)不同的詞在句子中的重要性加入注意力機(jī)制賦予詞語(yǔ)不同的權(quán)重，提出ATAML模型。為了加強(qiáng)模型對(duì)新的醫(yī)療文本數(shù)據(jù)的適應(yīng)性，文中基于領(lǐng)域自適應(yīng)性使用已經(jīng)訓(xùn)練學(xué)習(xí)過(guò)的某個(gè)或多個(gè)領(lǐng)域上的知識(shí)快速學(xué)習(xí)適應(yīng)另一個(gè)新領(lǐng)域，利用兩個(gè)相互競(jìng)爭(zhēng)的神經(jīng)網(wǎng)絡(luò)，分別扮演領(lǐng)域識(shí)別者和元知識(shí)生成者的角色，提出一種基于注意力機(jī)制的領(lǐng)域自適應(yīng)元學(xué)習(xí)模型ADAML(Attentive Domain Adaptation Meta-learning，ADAML)，最后使用嶺回歸獲得文本分類的最終結(jié)果[7]。

1 相關(guān)工作

1.1 小樣本文本分類

小樣本文本分類是一項(xiàng)小樣本學(xué)習(xí)在文本分類問(wèn)題上的具體任務(wù)，解決一些現(xiàn)實(shí)任務(wù)中樣本數(shù)據(jù)不足或者難以獲得大量高質(zhì)量標(biāo)注數(shù)據(jù)的問(wèn)題，比如在醫(yī)療領(lǐng)域，一個(gè)數(shù)據(jù)樣本可能就是一個(gè)臨床試驗(yàn)或者一個(gè)真實(shí)的患者信息，這時(shí)基于大數(shù)據(jù)訓(xùn)練的深度學(xué)習(xí)不能有效解決此類問(wèn)題，需要一種具有快速學(xué)習(xí)能力的模型，可以將之前學(xué)習(xí)到的知識(shí)用于識(shí)別新的數(shù)據(jù)集[8，9]。小樣本文本分類通?？紤]的是N-wayK-shot分類，這種分類任務(wù)訓(xùn)練集Dtrain一共包含I=KN的樣本，其中N表示類別個(gè)數(shù)，K表示每個(gè)類別中的樣本個(gè)數(shù)。

1.2 小樣本學(xué)習(xí)模型

小樣本學(xué)習(xí)模型主要分為三大類：基于模型微調(diào)、基于數(shù)據(jù)增強(qiáng)和基于遷移學(xué)習(xí)。基于遷移學(xué)習(xí)的方法細(xì)分為基于度量學(xué)習(xí)、基于元學(xué)習(xí)和基于神經(jīng)網(wǎng)絡(luò)3類[4,10]。元學(xué)習(xí)(meta-learning)是目前比較前沿的方法，其目的是讓模型獲得一種學(xué)習(xí)能力，能夠舉一反三[11]，在源領(lǐng)域上使用大量已有數(shù)據(jù)進(jìn)行訓(xùn)練，提高學(xué)習(xí)性能，達(dá)到目標(biāo)領(lǐng)域上減少對(duì)數(shù)據(jù)集規(guī)模的依賴。因此，對(duì)于目標(biāo)任務(wù)只有較少訓(xùn)練數(shù)據(jù)的情況，元學(xué)習(xí)模型會(huì)取得更好的效果，實(shí)現(xiàn)跨任務(wù)的學(xué)習(xí)共享[12-14]。

1.3 醫(yī)療文本分類方法

傳統(tǒng)的醫(yī)療文本分類側(cè)重于進(jìn)行醫(yī)療數(shù)據(jù)的自由分類，一般包括四個(gè)步驟：醫(yī)療文本預(yù)處理、特征選擇、醫(yī)療文本分類、結(jié)果評(píng)估[15]。分類的主要目標(biāo)在于從自然語(yǔ)言中分析語(yǔ)義和總結(jié)歸納醫(yī)療信息，從而簡(jiǎn)化醫(yī)療信息管理過(guò)程。醫(yī)療文本大多是無(wú)規(guī)律非結(jié)構(gòu)化的數(shù)據(jù)，并且大多是高維稀疏數(shù)據(jù)集，這也是醫(yī)療文本自然語(yǔ)言處理過(guò)程中的難點(diǎn)，以往基于深度學(xué)習(xí)的文本分類模型是對(duì)預(yù)處理文本數(shù)據(jù)進(jìn)行訓(xùn)練學(xué)習(xí)，獲得文本分類結(jié)果。

2 基于元學(xué)習(xí)的醫(yī)療文本分類模型

2.1 ADAML模型

2.1.1 注意力生成器

注意力生成器利用大型源領(lǐng)域數(shù)據(jù)集來(lái)識(shí)別一般詞語(yǔ)的重要性，并且利用小目標(biāo)域支持集來(lái)估計(jì)特定類別的詞語(yǔ)重要性。根據(jù)頻繁出現(xiàn)的虛詞在文本分類中往往不太可能提供太多信息的現(xiàn)象來(lái)降低頻繁詞的權(quán)重并提高稀有詞的權(quán)重[16]。文中采用文獻(xiàn)[16]的方法定義統(tǒng)計(jì)量反映特定類別詞語(yǔ)的重要性。

(1)

xi是輸入的第i個(gè)單詞，ε=10-3，P(xi)是xi在源領(lǐng)域的重要性。支持集中有區(qū)別的詞在查詢集中也有可能有區(qū)別，然后定義如下的統(tǒng)計(jì)數(shù)據(jù)來(lái)反應(yīng)詞語(yǔ)的重要性。

t(xi)=H(P(y∣xi))-1

(2)

其中條件似然P(y/xi)是支持集上的極大似然，H(·)是熵算子，t(·)是根據(jù)頻率分布的加權(quán)。在遷移學(xué)習(xí)過(guò)程中注意力機(jī)制能夠從文本編碼序列中檢索目標(biāo)任務(wù)，獲得特定任務(wù)的表示，文中使用雙向 LSTM融合輸入信息，計(jì)算點(diǎn)積來(lái)預(yù)測(cè)單詞xi的注意力分?jǐn)?shù)。

(3)

hi是i處的雙向LSTM輸出，v是可學(xué)習(xí)的向量。注意力機(jī)制通過(guò)結(jié)合源領(lǐng)域數(shù)據(jù)集和目標(biāo)域支持集的分布統(tǒng)計(jì)來(lái)生成特定類別的注意力，提供詞語(yǔ)重要性的歸納偏差。

2.1.2 元知識(shí)生成器和領(lǐng)域判別器

領(lǐng)域自適應(yīng)性需要混淆源領(lǐng)域數(shù)據(jù)集和目標(biāo)域查詢集的樣本才能實(shí)現(xiàn)有效的領(lǐng)域轉(zhuǎn)移，元知識(shí)生成器就是要盡可能使領(lǐng)域判別器無(wú)法區(qū)分目標(biāo)域查詢集和源領(lǐng)域數(shù)據(jù)集的樣本。元知識(shí)生成器對(duì)雙向LSTM輸出采用單層前饋神經(jīng)網(wǎng)絡(luò)，使用Softmax函數(shù)來(lái)獲得元知識(shí)表征向量kp。

kp=Softmax(ω·hp+b)

(4)

kp是一個(gè)n維度的向量，代表句子p中包含的元知識(shí)，n表示該句子的長(zhǎng)度。

領(lǐng)域判別器通過(guò)一個(gè)三層前饋神經(jīng)網(wǎng)絡(luò)區(qū)分樣本是來(lái)自源領(lǐng)域還是目標(biāo)域，其輸出0 或 1 分別代表樣本來(lái)自目標(biāo)域查詢集或源域數(shù)據(jù)集。

2.1.3 交互層和分類器

(5)

ADAML選擇嶺回歸作為分類方法，嶺回歸是一種有偏估計(jì)回歸，主要用于共線性數(shù)據(jù)分析[17]。分類器由每個(gè)元任務(wù)的目標(biāo)域支持集從頭開(kāi)始訓(xùn)練，通過(guò)適當(dāng)?shù)恼齽t化減少對(duì)小支持集的過(guò)度擬合。

(6)

2.1.4 損失函數(shù)

在每次訓(xùn)練迭代中ADAML首先固定元知識(shí)生成器和領(lǐng)域判別器的參數(shù)，通過(guò)目標(biāo)域支持集更新分類器的參數(shù)，其中分類器的損失函數(shù)如公式(6)所示。 接下來(lái)，ADAML固定元知識(shí)生成器和分類器的參數(shù)，通過(guò)目標(biāo)域查詢集和源域數(shù)據(jù)集更新領(lǐng)域判別器的參數(shù)，并使用交叉熵?fù)p失作為領(lǐng)域判別器的損失函數(shù)。

(7)

其中μ表示領(lǐng)域判別器的參數(shù)，m表示目標(biāo)域查詢集或源域數(shù)據(jù)集的樣本數(shù)，yd根據(jù)其值為0或1表示樣本是來(lái)自目標(biāo)域查詢集還是源域數(shù)據(jù)集，k代表元知識(shí)向量。最終，ADAML固定領(lǐng)域判別器和分類器的參數(shù)，通過(guò)目標(biāo)域查詢集和源域數(shù)據(jù)集更新元知識(shí)生成器的參數(shù)。元知識(shí)生成器的損失函數(shù)由兩部分組成：第一個(gè)是最終分類結(jié)果的交叉熵?fù)p失；第二個(gè)是與領(lǐng)域判別器的損失相反的損失，即混淆判別器。

LG(β)=CELoss(f(W·Gβ(W),y)-LD

(8)

其中β表示元知識(shí)生成器的參數(shù)，f表示嶺回歸因子，W表示一個(gè)句子中的詞向量矩陣，y表示樣本的真實(shí)標(biāo)簽，LD的定義在公式(7)中。

2.2 算法流程

ADAML模型主要有注意力生成器、元知識(shí)生成器、領(lǐng)域判別器、交互層和分類器幾部分，目標(biāo)域支持集S或查詢集Q中的類別數(shù)為N，S中每個(gè)類別的樣本數(shù)為K，Q中每個(gè)類別的樣本數(shù)為L(zhǎng)，源域數(shù)據(jù)集Φ，其具體算法流程如下偽代碼：

算法:ADAML訓(xùn)練數(shù)據(jù)集Input:訓(xùn)練數(shù)據(jù)集{Xtrain ,Ytrain };元任務(wù)個(gè)數(shù)T和迭代輪次ep;生成器的參數(shù)β;判別器的參數(shù)μ;分類器的參數(shù)θ.Output: 訓(xùn)練結(jié)束后的參數(shù)β和μ;隨機(jī)初始化模型參數(shù)β,μ和θ;for each i∈1,ep doY←Λ(Ytrain ,N); for each j∈1,T doS,Q,Φ←?,?,?; for y∈Y do S←S∪Λ(Xtrain {y},K); Q←Q∪Λ(Xtrain {y}S,L); Φ←Φ∪Λ(Xtrain Xtrain {y},L); 將參數(shù)S導(dǎo)入模型; 修正參數(shù)β,μ,更新參數(shù)θ以最小化公式(6); 將參數(shù)Q,Φ導(dǎo)入模型; 修正參數(shù)β,θ,更新參數(shù)μ以最小化判別器損失公式(7); 修正參數(shù)μ,θ,更新參數(shù)β以最小化生成器損失公式(8);return β,μ;

3 實(shí)驗(yàn)與分析

3.1 數(shù)據(jù)集和實(shí)驗(yàn)方法

醫(yī)療文本數(shù)據(jù)采集一個(gè)臨床科室的電子病歷信息，處理生成結(jié)構(gòu)化信息Medical Record保存在JSON文件中。使用三個(gè)公開(kāi)文本分類數(shù)據(jù)集HuffPost、Amazon、Reuters 和Medical Record，隨機(jī)抽樣構(gòu)建小樣本文本，四個(gè)基準(zhǔn)數(shù)據(jù)集如表1所示。

表1 四個(gè)基準(zhǔn)數(shù)據(jù)集的統(tǒng)計(jì)數(shù)據(jù)

ADAML模型分為訓(xùn)練和測(cè)試兩步，首先通過(guò)數(shù)據(jù)集構(gòu)建不同的元任務(wù)，每個(gè)元任務(wù)包括一個(gè)支持集和一個(gè)查詢集。 訓(xùn)練模型時(shí)將采樣的元任務(wù)輸入模型，通過(guò)支持集上的損失函數(shù)對(duì)模型進(jìn)行微調(diào)，并通過(guò)查詢集上的損失函數(shù)對(duì)模型參數(shù)進(jìn)行更新。測(cè)試時(shí)通過(guò)元任務(wù)中的支持集對(duì)模型進(jìn)行微調(diào)，最后在查詢集上計(jì)算準(zhǔn)確度。

3.2 實(shí)驗(yàn)與分析

文中使ADAML與MAML[5]、PROTO[18]、ATAML[6]、HATT[19]模型對(duì)比處理小樣本文本分類問(wèn)題的準(zhǔn)確率。文本分類算法的性能通常采用準(zhǔn)確率進(jìn)行測(cè)評(píng)，定義如下：

(9)

實(shí)驗(yàn)過(guò)程中注意力生成器計(jì)算詞匯注意力分?jǐn)?shù)，元知識(shí)生成器使用具有 128 個(gè)隱藏單元的雙向 LSTM生成元知識(shí)表征向量，在領(lǐng)域判別器中兩個(gè)前饋層的隱藏單元數(shù)量分別設(shè)置為 256 和 128。元訓(xùn)練期間進(jìn)行 100 次訓(xùn)練，當(dāng)驗(yàn)證集上的準(zhǔn)確度在 30 次迭代中沒(méi)有顯著變化時(shí)，停止此次訓(xùn)練。根據(jù)測(cè)試結(jié)果評(píng)估模型性能，見(jiàn)表2。

表2 模型在四個(gè)數(shù)據(jù)集上3way 1shot 和 3way 3shot分類的準(zhǔn)確率

模型在四個(gè)數(shù)據(jù)集上均取得了比較好的分類效果，在1shot分類中的平均準(zhǔn)確率為 68.85%，在3shot分類中的平均準(zhǔn)確率為 82.1%，比模型 ATAML分別提高了3.98%和7.63%，ADAML模型在Medical Record上的 1shot 和 3shot 分類比其他模型平均提高了20% 和16.2%，Medical Record中文本的平均長(zhǎng)度比其他長(zhǎng)，實(shí)證表明ADAML模型更適合包含豐富語(yǔ)義信息的文本分類。不同模型在Medical Record數(shù)據(jù)集上的不同類別分類結(jié)果見(jiàn)表3。

表3 不同模型在Medical Record上不同分類的準(zhǔn)確率

4 結(jié) 論

醫(yī)療文本蘊(yùn)含豐富的語(yǔ)義信息，有效的分類可以促進(jìn)醫(yī)學(xué)技術(shù)的發(fā)展。文中提出一種基于注意力機(jī)制的元學(xué)習(xí)模型，根據(jù)詞語(yǔ)的重要性賦予不同的權(quán)重，并且利用兩個(gè)對(duì)抗性網(wǎng)絡(luò)增強(qiáng)模型的學(xué)習(xí)能力，提高小樣本文本分類的適應(yīng)性與準(zhǔn)確率。通過(guò)對(duì)比實(shí)驗(yàn)和分析證明了文中模型在公開(kāi)數(shù)據(jù)集和醫(yī)療文本數(shù)據(jù)集上的有效性，后續(xù)將提高小樣本數(shù)據(jù)集含有噪音的分類性能，并盡可能減少訓(xùn)練過(guò)程中的語(yǔ)義損失。