基于局部注意力Seq2Seq的中醫(yī)文本多標簽分類研究

劉勇 杜建強 羅計根 李清 于夢波 鄭奇民

摘? 要：針對傳統(tǒng)多標簽分類模型未充分考慮文本中臨近標簽之間存在的復(fù)雜關(guān)聯(lián)性問題，提出一種基于局部注意力Seq2Seq的中醫(yī)文本多標簽分類模型。首先利用ALBERT模型提取文本的動態(tài)語義向量；然后多層Bi-LSTM構(gòu)成的編碼層用于提取文本間的語義關(guān)系；最后解碼層中使用多層LSTM的局部注意力，突出文本序列中臨近標簽之間的相互影響力，以預(yù)測多標簽序列。在中醫(yī)數(shù)據(jù)集上驗證方法的有效性，實驗結(jié)果表明，所提出的算法能夠有效捕獲標簽之間的相關(guān)性，適用于中醫(yī)文本的分類預(yù)測。

關(guān)鍵詞：多標簽分類；中醫(yī)文本；局部注意力；ALBERT；Bi-LSTM；LSTM

中圖分類號：TP391? ? 文獻標識碼：A? 文章編號：2096-4706（2023）17-0096-06

Research on Multi-label Classification of Traditional Chinese Medicine Texts Based on Local Attention Seq2Seq

LIU Yong1， DU Jianqiang1， LUO Jigen1， LI Qing2， YU Mengbo1， ZHENG Qimin1

（1.College of Computer Science， Jiangxi University of Chinese Medicine， Nanchang? 330004， China;

2.Qihuang Chinese Medicine Academy， Jiangxi University of Chinese Medicine， Nanchang? 330025， China）

Abstract： Aiming at the problem that traditional multi-label classification model does not fully consider the complex correlation between adjacent labels in the texts， a multi-label classification model of TCM text based on local attention Seq2Seq is proposed. Firstly， the ALBERT model is used to extract the dynamic semantic vector of the texts. Secondly， the coding layer composed of multiple layers of Bi-LSTM is used to extract the semantic relationship between texts. Finally， the local attention of multiple layers of LSTMs is used in the decoding layer to highlight the mutual influence between adjacent labels in the text sequence to predict multi-label sequences. The effectiveness of the method is validated on TCM datasets. The experimental results show that the proposed algorithm can effectively capture the correlation between labels， which is suitable for the classification prediction of TCM texts.

Keywords： multi-label classification; TCM text; local attention; ALBERT; Bi-LSTM; LSTM

0? 引? 言

近些年，隨著中醫(yī)地位的不斷提升和人工智能技術(shù)的快速發(fā)展，有研究者利用人工智能與中醫(yī)的結(jié)合，實現(xiàn)中醫(yī)的輔助診斷決策[1]。以脈診，舌診，望診，聞診等診斷信息，可得出確定患者所患病癥的關(guān)鍵信息——證候。對中醫(yī)證候的分類研究，是中醫(yī)辨證體系中的重要組成部分[2]。中醫(yī)證候文本類別豐富且內(nèi)部結(jié)構(gòu)復(fù)雜。證候由病因、病機和病位組成，病因、病機、病位各自又含有多個類別，且類別之間可以相互組合，所以將證候中病因、病機和病位的判別問題抽象為自然語言處理領(lǐng)域的多標簽文本分類問題，將電子病歷數(shù)據(jù)中的四診文本信息作為輸入，將證候中的病因、病機和病位作為多標簽文本分類問題中的標簽。

對中醫(yī)證候文本的探究，已有大量研究人員參與。Zhang等人[3]構(gòu)建了一個綜合網(wǎng)絡(luò)平臺，面向精準醫(yī)學(xué)的中醫(yī)證候本體信息存儲及“病—證—方”多維關(guān)聯(lián)計算，提供了關(guān)于常用中醫(yī)證候、相關(guān)疾病和相應(yīng)中醫(yī)方劑的綜合信息；Xie等人[4]應(yīng)用特征選擇方法和分類技術(shù)，從類風(fēng)濕關(guān)節(jié)炎患者的電子病歷中提取關(guān)鍵特征，證明了特征選擇可以提高分類模型的性能；李力等人[5]基于因子分析和聚類分析探討乙型肝炎后肝硬化的中醫(yī)證素特點和證候分布規(guī)律，篩選出具有意義的癥狀及涉及的主要證素；Zhang等人[6]提出一個集成學(xué)習(xí)模型，利用循環(huán)神經(jīng)網(wǎng)絡(luò)提取以命名實體表示的體征和癥狀等臨床信息，然后使用卷積神經(jīng)網(wǎng)絡(luò)來預(yù)測中醫(yī)疾病的類型，生成相應(yīng)的可能證候列表，該模型具有較好的診斷準確性和較強的泛化能力；李敏等人[7]探索基于潛在類別結(jié)合隱結(jié)構(gòu)分析的血脂異常中醫(yī)常見證候，通過建立數(shù)據(jù)模型，從顯性變量中推導(dǎo)出隱性知識，為中醫(yī)證候研究提供了新的思路。

本文利用多標簽分類技術(shù)分析中醫(yī)文本信息，多標簽文本分類是指一個樣本可以分配多個類別即標簽。例如證候語句：表有風(fēng)濕，里有痰濕瘀血夾熱，其病因為“風(fēng)邪/濕邪/痰飲/瘀血/熱邪”；病機為“痰飲凝聚/濕濁困阻”；病位為“表/里”。由于強大的學(xué)習(xí)能力，深度學(xué)習(xí)在多標簽分類任務(wù)中有著不錯的表現(xiàn)，其中利用深度學(xué)習(xí)的優(yōu)勢來更好地捕獲標簽依賴關(guān)系是一個熱點。Wang等人[8]改進標簽嵌入（聯(lián)合抽取所有標簽的信息，以提高多標簽分類的精度）的方法，通過集成兩個DNN模型來構(gòu)建標簽空間嵌入模型，學(xué)習(xí)并保留深層潛在空間的特征感知結(jié)構(gòu)，實驗結(jié)果表明，所提出的方法優(yōu)于現(xiàn)有的標簽嵌入算法；Liu等人[9]引入CNN模型動態(tài)池化文本表示，使用比輸出層小的隱藏層來提高計算效率，但CNN在獲取每個標簽的潛藏信息方面仍然存在不足；Wang等人[10]提出一種Seq2Seq結(jié)構(gòu)的模型，將多標簽分類任務(wù)視為序列生成問題，使用CNN-RNN模型聯(lián)合圖像—標簽嵌入來表征語義標簽依賴性以及圖像—標簽相關(guān)性，并且將兩種信息集成在統(tǒng)一的框架中；Yang等人[11]在考慮標簽之間相關(guān)性后，提出了引入注意力機制的解碼器結(jié)構(gòu)的序列生成模型，該模型在預(yù)測時能自動選擇最有信息量的單詞；Qin等人[12]提出了自適應(yīng)的RNN序列模型，讓模型可以發(fā)現(xiàn)最佳的標簽順序排列。

為了避免提取的文本語義信息不夠豐富導(dǎo)致分類準確性下降以及更好地學(xué)習(xí)標簽之間的相關(guān)性，本文提出基于局部注意力的Seq2Seq模型（Local Attention of Seq2Seq Model， LASM）。該模型利用ALBERT（A Lite Bidirectional Encoder Representations from Transformers）語言模型[13]提取文本的動態(tài)語義向量；然后多層Bi-LSTM（Bi-directional Long-Short Term Memory）[14]構(gòu)成的編碼器提取文本間的語義關(guān)系；最后解碼器采用多層LSTM（Long Short-Term Memory）[15]的局部注意力，突出臨近標簽之間的相互影響力，用以預(yù)測多標簽序列，提升文本分類的精確度。

1? 基于局部注意力Seq2Seq的中醫(yī)文本分類模型

1.1? ALBERT語言模型

近些年，BERT[16]（Bidirectional Encoder Representations from Transformers）已成為語言分析和挖掘，以及機器學(xué)習(xí)領(lǐng)域中非常流行的模型。ALBERT是BERT的改進版，對其主要進行了三個方面的改造：詞嵌入?yún)?shù)因式分解、跨層參數(shù)共享、段落連續(xù)性任務(wù)。

詞嵌入向量參數(shù)的因式分解通過降低詞嵌入的維度來減少參數(shù)量。在BERT中，Token Embedding的參數(shù)矩陣大小為（V×H），其中V表示詞匯表長度，H表示隱藏層大小。ALBERT為了減少參數(shù)數(shù)量，在映射中加入一個大小為E的隱藏層，這樣矩陣的參數(shù)大小降低為（V×E + E×H），如以ALBERT_xxlarge[17]模型為例，V = 30 000、H = 4 096、E = 128，那么原先參數(shù)個數(shù)為V×H = 30 000×4 096 ≈ 1.23×108，現(xiàn)在的模型參數(shù)數(shù)量變?yōu)閂×E + E×H = 30 000×128 + 128×4 096 ≈ 4.36×106，詞嵌入相關(guān)的參數(shù)降低了28倍。

ALBERT的參數(shù)共享針對子模塊內(nèi)部進行，主要可分為全連接層和注意力層，使得Attention feed-forward模塊參數(shù)量從O（12×L×H×H）降低到O（12×H×H），其中L表示層數(shù)。BERT設(shè)計了NSP（Next Sentence Prediction）來保證句子的連續(xù)性，即用兩個連續(xù)的句子對作為正例，并隨機選取一個句子作為負例；由此引出一個問題，隨機選取的句子會因主題不同判定為負例。ALBERT對此改進，提出SOP（Sentence Order Prediction）：正例，使用從一個文檔中連續(xù)的兩個文本段落；負例，使用從一個文檔中連續(xù)的兩個文本段落，但位置調(diào)換。

1.2? 長短期記憶網(wǎng)絡(luò)LSTM

LSTM是一種特殊的循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Networks， RNN），克服了傳統(tǒng)RNN模型由于序列過長而產(chǎn)生的梯度彌散[18]問題。LSTM的核心是細胞狀態(tài)，使用一種被稱為門的結(jié)構(gòu)對細胞狀態(tài)進行刪除或添加信息，通過三個步驟完成。

第一步就是決定細胞狀態(tài)需要丟棄哪些信息。這部分操作通過“遺忘門”的sigmoid單元來處理，LSTM會根據(jù)新的輸入和上一時刻的輸出決定遺忘掉之前的哪些記憶，查看ht-1和xt信息輸出一個0-1之間的向量，0表示細胞狀態(tài)Ct-1的信息不保留，1表示保留。式（1）可以用來描述遺忘門的計算，其中ft表示sigmoid神經(jīng)層的輸出向量：

第二步是“記憶門”確定為細胞狀態(tài)添加哪些新的信息。首先，tanh函數(shù)層將現(xiàn)在向量中的有效信息提取出來，然后使用sigmoid函數(shù)來決定更新那些信息。計算步驟如式（2）所示：

其中it表示新狀態(tài)信息的更新程度， 表示新的候選信息，該信息可能會被更新到細胞信息中。

最后一步，通過“輸出門”計算當前時刻的輸出值。先將當前輸入值與上一時刻輸出值整合后的向量用sigmoid函數(shù)提取其中的信息，接著，當前的單元狀態(tài)通過tanh函數(shù)壓縮映射到區(qū)間（-1，1）中，再與整合后的向量點對點相乘就得到了最終的輸出。該步驟如式（3）所示：

其中，ot表示要sigmoid的神經(jīng)單元，ht表示Ct作為輸入的tanh單元。

1.3? 雙向長短記憶網(wǎng)絡(luò)Bi-LSTM

Bi-LSTM對每個句子分別采用順序（從第一個詞開始，從左往右遞歸）和逆序（從最后一個詞開始，從右向左遞歸）計算得到兩套不同的隱層表示，然后通過向量拼接得到最終的隱層表示，更好的捕捉雙向的語義依賴。Bi-LSTM模型結(jié)構(gòu)圖如圖1所示。

單層的Bi-LSTM由兩個LSTM組合而成，一個正向處理輸入序列；另一個反向處理序列，處理完成后將兩個LSTM輸出拼接一起。計算方式如式（4）所示：

1.4? 局部注意力機制

全局注意力機制[19]的思想是在推導(dǎo)上下文向量時考慮編碼器的所有隱藏狀態(tài)，可能導(dǎo)致無法處理較長的序列（如段落或文檔）。為了解決這個問題，采用局部注意力機制[20]，選擇只關(guān)注每個目標詞源位置的一小部分，避免大量計算的同時易于訓(xùn)練。

具體而言，首先在t時刻為每個目標詞生成一個對齊位置pt：

其中，ht表示當前目標隱藏狀態(tài)， 和? 表示源隱藏狀態(tài)；score（）表示基于內(nèi)容的函數(shù)， 和Wa表示權(quán)重參數(shù)，為了有利于pt附近的對齊點，以pt為中心放置一個高斯分布。

1.5? 基于局部注意力Seq2Seq的中醫(yī)文本分類模型

基于局部注意力Seq2Seq的中醫(yī)文本分類模型訓(xùn)練過程分為4個步驟：

1）提取訓(xùn)練語料中的中醫(yī)證候，進行標簽集的劃分，然后與四診信息等進行匹配，構(gòu)成多標簽分類文本數(shù)據(jù)，輸入到ALBERT語言模型轉(zhuǎn)換為動態(tài)的語義向量。

2）利用多層Bi-LSTM對文本特征向量進行編碼，并計算每個單詞對應(yīng)的前向和后向隱藏狀態(tài)，將前向和后向隱藏狀態(tài)進行拼接得到最終的隱藏狀態(tài)。

3）通過多層LSTM的局部注意力機制對當前時刻文本序列的不同部分賦予不同的權(quán)重，得到處理后的文本向量，利用多層LSTM對文本向量進行解碼，通過全連接層，得到當前預(yù)測的標簽的概率分布。

4）使用交叉熵函數(shù)作為損失函數(shù)，然后采用AdamW優(yōu)化器訓(xùn)練多標簽文本分類模型的參數(shù)，當模型產(chǎn)生的損失值滿足設(shè)定要求或者達到最大迭代次數(shù)，終止訓(xùn)練。

基于局部注意力Seq2Seq的多標簽文本分類模型框架如圖2所示。

1.6? 算法流程

為了所提取文本向量的語義信息特征更加豐富以及更好地獲取標簽相關(guān)性。本文提出一種基于局部注意力Seq2Seq的中醫(yī)文本多標簽分類模型，算法流程如下：

1）將文本X輸入到ALBERT語言模型進行語義向量轉(zhuǎn)換生成序列：

4）利用LSTM對文本向量ct進行解碼，其中t時刻的隱藏狀態(tài) ，yt-1表示上一時刻預(yù)測的標簽的概率分布，函數(shù)g表示取yt-1中概率最大的標簽對應(yīng)的標簽向量。

5）通過全連接層，得到t時刻標簽的分數(shù)Ot = Wd? f （Wo St + Uoct + bo），其中Wd、Wo和Uo表示權(quán)重參數(shù)，Wd表示偏置參數(shù)。

6）通過Softmax函數(shù)計算得到t時刻預(yù)測的標簽概率分布yt = Softmax（Ot）。

7）文本類別的標簽預(yù)測結(jié)果。

2? 實驗結(jié)果與分析

2.1? 數(shù)據(jù)集

實驗數(shù)據(jù)來源于868份真實的中醫(yī)哮喘電子病歷，篩選出四診、主訴和證候等文本信息。在專家的指導(dǎo)下，對證候信息進行劃分提取出病因、病機和病位標簽信息之后，與四診信息等進行匹配，構(gòu)成本實驗中所用到的多標簽文本數(shù)據(jù)集。數(shù)據(jù)格式如表1所示。數(shù)據(jù)集的標簽類別分布如表2所示。

2.2? 評價指標

在多標簽分類任務(wù)下，為了綜合考慮模型的性能，本文選取了Micro-precision、Micro-recall和Micro-F1作為模型的評價指標。

對于Micro-precision來說，其計算式為：

用以計算所有樣本的平均精確率，L表示類別標簽總數(shù)，TPj表示j類別下的真正例，F(xiàn)Pj表示j類別下的假正例。

對于Micro-recall來說，其計算式為：

FNj表示j類別下的假反例。

對于Micro-F1值而言，計算式為：

2.3? 實驗參數(shù)設(shè)置

本研究采用OpenBayes網(wǎng)絡(luò)平臺，選用NVIDIA GeForce RTX 2080 （8 GB），20 GB RAM；軟件環(huán)境為PyCharm 11.0.7、Anaconda 5.3.0，采用TensorFlow深度學(xué)習(xí)框架，在Windows 10（64位）操作系統(tǒng)下完成。具體實驗參數(shù)設(shè)置如表3所示。

2.4? 對比算法

本文設(shè)計以下基線模型來比較在中醫(yī)哮喘文本數(shù)據(jù)集上的性能表現(xiàn)。

ALBERT：ALBERT預(yù)訓(xùn)練語言模型[14]提取文本特征，利用sigmoid函數(shù)實現(xiàn)文本多標簽分類。

ALBERT-Denses：基于問題轉(zhuǎn)換[21]的思想，將多標簽文本分類問題轉(zhuǎn)換為多個二分類問題，進行二元分類預(yù)測。

ALBERT-TextCNN[22]：ALBERT進行動態(tài)特征向量表示，TextCNN提取文本語義信息，完成分類任務(wù)。

Seq2set[23]：通過強化學(xué)習(xí)來訓(xùn)練，設(shè)計獎勵反饋獨立于標簽順序的方式，減少對標簽順序的依賴并捕捉了標簽之間的相關(guān)性。

SGM[12]：將多標簽分類任務(wù)視為序列生成問題，應(yīng)用序列生成模型來預(yù)測標簽序列。

2.5? 實驗對比與分析

為了驗證本文提出方法對于實驗的有效性，本文模型和其他五種模型在中醫(yī)哮喘多標簽文本數(shù)據(jù)集上的評價指標得分情況如表4所示，最佳結(jié)果用粗體表示。

表5中，M-p代表Micro-precision；M-r代表Micro-recall；M-F1代表Micro-F1，代表值越大分類效果越好。從表中可以看出，基于深度學(xué)習(xí)的模型在精確度上具有一定的優(yōu)勢，但使用ALBERT-TextCNN模型進行多標簽分類的效果不佳，甚至低于單獨使用ALBERT的效果，說明在標簽類別眾多的情況下，利用TextCNN進一步提取ALBERT所生成文本向量中的語義信息特征時，容易丟失文本與標簽之間隱藏的語義關(guān)系信息導(dǎo)致分類性能下降?；趩栴}轉(zhuǎn)換思想，在分類時利用對單標簽的二元分類預(yù)測的ALBERT-Denses模型的準確性比ALBERT模型提高了1個多百分點。本文方法LASM利用動態(tài)文本向量與標簽之間相關(guān)性的基礎(chǔ)上，更多地考慮當前文本序列中臨近標簽的相關(guān)性，能夠提升Micro-F1指標，最終達到近83%?；谛蛄械叫蛄械腟GM和Seq2set模型的M-F1值相對于ALBERT和ALBERT-Denses的M-F1值更高，說明在多標簽分類任務(wù)中使用序列到序列方法是有效的。進一步地，可以看到SGM的M-F1值略高于Seq2set的M-F1值，是參與對比的五種模型中表現(xiàn)最好的，說明考慮標簽之間的相關(guān)性可以提升模型的分類準確性。LASM與SGM相比，M-F1值提高了1.79%。與五種模型對比之后，LASM的M-F1值明顯優(yōu)于其他模型，精度更高，說明本文方法對多標簽文本分類任務(wù)是有效的。

為了進一步驗證本文提出模型的有效性和局部注意力對于提升模型效果有著十分重要的作用，也為了更充分評估LASM模型的效果，進行了消融實驗，實驗結(jié)果如表5所示。

通過表6消融實驗可以看出，單獨利用ALBERT模型提取語義特征并直接在下游任務(wù)中接入全連接層進行分類的M-F1值為0.761 5，而使用ALBERT提取文本特征并采用序列到序列模型后不利用多層LSTM的局部注意力，最終在中醫(yī)哮喘數(shù)據(jù)集上的M-F1值為0.802 1。與上述相比，采用序列到序列方法的模型效果叫最初的模型方法有比較大的提升，再通過使用局部注意力后的模型M-F1值提升了2.62%，性能得到了較大的提升，也可以說明本文的LASM模型可以提取與四診信息等相關(guān)的病因、病機和病位標簽分類信息。通過該消融實驗可知，多層LSTM的局部注意力對于中醫(yī)文本多標簽分類任務(wù)準確度的提升有著不可忽略的重要作用。LSAM模型利用ALBERT模型轉(zhuǎn)換文本向量，Bi-LSTM獲取語義關(guān)系，同時LSTM的局部注意力突出當前序列中標簽間相關(guān)性，能夠比較精確地完成多標簽文本分類任務(wù)。

3? 結(jié)? 論

針對傳統(tǒng)多標簽分類模型對于文本中臨近標簽之間相關(guān)性考慮不夠充分的問題，從中醫(yī)哮喘電子病歷文本中取出證候的病因、病機和病位標簽因子構(gòu)成多標簽文本數(shù)據(jù)集，使用本文提出的基于局部注意力Seq2Seq的中醫(yī)文本多標簽分類模型進行分類任務(wù)。實驗結(jié)果表明，提出的LASM方法在各項評價指標中均具有良好的表現(xiàn)，能夠有效地提高模型在中醫(yī)文本上的分類性能。雖然LASM模型有著較好的表現(xiàn)，但模型的分類性能還有提升的空間。在未來的工作中，將在進一步提升模型效果的基礎(chǔ)上，考慮加入中醫(yī)哮喘更多粒度上的知識信息，希望通過不同粒度的信息，在中醫(yī)辨證論治的指引下更準確地進行證候的推理工作，從而更加高效的預(yù)測標簽。

參考文獻：

[1] 孫忠人，游小晴，韓其琛，等.人工智能在中醫(yī)藥領(lǐng)域的應(yīng)用進展及現(xiàn)狀思考 [J].世界科學(xué)技術(shù)-中醫(yī)藥現(xiàn)代化，2021，23（6）：1803-1811.

[2] 冷玉琳，高泓，富曉旭，等.中醫(yī)證候臨床研究方法研究進展 [J].中華中醫(yī)藥雜志，2021，36（10）：6002-6005.

[3] ZHANG Y Q，WANG N，DU X，et al. SoFDA： An Integrated Web Platform from Syndrome Ontology to Network-Based Evaluation of Disease-Syndrome-Formula Associations for Precision Medicine [J].Science Bulletin，2022，67（11）：1097-1101.

[4] XIE J G，LI Y，WANG N，et al. Feature Selection and Syndrome Classification for Rheumatoid Arthritis Patients with Traditional Chinese Medicine Treatment [J/OL].European Journal of Integrative Medicine，2020，34：101059（2020-01-23）.https：//doi.org/10.1016/j.eujim.2020.101059.

[5] 李力，徐懂，翁奉武，等.基于因子分析與聚類分析的572例乙型肝炎后肝硬化中醫(yī)證候規(guī)律研究 [J].北京中醫(yī)藥大學(xué)學(xué)報，2021，44（12）：1108-1117.

[6] ZHANG H，NI W D，LI J，et al. Artificial Intelligence–Based Traditional Chinese Medicine Assistive Diagnostic System： Validation Study [J/OL].JMIR Medical Informatics，2020，8（6）：e17608（2020-06-15）.https：//medinform.jmir.org/2020/6/e17608.

[7] 李敏，何慶勇，劉旭東，等.基于潛在類別結(jié)合隱結(jié)構(gòu)分析的血脂異?；颊咧嗅t(yī)常見證候特征研究 [J].世界科學(xué)技術(shù)-中醫(yī)藥現(xiàn)代化，2022，24（5）：2102-2113.

[8] WANG K X，YANG M，YANG W Q，et al. Deep Correlation Structure Preserved Label Space Embedding for Multi-Label Classification [C]//Proceedings of the 10th Asian Conference on Machine Learning.Beijing：PMLR，2018，95：1-16.

[9] LIU J Z，CHANG W C，WU Y X，et al. Deep Learning for Extreme Multi-Label Text Classification [C]//SIGIR '17：Proceedings of the 40th International ACM SIGIR Conference on Research and Development in Information Retrieval.Tokyo：ACM，2017：115-124.

[10] WANG J，YANG Y，MAO J H，et al. CNN-RNN： A Unified Framework for Multi-Label Image Classification [C]//2016 IEEE Conference on computer vision and Pattern Recognition（CVPR）.Las Vegas：IEEE，2016：2285-2294.

[11] YANG P C，SUN X，LI W，et al. SGM： Sequence Generation Model for Multi-Label Classification [J/OL].arXiv：1806.04822 [cs.CL].（2018-06-13）.https：//arxiv.org/abs/1806.04822v3.

[12] QIN K C，LI C，PAVLU V，et al. Adapting RNN Sequence Prediction Model to Multi-Label Set Prediction [J/OL].arXiv：1904.05829 [cs.CL].（2019-04-11）.https：//arxiv.org/abs/1904.05829.

[13] LAN Z Z，CHEN M D，GOODMAN S，et al. ALBERT： A Lite BERT for Self-supervised Learning of Language Representations [J/OL].arXiv：1909.11942 [cs.CL].（2019-09-26）.https：//arxiv.org/abs/1909.11942.

[14] HUANG Z H，XU W，YU K. Bidirectional LSTM-CRF Models for Sequence Tagging [J/OL].arXiv：1508.01991 [cs.CL].（2015-08-09）.https：//arxiv.org/abs/1508.01991.

[15] SHI X J，CHEN Z R，WANG H，et al. Convolutional LSTM Network： A Machine Learning Approach for Precipitation Nowcasting [J/OL].arXiv：1506.04214 [cs.CV].（2015-06-13）.https：//arxiv.org/abs/1506.04214.

[16] DEVLIN J，CHANG M W，LEE K，et al. BERT： Pre-training of Deep Bidirectional Transformers for Language Understanding [J/OL].arXiv：1810.04805 [cs.CL].（2018-10-11）.https：//arxiv.org/abs/1810.04805v2.

[17] MANELA D D V，ERRINGTON D，F(xiàn)ISHER T，et al. Stereotype and Skew： Quantifying Gender Bias in Pre-Trained and Fine-Tuned Language Models [J/OL].arXiv：2101.09688 [cs.CL].（2021-01-24）.https：//arxiv.org/abs/2101.09688v1.

[18] 楊麗，吳雨茜，王俊麗，等.循環(huán)神經(jīng)網(wǎng)絡(luò)研究綜述 [J].計算機應(yīng)用，2018，38（S2）：1-6+26.

[19] LI H C，XIONG P F，AN J，et al. Pyramid Attention Network for Semantic Segmentation? [J/OL].arXiv：1805.10180 [cs.CV].（2018-05-25）.https：//arxiv.org/abs/1805.10180v1.

[20] LUONG M-T，PHAM H，MANNING C D. Effective Approaches to Attention-Based Neural Machine Translation [J/OL].arXiv：1508.04025 [cs.CL].（2015-08-17）.https：//arxiv.org/abs/1508.04025v3.

[21] DENG J，RUSSAKOVSKY O，KRAUSE J，et al. Scalable Multi-Label Annotation [C]//CHI14：Proceedings of the SIGCHI Conference on Human Factors in Computing Systems.Toronto：ACM，2014：3099-3102.

[22] 劉江舟，段立.基于Albert-TextCNN的網(wǎng)絡(luò)安全文本多標簽分類方法 [J].艦船電子工程，2022，42（3）：114-118+170.

[23] YANG P，LUO F，MA S，et al. A Deep Reinforced Sequence-to-set Model for Multi-Label Classification [J/OL].arXiv：1809.03118 [cs.CL].（2018-09-10）.https：//arxiv.org/abs/1809.03118v1.

作者簡介：劉勇（1997—），男，漢族，江西撫州人，碩士研究生在讀，研究方向：自然語言處理；通訊作者：杜建強（1968—），男，漢族，江西南昌人，教授，博士，研究方向：中醫(yī)藥信息學(xué)、數(shù)據(jù)挖掘；羅計根（1991—），男，漢族，江西萍鄉(xiāng)人，講師，碩士，研究方向：自然語言處理；李清（1982—），女，漢族，江西撫州人，講師，博士，研究方向：中醫(yī)辨證規(guī)律；于夢波（1998—），男，漢族，河南周口人，碩士研究生在讀，研究方向：自然語言處理；鄭奇民（1998—），男，漢族，山西運城人，碩士研究生在讀，研究方向：自然語言處理。