基于數(shù)據(jù)增強和擴張卷積的ICD編碼分類

摘 要：針對ICD編碼分類任務(wù)存在的標(biāo)簽分布不平衡、臨床記錄文本過長和標(biāo)簽空間龐大等問題，提出一種基于數(shù)據(jù)增強和擴張卷積的ICD編碼分類方法。首先，引入預(yù)訓(xùn)練模型BioLinkBERT，在生物醫(yī)學(xué)領(lǐng)域采用無監(jiān)督學(xué)習(xí)方式進行訓(xùn)練，以緩解域不匹配問題；其次，運用Mixup數(shù)據(jù)增強技術(shù)擴充隱藏表示，從而增加數(shù)據(jù)多樣性及提升模型分類的魯棒性，解決標(biāo)簽分布不平衡問題；最后，利用多粒度擴張卷積有效捕獲文本數(shù)據(jù)中的長距離依賴關(guān)系，避免因輸入文本過長影響模型效果。實驗結(jié)果表明，該模型在MIMIC-Ⅲ數(shù)據(jù)集的兩個子集上與多種方法進行比較，相較于基準(zhǔn)模型的F₁值和precision@k值分別提升0.4%～1.5%和1.2%～1.6%。因此，本研究為解決ICD編碼分類中的挑戰(zhàn)提供有效的解決方案。

關(guān)鍵詞：ICD編碼分類；BioLinkBERT預(yù)訓(xùn)練模型；Mixup數(shù)據(jù)增強；擴張卷積

中圖分類號：TP391.1 文獻標(biāo)志碼：A 文章編號：1001-3695（2024）11-018-3329-08

doi：10.19734/j.issn.1001-3695.2024.03.0088

ICD coding classification based on data augmentation and dilated convolution

Yan Jing¹， Zhao Di^{1， 2， 3?}， Meng Jiana¹， Lin Hongfei²

（1.School of Computer Science amp; Engineering， Dalian Minzu University， Dalian Liaoning 116600， China; 2.School of Computer Science amp; Technology， Dalian University of Technology， Dalian Liaoning 116024， China; 3. Dalian Yongjia Electronic Technology Co.， Dalian Liaoning 116024， China）

Abstract：To address the problems of unbalanced label distribution， excessively long medical record text and large label space in the international classification of diseases （ICD） coding classification task， this paper proposed an ICD coding classification method based on data augmentation and dilated convolution. Firstly， this method introduced the pre-trained model BioLinkBERT， trained in the biomedical domain using unsupervised learning， to alleviate the domain mismatch problem. Secondly， it applied the Mixup data augmentation technique to expand the hidden representations， thereby increasing data diversity and improving model robustness for classification， addressing the problem of imbalanced label distribution. Finally， the model effectively captured long-range dependencies in the text data using multi-granularity dilated convolution， avoiding the impact of long input text on the model’s performance. The experimental results demonstrate that the proposed model achieves notable improvements over the baseline model on two subsets of the MIMIC-Ⅲ dataset when compared with various methods. Specifically， the F₁ scores and precision@k values improves 0.4% to 1.5% and 1.2% to 1.6%， respectively. Therefore， this study provides an effective solution to solve the challenges of ICD coding classification.

Key words：ICD code classification; BioLinkBERT pre-trained model; Mixup data augmentation; dilated convolution

0 引言

近年來，隨著機器學(xué)習(xí)技術(shù)的發(fā)展，人們在語音、圖像和文本處理等領(lǐng)域取得新突破^{［1，2］}。在大規(guī)模文本數(shù)據(jù)處理中，文本自動分類技術(shù)發(fā)揮著關(guān)鍵作用，然而在復(fù)雜多變的文本數(shù)據(jù)環(huán)境中，該技術(shù)面臨著諸多嚴(yán)峻挑戰(zhàn)。傳統(tǒng)的單標(biāo)簽文本分類方法已無法應(yīng)對人們需求的多樣性和復(fù)雜性，為此亟需以多標(biāo)簽文本分類方法逐步取代單標(biāo)簽文本分類方法^［3］。傳統(tǒng)的多標(biāo)簽分類方法基于機器學(xué)習(xí)理論，其構(gòu)建分類模型的過程涉及特征選擇和特征提取技術(shù)。然而，這種方法存在模型復(fù)雜性高、數(shù)據(jù)表達能力不足等問題。當(dāng)前，深度學(xué)習(xí)作為機器學(xué)習(xí)的重要分支，憑借其強大的自動學(xué)習(xí)能力和高度靈活性，在多標(biāo)簽文本分類領(lǐng)域取得了一系列進展^［4］。

深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)以模擬人腦著稱，由多層人工神經(jīng)網(wǎng)絡(luò)組成，通過自主學(xué)習(xí)和抽取抽象高級特征來處理數(shù)據(jù)。在文本分類領(lǐng)域，深度學(xué)習(xí)模型通過分析訓(xùn)練數(shù)據(jù)來構(gòu)建抽象的文本表示，然后將這些表示傳遞到分類器中，以實現(xiàn)文本分類。與傳統(tǒng)機器學(xué)習(xí)方法不同，深度學(xué)習(xí)模型具有內(nèi)在的特征工程機制，無須預(yù)先設(shè)計大規(guī)模特征工程。然而，這種自動特征提取的特性使得深度學(xué)習(xí)模型采用更為復(fù)雜的結(jié)構(gòu)，訓(xùn)練過程需要更多的計算資源支持。近年來，學(xué)者們從不同角度探索文本特征的優(yōu)化，以獲得更精準(zhǔn)的分類結(jié)果^［5］。盡管尚未確立通用解決方案，但基于深度學(xué)習(xí)的方法在構(gòu)建更高效、可靠的多標(biāo)簽文本分類模型方面具有重要的研究價值^［6］。

為了降低人工編碼的難度，一些工作開始嘗試使用機器自動完成ICD編碼任務(wù)。早期工作通常使用有監(jiān)督的機器學(xué)習(xí)方法進行ICD編碼，這種方法的效率相對較低。近年來，采用卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network，CNN）和注意力機制結(jié)合的方式，大大提高了編碼的效率和準(zhǔn)確度。雖然之前的方案有所成效，但ICD編碼依然存在一些挑戰(zhàn)：a）臨床記錄往往擁有非常長的文本，其中僅有少部分關(guān)鍵文本片段與某一特定的ICD編碼相關(guān)；b）ICD編碼的標(biāo)簽空間非常龐大，在ICD-9中包含大約17 000個編碼，ICD-10中有超過40 600個編碼，龐大的標(biāo)簽空間意味著標(biāo)簽分布存在不平衡的問題。

綜上所述，ICD編碼分類的研究仍在不斷演進，如何獲得強大的文本表示并有效地利用標(biāo)簽之間的復(fù)雜關(guān)系仍然是提升任務(wù)性能的關(guān)鍵挑戰(zhàn)^［7］。本文的主要貢獻概括如下：

a）鑒于在自動ICD編碼任務(wù)中存在的標(biāo)簽分布不平衡、臨床記錄文本過長及標(biāo)簽空間龐大等問題，提出一種基于數(shù)據(jù)增強和擴張卷積的ICD自動編碼分類方法。

b）利用BioLinkBERT預(yù)訓(xùn)練語言模型^［8］引入無監(jiān)督學(xué)習(xí)，以獲取單詞語義信息。進一步，采用Mixup數(shù)據(jù)增強技術(shù)^［9］對隱藏表示進行形變，以優(yōu)化增強樣本質(zhì)量并減少噪聲干擾。最后，引入多粒度擴張卷積^［10］，旨在提高單詞之間的交互能力。

c）實驗結(jié)果表明，在公開數(shù)據(jù)集MIMIC-Ⅲ的驗證集上，該模型相較于其他ICD編碼分類方法表現(xiàn)出更為卓越的分類性能，具有一定的可靠性。

1 相關(guān)工作

深度學(xué)習(xí)的多標(biāo)簽文本分類方法主要包括基于CNN的方法、基于循環(huán)神經(jīng)網(wǎng)絡(luò)（recurrent neural network， RNN）的方法以及基于注意力機制的方法。

a）基于CNN的方法。2014年，Kim^［11］所提文本分類網(wǎng)絡(luò)模型中，采用不同大小的卷積核對文本進行卷積操作，以覆蓋不同長度的詞語組合，通過卷積和池化操作有效地捕獲文本中的局部特征。該模型通過全連接層對特征進行組合和分類，從而實現(xiàn)對文本的精確分類。2017年，Liu等人^［13］提出一種基于CNN-XML的文本分類模型，旨在解決多標(biāo)簽文本分類中特征空間和標(biāo)簽空間龐大導(dǎo)致的數(shù)據(jù)稀疏等問題。該模型采用動態(tài)最大池化技術(shù)對卷積層輸出的特征進行分塊處理，隨后對每個塊進行最大池化操作，在保持關(guān)鍵特征的同時保留其相對位置信息。為解決層級標(biāo)簽數(shù)據(jù)稀疏性等問題，2018年Shimura等人^［12］提出基于CNN的分層微調(diào)（hierarchical fine-tuning based CNN， HFT-CNN）模型。該模型采用層級結(jié)構(gòu)，利用Fasttext學(xué)習(xí)上層標(biāo)簽信息，并將這些信息傳遞到下層標(biāo)簽學(xué)習(xí)過程中。在學(xué)習(xí)下層標(biāo)簽信息時，采用與上層相同的結(jié)構(gòu)，并通過fine-tuning方式微調(diào)上層模型的參數(shù)，以促進對下層標(biāo)簽的學(xué)習(xí)。2020年，Yang等人^［13］提出混合孿生卷積神經(jīng)網(wǎng)絡(luò)模型（hybrid-siamese convolutional neural network， HSCNN），以解決多標(biāo)簽文本分類中樣本標(biāo)簽分布不平衡的問題。該模型通過采用混合CNN模型，對頭部和尾部分類采用不同的網(wǎng)絡(luò)結(jié)構(gòu)，從而在一定程度上緩解標(biāo)簽類別不平衡的問題。2021年，Tan等人^［14］首次將動態(tài)嵌入投影門（dynamic embedding projection gated， DEPG）應(yīng)用于詞嵌入矩陣，提出動態(tài)嵌入投影卷積神經(jīng)網(wǎng)絡(luò)（dynamic embedding projection convolutional neural network， DEPCNN）。該模型旨在提升模型的精度并縮短訓(xùn)練時間，通過引入DEPG技術(shù)，期望在文本處理任務(wù)中取得更為優(yōu)越的性能表現(xiàn)。在多標(biāo)簽分類領(lǐng)域，為解決多標(biāo)簽圖像分類問題，Chen等人^［15］首次引入圖卷積網(wǎng)絡(luò)（graph convolutional network， GCN），提出一種基于圖卷積網(wǎng)絡(luò)的多標(biāo)簽分類模型。該模型以標(biāo)簽空間為基礎(chǔ)構(gòu)建有向圖，并將其映射到相互依賴的分類器中以提升分類性能，并更好地捕獲標(biāo)簽間的相關(guān)性。另一方面，Zhang等人^［16］采用顯式的標(biāo)簽圖模型，結(jié)合非線性嵌入和基于圖先驗的方法，以更有效地捕捉標(biāo)簽之間的相關(guān)性。鑒于CNN限制模型捕獲長距離特征的能力，為了更有效地處理長文本數(shù)據(jù)，可以改進模型結(jié)構(gòu)，使其能夠更好地適應(yīng)并捕捉長文本中的關(guān)鍵信息。

b）基于RNN的方法。針對文本語義相關(guān)性對分類準(zhǔn)確率的重要影響，Hu等人^［17］采用word2vec和雙向長短期記憶網(wǎng)絡(luò)（bi-directional long short-term memory， BiLSTM）進行模型訓(xùn)練，以獲取文本數(shù)據(jù)前向和后向的語義信息及其相關(guān)性?？紤]到基于LSTM的模型存在計算量大和計算復(fù)雜度高的不足，研究者們逐漸轉(zhuǎn)向關(guān)注門控循環(huán)單元（gated recurrent unit， GRU）應(yīng)用，并提出基于GRU的多標(biāo)簽文本分類方法，以克服LSTM模型的局限性。Xie等人^［18］使用樹型序列LSTM進行ICD編碼，以處理ICD代碼的層次結(jié)構(gòu)，更有效地提取文本特征。Liu等人^［19］在GRU模型基礎(chǔ)上，提出創(chuàng)新的混合模型（TCN and GRU network， TGNet），結(jié)合時間序列信息以更好地適應(yīng)中文和英文文本數(shù)據(jù)。相對于LSTM，GRU在參數(shù)數(shù)量上進行優(yōu)化，并在性能上取得顯著改進。為提升分類效果，Yang等人^［20］通過整合標(biāo)簽間的相關(guān)性，采用LSTM解碼器按順序生成標(biāo)簽，充分考慮標(biāo)簽關(guān)聯(lián)性，獲得更優(yōu)異的性能。另一方面，Lin等人^［21］在傳統(tǒng)seq2seq模型基礎(chǔ)上引入多級擴展卷積，從源文本的上下文中提取有效信息，并提取文本序列的單元級和單詞級語義信息，以減少對標(biāo)簽序列先驗分布的影響。此外，Xiao等人^［22］對傳統(tǒng)seq2seq模型進行改進，擺脫對文本隱藏狀態(tài)的依賴，結(jié)合歷史信息與seq2seq模型，以獲取上下文和標(biāo)簽信息，更準(zhǔn)確地捕獲文本中的重要單詞并減少信息傳播中的錯誤。基于RNN的模型存在計算量大和計算復(fù)雜度高的問題，會導(dǎo)致訓(xùn)練時間變長，特別是在處理大規(guī)模數(shù)據(jù)集時，所需的時間顯著增加。

c）基于注意力機制的方法。研究者普遍趨向于將深度學(xué)習(xí)模型與注意力機制相融合，以提升模型效能。Zhou等人^［23］采用長短期記憶神經(jīng)網(wǎng)絡(luò)與注意力機制相結(jié)合的策略，旨在獲取文本中最為關(guān)鍵的語義信息。為了獲取不同場景下的重要文本信息，Yang等人^［24］提出一種多層次的注意力機制，并在不同的層級上采用差異化的注意策略用于文本分類。自注意力機制^［25］在序列學(xué)習(xí)任務(wù)中表現(xiàn)出顯著的優(yōu)勢。相較于傳統(tǒng)的RNN，該機制更有效地捕獲序列中的長期依賴關(guān)系。Transformer中的多頭注意力機制具有獨特的優(yōu)勢，能夠?qū)崿F(xiàn)序列中每個位置與其他位置的直接連接，從而學(xué)習(xí)到更為全面的全局依賴關(guān)系。一些研究者們將自注意力機制應(yīng)用于文本分類，Lu等人^［26］提出基于自注意力的卷積神經(jīng)網(wǎng)絡(luò)（self-attention-based convolutional neural network， SACNN）用于句子分類，包括兩個自注意力層和一個卷積神經(jīng)網(wǎng)絡(luò)，從而提高文本分類效率。同時，其他研究者嘗試采用不同的圖網(wǎng)絡(luò)模型，如圖注意網(wǎng)絡(luò)（graph attention network， GAT）和圖同構(gòu)網(wǎng)絡(luò)（graph isomorphism network， GIN）等，以捕獲標(biāo)簽之間的注意依賴結(jié)構(gòu)。自注意力和多頭注意力機制雖然擅長處理文本內(nèi)部的信息交互，但它們不足以充分捕捉標(biāo)簽之間的相關(guān)性和語義聯(lián)系，特別是在對出現(xiàn)頻率較低的標(biāo)簽進行分類時，難以獲取充分的信息，從而影響分類效果。

以上研究表明，CNN在處理文本內(nèi)容時，利用卷積核對文本進行窗口計算，結(jié)構(gòu)相對簡單。然而，CNN對于長距離的依賴關(guān)系建模能力相對有限，同時池化操作也會導(dǎo)致部分文本語義信息丟失。雖然基于RNN的多標(biāo)簽文本分類方法在一定程度上能夠處理醫(yī)療文本數(shù)據(jù)，但其在長序列建模、計算效率和泛化能力等方面存在一些限制和挑戰(zhàn)。自注意力和多頭注意力主要關(guān)注輸入序列中的自身依賴關(guān)系，而在多標(biāo)簽文本分類任務(wù)中，標(biāo)簽之間的依賴關(guān)系也非常重要?；诖耍疚奶岢龌跀?shù)據(jù)增強和擴張卷積的ICD編碼分類方法：引入擴張卷積處理長文本和捕獲長距離依賴關(guān)系，還可以降低計算量；同時采用標(biāo)簽注意力機制關(guān)注標(biāo)簽之間的相關(guān)性，從而更適合多標(biāo)簽文本分類的需求。另外，使用Mixup數(shù)據(jù)增強技術(shù)增加數(shù)據(jù)多樣性，并結(jié)合預(yù)訓(xùn)練模型BioLinkBERT，進一步提升ICD編碼分類任務(wù)的性能和分類準(zhǔn)確度。

2 研究方法

2.1 整體架構(gòu)

本文采用的模型結(jié)構(gòu)如圖1所示，主要包括預(yù)訓(xùn)練模型BioLinkBERT、Mixup數(shù)據(jù)增強模塊、多粒度擴張卷積模塊以及標(biāo)簽注意力機制。

在處理長文本時，首先對整個輸入文檔進行分段，以確保每個段落長度在最大限制內(nèi)。隨后，利用預(yù)訓(xùn)練語言模型（pre-trained language model， PLM）對這些分段進行編碼，獲取各自的表示。在對分段文本進行編碼后，分段表示被聚合為完整文本的表示。進一步，引入Mixup技術(shù)對數(shù)據(jù)進行增強，該技術(shù)在高層隱藏表示上對輸入進行變形，以優(yōu)化增強樣本質(zhì)量并降低噪聲干擾，通過線性插值生成新的樣本。接著引入多粒度擴張卷積以捕獲不同距離單詞之間的交互作用，其中擴張率決定卷積核在輸入上的采樣間隔。在此基礎(chǔ)上采用串聯(lián)機制將所有token表示聚合，形成整體文檔的表示。隨后，采用標(biāo)簽注意力機制作為增強模塊，旨在學(xué)習(xí)捕獲與特定標(biāo)簽相關(guān)的關(guān)鍵文本片段。通過生成特定于標(biāo)簽的表示，并對特征矩陣進行加權(quán)處理，最終輸出通過注意力加權(quán)后的特征矩陣。最后，通過線性層操作，將特定于標(biāo)簽的文檔表示用于標(biāo)簽的分類。

2.2 輸入

ICD編碼分類任務(wù)是一個多標(biāo)簽分類問題，給定電子病歷中的臨床記錄d=（t₁，t₂，…，t_n），目標(biāo)是預(yù)測一組ICD碼yY，其中Y表示所有可能編碼的集合。通常，標(biāo)簽表示為二進制向量y∈{0，1}，其中每一位y_i表示電子病歷中是否出現(xiàn)相應(yīng)的標(biāo)簽。

分段池化機制首先將整個文檔分割成小于最大長度的段segment為s，將其分割成c個連續(xù)的片段：

s_i={t_j，|c·i≤j≤|c·（i+1）}（1）

2.3 預(yù)訓(xùn)練模型BioLinkBERT

BioLinkBERT是一種在生物醫(yī)學(xué)領(lǐng)域基于文檔鏈接關(guān)系進行預(yù)訓(xùn)練的語言模型?；贐ERT模型構(gòu)建，它是一種基于Transformer架構(gòu)的雙向編碼器，具有強大的語言理解能力。BERT模型利用Transformer的編碼器來學(xué)習(xí)輸入序列的雙向表示，通過預(yù)訓(xùn)練階段學(xué)習(xí)通用語言表示，然后可以在各種下游任務(wù)中進行微調(diào)，特別是在文本分類、命名實體識別等方面。

預(yù)訓(xùn)練模型BioLinkBERT的結(jié)構(gòu)如圖2所示，它基于BERT模型構(gòu)建，但在預(yù)訓(xùn)練階段引入額外的文檔鏈接關(guān)系預(yù)測任務(wù)，從而豐富模型的語義理解能力。在該方法中，將文本語料庫視為文檔之間的圖，并通過將鏈接的文檔放置在同一上下文中來構(gòu)建語言模型（language model， LM）的輸入。其預(yù)訓(xùn)練目標(biāo)包括掩碼語言建模（mask language model， MLM）和文檔關(guān)系預(yù)測（document relationship prediction， DRP）兩個自監(jiān)督目標(biāo)。MLM目標(biāo)旨在引入同一上下文的概念，鼓勵跨文檔知識的學(xué)習(xí)。DRP目標(biāo)則通過對輸入中兩個文本段之間的關(guān)系（連續(xù)、隨機或鏈接）進行分類，鼓勵模型學(xué)習(xí)文檔之間的相關(guān)性。有助于模型更好地理解文檔之間的關(guān)聯(lián)性和語義關(guān)聯(lián)，為下游任務(wù)提供更豐富的語義表示。以下是BioLinkBERT預(yù)訓(xùn)練中兩個主要任務(wù)的實現(xiàn)過程：

給定一個標(biāo)記序列S=（s₁，s₂，…，s_n），其中一部分標(biāo)記YS被隨機掩蓋，任務(wù)是預(yù)測這些掩蓋的標(biāo)記。MLM的損失函數(shù)通常使用交叉熵損失來計算：

L_MLM=－∑ni=1log p（s_i|slt;i，sgt;i;θ）（2）

其中：p（s_i|slt;i，sgt;i;θ）是在給定模型參數(shù)θ下，當(dāng)前標(biāo)記s_i的條件概率；slt;i和sgt;i分別表示s_i之前和之后的上下文。

對于由兩個文檔片段S_A和S_B組成的輸入實例，DRP的任務(wù)是預(yù)測這兩個片段之間的關(guān)系r。DRP的損失函數(shù)可以使用分類交叉熵損失來計算：

L_DRP=－log p（r|h_［CLS］;θ）（3）

其中：p（r|h_［CLS］;θ）是在給定模型參數(shù)θ下，關(guān)系r的條件概率；h_CLS是［CLS］標(biāo)記的向量表示，通常用于句子級別的任務(wù)。

結(jié)合這兩個任務(wù)，BioLinkBERT的總損失函數(shù)為

L=L_MLM+L_DRP（4）

在訓(xùn)練過程中，模型的參數(shù)θ通過最小化損失函數(shù)L來調(diào)整。

將分段后的文本s作為輸入，使用預(yù)訓(xùn)練模型BioLinkBERT轉(zhuǎn)換為詞嵌入表示，使用多層的雙向Transformer編碼器對輸入序列進行編碼。在編碼器的每一層，將輸入序列轉(zhuǎn)換為高維特征表示，將編碼器的最后一層輸出進行最大池化操作，得到整個序列的固定維度的表示，最終得到整個輸入序列的編碼表示。在微調(diào)階段，BioLinkBERT利用預(yù)訓(xùn)練的生物醫(yī)學(xué)語言表示，在特定的生物醫(yī)學(xué)任務(wù)上進行微調(diào)，還可以凍結(jié)部分模型層，只微調(diào)部分層，以提高模型在特定任務(wù)上的性能。通過預(yù)訓(xùn)練和微調(diào)，BioLinkBERT可以捕捉生物醫(yī)學(xué)領(lǐng)域特有的語義信息和關(guān)系，從而更好地應(yīng)用于生物醫(yī)學(xué)領(lǐng)域的ICD編碼任務(wù)中。

2.4 Mixup數(shù)據(jù)增強

當(dāng)前公開的多標(biāo)簽文本分類數(shù)據(jù)集相對有限，這給實現(xiàn)自動化分類帶來了一定挑戰(zhàn)。為解決人工標(biāo)注的時間成本和高資源成本等問題，本文引入Mixup數(shù)據(jù)增強方法。文本數(shù)據(jù)增強技術(shù)主要分為兩類：a）針對原始語料的方法，通過同義詞替換、隨機插入、隨機交換以及隨機刪除等方式對語料進行處理，以獲取更多與訓(xùn)練語料相似的語句，從而擴充原始數(shù)據(jù)；b）針對文本表示的方法，即在語料的特征表示層面進行增強處理，例如注入隨機噪聲等。這些方法旨在提高訓(xùn)練數(shù)據(jù)的多樣性和豐富性，以增強模型的泛化性能。

本文采用Mixup作為數(shù)據(jù)增強方法，重點在于對輸入樣本的高層隱藏表示進行變換，以精細控制增強樣本的質(zhì)量并降低噪聲的影響。該方法的具體操作如下：a）隨機從訓(xùn)練數(shù)據(jù)集中選擇兩個樣本，分別記為樣本A和B，其中樣本A是輸入樣本的特征表示，樣本B是對應(yīng)的標(biāo)簽序列；b）針對每個輸入序列樣本A，通過模型的隱藏表示層獲得對應(yīng)的特征表示；c）對特征表示進行線性插值，生成新的特征表示。對于每個特征向量的相應(yīng)位置，通過式（5）進行計算，得到插值后的特征值。

new_feature=λ×feature₁+（1－λ）×feature₂（5）

其中：λ為一個參數(shù)，用于控制插值的程度。

采用插值后的特征表示進行CRF解碼，以獲取新的標(biāo)簽序列。這些插值后的特征表示和相應(yīng)的新標(biāo)簽序列被視為增強樣本，并與原始樣本一同參與模型的訓(xùn)練。通過Mixup技術(shù)，充分利用輸入樣本之間的特征關(guān)聯(lián)和上下文信息，生成多樣化的訓(xùn)練樣本，有效提升模型性能。

2.5 多粒度擴張卷積

擴張卷積是一種通過采用不同擴張率的多個二維卷積核，在不降低特征圖分辨率的前提下增加感受野的技術(shù)。這一操作可以幫助網(wǎng)絡(luò)涵蓋更廣泛的信息范圍，從而提高模型對輸入數(shù)據(jù)的理解能力。擴張卷積通過調(diào)整卷積核的擴張率來決定在輸入上的采樣間隔，較大的擴張率有助于捕獲更遠距離的單詞之間的關(guān)聯(lián)性，進而提高模型的表征能力。相比傳統(tǒng)的卷積操作，擴張卷積能夠在不增加網(wǎng)絡(luò)參數(shù)的情況下增加感受野，從而提高模型的感知范圍和上下文理解能力。

在多粒度擴張卷積的計算過程中，針對每個擴張率l∈［1，2，3］，首先使用具有該擴張率l的二維卷積核對輸入進行卷積操作，得到相應(yīng)的輸出Q^l。然后，對每個擴張率的輸出Q^l應(yīng)用GELU激活函數(shù)進行非線性變換。接著，將所有擴張率的輸出Q^l拼接在一起，形成最終的輸出結(jié)果Q。這種多粒度擴張卷積的方法能夠有效地捕獲不同距離單詞之間的關(guān)系，從而提升模型的性能。在具體實現(xiàn)中，首先利用預(yù)訓(xùn)練模型BioLinkBERT獲取上下文中單詞的表示，然后構(gòu)建單詞對的二維網(wǎng)格。通過引入多粒度的二維卷積，可以對詞對表示進行精細化處理，從而有力地捕獲近距離和遠距離單詞對之間的交互關(guān)系。具體而言，擴張卷積的計算公式如下：

Q^l=σ（DConv_l（C））（6）

其中：Q^l∈?^N×N×d_c表示具有膨脹率l的膨脹卷積的輸出；σ是GELU激活函數(shù)。

在此之后，可以獲得最終的詞對網(wǎng)格表示Q=［Q¹，Q²，Q³］∈?^N×N×3d_c。多粒度擴張卷積結(jié)構(gòu)如圖3所示，通過在基礎(chǔ)卷積核中引入間隔，實現(xiàn)更廣范圍的感受野，從而增強模型對輸入數(shù)據(jù)的感知能力。圖3（a）展示基礎(chǔ)卷積核的結(jié)構(gòu)，而圖3（b）（c）分別展示擴張率為2和3的擴張卷積核的結(jié)構(gòu)。具體而言，擴張率為2的卷積核具有7×7的感受野，但僅有9個參數(shù)，其他位置的參數(shù)均為零。同樣，擴張率為3的卷積核具有9×9的感受野，但也僅有有限數(shù)量的參數(shù)捕獲全局特征。

多粒度二維卷積作為關(guān)系捕捉的關(guān)鍵技術(shù)之一，利用多個擁有不同擴張率的二維卷積層來處理單詞之間的交互關(guān)系。這些卷積層的擴張率可以靈活設(shè)定，通過采用不同的擴張率，實現(xiàn)對不同距離范圍內(nèi)單詞交互關(guān)系的捕獲。該擴張率的設(shè)置使得模型能夠有效地捕獲單詞之間的遠距離依賴關(guān)系，從而提升模型對輸入的電子病歷文本信息的理解能力和表征能力。

2.6 標(biāo)簽注意力

在多標(biāo)簽分類任務(wù)中，一個樣本一般會對應(yīng)多個標(biāo)簽，每個標(biāo)簽代表樣本都具有的某種特定屬性或類別。它有助于ICD編碼分類模型在預(yù)測多個標(biāo)簽時更加關(guān)注相關(guān)性更高的標(biāo)簽，并且在模型解釋性方面提供一定的幫助。其架構(gòu)如圖4所示，模型包含嵌入層、BiLSTM、注意力層以及輸出層。

a）嵌入層是模型的輸入層，負責(zé)將臨床文本中的詞標(biāo)記轉(zhuǎn)換為密集的詞嵌入向量。

b）BiLSTM層被用來捕獲輸入詞的上下文信息。采用雙向結(jié)構(gòu)，它能夠同時考慮詞語的前后文信息，從而更全面地理解臨床文本的語境和含義，為后續(xù)注意力層提供更豐富的輸入信息，其實現(xiàn)過程如下：

q₁，q₂，…，q₃=BiLSTM（y₁，y₂，…，y_m）（7）

其中：y表示標(biāo)簽輸入；q則為標(biāo)簽表示。

c）鑒于臨床文獻長度不一且文檔包含多個標(biāo)簽，注意力層將隱藏狀態(tài)矩陣轉(zhuǎn)換為表示輸入文檔的標(biāo)簽特定向量。注意力層將雙向LSTM層的隱藏狀態(tài)矩陣轉(zhuǎn)換為表示輸入文檔的標(biāo)簽特定向量，通過對隱藏狀態(tài)進行加權(quán)，該層能夠聚焦于與ICD編碼相關(guān)的關(guān)鍵信息，提高模型對文本中重要部分的關(guān)注程度，從而提升模型的預(yù)測性能。

d）對于每個特定于標(biāo)簽的表示，將其輸入相應(yīng)的單層前饋網(wǎng)絡(luò)（feedforward neural network，F(xiàn)FNN）。該網(wǎng)絡(luò)具有單節(jié)點輸出層，接著是一個激活函數(shù)，以生成給定標(biāo)簽的文檔概率。輸出層接收來自注意力層的標(biāo)簽特定向量，并將其輸入到FFNN中。FFNN具有單個節(jié)點的輸出層，緊跟著一個激活函數(shù)，通常是sigmoid或softmax函數(shù)，用于生成給定標(biāo)簽的文檔概率。

為了解決大標(biāo)簽集的問題，本文采用標(biāo)簽注意力機制來增強預(yù)訓(xùn)練語言模型，以學(xué)習(xí)捕獲與特定標(biāo)簽相關(guān)的重要文本片段的標(biāo)簽特定表示。一旦獲取令牌隱藏表示H，利用注意機制將H轉(zhuǎn)換為特定于標(biāo)簽的表示。標(biāo)簽注意力機制將H作為輸入，并計算特定于標(biāo)簽的表示。該機制可以分為兩個步驟。首先，計算標(biāo)簽關(guān)注權(quán)重矩陣A：

Z=tanh（VH）（8）

A=softmax（WZ）（9）

其中：V和W是線性變換；A的第i行表示第i個標(biāo)簽的權(quán)重，對每個標(biāo)簽執(zhí)行softmax函數(shù)以在所有令牌上形成分布。

然后，使用矩陣A對H進行加權(quán)和，計算特定于標(biāo)簽的文檔表示：

D_i=HA^T（10）

其中：D_i表示第i個標(biāo)簽的文檔表示。

最后，使用特定于標(biāo)簽的文檔表示D來進行預(yù)測：

p_i=sigmoid（〈L_i，D_i〉）（11）

其中：L_i是第i個標(biāo)簽的向量；〈〉表示兩個向量之間的內(nèi)積；p_i是第i個標(biāo)簽的預(yù)測概率。然后，基于預(yù)定義的閾值t為文檔分配標(biāo)簽。

訓(xùn)練目標(biāo)是最小化二進制交叉熵損失L（y，p）：

－1|y|∑|y|i=1（y_ilog p_i+（1－y_i）log（1－p_i））（12）

3 實驗與結(jié)果

3.1 數(shù)據(jù)集

本文采用MIMIC-Ⅲ數(shù)據(jù)集，其中包括MIMIC-Ⅲ（top-50）和MIMIC-Ⅲ（full）兩個重要的子集，MIMIC-Ⅲ作為一個全面、詳細的數(shù)據(jù)集，收錄了重癥監(jiān)護病房（ICU）患者的醫(yī)療記錄，包括生命體征、實驗室測試結(jié)果、藥物使用、病情發(fā)展和治療方案等，具體統(tǒng)計信息如表1所示。

基于MIMIC-Ⅲ數(shù)據(jù)集，能夠探索豐富的臨床數(shù)據(jù)，從中獲取有關(guān)患者診斷、治療和疾病預(yù)后的詳細信息。這樣的數(shù)據(jù)資源不僅有助于醫(yī)學(xué)研究和臨床實踐的發(fā)展，還可以為人工智能在醫(yī)療健康領(lǐng)域的應(yīng)用提供強有力的支持和驗證。

本實驗對MIMIC-Ⅲ（full）數(shù)據(jù)集中的句子長度進行詳細統(tǒng)計，并將其分布情況整理如表2所示。表中展示句子長度在不同區(qū)間范圍內(nèi)的比例，以便對句子長度分布有一個直觀的了解。這些統(tǒng)計信息有助于確定適當(dāng)?shù)哪Ｐ洼斎胄蛄虚L度，并為模型設(shè)計和調(diào)參提供參考。通過對句子長度的分析，可以更好地理解臨床文本數(shù)據(jù)的特點，從而更有效地處理和利用這些數(shù)據(jù)進行后續(xù)的任務(wù)和分析。

3.2 測試環(huán)境

為了開展與ICD編碼分類相關(guān)的研究，本文進行廣泛的實驗，采用PyTorch框架搭建實驗?zāi)Ｐ?。?詳細描述本文所采用的硬件配置，這些硬件環(huán)境可以提供足夠的計算資源和性能支持，以有效地訓(xùn)練和評估模型。

模型的具體參數(shù)如表4所示，包括各個模塊的配置參數(shù)和超參數(shù)設(shè)置。其中，詞向量維度決定詞嵌入空間的維度大??；詞表單詞個數(shù)定義詞匯表的大?。坏螖?shù)則決定模型訓(xùn)練的輪數(shù)；學(xué)習(xí)率控制模型在訓(xùn)練過程中的參數(shù)更新步長；dropout作為一種正則化手段，通過隨機丟棄部分神經(jīng)元來防止模型過擬合。

根據(jù)不同參數(shù)設(shè)置下的性能差異，本文設(shè)置如表中所示的參數(shù)值以確保實現(xiàn)最佳的模型表現(xiàn)。采用768維的詞向量能夠提供豐富的信息，尤其是在處理較復(fù)雜的文本分類任務(wù)時，有助于模型理解詞義和上下文。盡管提升到更高維度（例如1 024維）的詞向量能夠提供更多的信息，但這將增加內(nèi)存的使用，從而限制模型處理數(shù)據(jù)的規(guī)模。詞表大小決定模型能夠識別的單詞種類。包含51 921個單詞的詞表為模型提供一個相對平衡的詞匯覆蓋范圍，既不會過大導(dǎo)致模型訓(xùn)練困難，也不會過小而忽視一些重要的詞匯。在微調(diào)過程中，本文執(zhí)行一系列不同迭代次數(shù)的對比實驗。通過將迭代次數(shù)設(shè)定在10～70次，每次增加10次迭代，發(fā)現(xiàn)50次迭代能夠取得最優(yōu)效果。這一設(shè)置既確保模型有足夠的時間學(xué)習(xí)數(shù)據(jù)特征，又有效避免因迭代次數(shù)過多而引起的過擬合問題。此外，將學(xué)習(xí)率設(shè)置為0.000 1，這一較低的學(xué)習(xí)率有助于模型在訓(xùn)練過程中實現(xiàn)穩(wěn)定的收斂。對于本文的龐大數(shù)據(jù)集，較小的學(xué)習(xí)率是首選。從dropout比例為0.2～0.5的實驗過程中發(fā)現(xiàn)，當(dāng)dropout比例調(diào)整為0.2時，模型的性能表現(xiàn)最佳。

3.3 評估指標(biāo)

對實驗結(jié)果的評估采用微平均F₁值（Micro-F₁）和宏平均F₁值（Macro-F₁）。其中Micro-F₁首先計算出所有標(biāo)簽的precision_micro和recall_micro，再通過F₁計算公式進一步求得Micro-F₁的值，綜合考慮所有標(biāo)簽的整體召回率和精度。

precision_micro=∑ni=1TP_i∑ni=1TP_i+∑ni=1FP_i（13）

recall_micro=∑ni=1TP_i∑ni=1TP_i+∑ni=1FN_i（14）

Micro-F₁=2×precision_micro×recall_microprecision_micro+recall_micro（15）

Macro-F₁首先計算出各個標(biāo)簽的平均precision_micro和recall_micro，再通過F₁計算公式求得Macro-F₁的值，計算所有標(biāo)簽的平均F₁值。

Micro-F₁考慮每個標(biāo)簽在整個數(shù)據(jù)集中的出現(xiàn)頻率，因此更加關(guān)注頻繁出現(xiàn)的標(biāo)簽，賦予其更高的權(quán)重。它通過對所有樣本的真實標(biāo)簽和預(yù)測標(biāo)簽的總體準(zhǔn)確率、召回率進行計算得出。相比之下，Macro-F₁獨立計算每個標(biāo)簽的準(zhǔn)確率和召回率，然后對它們?nèi)∑骄?，因此對于每個標(biāo)簽都賦予相同的權(quán)重。對于大規(guī)模標(biāo)簽數(shù)據(jù)集，考慮到標(biāo)簽的稀疏性，本文采用每個測試樣本潛在相關(guān)標(biāo)簽的簡短列表來表示分類質(zhì)量。通過基于樣本的排序標(biāo)準(zhǔn)來評估模型，表示模型在第k個標(biāo)簽位置的準(zhǔn)確率。

3.4 消融實驗

為確保整體特征矩陣的維度一致性，需要為輸入句子設(shè)定一個統(tǒng)一的最大長度值。若輸入句子長度過短，會導(dǎo)致模型對句子含義的特征提取不足，從而影響整體性能；若長度過長，不僅會增加整體模型的訓(xùn)練時間，還可能影響數(shù)據(jù)集中較短句子的真實含義。為保持實驗的一致性，需要在較短句子之后進行填充操作，但這也會對模型性能造成一定影響。因此，本文進行對比實驗，分析不同輸入長度對模型性能的影響。

通過觀察表5的結(jié)果，明顯發(fā)現(xiàn)當(dāng)MaxLength設(shè)置為3 000時，模型整體性能較MaxLength為2 500或3 500時有顯著改善。為了深入研究MaxLength在3 000附近對模型性能的影響，本文進行實驗，調(diào)整MaxLength的值。實驗結(jié)果表明，當(dāng)MaxLength分別設(shè)置為2 750、2 850和3 100時，模型整體性能均不如MaxLength為3 000時。此外，在MaxLength為3 000的情況下，損失函數(shù)的值達到最低，并且多個性能指標(biāo)均為最優(yōu)值。因此，本文確定將MaxLength的值設(shè)置為3 000，并在這一設(shè)定下進行后續(xù)實驗。

在兩個數(shù)據(jù)集上進行消融實驗，實驗結(jié)果詳見表6和7。由此看出，DEDC-ICD在MIMIC-Ⅲ上可獲得較好的實驗結(jié)果。本文做的第一個消融實驗是未使用Mixup數(shù)據(jù)增強，性能略有下降。這一結(jié)果表明，Mixup數(shù)據(jù)增強有助于提高性能。第二個消融實驗是去掉擴張卷積模塊，導(dǎo)致更差的性能，該結(jié)果表明，擴張卷積對于捕獲更遠距離的單詞之間的關(guān)聯(lián)性，理解上下文語義信息更有效。進一步，本文在PLM方法上融合Mixup數(shù)據(jù)增強方法和多粒度擴張卷積模塊，從實驗數(shù)據(jù)可以看出，兩種模塊融合之后效果較好，具有較強的可靠性。

3.5 對比實驗

為了全面評估本文模型的性能，將其與先前研究中的多個基線模型進行比較。所選用的評價指標(biāo)涵蓋宏觀AUC值、微觀AUC值、宏觀F₁值、微觀F₁值、precision@5以及precision@8，這些指標(biāo)能夠綜合反映模型在分類任務(wù)上的性能表現(xiàn)。

表8呈現(xiàn)了在 MIMIC-Ⅲ（top50） 上進行的實驗結(jié)果。結(jié)果表明，本文模型在多個評價指標(biāo)上表現(xiàn)出色，相較于基線模型具有顯著的優(yōu)勢，這驗證了模型在處理具有豐富訓(xùn)練樣本的標(biāo)簽時的有效性。而表9則展示在MIMIC-Ⅲ（full）上的實驗結(jié)果，盡管面臨標(biāo)簽分布不平衡的挑戰(zhàn)，本文模型依然展現(xiàn)出較強的性能，特別是在處理樣本較少的標(biāo)簽時，其表現(xiàn)尤為突出。為進一步驗證本文DEDC-ICD的性能，將其與幾個典型的文本分類算法如C-MemNN、C-LSTM-Att、CAML、DR-CAML、MultiResCNN以及LongBERT等進行對比。

通過對表8、9的觀察可以發(fā)現(xiàn)，在MIMIC-Ⅲ（full）中，宏觀F₁值明顯低于微觀F₁值。這一現(xiàn)象主要歸因于MIMIC-Ⅲ（full）中存在的標(biāo)簽分布不平衡問題。在該數(shù)據(jù)集中，許多標(biāo)簽的訓(xùn)練樣本數(shù)量較少，甚至僅有幾條或幾十條，導(dǎo)致模型對這些標(biāo)簽的訓(xùn)練不足。由于訓(xùn)練樣本數(shù)量不足，模型未能充分學(xué)習(xí)這些標(biāo)簽的潛在特征，所以在對這些標(biāo)簽進行預(yù)測時表現(xiàn)較差。相反，在MIMIC-Ⅲ（top50）中，雖然宏觀F₁值仍然小于微觀F₁值，但兩者之間的差距顯著減小。這是因為在MIMIC-Ⅲ（top50）中，選取MIMIC-Ⅲ中最常見的50個標(biāo)簽作為訓(xùn)練集，這些標(biāo)簽具有大量的訓(xùn)練數(shù)據(jù)，模型在這些標(biāo)簽上得到充分的訓(xùn)練，因此宏觀F₁值與微觀F₁值之間的差距減小。

實驗采用不同的標(biāo)簽注意力機制在MIMIC-Ⅲ（full）上進行比較，并在表10中展示各自的性能表現(xiàn)。如表10所示，具體比較包括 LAAT、CAML和BERT-XML在內(nèi)的標(biāo)簽注意力機制。結(jié)果顯示，本文采用的LAAT中使用標(biāo)簽注意力機制表現(xiàn)最優(yōu)。這意味著LAAT的標(biāo)簽注意力機制與本文模型結(jié)構(gòu)相適應(yīng)，能夠更好地增強模型對重要標(biāo)簽的關(guān)注度，從而提高對與ICD編碼相關(guān)的標(biāo)簽的識別能力，提升模型性能。

3.6 案例分析

為了進一步驗證DEDC-ICD在ICD編碼分類任務(wù)中的有效性，隨機選取若干條電子病歷進行對比，下面以MIMIC-Ⅲ（full） 其中一條作為樣例進行分析，如圖5所示。這段臨床記錄描述了一位年輕患者的情況，因從約三層樓高的地方跌落而被送至醫(yī)院。

clinical note：

present illness this is a young male of unknown age brought by ems after having sustained an approximately three story

fall， the patient had a fast exam which showed fluid in the peritoneal cavity and was therefore forwarded rapidly to the

operating room， the patient had a right chest tube placed and there was seen to be a moderate amount of bleeding out of the

right chest， ... however there was seen to be a large retroperitoneal hematoma extending from the pelvis up to the level of

the kidneys re-troperitoneally ...

codes：

860.4（Intra-abdominal injury without mention of open wound）;

868.03（Other and unspecified injuries of unspecified intra-abdominal organs）;

E957.1（Fall from one level to another）;

854.05（Other specified intracranial injuries following injury without mention of open intracranial wound）

MultiResCNN

860.4; 868.03; 854.00PLM-ICD860.4; 868.03; 854.05DEDC-ICD860.4; 868.03; E957.1; 854.05

在對同一電子病歷文本進行ICD編碼分類的過程中，盡管MultiResCNN方法能夠預(yù)測出3個標(biāo)簽，但其中的一個標(biāo)簽準(zhǔn)確度不足，將標(biāo)簽854.05（顱內(nèi)損傷伴有短暫的意識喪失）預(yù)測為標(biāo)簽854.00（未特指的顱內(nèi)損傷）。這主要是因為模型在特定的醫(yī)療編碼任務(wù)中缺少醫(yī)學(xué)領(lǐng)域數(shù)據(jù)的訓(xùn)練，對標(biāo)簽預(yù)測不夠精準(zhǔn)，同時會受到標(biāo)簽不平衡問題的影響。與之相比，基線模型PLM-ICD也預(yù)測出3個標(biāo)簽，且都是準(zhǔn)確的，但缺少對標(biāo)簽E957.1（未特指的跌落事故）的預(yù)測。本文模型能夠更準(zhǔn)確地識別出所有標(biāo)簽，這種改進主要得益于Mixup數(shù)據(jù)增強技術(shù)的應(yīng)用，該技術(shù)為模型的訓(xùn)練提供更多樣化的數(shù)據(jù)，從而確保模型能夠接受更為全面的學(xué)習(xí)。此外，擴張卷積的引入顯著提升模型捕獲電子病歷文本中長距離依賴關(guān)系的能力，這不僅有助于模型對病歷進行整體分類，還使得模型能夠關(guān)注到其他模型忽視的細節(jié)信息。結(jié)合預(yù)訓(xùn)練模型BioLinkBERT，針對特定生物醫(yī)學(xué)領(lǐng)域表現(xiàn)更為出色。

4 結(jié)束語

本文提出一種基于數(shù)據(jù)增強和擴張卷積的ICD編碼分類方法。首先，采用預(yù)訓(xùn)練模型BioLinkBERT，利用無監(jiān)督學(xué)習(xí)獲得上下文相關(guān)的單詞表示，以更準(zhǔn)確地捕捉語義信息；其次，引入Mixup技術(shù)，通過優(yōu)化隱藏表示來增強樣本的質(zhì)量和分類魯棒性；最后，引入多粒度擴張卷積，利用不同擴張率的卷積核增強不同距離單詞之間的交互，從而提升模型的分類性能。實驗結(jié)果表明，DEDC-ICD在MIMIC-Ⅲ數(shù)據(jù)集上的F₁值和precision@k方面均有改善，相較于基準(zhǔn)模型分別提升0.4%～1.5%和1.2%～1.6%，為ICD編碼任務(wù)提供可行的解決方案。未來的研究方向包括有效整合多模態(tài)數(shù)據(jù)以提高對醫(yī)療信息的利用能力，并將模型應(yīng)用于實際的臨床環(huán)境^［36］。通過系統(tǒng)的臨床驗證評估其在醫(yī)療決策中的效果，這一系列研究將有助于推動ICD編碼領(lǐng)域在實際醫(yī)學(xué)應(yīng)用中的發(fā)展。

參考文獻：

［1］姜麗梅， 李秉龍. 面向圖像文本的多模態(tài)處理方法綜述［J］. 計算機應(yīng)用研究， 2024， 41（5）： 1281-1290. （Jiang Limei， Li Bing-long. Comprehensive review of multimodal processing methods for image-text［J］. Application Research of Computers， 2024， 41（5）： 1281-1290.）

［2］趙京勝， 宋夢雪， 高祥， 等. 自然語言處理中的文本表示研究［J］. 軟件學(xué)報， 2022， 33（1）： 102-128. （Zhao Jingsheng， Song Mengxue， Gao Xiang， et al. Research on text representation in natural language processing［J］. Journal of Software， 2022， 33（1）： 102-128.）

［3］Liu Jingzhou， Chang Weicheng， Wu Yuexin， et al. Deep learning for extreme multi-label text classification［C］// Proc of the 40th International ACM SIGIR Conference on Research and Development in Information Retrieval. New York： ACM Press， 2017： 115-124.

［4］郝超， 裘杭萍， 孫毅， 等. 多標(biāo)簽文本分類研究進展［J］. 計算機工程與應(yīng)用， 2021， 57（10）： 48-56. （Hao Chao， Qiu Hangping， Sun Yi， et al. Research progress of multi-label text classification［J］. Computer Engineering and Applications， 2021， 57（10）： 48-56.）

［5］辛梓銘， 王芳. 基于改進樸素貝葉斯算法的文本分類研究［J］. 燕山大學(xué)學(xué)報， 2023， 47（1）： 82-88. （Xin Ziming， Wang Fang. Research on text classification based on improved naive Bayes algorithm［J］. Journal of Yanshan University， 2023， 47（1）： 82-88.）

［6］呂學(xué)強， 彭郴， 張樂， 等. 融合BERT與標(biāo)簽語義注意力的文本多標(biāo)簽分類方法［J］. 計算機應(yīng)用， 2022， 42（1）： 57-63. （Lyu Xueqiang， Peng Chen， Zhang Le， et al. Text multi-label classification method incorporating BERT and label semantic attention［J］. Journal of Computer Applications， 2022， 42（1）： 57-63.）

［7］張文峰， 奚雪峰， 崔志明， 等. 多標(biāo)簽文本分類研究回顧與展望［J］. 計算機工程與應(yīng)用， 2023， 59（18）： 28-48. （Zhang Wenfeng， Xi Xuefeng， Cui Zhiming， et al. Review and prospect of multi-label text classification research［J］. Computer Engineering and Applications， 2023， 59（18）： 28-48.）

［8］Yasunaga M， Leskovec J， Liang P. LinkBERT： pretraining language models with document links［C］// Proc of the 60th Annual Meeting of the Association for Computational Linguistics. Stroudsburg， PA： Asso-ciation for Computational Linguistics， 2022： 8003-8016.

［9］Wu Linzhi， Xie Pengjun， Zhou Jie， et al. Robust self-augmentation for named entity recognition with meta reweighting［C］// Proc of Confe-rence of the North American Chapter of the Association for Computational Linguistics： Human Language Technologies. Stroudsburg， PA： Association for Computational Linguistics， 2022： 4049-4060.

［10］Li Jingye， Fei Hao， Liu Jiang， et al. Unified named entity recognition as word-word relation classification［C］// Proc of AAAI Confe-rence on Artificial Intelligence. Palo Alto， CA： AAAI Press， 2022： 10965-10973.

［11］Kim Y. Convolutional neural networks for sentence classification［C］// Proc of Conference on Empirical Methods in Natural Language Processing. Stroudsburg， PA： Association for Computational Linguistics， 2014： 1746-1751.

［12］Shimura K， Li Jiyi， Fukumoto F. HFT-CNN： learning hierarchical category structure for multi-label short text categorization［C］// Proc of Conference on Empirical Methods in Natural Language Processing. Stroudsburg， PA： Association for Computational Linguistics， 2018： 811-816.

［13］Yang Wenshuo， Li Jiyi， Fukumoto F， et al. HSCNN： a hybrid-siamese convolutional neural network for extremely imbalanced multi-label text classification［C］// Proc of Conference on Empirical Me-thods in Natural Language Processing. Stroudsburg， PA： Association for Computational Linguistics， 2020： 6716-6722.

［14］Tan Zhipeng， Chen Jing， Kang Qi， et al. Dynamic embedding projection-gated convolutional neural networks for text classification［J］. IEEE Trans on Neural Networks and Learning Systems， 2021， 33（3）： 973-982.

［15］Chen Zhaomin， Wei Xiushen， Wang Peng， et al. Multi-label image recognition with graph convolutional networks［C］// Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition. Pisca-taway， NJ： IEEE Press， 2019： 5177-5186.

［16］Zhang Wenjie， Yan Junchi， Wang Xiangfeng， et al. Deep extreme multi-label learning［C］// Proc of ACM on International Conference on Multimedia Retrieval. New York： ACM Press， 2018： 100-107.

［17］Hu Junlin， Kang Xin， Nishide S， et al. Text multi-label sentiment analysis based on Bi-LSTM［C］// Proc of the 6th International Confe-rence on Cloud Computing and Intelligence Systems. Piscataway， NJ： IEEE Press， 2019： 16-20.

［18］Xie Pengtao， Xing E. A neural architecture for automated ICD coding［C］// Proc of the 56th Annual Meeting of the Association for Computational Linguistics. Stroudsburg， PA： Association for Computational Linguistics， 2018： 1066-1076.

［19］Liu Yapei， Ma Jianhong， Tao Yongcai， et al. Hybrid neural network text classification combining TCN and GRU［C］// Proc of the 23rd International Conference on Computational Science and Engineering. Piscataway，NJ：IEEE Press， 2020： 30-35.

［20］Yang Pengcheng， Sun Xu， Li Wei， et al. SGM： sequence generation model for multi-label classification［C］// Proc of the 27th International Conference on Computational Linguistics. Stroudsburg， PA： Association for Computational Linguistics， 2018： 3915-3926.

［21］Lin Junyang， Su Qi， Yang Pengcheng， et al. Semantic-unit-based dilated convolution for multi-label text classification［C］// Proc of Conference on Empirical Methods in Natural Language Processing. Stroudsburg， PA： Association for Computational Linguistics， 2018： 4554-4564.

［22］Xiao Yaoqiang， Li Yi， Yuan Jin， et al. History-based attention in seq2seq model for multi-label text classification［J］. Knowledge-Based Systems， 2021， 224： 107094.

［23］Zhou Peng， Shi Wei， Tian Jun， et al. Attention-based bidirectional long short-term memory networks for relation classification［C］// Proc of the 54th Annual Meeting of the Association for Computational Linguistics. Stroudsburg， PA： Association for Computational Linguistics， 2016： 207-212.

［24］Yang Zichao， Yang Diyi， Dyer C， et al. Hierarchical attention networks for document classification［C］// Proc of Conference of the North American Chapter of the Association for Computational Linguistics： Human Language Technologies. Stroudsburg， PA： Association for Computational Linguistics， 2016： 1480-1489.

［25］Vaswani A， Shazeer N， Parmar N， et al. Attention is all you need［C］// Proc of the 31st International Conference on Neural Information Processing Systems. Red Hook， NY： Curran Associates Inc.， 2017： 6000-6010.

［26］Lu Weijun， Duan Yun， Song Yutong. Self-attention-based convolutional neural networks for sentence classification［C］// Proc of the 6th International Conference on Computer and Communications. Pisca-taway， NJ： IEEE Press， 2020： 2065-2069.

［27］Prakash A， Zhao Siyuan， Hasan S， et al. Condensed memory networks for clinical diagnostic inferencing［C］// Proc of AAAI Confe-rence on Artificial Intelligence. Palo Alto， CA： AAAI Press， 2017： 3274-3280.

［28］Shi Haoran， Xie Pengtao， Hu Zhiting， et al. Towards automated ICD coding using deep learning［EB/OL］. （2017-11-11）. https：//arxiv.org/abs/1711.04075.

［29］Mullenbach J， Wiegreffe S， Duke J， et al. Explainable prediction of medical codes from clinical text［C］// Proc of Conference of the North American Chapter of the Association for Computational Linguistics： Human Language Technologies. Stroudsburg， PA： Association for Computational Linguistics， 2018： 1101-1111.

［30］Li Fei， Yu Hong. ICD coding from clinical text using multi-filter residual convolutional neural network［C］// Proc of AAAI Conference on Artificial Intelligence. Palo Alto， CA： AAAI Press， 2020： 8180-8187.

［31］Tsai Shangchi， Huang Chaowei， Chen Yunnung. Modeling diagnostic label correlation for automatic ICD coding［C］// Proc of Conference of the North American Chapter of the Association for Computational Linguistics： Human Language Technologies. Stroudsburg， PA： Association for Computational Linguistics， 2021： 4043-4052.

［32］Afkanpour A， Adeel S， Bassani H， et al. BERT for long documents： a case study of automated ICD coding［C］// Proc of the 13th International Workshop on Health Text Mining and Information Analysis. Stroudsburg， PA： Association for Computational Linguistics， 2022： 100-107.

［33］Huang Chaowei， Tsai S C， Chen Yunnung. PLM-ICD： automatic ICD coding with pretrained language models［C］// Proc of the 4th Clinical Natural Language Processing Workshop. Stroudsburg， PA： Association for Computational Linguistics， 2022： 10-20.

［34］Zhang Z， Liu Jingshu， Razavian N. BERT-XML： large scale automated ICD coding using BERT pretraining［C］// Proc of the 3rd Clinical Natural Language Processing Workshop. Stroudsburg， PA： Association for Computational Linguistics， 2020： 24-34.

［35］Vu T， Nguyen D Q， Nguyen A. A label attention model for ICD co-ding from clinical text［C］// Proc of the 29th International Confe-rence on International Joint Conferences on Artificial Intelligence. 2021： 3335-3341.

［36］劉建偉， 丁熙浩， 羅雄麟. 多模態(tài)深度學(xué)習(xí)綜述［J］. 計算機應(yīng)用研究， 2020， 37（6）： 1601-1614. （Liu Jianwei， Ding Xihao， Luo Xionglin. Survey of multimodal deep learning［J］. Application Research of Computers， 2020， 37（6）： 1601-1614.）