逐層Transformer在類別不均衡數(shù)據(jù)的應(yīng)用

楊晶東　李熠偉　江彪　姜泉　韓曼　宋夢歌

摘 要：為解決臨床醫(yī)學量表數(shù)據(jù)類別不均衡容易對模型產(chǎn)生影響，以及在處理量表數(shù)據(jù)任務(wù)時深度學習框架性能難以媲美傳統(tǒng)機器學習方法問題，提出了一種基于級聯(lián)欠采樣的Transformer網(wǎng)絡(luò)模型（layer by layer Transformer， LLT）。LLT通過級聯(lián)欠采樣方法對多數(shù)類數(shù)據(jù)逐層刪減，實現(xiàn)數(shù)據(jù)類別平衡，降低數(shù)據(jù)類別不均衡對分類器的影響，并利用注意力機制對輸入數(shù)據(jù)的特征進行相關(guān)性評估實現(xiàn)特征選擇，細化特征提取能力，改善模型性能。采用類風濕關(guān)節(jié)炎（RA）數(shù)據(jù)作為測試樣本，實驗證明，在不改變樣本分布的情況下，提出的級聯(lián)欠采樣方法對少數(shù)類別的識別率增加了6.1%，與常用的NEARMISS和ADASYN相比，分別高出1.4%和10.4%；LLT在RA量表數(shù)據(jù)的準確率和F1-score指標上達到了72.6%和71.5%，AUC值為0.89，mAP值為0.79，性能超過目前RF、XGBoost和GBDT等主流量表數(shù)據(jù)分類模型。最后對模型過程進行可視化，分析了影響RA的特征，對RA臨床診斷具有較好的指導(dǎo)意義。

關(guān)鍵詞：量表數(shù)據(jù)分類； 類別不均衡； 級聯(lián)欠采樣； Transformer

中圖分類號：TP391 文獻標志碼：A 文章編號：1001-3695（2023）10-025-3047-06

doi：10.19734/j.issn.1001-3695.2023.01.0056

Application of layer by layer Transformer in class-imbalanced data

Yang Jingdong1， Li Yiwei1， Jiang Biao1， Jiang Quan2， Han Man2， Song Mengge2

（1.School of Optical-Electrical & Computer Engineering， University of Shanghai for Science & Technology， Shanghai 200093， China; 2.Guanganmen Hospital， China Academy of Chinese Medical Science， Beijing 100053， China）

Abstract：In order to solve the problem that class-imbalance data of clinical medical tables tend to have an impact on the model and that the performance of deep learning framework is difficult to match that of traditional machine learning methods when processing scale data tasks， this paper proposed a layer by layer Transformer （LLT） network model based on cascaded under-sampling. LLT deleted the most types of data layer by layer by cascade under-sampling method to achieve the balance of data categories and reduced the impact of class-imbalance data on the classifier. Moreover， LLT used attention mechanism to carry out correlation evaluation on the features of the input data to achieve feature selection， refined the feature extraction abi-lity and improved the model performance. This paper used RA （rheumatoid arthritis） data as test samples. Experimental results show that， on the premise of not changing the sample distribution， the recognition rate of a few categories is increased by 6.1% by the proposed cascade under-sampling method， which is 1.4% and 10.4% higher than that of the commonly used NEARMISS and ADASYN respectively. The accuracy of the RA tabular data and the F1-score index of LLT reach 72.6% and 71.5%， the AUC value is 0.89， the mAP value is 0.79， and the performance exceeds the current mainstream tabular data classification models such as RF， XGBoost and GBDT. This paper also visualized the model process and analyzed the characteristics affecting RA. It has a good guiding significance for the clinical diagnosis of RA.

Key words：tabular data classification; class-imbalance; cascaded under-sampling; Transformer

0 引言

臨床問診是指臨床醫(yī)生采用對話方式，向就醫(yī)患者及其陪同人員了解疾病的發(fā)生、發(fā)展及現(xiàn)狀過程，是醫(yī)生了解患者病情的重要方式。隨著各種醫(yī)學信息數(shù)據(jù)庫的不斷建立，問診數(shù)據(jù)逐漸積累形成了大量的臨床量表數(shù)據(jù)，這些臨床量表數(shù)據(jù)多具有類別不均衡（class-imbalance）的特點。類別不均衡是指在一個數(shù)據(jù)集中某些類別樣本數(shù)量多于其他類別［1～3］。這種類型的數(shù)據(jù)會對分類器預(yù)測結(jié)果有較大影響，使預(yù)測偏向多數(shù)類，表現(xiàn)為多數(shù)類的先驗概率增加、準確率降低，少數(shù)類樣本漏檢率增加，部分少數(shù)類樣本被預(yù)測為多數(shù)類，分類結(jié)果偏向多數(shù)類別，嚴重影響了分類精度和泛化性能［4～6］。

近年來，研究人員提出各種方法來減少樣本不均衡對分類結(jié)果的影響。常用的樣本均衡化方法包括隨機過采樣（ROS）和隨機欠采樣（RUS）。為了獲得平衡的數(shù)據(jù)，ROS隨機復(fù)制一些正樣本，而RUS隨機丟棄一些負樣本。在更高級的方法中，如合成少數(shù)過采樣技術(shù)（SMOTE）系列［7，8］，通過線性插值生成新的正樣本。類似地，可以通過丟棄信息較少的樣本改進RUS。例如Lin等人［9］使用K-means算法將負樣本分成k個聚類，負類由聚類中心表示；Hoyos-Osorio等人［10］引入了信息論學習，以更少的樣本保持負類的相關(guān)結(jié)構(gòu)；Koziarski［11］采用相互類勢（MCP）的方法改進過采樣和過采樣過程。此外還有一種將集成學習技術(shù)和數(shù)據(jù)級方法結(jié)合的混合策略，如SMOTEBoost［12］、Balanced Cascade［13］和AdaC1-AdaC3［14］。這些方法通過將權(quán)重集成到集成學習算法中，迭代地增強正樣本的影響，雖然一定程度上緩解了數(shù)據(jù)集類別不均衡帶來的問題，但通過生成或者刪減數(shù)據(jù)的方式改變了原有的數(shù)據(jù)分布，降低了分類性能的可信度。

決策樹（DT）通常用于量表類數(shù)據(jù)分類，主要優(yōu)點是可以有效地選取具有最多統(tǒng)計信息增益的全局特征，從而提高標準分類性能。隨機森林（random forest）［15］則根據(jù)隨機選擇特征生成若干森林樹，統(tǒng)計若干森林樹的分類結(jié)果投票，生成一個強分類器。XGBoost［16］和LightGBM［17］是近幾年流行的DT方法，并且在大部分數(shù)據(jù)分類比賽中占據(jù)主導(dǎo)地位。

深度學習（deep learning， DL）模型憑借良好的全局關(guān)聯(lián)特征提取能力，已經(jīng)在CV/NLP等非結(jié)構(gòu)化數(shù)據(jù)上得到了充分研究，涌現(xiàn)了大批突破性的研究成果［18～20］。但在量表數(shù)據(jù)中并未表現(xiàn)出優(yōu)越的分類性能，主要是因為量表數(shù)據(jù)具有特征多源性和稀疏性，缺乏先驗知識和可解釋性，使DL無法有效兼容［21］。集成決策樹對于量表類數(shù)據(jù)雖然具有較好的分類精度和泛化性能，但是無法提取量表數(shù)據(jù)中有效的全局關(guān)聯(lián)性的深層特征，如能改進DL模型結(jié)構(gòu)，將多源數(shù)據(jù)和量表數(shù)據(jù)一起編碼，可以有效減輕DT中煩瑣的特征工程需求［22］。近年來人工智能技術(shù)越來越多地應(yīng)用于醫(yī)學臨床輔助決策，Khanam等人［23］通過醫(yī)院提供的患者數(shù)據(jù)，訓(xùn)練和設(shè)計準確的ML/DL分類器，實現(xiàn)糖尿病早期檢測的自動分類；Islam等人［24］使用ML分類模型，包括樸素貝葉斯（NB）［25］、邏輯回歸（LR）［26］和隨機森林，使用10倍交叉驗證和80∶20訓(xùn)練測試分割方法對ESDRPD量表數(shù)據(jù)集進行訓(xùn)練。隨著深度學習研究的不斷深入，許多研究人員嘗試使用神經(jīng)網(wǎng)絡(luò)實現(xiàn)量表類數(shù)據(jù)分類。Humbird等人［27］開始采用DNN模擬DT；Cortes等人［28］提出一種裝箱函數(shù)，通過枚舉所有可能的決策方法，采用DNN來模擬DT；Tanno等人［29］提出一種DNN架構(gòu)，通過從原始塊自適應(yīng)生長，從邊緣路由函數(shù)和葉節(jié)點進行表征學習。但這些通過窮舉的方法會產(chǎn)生冗余的表征導(dǎo)致學習效率低下。

為了解決上述問題，本文提出一種級聯(lián)欠采樣方法，并結(jié)合改進后的基于Transformer的分類模型（LLT）。LLT順序多步地提取數(shù)據(jù)中有用的信息，提升模型對少數(shù)類樣本的特征學習能力。本文的主要貢獻如下：a）提出了一種級聯(lián)采樣的類別不均衡的數(shù)據(jù)處理方法，相較于原始的類別不均衡數(shù)據(jù)，可以讓分類器模型更加有效地學習少數(shù)類數(shù)據(jù)的特征，減少類別不均衡對分類器的性能影響；b）通過在分類模型中添加注意力模塊，更加有效地學習特征對類別標簽的影響，評估特征之間的相關(guān)性，提取特征之間的高維信息，從而進行過濾，減少輸入特征的維度，一定程度上提升了模型推理速度，提高了模型的分類精度。本文方法在廣安門醫(yī)院提供的RA數(shù)據(jù)集進行實驗，與現(xiàn)有的量表分類模型和采樣方法進行對比，性能指標優(yōu)于現(xiàn)有方法，并通過可視化mask掩碼機制分析各個特征對于分類性能的影響，挖掘影響RA的特征因素，對RA臨床診斷具有較好的指導(dǎo)意義。

1 LLT方法

LLT方法通過分批定量刪除分類器預(yù)測結(jié)果中正確分類的多數(shù)類樣本，保留少數(shù)類樣本和難分樣本，然后將級聯(lián)欠采樣后的數(shù)據(jù)打包輸入下一輪分類器訓(xùn)練，分層學習少數(shù)類以及難區(qū)分的數(shù)據(jù)樣本規(guī)律。具體方法整體結(jié)構(gòu)如圖1所示。通過組合分類器，在每個分類器后連接一個欠采樣模塊，從多數(shù)類樣本中隨機剔除一定數(shù)量的樣本，再傳遞給下一個分類器，并在分類模型中融入注意力機制，提取特征的多維信息，對數(shù)據(jù)進行降維。以此往復(fù)，直到進行完最后一輪學習，將之前的分類器權(quán)重進行整合加權(quán)，求得最終模型權(quán)重參數(shù)。

1.1 級聯(lián)采樣

欠采樣是解決樣本類別不均衡的常用方法之一，其核心思想是按照某種抽樣法則，每次從多數(shù)類樣本中抽取和少數(shù)類樣本相同數(shù)量的樣本，與少數(shù)類樣本構(gòu)成訓(xùn)練數(shù)據(jù)。由于常規(guī)欠采樣方法拋棄了大量的多數(shù)類樣本，導(dǎo)致丟失了原始數(shù)據(jù)信息，弱化了一些重要信息對模型的影響，最終結(jié)果使得預(yù)測模型有較大的偏差。過采樣通過對少數(shù)類樣本進行復(fù)制來均衡數(shù)據(jù)集，但會造成模型訓(xùn)練復(fù)雜度加大，另一方面也容易造成模型過擬合的問題，不利于分類器的泛化性能。本文提出的級聯(lián)欠采樣方法，通過從分類器預(yù)測結(jié)果中刪除一定數(shù)量預(yù)測正確的多數(shù)類樣本，處理后的數(shù)據(jù)重新傳遞給下一個分類器訓(xùn)練，最終組合分類器。級聯(lián)欠采樣方法結(jié)構(gòu)如圖2所示。

在級聯(lián)欠采樣方法中有兩個主要過程：a）在隨機采樣過程中，對分類模型輸出進行判斷，統(tǒng)計被正確分類以及錯誤分類樣本，藍色和黃色分別表示分類正確的多數(shù)類（記為P）和少數(shù)類（記為Q），紅色表示錯誤分類的樣本，灰色線條表示分類器的分類邊界H（x）（參見電子版），該過程抽取被正確分類的多數(shù)類樣本（記為Pselected）；b）在剔除多數(shù)類過程中，將所選擇的樣本從多數(shù)類別中刪除，然后將剩余樣本傳入下一次分類器作為其輸入數(shù)據(jù)。每次刪除樣本的數(shù)量為一個常數(shù)S，由多數(shù)類和少數(shù)類之間的樣本數(shù)量差決定，其公式表示為

分類器為H（x），分類器參數(shù)以及權(quán)重為θk、wk，預(yù)測函數(shù)為h（xi，θk），最終的分類器公式表示為

由于被正確分類的樣本被逐步剔除，一方面降低了數(shù)據(jù)類別不平衡的程度，另一方面使得難分樣本被保留，可以進行更多輪的學習?？壳暗挠?xùn)練次數(shù)可以利用更多的全局信息，靠后的訓(xùn)練次數(shù)可以學習更多的少數(shù)類樣本的特征表達。本文方法通過不斷地進行級聯(lián)欠采樣，刪除被正確分類的多數(shù)類樣本，最后使得輸入樣本中的少數(shù)類和多數(shù)類樣本數(shù)量相等，達到平衡數(shù)據(jù)的目的。

1.2 分類器

TabNet［30］是基于Transformer的模型，原模型通過對linear layers（線性層）和batch normalization的不斷堆疊，在取得不遜于傳統(tǒng)算法性能的同時可以更加有效地編碼多種數(shù)據(jù)類型，但隨著特征維度和層數(shù)的增多，模型的參數(shù)會有明顯上升。在此基礎(chǔ)上，本文在原模型結(jié)構(gòu)中加入注意力機制，并結(jié)合門控線性單元（gate linear unit，GLU）對每個step輸入的特征進行降維，在降低每個step輸入特征維度的同時提升了對數(shù)據(jù)的特征提取能力。分類器網(wǎng)絡(luò)整體結(jié)構(gòu)如圖3所示。按照從左往右、自上向下的順序，將整個預(yù)測過程分為多步。分類器網(wǎng)絡(luò)整體結(jié)構(gòu)由FT模塊、AF模塊與mask機制堆疊而成。數(shù)據(jù)首先經(jīng)過網(wǎng)絡(luò)模型中的GBN［31］層，GBN層的輸出作為模型中后續(xù)階段的輸入features；通過重復(fù)的結(jié)構(gòu)（step1、step2…），在每一輪step根據(jù)輸入特征以及學習到的特征表變換和權(quán)重系數(shù)，得到當前step的輸出向量；最終將多個step輸出向量累加之后，利用全連接層做一次變換，得到最終的輸出，即

如圖4（a）所示，F(xiàn)T由四個相同的FT block模塊組成，F(xiàn)T block由FC、MHA、GLU、GBN串聯(lián)組成，負責將輸入的特征進行線性層變換，提取數(shù)據(jù)信息。其中GBN為ghost batch normalization，與普通的batch normalization相比更具有魯棒性；MHA為multi-head attention機制，在結(jié)構(gòu)中和GLU串聯(lián)，用來計算和過濾特征；GLU的變換公式為hl（X）=（XW+b）σ（XV+c）。融入多頭注意力機制后有助于模型捕捉到更豐富的特征表示，計算數(shù)據(jù)中各個特征的依賴關(guān)系，最后將得到的多維信息進行集成，通過GLU進行特征的過濾、降維，從而縮短模型推理時間。以RA患者數(shù)據(jù)為例，多數(shù)患者存在關(guān)節(jié)疼痛與疼痛關(guān)節(jié)發(fā)熱的問題，模型會分析特征之間的依賴性，若患者不存在關(guān)節(jié)疼痛，自然就不會出現(xiàn)疼痛關(guān)節(jié)發(fā)熱的病癥，模型會在當前step中將疼痛關(guān)節(jié)發(fā)熱的特征過濾，減少輸入特征的維度。各個block之間通過跳躍鏈接（skip-connection）相連，并乘以0.5，用來防止網(wǎng)絡(luò)中輸出的方差變換波動太大，造成學習過程的不穩(wěn)定。圖4（b）為AF結(jié)構(gòu)，用來計算特征重要性。為了方便對模型內(nèi)部進行可視化，在每個AF與FT模塊之間并行mask，用于記錄當前step對特征的關(guān)注點。對于樣本的特征重

2 實驗與結(jié)果分析

2.1 實驗數(shù)據(jù)集及預(yù)處理

實驗數(shù)據(jù)集由中國中醫(yī)科學院廣安門醫(yī)院提供。數(shù)據(jù)總計條目27條，包括病人就診時間、發(fā)病時間等基本信息，關(guān)節(jié)疼痛、關(guān)節(jié)腫脹等關(guān)節(jié)信息和相應(yīng)化驗指標共計26條，RA關(guān)節(jié)活動等級分類標簽1條，分類級別由輕到重依次為緩解疾病活動、輕微疾病活動、中度疾病活動、重度疾病活動階段，分別編碼為0、1、2、3。數(shù)據(jù)樣本共計10 514例，緩解疾病活動等級911例，輕微疾病活動等級749例，中度疾病活動等級3 713例，重度疾病活動等級5 141例，存在數(shù)據(jù)類別不平衡問題。對于原始RA數(shù)據(jù)樣本，數(shù)據(jù)質(zhì)量存在較大差別，如圖5（a）（b）所示，其中，（a）所示特征具有良好區(qū)分性，特征應(yīng)予以保留；（b）所示特征不具有區(qū)分性，應(yīng)予以刪除。再剔除與RA疾病等級分類明顯無關(guān)的特征，如患者ID、發(fā)病時間等。對于缺失值采用前值填充法進行填充，刪除了異常樣本，最后采用one-hot編碼對類別變量進行轉(zhuǎn)換。處理后的數(shù)據(jù)保留了10 110例樣本，每例樣本包含14個特征，處理后的數(shù)據(jù)各類別占比如圖5（c）所示。實驗采用5折交叉驗證，將預(yù)處理之后的數(shù)據(jù)等分成5份，在5輪實驗中，取其中的4份用于訓(xùn)練，1份用于測試，并將最終的結(jié)果取均值作為最終的分類結(jié)果。實驗流程如圖6所示。

2.2 評價指標

對于分類任務(wù)，通常選擇整體分類準確度（overall accuracy）作為對模型的評價指標，從模型預(yù)測的混淆矩陣中獲取四個基本指標，分別是真陽性（TP）、假陽性（FP）、真陰性（TN）以及假陰性（FN），進而得到針對類別不均衡樣本分類時常用的三個評估指標，即真陽性率（TPR）、真陰性率（TNR）以及G-mean。其中TPR即靈敏度（recall），衡量了分類器對正樣本的識別程度，如果TPR值過小，表明分類器將大量的正樣本預(yù)測為負樣本，導(dǎo)致漏診；TNR即特異性（specificity），衡量了分類器對負樣本的識別程度，如果TNR值過小，表明分類器將大量負樣本預(yù)測為正樣本，導(dǎo)致誤診。因此，泛化性能較好的分類器需要同時具有較高的TPR和TNR值。G-mean常用來表示算法的平衡程度，該值越大說明模型的表現(xiàn)性能越好。本文實驗中還用到了評估指標F1-score，該指標是精確度（precision）和recall的調(diào)和平均值。各模型評估指標定義如下：

2.3 實驗結(jié)果及分析

1）采樣方法對比 為了驗證級聯(lián)欠采樣方法的有效性，本文采用改進后的分類器結(jié)合目前主流的采樣方法進行對比，包括兩種過采樣方法SMOTE、ADASYN和一種欠采樣方法NearMiss。衡量指標采用真陽性率（TPR）、真陰性率（TNR）和G-mean三種分類評估指標。實驗結(jié)果如圖7所示。相較于不進行采樣處理的原始分類器，本文提出的級聯(lián)采樣方法能在保持原有的TNR不減退的前提下，對少數(shù)類樣本的識別率由0.558提升到了0.619。與欠采樣NearMiss方法相比，后者通過直接丟棄部分多數(shù)類樣本而丟失過多的原有數(shù)據(jù)信息，最終

導(dǎo)致衡量指標的下降。與過采樣方法SMOTE和ADASYN比較，過采樣方法通過增加少數(shù)類樣本使數(shù)據(jù)類別達到均衡，但新增樣本會引入冗余信息增加噪聲，同時也可能造成過擬合。雖然SMOTE過采樣方法整體TPR和TNR指標略高，但在一定程度上都會改變樣本原始分布，降低了原始模型對于輕微疾病類患者和中度疾病類患者的G-mean值，導(dǎo)致整體模型預(yù)測偏差，減弱了模型泛化能力。而本文提出的級聯(lián)欠采樣方法既能有效利用所有原始樣本信息，保持了原始模型對于多數(shù)類類別的TNR指標，又能減少類別不均衡對模型分類的影響，因此三項評估指標均具有較高精度。

2）與典型分類模型性能對比 本文選取了九種主流的機器學習方法和神經(jīng)網(wǎng)絡(luò)展開對比實驗，包括幾種基于ML的分類方法，如人工神經(jīng)網(wǎng)絡(luò)中的多層感知機（MLP）、隨機森林（RF）、XGBoost、GBDT、邏輯回歸（LR）、支持向量機（SVM）等。表1為5折交叉驗證的準確度結(jié)果。

圖8依次為各模型的recall、precison以及F1-score的交叉驗證結(jié)果，由圖可見，本文方法在三個指標上均高于其他分類器。本實驗還采用ROC和P-R曲線來可視化模型分類性能。圖9給出了各分類器的ROC和P-R曲線。ROC反映的是真陽性率（TPR）隨著假陽性率（FPR）的變化情況，同時兼顧了對正樣例和負樣例的預(yù)測情況；P-R曲線則反映的是precision隨著recall的變化，只關(guān)注對正樣例的預(yù)測情況。從圖9可以看出，當前主流的機器學習分類模型雖然有著整體不錯的最終分類準確度，但多數(shù)屬于盲目將少數(shù)類歸為多數(shù)類獲得的虛高，反映在ROC與P-R上卻并不理想。本文方法在ROC曲線的AUC值達到0.89，比次高的LR方法高出3%，對比當下流行的XGBoost和GBDT的AUC值分別高出7%和17%；與剩余方法分類器的AUC值相比也有不同程度的提升。本文方法的P-R曲線的mAP值達到0.79，比LR方法的mAP高出16%，并且大幅度高于其他分類方法的mAP值。這是由于改進后的分類模型融合了注意力機制，細化了模型的信息，提取了特征與特征之間的相關(guān)性，過濾了患者不重要的信息，提升了模型的性能；此外，通過級聯(lián)欠采樣方法，多次學習難分樣本以及少數(shù)類樣本規(guī)律，最后加權(quán)后的分類器對于少數(shù)類具有更出色的判別能力。

圖10為本文方法最終分類效果展示，其中（a）為RA數(shù)據(jù)集中少數(shù)類樣本病例1和難區(qū)分的病例2在主流分類器的分類結(jié)果與本文方法分類結(jié)果的對比。可以看出，對于病例1，主流的RF、XGB和改進前的TabNet由于同類數(shù)據(jù)樣本少，無法學到合理的特征表達，最終沒有預(yù)測到正確的結(jié)果，而LR方法分類正確；在本文方法中，靠前的分類器雖然沒有預(yù)測對少數(shù)類樣本，但隨著級聯(lián)欠采樣次數(shù)的增加，數(shù)據(jù)集類別不平衡的程度得到了改善，靠后的分類器可以學習到難分樣本和少數(shù)類樣本規(guī)律做到正確分類，最后的分類器通過加權(quán)獲得正確的分類結(jié)果。在病例2的測試中，RF、LR由于樣本的區(qū)分度

不高，沒能正確分類，XGB、TabNet和本文的LLT都預(yù)測正確，雖然本文方法中間的分類器2分類錯誤，但在最后通過對所有分類器權(quán)重加權(quán)后，最后的模型分類結(jié)果正確。圖10（b）為本文方法的分類結(jié)果的混淆矩陣，雖然該方法對每類樣本的分類結(jié)果沒能達到完全正確，但卻通過級聯(lián)欠采樣模塊后加權(quán)融合改進后的分類器，做到有效地減弱了數(shù)據(jù)樣本不均衡對分類器造成的影響。

3）級聯(lián)采樣方法下不同模型對比 在基于本文提出的級聯(lián)采樣的方法中，結(jié)合上節(jié)對比的分類模型對RA數(shù)據(jù)進行實驗，計算不同方法下的模型分類的TPR、TNR以及G-mean指標。實驗結(jié)果如表2所示，粗體數(shù)據(jù)為最優(yōu)值，其可視化如圖11所示。

由表2可以看到在級聯(lián)采樣方法下的GBDT在TNR達到了0.882，雖然高于本文的LLT，但在TPR和G-mean指標上本文方法高于前者。這是因為GBDT是一種樹模型，雖然每一次采樣后降低了類別不均衡的程度，但GBDT也會生成更多的樹，與之前的樹進行合并，決策投票時會有更多的樹投票給多數(shù)類，造成多數(shù)類檢測率虛高；本文方法通過采樣平衡數(shù)據(jù)不均衡程度，分類器再對樣本進行特征轉(zhuǎn)換，更好地學習少數(shù)類樣本，因此有著更好的少數(shù)類檢測率和G-mean指標。綜上所述，對于不均衡數(shù)據(jù)，LLT方法具有更好的分類性能和綜合指標，提出的級聯(lián)欠采樣方法也具有一定的通用性。

4）模型mask可視化 對本文模型的掩碼模塊進行可視化，探討分析模型在每個step的關(guān)注點，結(jié)果如圖12所示。圖中共展示了50個樣本，從上往下依次是樣本順序0～49，從左往右依次是14個特征條目（0：關(guān)節(jié)疼痛；1：關(guān)節(jié)腫脹；2：關(guān)節(jié)晨僵；3：疼痛關(guān)節(jié)發(fā)熱；4：能否自己洗頭；5：能自己使用筷子；6：能否端起盛滿的杯子送到嘴邊；7：能否伸手摘下衣架上的衣帽；8：能否上5級臺階么；9：神疲乏力；10：胃口如何；11：心煩不安；12：能否加做家務(wù)；13：失眠多夢），mask 0～2分別對應(yīng)模型設(shè)置的3個step，顏色越亮，代表在該step下模型更關(guān)注此特征。

從掩碼的可視化熱力圖可以看到，模型中的每一個step的關(guān)注特征都有所不同，第一個step更關(guān)注RA患者的第0、1、12個特征；第二個step更關(guān)注RA患者的第4～6個特征；第三個step更關(guān)注患者的第2～6、8、9個特征。臨床研究表明，絕大多數(shù)RA患者都會出現(xiàn)關(guān)節(jié)疼痛發(fā)熱、關(guān)節(jié)腫脹以及肢體活動受限，進而常常感覺身體疲勞的病癥。本文的LLT模型分步分層地將更多的關(guān)注點放在了這些癥狀上，提高了模型的預(yù)測效果。模型的關(guān)注點與臨床結(jié)論一致，充分說明改進后的方法具有良好的可信度。

3 結(jié)束語

量表數(shù)據(jù)因為其存在的數(shù)據(jù)類別不均衡以及常見的混合數(shù)據(jù)屬性的問題，導(dǎo)致在深度學習領(lǐng)域沒有得到充分的探索發(fā)展。本文提出了一種基于Transformer網(wǎng)絡(luò)和級聯(lián)采樣方法的網(wǎng)絡(luò)模型LLT并且應(yīng)用于中醫(yī)RA數(shù)據(jù)集。將注意力機制融合進原始模型細化特征之間的信息，提升了模型的精度，通過級聯(lián)采樣方法層層刪減多數(shù)類樣本以減緩樣本不均衡對模型的影響，提升模型對少數(shù)類的識別率。與當前主流的針對量表型數(shù)據(jù)的RF、LR、XGBoost、GBDT等模型相比較，改進后的模型具有更好的精度和泛化性能。本文提出的級聯(lián)采樣方法能更好地學習少數(shù)類樣本的特征，對于其他類別不均衡的采樣方法，指標也有所提升，對臨床診斷有著一定的指導(dǎo)作用。

在類別不均衡的量表數(shù)據(jù)研究領(lǐng)域，仍存在一些需要進一步研究的方法，如通過增量式學習方法，利用新數(shù)據(jù)更新模型或利用基于規(guī)則的處理策略，對特定的問題和場景設(shè)計出有效的類別不平衡策略等。未來研究會綜合考慮以上因素，并更好地結(jié)合實際應(yīng)用場景來設(shè)計和改良模型。

參考文獻：

[1]李勇，劉戰(zhàn)東，張海軍.不平衡數(shù)據(jù)的集成分類算法綜述［J］.計算機應(yīng)用研究，2014，31（5）：1287-1291.（Li Yong， Liu Zhandong， Zhang Haijun. Review on ensemble algorithms for imbalanced data classification［J］.Application Research of Computers，2014，31（5）：1287-1291.）

［2]Herland M， Khoshgoftaar T M， Bauder R A. Big data fraud detection using multiple medicare data sources［J］.Journal of Big Data，2018，5（1）：article No.29.

［3]Mohd H A H， Marina Y， Azlinah M. Survey on highly imbalanced multi-class data［J/OL］.International Journal of Advanced Computer Science and Applications，2022，13（6）.http：//dx.doi.org/10.14569/IJACSA.2022.0130627.

［4]Peng Lizhi， Zhang Haibo， Chen Yuehui， et al. Imbalanced traffic identification using an imbalanced data gravitation-based classification model［J］.Computer Communications，2017，102（4）：177-189.

［5]Chawla N V. Data mining for imbalanced datasets： an overview ［M］// Data Mining and Knowledge Discovery Handbook. Boston， MA： Springer， 2010： 853-867.

［6]Mahdiyah U， Irawan M I， Imah E M. Integrating data selection and extreme learning machine for imbalanced data［J］.Procedia Computer Science，2015，59：221-229.

［7]Tesfahun A， Bhaskari D L. Intrusion detection using random forests classifier with SMOTE and feature reduction ［C］// Proc of International Conference on Cloud & Ubiquitous Computing & Emerging Technologies. Piscataway， NJ： IEEE Press， 2013： 127-132.

［8]Li Junnan， Zhu Qingsheng， Wu Quanwang， et al. A novel oversampling technique for class-imbalanced learning based on SMOTE and natural neighbors［J］.Information Sciences，2021，565（7）：438-455.

［9]Lin Weichao， Tsai C F， Hu Yahan， et al. Clustering-based undersampling in class-imbalanced data-ScienceDirect［J］.Information Sciences，2017，409-410（10）： 17-26.

［10]Hoyos-Osorio J， lvarez-Meza A， Daza-Santacoloma G， et al. Relevant information undersampling to support imbalanced data classification［J］.Neurocomputing，2021，436（5）：136-146.

［11]Koziarski M. Radial-based undersampling for imbalanced data classification［J］.Pattern Recognition，2020，102（6）：107262.

［12]Chawla N， Lazarevic A， Hall L O， et al. SMOTEBoost： improving prediction of the minority class in boosting ［C］// Proc of the 7th European Conference on Principles and Practice of Knowledge Discovery in Databases. Berlin： Springer， 2003： 107-119.

［13]Liu Xuying， Wu Jianxin， Zhou Zhihua. Exploratory under-sampling for class-imbalance learning［J］.IEEE Trans on Systems， Man，and Cybernetics，2009，39（2）：539-550.

［14]Sun Yanmin， Kamel M S， Wong A K C， et al. Cost-sensitive boosting for classification of imbalanced data［J］.Pattern Recognition，2007，40（12）：3358-3378.

［15]Liu Yanli， Wang Yourong， Zhang Jian. New machine learning algorithm： random forest ［C］// Proc of the 3rd International Conference Information Computing and Applications. Berlin： Springer， 2012： 246-252.

［16]Chen Tianqi， Guestrin C. XGBoost： a scalable tree boosting system ［C］// Proc of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. New York： ACM Press， 2016： 785-794.

［17]Ke Guolin， Meng Qi， Finley T， et al. LightGBM： a highly efficient gradient boosting decision tree ［C］// Proc of the 31st International Conference on Neural Information Processing Systems. Red Hook， NY： Curran Associates Inc.， 2017： 3149-3157.

［18]He Kaiming， Zhang Xiangyu， Ren Shaoqing， et al. Deep residual learning for image recognition ［C］// Proc of IEEE Conference on Computer Vision and Pattern Recognition. Washington DC： IEEE Computer Society， 2016： 770-778.

［19]Dosovitskiy A， Beyer L， Kolesnikov A， et al. An image is worth 16x16 words： transformers for image recognition at scale ［EB/OL］.（2021-06-03）. https：//arxiv.org/abs/2010.11929.

［20]Howard A， Sandler M， Chu G， et al. Searching for MobileNetV3 ［EB/OL］. （2019-11-20）. https：//arxiv.org/abs/1905.02244.

［21]Shwartz-Ziv R， Armon A. Tabular data： deep learning is not all you need［J］.Information Fusion，2022，81（5）： 84-90.

［22]Hestness J， Narang S， Ardalani N， et al. Deep learning scaling is predictable， empirically ［EB/OL］. （2017-12-01）. https：//arxiv.org/abs/1712.00409.

［23]Khanam J J， Foo S Y. A comparison of machine learning algorithms for diabetes prediction［J］.ICT Express，2021，7（4）：432-439.

［24]Islam M M F， Ferdousi R， Rahman S， et al. Likelihood prediction of diabetes at early stage using data mining techniques ［C］// Proc of International Symposium on Computer Vision and Machine Intelligence in Medical Image Analysis. Singapore： Springer， 2019： 113-125.

［25]Best L， Foo E， Tian Hui. A hybrid approach： utilizing K-means clustering and naive Bayes for IoT anomaly detection ［M］// Secure and Trusted Cyber Physical Systems. Cham： Springer， 2022： 177-214.

［26]Bredt L C， Peres L A B， Risso M， et al. Risk factors and prediction of acute kidney injury after liver transplantation：logistic regression and artificial neural network approaches［J］.World Journal of Hepatology： English Edition，2022，14（3）：570-582.

［27]Humbird K D， Peterson J L， McClarren R G. Deep neural network initialization with decision trees［J］.IEEE Trans on Neural Networks and Learning Systems，2019，30（5）：1286-1295.

［28]Cortes C， Gonzalvo X， Kuznetsov V， et al. AdaNet： adaptive structural learning of artificial neural networks ［EB/OL］. （2017-02-28）. https：//arxiv.org/abs/1607.01097.

［29]Tanno R， Arulkumaran， K， Alexander D C， et al. Adaptive neural trees ［EB/OL］. （2019-06-09）. https：//arxiv.org/abs/1807.06699.

［30]Arik S ， Pfister T. TabNet： attentive interpretable tabular learning［J］.Proceedings of the AAAI Conference on Artificial Intelligence，2021，35（8）：6679-6687.

［31]Dimitriou N， Arandjelovic O. A new look at ghost normalization ［EB/OL］. （2020-07-16）. https：//arxiv.org/abs/2007.08554.

［32]Zhao Puning， Lai Lifeng. Minimax rate optimal adaptive nearest neighbor classification and regression［J］.IEEE Trans on Information Theory，2021，67（5）：3155-3182.

［33]De Nogueira T O， Palacio G B A， Braga F D， et al. Imbalance classification in a scaled-down wind turbine using radial basis function kernel and support vector machines［J］.Energy，2022，238（1）：122064.

［34]Liu Wanan， Fan Hong， Xia Meng. Credit scoring based on tree-enhanced gradient boosting decision trees［J］.Expert Systems with Application，2022，189（3）：116034.

［35]Li Wenshuo， Chen Hanting， Guo Jianyuan， et al. Brain-inspired multilayer perceptron with spiking neurons ［C］// Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE Press， 2022： 773-783.

收稿日期：2023-01-31；修回日期：2023-03-24

基金項目：國家自然科學基金資助項目（81973749）；中國中醫(yī)科學院科技創(chuàng)新工程項目（CI2021A01503）

作者簡介：楊晶東（1973-），男，黑龍江齊齊哈爾人，副教授，碩導(dǎo)，博士，主要研究方向為人工智能、機器學習與大數(shù)據(jù)分析、機器視覺等；李熠偉（1997-），男（通信作者），江蘇徐州人，碩士研究生，主要研究方向為人工智能、機器學習等（eerfriend@yeah.net）；江彪（1998-），男，安徽宣城人，碩士研究生，主要研究方向為人工智能、機器學習等；姜泉（1961-），女，主任醫(yī)師，博士，主要研究方向為風濕免疫病的中醫(yī)、中西醫(yī)結(jié)合臨床及基礎(chǔ)研究；韓曼（1984-），女，副主任醫(yī)師，博士，主要研究方向為風濕免疫病的中醫(yī)、中西醫(yī)結(jié)合臨床及基礎(chǔ)研究；宋夢歌（1993-），女，博士研究生，主要研究方向為風濕免疫疾病的臨床與基礎(chǔ)研究．