腦卒中多分類預(yù)后預(yù)測的深度集成優(yōu)化方法

葉 偉，陶永軍，陳錫程，伍亞舟

1.陸軍軍醫(yī)大學(xué) 軍事預(yù)防醫(yī)學(xué)系 軍隊衛(wèi)生統(tǒng)計學(xué)教研室，重慶 400038

2.浙江省臺州市立醫(yī)院 神經(jīng)內(nèi)科，浙江 臺州 318000

急性缺血性腦卒中（acute ischemic stroke，AIS）是腦卒中最常見、最易預(yù)后不良的發(fā)病類型[1-3]。AIS的有效預(yù)后預(yù)測對于患者的臨床診治和預(yù)后康復(fù)具有重要意義。

當(dāng)前，利用傳統(tǒng)機(jī)器學(xué)習(xí)預(yù)測腦卒中預(yù)后的研究已取得了一定進(jìn)展。Matsumoto等[4]收集了單中心急性缺血性腦卒中患者的臨床特征，運(yùn)用線性回歸或決策樹集成學(xué)習(xí)構(gòu)建了性能較優(yōu)的預(yù)測模型，取得了92%的受試者特征曲線下面積（area under the curve，AUC）。Avery等[5]選取了缺血性腦卒中CT影像組學(xué)的特征，運(yùn)用機(jī)器學(xué)習(xí)和特征選擇算法構(gòu)建了預(yù)測模型。Sung等[6]結(jié)合了臨床和計算機(jī)斷層掃描報告運(yùn)用機(jī)器學(xué)習(xí)技術(shù)構(gòu)建了預(yù)測模型，取得了86%的AUC值。Wang等[7]運(yùn)用臨床和影像組學(xué)特征構(gòu)建缺血性腦卒中預(yù)后模型，取得了80%的AUC。2007至2018年間相關(guān)Meta分析[8]表明，89%（260篇）的AIS預(yù)后研究文章在方法上僅為回歸分析，這揭示了數(shù)據(jù)和方法改良的必要性。

既往研究在數(shù)據(jù)、方法、應(yīng)用等層面存在較大提升空間，這限制了預(yù)后預(yù)測能力的提升。就數(shù)據(jù)而言，聯(lián)用多種類型特征并采用多分類結(jié)局變量構(gòu)建模型的既往研究相對較少。就方法而言，采用深度學(xué)習(xí)和集成學(xué)習(xí)預(yù)測缺血性腦卒中預(yù)后的研究更為少見。這些問題為預(yù)測準(zhǔn)確性的提升帶來了較大障礙。

近年來，深度學(xué)習(xí)、集成學(xué)習(xí)等新興人工智能技術(shù)被提出和應(yīng)用，存在廣闊的應(yīng)用前景。Heo等[9]運(yùn)用急性缺血性腦卒中的臨床特征構(gòu)建預(yù)后預(yù)測模型，運(yùn)用深度神經(jīng)網(wǎng)絡(luò)取得的AUC值為88%。Hwangbo等[10]利用集成學(xué)習(xí)以預(yù)測缺血性腦卒中患者6個月的死亡率，AUC值為78.3%，其95%置信區(qū)間為75.8%到80.8%，且證實了集成學(xué)習(xí)的性能優(yōu)于單一學(xué)習(xí)模型，這也在諸多研究中得到了驗證[11-14]。這些研究為本文提供了一定研究思路和啟示，但深度學(xué)習(xí)和集成學(xué)習(xí)的聯(lián)合應(yīng)用于AIS的預(yù)后預(yù)測鮮有報道。此外，隨著深度神經(jīng)網(wǎng)絡(luò)層數(shù)的增長及集成的加入，網(wǎng)絡(luò)參數(shù)量可能呈現(xiàn)幾何倍數(shù)的增長，應(yīng)用中存在較大難點[15-17]。因此，本文將利用AIS多類型特征，以深度學(xué)習(xí)、集成學(xué)習(xí)為契機(jī)，構(gòu)建深度集成學(xué)習(xí)模型并實施參數(shù)優(yōu)化，從而進(jìn)一步分析比較新興人工智能方法的應(yīng)用效果。

本文貢獻(xiàn)和創(chuàng)新可總結(jié)如下。（1）對AIS臨床和影像組學(xué)特征進(jìn)行特征提取和融合，旨在更加全面和有效地處置高維特征。（2）選擇深度集成學(xué)習(xí)進(jìn)行訓(xùn)練，增添了在腦卒中預(yù)后預(yù)測中方法的多樣性。（3）構(gòu)建了改良人工蜂群算法，并對深度集成學(xué)習(xí)方法進(jìn)行超參數(shù)優(yōu)化，提高了模型的精確度。（4）采用腦卒中預(yù)后三分類結(jié)局（正常組、輕度組、中重度組），提升了分級的針對性?？傊噍^于既往研究，本文模型有更好的準(zhǔn)確性和泛化性，可依據(jù)具體問題和實際場景靈活應(yīng)用。

1 數(shù)據(jù)和預(yù)處理

1.1 數(shù)據(jù)來源

本采用患者入院時大腦三維MRI圖像提取影像組學(xué)特征，并融合臨床特征，根據(jù)深度集成學(xué)習(xí)算法構(gòu)建模型進(jìn)行分級預(yù)測。

本課題組回顧性收集了浙江省臺州市立醫(yī)院神經(jīng)內(nèi)科在2021年7月至2022年2月期間確診為AIS的患者，共計331例，最終納入本實驗為317例。納入標(biāo)準(zhǔn)：（1）首次確診且符合急性缺血性腦卒中的診斷標(biāo)準(zhǔn)；（2）患者臨床資料完整且可獲得3D大腦MRI圖像，MRI影像清晰、無偽影；（3）顱部未接受過外科手術(shù)等任何形式的治療。排除標(biāo)準(zhǔn)：合并肝腎功能不全、血液系統(tǒng)疾病、惡性腫瘤和其他常見的心腦血管等疾病。

患者標(biāo)簽選用美國國立衛(wèi)生研究院卒中量表（national institute of health stroke scale，NIHSS），以評估患者出院時的預(yù)后情況。依據(jù)NIHSS評分[18-19]進(jìn)行分組：正常組（<1分）62例、輕度組（1~4分）213例、中重度組（≥5分）42例。

1.2 數(shù)據(jù)預(yù)處理

圖像數(shù)據(jù)預(yù)處理選擇ITK-SNAP 3.6.0軟件，具體步驟如下。

（1）將收集到的圖像（DICOM格式）轉(zhuǎn)換成Python軟件可操作的圖像（NIFTI格式）。

（2）由主治醫(yī)師標(biāo)注三維MRI圖像的病灶感興趣區(qū)域（region of interest，ROI）進(jìn)行標(biāo)注，使用大津（OSTU）閾值法獲取粗略分割掩碼，再針對各切片的病灶行手動精分割，將切片組合為該患者的3D掩膜標(biāo)簽。該過程如圖1所示。

圖1 患者的3D掩膜標(biāo)注過程Fig.1 Patient’s 3D masking process

（3）將圖像按原始3D圖像與3D掩膜標(biāo)簽對應(yīng)整理，隨后運(yùn)用Python中的Pyradiomics包[20]提取影像組學(xué)特征。依據(jù)患者ID號匹配相應(yīng)的NIHSS評分分級標(biāo)簽。

2 本文方法

基于預(yù)處理后AIS影像和臨床的融合特征，構(gòu)建了改良人工蜂群算法優(yōu)化的深度集成學(xué)習(xí)模型（improved artificial bee colony algorithm-deep ensemble learning，IABC-DEL），技術(shù)路線如圖2所示。模型構(gòu)建過程可分為特征融合、模型構(gòu)建和模型優(yōu)化。

圖2 深度集成優(yōu)化模型流程圖Fig.2 Flow chart of IABC-DEL model for AIS fusion feature

2.1 特征融合

特征融合可解決特征間量綱差距。因此，在高維特征融合過程中進(jìn)行特征選擇，將重要性高的特征納入模型中。

針對臨床和影像組學(xué)特征各自存在的差異，本文實施了個性化處理措施，詳細(xì)特征融合過程如圖3所示。

圖3 特征融合過程Fig.3 Schematic of feature fusion process

在臨床特征中，利用組間比較選擇出對結(jié)局變量有統(tǒng)計學(xué)意義的自變量。隨后，利用獨熱編碼將變量歸置于[0，1]間。獨熱編碼可將離散特征的取值擴(kuò)展至歐式幾何空間，特征離散的取值對應(yīng)歐式幾何空間的某個點。

在高維影像組學(xué)定量特征中，本文首先進(jìn)行歸一標(biāo)準(zhǔn)化處理，其次以方差過濾法過濾掉大量差異性小的特征，隨后通過基于隨機(jī)森林（random forest，RF）模型的Embedded嵌入法，對特征進(jìn)行權(quán)重排序，旨在選出對結(jié)局變量有用的特征。

最后，本文結(jié)合臨床和影像組學(xué)的特征形成了融合特征，并采用Borderline-SMOTE算法[21]對融合特征進(jìn)行平衡化處理，旨在規(guī)避偏移的發(fā)生。

2.1.1 臨床特征篩選

從患者臨床特征中，本文提取了性別、年齡、血液中總膽固醇值、血液中低密度脂蛋白值、高血壓史、糖尿病病史、冠心病史、同型半胱氨酸血癥、房顫、吸煙、喝酒、入院時NIHSS評分、TOAST分型、OCSP分型等14個特征。分析各臨床特征對于出院時NIHSS分級的效果，進(jìn)而篩選出性別、糖尿病病史、入院時NIHSS評分、TOAST分型和OCSP分型這5個有統(tǒng)計學(xué)意義的特征，如表1所示。

表1 臨床特征篩選的結(jié)果Ta ble 1 Results of screening for clinical features

2.1.2 影像組學(xué)特征篩選

用Python的影像組學(xué)特征分析工具包（Pyradiomics包）獲得每個患者的3D影像組學(xué)特征，共計1 781個?？煞譃?類：一階統(tǒng)計量342個、基于3D形狀14個、灰度共生矩陣456個、灰度游程矩陣304個、灰度大小區(qū)域矩陣304個、灰度依賴性矩陣266個以及鄰域灰度差矩陣95個。

對1 781個影像組學(xué)特征實施方差過濾法和Embedded嵌入法篩選特征，以閾值為橫坐標(biāo)，特征數(shù)作為主縱坐標(biāo)，隨機(jī)森林算法得到的準(zhǔn)確率作為次縱坐標(biāo)繪制閾值散點圖并擬合曲線。根據(jù)圖4（a）結(jié)果，以方差閾值為0.06篩選出115個特征后，以選出特征為特征變量、以NIHSS為結(jié)局變量，以0.015作為閾值實施Embedded嵌入法，最后對納入的11個特征進(jìn)行重要性排序，如圖4（b）所示。

圖4 影像組學(xué)特征選擇過程Fig.4 Image omics feature selection process

2.2 模型構(gòu)建

以DNN、LSTM和GRU模型為基學(xué)習(xí)器構(gòu)建深度集成學(xué)習(xí)模型。

2.2.1 基學(xué)習(xí)器

將本文使用的深度學(xué)習(xí)基學(xué)習(xí)器介紹如下。

深度神經(jīng)網(wǎng)絡(luò)（deep neural networks，DNN）指隱藏層數(shù)量超過單層的神經(jīng)網(wǎng)絡(luò)。輸入層與隱藏層、隱藏層與隱藏層及隱藏層與輸出層間均對應(yīng)于一個線性關(guān)系，可表達(dá)為：

其中，yi為后一個神經(jīng)元，xi為與yi相連的特征或神經(jīng)元，σ為該層的激活函數(shù)，n為該神經(jīng)元所連接的神經(jīng)元個數(shù)或特征數(shù)，wi為特征與神經(jīng)元之間或神經(jīng)元與神經(jīng)元之間的權(quán)重系數(shù)，b為常量。

長短期記憶網(wǎng)絡(luò)（long-short term memory，LSTM）是為解決循環(huán)神經(jīng)網(wǎng)絡(luò)的梯度消失或梯度爆炸問題而提出[22-23]。其循環(huán)單元結(jié)構(gòu)如圖5所示。

圖5 LSTM循環(huán)單元結(jié)構(gòu)圖Fig.5 LSTM recurrent unit structure diagram

該單元結(jié)構(gòu)通過引入一個新的內(nèi)部狀態(tài)Ct-1以記錄當(dāng)前狀態(tài)的患者特征信息，并進(jìn)行內(nèi)部信息傳遞。首先，利用當(dāng)前狀態(tài)的患者特征信息xt和上一時刻隱藏狀態(tài)ht-1計算輸入門it、遺忘門ft和輸出門ot。然后，通過輸入門it和遺忘門ft分別控制保留的患者歷史特征信息和當(dāng)前狀態(tài)特征信息，得到新的Ct。最后，再利用輸入門ot將內(nèi)部狀態(tài)患者特征信息傳遞給隱藏狀態(tài)ht。

門控循環(huán)單元（gated recurrent unit，GRU）[24]將LSTM網(wǎng)絡(luò)的輸入門it與遺忘門ft合并成一個更新門，并可結(jié)合xt和ht-1的信息獲得輸出yt和傳遞給下一個隱層信息ht。GRU的內(nèi)部主要包括重置門控r和更新門控z兩個門控系統(tǒng)，可各自表達(dá)為：

其中，δ為GRU單元的門控，即Sigmoid激活函數(shù)。wr與wz各代表兩個門控系統(tǒng)的權(quán)重系數(shù)。

2.2.2 深度集成學(xué)習(xí)

在深度學(xué)習(xí)領(lǐng)域，主流的集成學(xué)習(xí)方法包括Hardvoting、Soft-voting和Stacking等[25-27]。以DNN、LSTM和GRU模型為基學(xué)習(xí)器構(gòu)建深度集成學(xué)習(xí)模型，結(jié)構(gòu)如圖6所示，其中圖6（b）中基學(xué)習(xí)器概率數(shù)值均為示例，不代表實際概率。

圖6 集成學(xué)習(xí)示意圖Fig.6 Ensemble learning diagram

在Hard-voting中，每個分類器投票給一個類標(biāo)簽，以獲得一半以上選票的標(biāo)簽為最終輸出類標(biāo)簽。

在Soft-voting中，將模型預(yù)測樣本類概率的均值作為標(biāo)準(zhǔn)，以概率最高對應(yīng)的類為預(yù)測結(jié)果。

在Stacking中，在前述基學(xué)習(xí)器的基礎(chǔ)上，以隨機(jī)森林（random forest，RF）為元學(xué)習(xí)器，繼而實現(xiàn)更高的預(yù)測準(zhǔn)確性，最終構(gòu)建了深度集成學(xué)習(xí)（deep ensemble learning，DEL）模型。利用DNN、LSTM、GRU網(wǎng)絡(luò)模型分別擬合訓(xùn)練集，訓(xùn)練過程中各自進(jìn)行參數(shù)優(yōu)化，訓(xùn)練集利用五折交叉驗證，將輸出結(jié)果縱向拼接為新特征，新特征作為新的訓(xùn)練集；測試集運(yùn)用上述已訓(xùn)練的基學(xué)習(xí)器輸出結(jié)果的拼接值作為新的測試集。訓(xùn)練集和驗證集具有一致的分類結(jié)局變量。模型對新訓(xùn)練集進(jìn)行訓(xùn)練，新測試集得出的分類結(jié)果為DEL模型的預(yù)測結(jié)果。

2.3 模型優(yōu)化

深度學(xué)習(xí)網(wǎng)絡(luò)隱藏層的層數(shù)和神經(jīng)元的個數(shù)較大程度上影響了模型參數(shù)量和效率。選擇合適的隱藏層和神經(jīng)元數(shù)量至關(guān)重要，可能較大程度上影響著神經(jīng)網(wǎng)絡(luò)的性能。人工蜂群算法的原理是模仿蜜蜂采蜜的行為，通過個體蜂局部尋優(yōu)行為在蜂群中獲得最優(yōu)解。以優(yōu)化問題的解空間維度指代神經(jīng)網(wǎng)絡(luò)的隱藏層層數(shù)，以蜜源的位置信息指代神經(jīng)元的個數(shù)，以測試集的準(zhǔn)確率指代問題所得值。采蜜過程包含三類蜂群的采蜜行為：采蜜蜂采集初始蜜源，觀察蜂根據(jù)采蜜蜂采蜜的花蜜量尋找新的蜜源，偵察蜂在蜜源附近隨機(jī)尋找新的蜜源。最終，依據(jù)最大所得值確定各深度學(xué)習(xí)網(wǎng)絡(luò)的最優(yōu)參數(shù)。

在基線算法上，本文添加了無限折疊迭代混沌映射（iterative chaotic map with infinite collapses，ICMIC）以提升其全局搜索能力，并添加非線性自適應(yīng)慣性權(quán)重以加快收斂速度。在執(zhí)行上述改良后，本文構(gòu)建了IABC，現(xiàn)將算法的操作步驟介紹如下。

（1）設(shè)問題的解空間是D維，解空間的維度即各隱藏層的層數(shù)(D={1,2,3,4,5})，各個采蜜蜂和蜜源進(jìn)行逐個對應(yīng)，采蜜蜂與觀察蜂數(shù)量相同為bn，蜜源的位置對應(yīng)問題的可行解，蜜源的花蜜對應(yīng)可行解xi的適應(yīng)度Fi，即測試集的準(zhǔn)確率?？傻螖?shù)為t，第t次適應(yīng)度Fi的標(biāo)準(zhǔn)差為St。利用ICMIC映射初始化各蜜源xi，蜜源間的關(guān)系可表達(dá)為：

其中，a為任意常數(shù)，a∈(0,∞)。

（2）為蜜源xi分配一只觀察蜂，在D維的空間進(jìn)行搜索，則新蜜源xˉid可表達(dá)為：

其中，i=1,2,…,bn，d=1,2,…,D，k≠i，wt為引入的非線性自適應(yīng)慣性權(quán)重。

其中，wmax、wmin為慣性權(quán)重的上下界值，b為阻尼因子，一般為0~1之間，Tmax為設(shè)定的最大迭代次數(shù)，k(t)為種群優(yōu)化離散參數(shù)，如下式：

（3）依據(jù)下式，計算觀察蜂找到的蜜源被跟隨的概率：

（4）采蜜蜂將對當(dāng)前花蜜量（測試集的準(zhǔn)確率）與觀察蜂找到的蜜源的花蜜量（測試集的準(zhǔn)確率）進(jìn)行對比，根據(jù)貪婪選擇的方法確定保留的蜜源。

（5）判斷蜜源在給定步驟（定義為控制參數(shù)limit<0.01）內(nèi)的適應(yīng)值Fi并未提高，則滿足被放棄的條件。若滿足，對應(yīng)的觀察蜂變?yōu)閭刹旆?，不滿足轉(zhuǎn)至步驟（7）。

（6）偵察蜂根據(jù)式（9）隨機(jī)產(chǎn)生新蜜源x′id：

其中，xdmax和xmdin是第d維的上下界。

（7）迭代次數(shù)t=t+1；判斷算法是否滿足最大迭代次數(shù)Tmax，若滿足則終止，輸出最優(yōu)解，否則轉(zhuǎn)至步驟（2）。

改良人工蜂群算法各參數(shù)設(shè)置如表2。

表2 IABC各參數(shù)設(shè)置Table 2 Parameter setting of IABC

2.4 實驗環(huán)境和參數(shù)設(shè)置

在配備GPU的Linux工作站進(jìn)行訓(xùn)練，處理器為Intel Xeon?Gold 6246R CPU@3.40 GHz，運(yùn)行內(nèi)存為256 GB，GPU為NVIDIA Tesla V100，軟件平臺基于Python 3.7，所提算法均基于Tensorflow 2.8框架實現(xiàn)。對于各種算法模型，以7∶3的比例拆分為訓(xùn)練集與測試集，在訓(xùn)練集上對模型進(jìn)行擬合，通過網(wǎng)格搜索法確定除隱藏層層數(shù)與神經(jīng)元個數(shù)以外的超參數(shù)，五折交叉驗證后選擇最佳參數(shù)模型。最后使用測試集進(jìn)行模型測試，以評估各模型的泛化性。本文網(wǎng)格搜索法確定的超參數(shù)包括學(xué)習(xí)率設(shè)置為10?4，神經(jīng)網(wǎng)絡(luò)的批大小為20，動量項設(shè)置為0.9，epoch為32。另外，各類別樣本數(shù)量分布不均衡將導(dǎo)致模型的預(yù)測偏倚。為消除此影響，采用Borderline-SMOTE算法對融合特征進(jìn)行數(shù)據(jù)增強(qiáng)。

本研究深度學(xué)習(xí)網(wǎng)絡(luò)的實現(xiàn)基于Tensorflow2.0的Keras包，運(yùn)用Adam優(yōu)化器對深度學(xué)習(xí)模型進(jìn)行梯度優(yōu)化，將交叉熵?fù)p失函數(shù)與SoftMax激活函數(shù)結(jié)合用以更好獲得分類效果。三種基學(xué)習(xí)器神經(jīng)網(wǎng)絡(luò)初始設(shè)置為雙層，各層神經(jīng)元個數(shù)為10個，IABC算法超參數(shù)優(yōu)化后固定模型。

各深度神經(jīng)網(wǎng)絡(luò)的最優(yōu)參數(shù)為DNN隱藏層為2層，各層神經(jīng)元的個數(shù)為34與34；LSTM隱藏層為2層，各層神經(jīng)元的個數(shù)為24與24；GRU隱藏層為1層，該層神經(jīng)元的個數(shù)為39。集成學(xué)習(xí)方法中，各基學(xué)習(xí)器采用與單一方法時相同的最優(yōu)參數(shù)設(shè)置。

2.5 評價指標(biāo)

本文為三分類任務(wù)，評價指標(biāo)包括：準(zhǔn)確率（ACC）、精確率（Macro-P）、召回率（Macro-R）、F1分?jǐn)?shù)（Macro-F1 score）和曲線下面積（Macro-AUC）。取值范圍均為0~1之間，取值越大代表分類效果越好。

在混淆矩陣中，每個分類i均有TPi、TNi、FPi和FNi。TPi代表將真實的分類i正確地預(yù)測為分類i，F(xiàn)Pi代表將真實的分類非i錯誤地預(yù)測為分類i。各評價指標(biāo)表達(dá)為：

其中，三分類任務(wù)的n取值為3。

為求解Macro-AUC的值，以各分類的真陽性率作為縱軸、以各分類的假陽性率作為橫軸而繪制各分類的ROC曲線。各分類ROC曲線下面積就是各分類的AUC取值。而該模型的Macro-AUC為所有分類的AUC求和取平均。

3 實驗結(jié)果與分析

3.1 不同方法的分類性能比較

以融合特征為例分析各種方法的分類性能，如表3、圖7~8所示?；诳傮w加權(quán)準(zhǔn)確率、Macro-AUC等指標(biāo)從方法類型的角度對實驗結(jié)果進(jìn)行分析：首先從總體上看，IABC-DEL的所有指標(biāo)最優(yōu)，其準(zhǔn)確率為88.02%、精確率為88.01%、召回率為88.02%、Macro-F1分?jǐn)?shù)為87.88%和Macro-AUC為96.27%；其次，由Macro-AUC的結(jié)果可知，優(yōu)化后的深度學(xué)習(xí)網(wǎng)絡(luò)優(yōu)于機(jī)器學(xué)習(xí)、深度學(xué)習(xí)和集成學(xué)習(xí)方法；再者，從準(zhǔn)確率、精確率、召回率和Macro-F1分?jǐn)?shù)上看，集成學(xué)習(xí)方法整體上優(yōu)于機(jī)器學(xué)習(xí)和優(yōu)化前后的深度學(xué)習(xí)網(wǎng)絡(luò)?；诖?，將比較方法類型之間或方法類型內(nèi)的各項指標(biāo)，比較結(jié)果與可能原因如下。

圖7 深度學(xué)習(xí)優(yōu)化前后的ROC曲線Fig.7 ROC curve before and after deep learning

3.1.1 單一學(xué)習(xí)方法（機(jī)器學(xué)習(xí)/深度學(xué)習(xí)）的分類性能

在融合特征上，比較了單一機(jī)器學(xué)習(xí)與深度學(xué)習(xí)方法的分類性能。結(jié)果表明：在默認(rèn)優(yōu)化方式（即網(wǎng)格搜索法）下，三種深度學(xué)習(xí)方法（GRU、DNN和LSTM）的性能優(yōu)于其他三種機(jī)器學(xué)習(xí)方法，DNN的ACC最高，達(dá)到了86.46%，LSTM的Macro-AUC最佳，達(dá)到了95.35%，詳見表3中。決策樹的節(jié)點結(jié)構(gòu)在訓(xùn)練集訓(xùn)練過程中易趨向過擬合，可能陷于局部最小值；隨機(jī)森林分類樹亦在訓(xùn)練過程中容易產(chǎn)生過擬合；支持向量機(jī)則較多分類結(jié)局變量更善于處理二分類結(jié)局變量的數(shù)據(jù)。這些可能導(dǎo)致機(jī)器學(xué)習(xí)模型在此次任務(wù)中性能表現(xiàn)不佳。

表3 各種方法的分類性能比較（融合特征）Table 3 Effect comparison of various methods（fusion feature） 單位：%

3.1.2 集成學(xué)習(xí)方法的分類性能

在融合特征上，比較了不同集成方法的分類性能。本研究獲得Hard-voting，Soft-voting和Stacking三種集成學(xué)習(xí)模型在融合特征的分類結(jié)果，詳見表3。研究結(jié)果表明：基于Stacking的DEL性能優(yōu)于Hard-voting和Soft-voting，Macro-AUC值達(dá)到了95.02%。在深度集成方面，本文利用Stacking的集成學(xué)習(xí)方式將三種強(qiáng)監(jiān)督學(xué)習(xí)器進(jìn)行了有效的結(jié)合，從而使模型準(zhǔn)確度得到了提升。這證實了Stacking算法更適合融合特征AIS的NIHSS預(yù)后分級的預(yù)測，分析原因在于Stacking可有效從基學(xué)習(xí)器、元學(xué)習(xí)器中提取融合特征的有效信息，獲得更高的預(yù)測效果[28-29]。

3.1.3 優(yōu)化前后的分類性能比較

IABC的優(yōu)化對象為深度神經(jīng)網(wǎng)絡(luò)的層數(shù)和神經(jīng)元。因此，本文以深度學(xué)習(xí)模型為例，說明優(yōu)化前后的分類性能比較，如表3、圖7~8所示。結(jié)果表明：相較于未經(jīng)優(yōu)化的深度學(xué)習(xí)方法和集成方法（GRU、DNN、LSTM、Hard-voting、Soft-voting和DEL），經(jīng)IABC優(yōu)化后的模 型（IABC-GRU、IABC-DNN、IABC-LSTM、IABC-Hard-voting、IABC-Soft-voting和IABC-DEL）的分類效果均得到提升。其中，DEL在優(yōu)化后準(zhǔn)確率和Macro-AUC分別提高了0.52個百分點和1.25個百分點。

圖8 集成學(xué)習(xí)優(yōu)化前后的ROC曲線Fig.8 ROC curve before and after ensemble learning

對于深度集成學(xué)習(xí)而言，參數(shù)的優(yōu)化對于模型運(yùn)行效率和準(zhǔn)確性至關(guān)重要，因此有必要引入新型智能算法。相較于傳統(tǒng)優(yōu)化算法，本文的IABC算法在收斂速度和結(jié)果精度等方面有所提升，具有更好的全局搜索能力和更高的預(yù)測精度。

圖9 不同特征下IABC-DEL模型的ROC曲線Fig.9 ROC curve of IABC-DEL in different features

表4 不同特征的分類效果比較（IABC-DEL）Table 4 Classification performance comparison in different features（IABC-DEL） 單位：%

3.2 不同特征的分類性能比較

利用上述最佳的IABC-DEL模型對不同類型特征進(jìn)行預(yù)測，基于臨床和影像特征的融合特征在所有指標(biāo)中均獲得了最優(yōu)的結(jié)果。而臨床特征預(yù)測效果優(yōu)于影像組學(xué)特征的預(yù)測效果，其原因可能是收集的AIS患者的三維MRI圖像大多為正常組和低度組，使得獲取的3D掩膜圖大多體積較小，從而導(dǎo)致提取的影像組學(xué)特征較于臨床特征差異性不夠。如表4與圖9的結(jié)果表明，臨床特征與影像組學(xué)特征分別包含了患者不同方面的特征信息，融合不同類型的特征信息能夠更全面地、更好地反映患者的整體特征，從而獲得更好的分類預(yù)測效果。

3.3 數(shù)據(jù)平衡算法的分類性能比較

為了更好地驗證類別不平衡分布對分類性能的影響，利用IABC-DEL模型對原始數(shù)據(jù)、5種平衡算法處理后數(shù)據(jù)進(jìn)行分級預(yù)測，結(jié)果如表5、圖10所示。Borderline-SMOTE平衡算法處理后，在5個指標(biāo)上IABC-DEL模型均可取得最優(yōu)的分類效果。其原因可能是該算法使用邊界上的少數(shù)類樣本合成新樣本的方法，更好地改善AIS患者各樣本的預(yù)后類別分布。在未平衡的原始數(shù)據(jù)上，因各類別分布的不均衡，使得正常組的Macro-AUC（91.18%）明顯高于低度組（77.71%）和中重度組（71.96%）。而在接受平衡后，這種預(yù)測偏差得到了有效降低。

圖10 各種平衡模型的ROC曲線Fig.10 ROC curve of various balance methods

表5 各種平衡方法的效果比較（融合特征和IABC-DEL）Table 5 Effect comparison of various balance methods（fusion feature and IABC-DEL） 單位：%

3.4 與既往研究的分類性能比較

表6為本文方法與既往經(jīng)典方法的性能進(jìn)行了比較結(jié)果，結(jié)果表明：IABC-DEL的Macro-AUC、ACC等分類性能明顯優(yōu)于既往方法，且既往5篇研究都是基于二分類結(jié)局。證明本文構(gòu)建的IABC-DEL模型對于AIS患者預(yù)后的NIHSS分類預(yù)測是有效的，通過特征融合與超參數(shù)尋優(yōu)，使網(wǎng)絡(luò)模型具備更豐富的患者特征信息和更優(yōu)的預(yù)測性能。

表6 與既往研究效果的比較Table 6 Comparison with previous studies

在實際預(yù)測效果的比較中，既往研究的方法限制較大，對于分類性能的提升作用有限。如Alaka等[30]利用單一機(jī)器學(xué)習(xí)模型預(yù)測AIS患者治療后的相關(guān)功能障礙，在內(nèi)部數(shù)據(jù)取得了65%~72%的AUC，在外部數(shù)據(jù)上取得了66%~71%的AUC。Wang等[7]利用AIS預(yù)后進(jìn)行二分類預(yù)測，取得了80%的AUC。這些方法往往使用單一數(shù)據(jù)或單一方法，或僅執(zhí)行了二分類預(yù)測，在預(yù)測過程中存在較多限制。

4 結(jié)束語

本文提出一種基于AIS特征融合的深度集成學(xué)習(xí)模型IABC-DEL，在特征融合、深度集成和超參數(shù)優(yōu)化等方面進(jìn)行了嘗試和創(chuàng)新。在特征融合方面，通過對臨床特征的卡方檢驗和獨熱編碼與對影像組學(xué)特征的歸一標(biāo)準(zhǔn)化處理和特征篩選，有效地消除特征量綱和數(shù)量級等問題，且選取對結(jié)局變量有重要意義的特征，為后續(xù)的模型構(gòu)建奠定基礎(chǔ)。在深度集成方面，本文利用Stacking的集成學(xué)習(xí)方式將三種強(qiáng)監(jiān)督學(xué)習(xí)器進(jìn)行了有效的結(jié)合，從而使模型準(zhǔn)確度得到了提升。在結(jié)果變量方面，本文執(zhí)行了AIS三分類預(yù)測，所得結(jié)果具有較高的準(zhǔn)確性，在臨床應(yīng)用中有較好的指導(dǎo)作用。同樣，本文研究存在著一些局限性，其不足之處在于數(shù)據(jù)為單中心收集，且模型的驗證為內(nèi)部驗證。未來，將獲取多中心數(shù)據(jù)集，并利用外部數(shù)據(jù)集進(jìn)行外部驗證。

在臨床診療過程中，因醫(yī)療資源緊張、患者個體化差異大的特征，通過院前資料預(yù)測AIS患者的預(yù)后對臨床診治較為重要。結(jié)合實際，本文收集并提取了臨床與影像組學(xué)特征，利用特征融合、深度集成和超參數(shù)優(yōu)化等理念構(gòu)建了預(yù)后預(yù)測模型，旨在提升患者預(yù)后預(yù)測的精度，為臨床預(yù)測模型的構(gòu)建提供新的思路，對患者的臨床輔助診療和預(yù)后康復(fù)治療具有重要意義。未來，在擴(kuò)大醫(yī)院的收集范圍和增加搜集的樣本量外，本文還將考慮對搜集的醫(yī)學(xué)影像資料進(jìn)行自動分割，旨在降低人力成本，進(jìn)而自動化、精準(zhǔn)化、快捷化地完成預(yù)后預(yù)測任務(wù)。