個性化動態(tài)集成的阿爾茨海默癥輔助診斷模型

梁浩霖，潘 丹，2，曾 安，楊寶瑤，Xiaowei Song

1.廣東工業(yè)大學計算機學院，廣州 510006

2.廣東技術師范大學電子與信息學院，廣州 510540

3.素里紀念醫(yī)院臨床研究中心，不列顛哥倫比亞省 V3V 1Z2

阿爾茨海默癥（Alzheimer’s disease，AD）是一種伴隨年齡增長過程中的常見病。臨床上AD 多以全面性癡呆為特征，具體表現(xiàn)為記憶障礙、語言功能缺失、認知障礙等。據(jù)《中國阿爾茨海默病報告2021》[1]顯示，我國60 歲以上老年人的AD 和MCⅠc 患病率分別為3.7%和15.5%。此外根據(jù)《2021 世界阿爾茨海默癥報告》[2]顯示，預計到2023年，全球AD患者人數(shù)將從5 500萬增加到7 800 萬。由于AD 成因復雜，目前尚無成熟的醫(yī)治方案，需要更多的AD相關研究促進該領域的發(fā)展。

在研究AD的早期階段，研究人員使用生物跟蹤方法對AD進行研究。隨著人工智能領域的快速發(fā)展，越來越多的研究者開始研究基于機器學習算法來輔助AD的診斷。然而，傳統(tǒng)機器學習算法通常針對的是結(jié)構化數(shù)據(jù)，而對于核磁共振影像（magnetic resonance imaging，MRⅠ）這類非結(jié)構化的數(shù)據(jù)，模型性能表現(xiàn)欠佳（如Salvatore 等人[3]）。近期基于深度學習的方法提升了分類準確率，尤其集成方法表現(xiàn)更好。集成模型整體分為兩個階段：模型的第一階段訓練基分類器，并根據(jù)基分類器的表現(xiàn)進行挑選和集成；集成后的結(jié)果輸入到第二階段模型中進行特征融合和學習。這種集成方法在模型訓練的第一階段固定了挑選策略，使得所有樣本共享同一集成策略，忽略了樣本間的差異性。針對上述問題，其中一種解決方案是將模型的特征選擇和特征融合兩個階段串聯(lián)起來統(tǒng)一訓練，但由于這種解決方案只會挑選部分基分類器的結(jié)果進行融合，會使未被挑選的基分類器的無法獲得優(yōu)化梯度而不能在端到端的框架下優(yōu)化。

為了能夠使模型根據(jù)樣本的特異性制定特定的集成策略，本文提出了一個個性化動態(tài)集成卷積神經(jīng)網(wǎng)絡（personalized dynamically ensemble convolution neural network，PDECNN）。該模型針對輸入樣本各腦區(qū)退化程度給出個性化的集成策略，使模型關注到樣本間的差異情況，從而提升模型分類準確率。具體而言，首先為每個腦區(qū)設計一個腦塊注意力卷積神經(jīng)網(wǎng)絡（patch attention convolution neural network，p-ACNN）以自動學習各樣本的個性化關注度參數(shù)，并根據(jù)此參數(shù)來評估該腦區(qū)的退化程度。此外，該參數(shù)作為集成學習的挑選依據(jù)，可以使模型自適應挑選p-ACNN的輸出結(jié)果并進行集成。由于個性化關注度參數(shù)與輸入樣本相關，可以根據(jù)不同的輸入樣本給出不同的集成策略，從而使模型適應不同樣本的腦區(qū)退化情況。通過重新設計損失函數(shù)，保證反向傳播過程中每個p-ACNN都能獲得優(yōu)化梯度，解決未被挑選的p-ACNN無法獲得優(yōu)化梯度而不能在端到端的框架下優(yōu)化問題。

1 相關工作

AD 的研究主要有生物跟蹤方法、傳統(tǒng)的機器學習方法以及深度學習方法。其中生物跟蹤方法是一類使用可跟蹤的生物標記物，來監(jiān)測AD的病理過程的方法，主要包括基因生物標記物（genetic AD biomarkers）[4]、生物化學標志物（biochemical AD biomarkers）[5]以及神經(jīng)影像生物標記物（neuroimaging AD biomarkers）[6-7]等。但這些方法都是侵入式的，在臨床診斷中存在一定的局限性。而傳統(tǒng)機器學習方法使用特征提取與分類模型結(jié)合的方式進行AD識別。具體地，Salvatore等人[3]提出使用主成分分析（principal components analysis，PCA）進行特征選擇，并利用支持向量機（support vector machine，SVM）對MRⅠ進行分類，預測樣本是否為AD患者。Battineni 等人[8]分別訓練樸素貝葉斯模型（naive Bayes，NB）、人工神經(jīng)網(wǎng)絡（artificial neural network，ANN）、k最近鄰模型（k-nearest neighbor，KNN）、SVM模型，最后將四個模型的結(jié)果進行集成，從而得到分類結(jié)果。

另一方面，近年來由于卷積神經(jīng)網(wǎng)絡在醫(yī)療影像分析領域取得突破進展[9-10]，基于深度卷積神經(jīng)網(wǎng)絡的方法逐漸成為AD 分類的主流方法。Pan 等人[11]提出了一種基于MRⅠ切片方法，通過獲得多個二維切片，并對多個二維卷積神經(jīng)網(wǎng)絡模型進行集成訓練，有效利用關鍵退化腦區(qū)對AD進行分類。Lian等人[12]將MRⅠ分成若干個小塊，分別訓練基分類器。將選定的高分塊輸出集成在一起以預測分類結(jié)果。Kang等人[13]先對MRⅠ的冠狀軸切片訓練二維的基分類器，再挑選表現(xiàn)較好的切片輸入到由生成對抗網(wǎng)絡（generative adversarial networks，GAN）、VGG16 和ResNet50 組成的集成模型中進行訓練，得到分類結(jié)果。這些方法都是先對MRⅠ進行切分并訓練對應的基分類器，再根據(jù)訓練結(jié)果確定集成策略。所有樣本根據(jù)同一集成策略挑選基分類器進行結(jié)果融合，最后得到預測結(jié)果。然而，由于上述集成模型的挑選策略在獲得樣本預測結(jié)果前被固定，無法實現(xiàn)基分類器結(jié)果的動態(tài)集成，導致集成模型的性能無法進一步提升。

2 個性化動態(tài)集成卷積神經(jīng)網(wǎng)（PDECNN）

PDECNN 的整體結(jié)構如圖1 所示。模型由退化評估模塊和動態(tài)集成模塊組成。輸入樣本經(jīng)過特征提取和切分后，提取的腦區(qū)特征圖和全腦特征圖會被輸入到退化評估模塊，得到各腦區(qū)特征向量vi和全腦特征向量vg，同時該模塊中的注意力機制層將用于得到各腦區(qū)的退化程度{αi}i=1,2,…,N（作為確定腦區(qū)退化差異的選擇依據(jù)）以及全腦的退化程度αg。退化程度{αi}i=1,2,…,N和αg以及特征向量{vi}i=1,2,…,N和vg將輸入到動態(tài)集成模塊進行集成網(wǎng)絡訓練。動態(tài)集成模塊將根據(jù)各腦區(qū)的退化程度{αi}i=1,2,…,N給出動態(tài)集成策略，以挑選樣本個性化的腦區(qū)特征{vi}i=1,2,…,N進行集成，得到全腦預測結(jié)果。退化程度評估模塊與動態(tài)集成模塊將通過損失函數(shù)聯(lián)合訓練。同時，持續(xù)優(yōu)化各腦區(qū)的退化程度{αi}i=1,2,…,N，并使得集成策略可以動態(tài)調(diào)整。

2.1 退化程度評估模塊

退化評估模塊由腦區(qū)退化評估和全腦退化評估組成。輸入的MRⅠ表示為x∈?H,W,D,H、W、D分別表示MRⅠ的高、寬、深。使用特征提取網(wǎng)絡(CNN(·))提取全腦特征圖xGFM=CNN(x)。根據(jù)Fan 等人[14]提出的人類大腦圖譜，將全腦特征圖按腦區(qū)位置切分成N個腦區(qū)特征圖{xpatc?i}i=1,2,…,N，進行腦區(qū)退化程度評估。同時對全腦特征圖進行全腦退化程度評估。腦區(qū)退化程度評估與全腦退化程度評估介紹如下。

2.1.1 腦區(qū)退化程度評估

腦區(qū)退化程度評估包含N個p-ACNN。每個腦區(qū)特征圖xpatc?i都被送入第i個的p-ACNN，獲取對應的腦區(qū)特征向量vi和腦區(qū)退化程度αi。其中p-ACNN由特征提取網(wǎng)絡(CNNi(·))、attention-net(Atti(·))與全連接層(FCi(·))拼接組成。p-ACNN中的特征提取網(wǎng)絡由兩個三維卷積核和一個三維最大池化層組成。三維卷積核的大小為3，步長（stride）和填充（padding）為1。三維最大池化層大小為2。attention-net 由一個三維卷積核以及全連接層組成。attention-net 的全連接層最后的激活函數(shù)為sigmoid函數(shù)，使由attention-net輸出的腦區(qū)退化程度αi的輸出范圍在0 到1 之間。腦區(qū)退化程度αi在訓練過程中不斷被優(yōu)化，αi越大說明該腦區(qū)退化程度越高。P-ACNN 的全連接層的長度為64。腦區(qū)特征向量vi和腦區(qū)退化程度αi可表示為：

2.1.2 全腦退化程度評估

全腦退化程度評估由一個全腦注意力神經(jīng)卷積網(wǎng)絡（global attention convolution neural network，g-ACNN）完成。g-ACNN 的結(jié)構與p-ACNN 的結(jié)構大致相同，但由于全腦特征圖比腦區(qū)特征圖尺寸更大，g-ACNN的全連接層長度為512。由于全腦特征圖保留了全腦信息，所以全腦特征向量能保留腦區(qū)特征向量中丟失的全局信息。全腦的退化程度αg以及g-ACNN輸出的全腦特征向量vg可表示為：

其中，CNNg(·)、FCg(·)以及Attg(·)分別表示g-ACNN中特征提取網(wǎng)絡、全連接層以及Attention-Net。

2.2 動態(tài)集成模塊

動態(tài)集成策略根據(jù)輸入樣本各腦區(qū)的退化程度{αi}i=1,2,…,N，挑選退化較嚴重腦區(qū)的特征向量S={vi|topk}i=1,2,…,N和全腦特征向量vg進行拼接表示為vc=concat(vg,S)。拼接后的特征向量將被輸入全連接層(FC(·))，得到模型預測結(jié)果：

在上述動態(tài)集成策略中，由于部分腦區(qū)特征(vi?S)未被選中，導致對應的p-ACNN網(wǎng)絡參數(shù)的優(yōu)化梯度無法獲取而不能繼續(xù)訓練。為解決該問題，受Lian等人[12]提出的復合損失函數(shù)啟發(fā)，重新設計損失函數(shù)。將每一個特征向量輸入到全連接層中，對AD分類結(jié)果進行預測，分類結(jié)果表示為y?i。然后把{y?i}i=1,2,…,N與模型最終的預測結(jié)果y?相結(jié)合，計算模型整體損失，使得在反向傳播過程中未被選中腦區(qū)的p-ACNN 網(wǎng)絡都能獲得優(yōu)化梯度。在訓練過程中，所有腦區(qū)的退化程度{αi}i=1,2,…,N與全腦退化程度αg都能持續(xù)優(yōu)化并適用于不同個體，從而達到動態(tài)集成的目的。PDECNN模型中可學習的參數(shù)表示為W，模型使用的損失函數(shù)表示為：

其中，C表示類別數(shù)，yc表示樣本對于類別c的標簽，y?ic表示第i個p-ACNN對于類別c的預測得分，y?c表示PDECNN對于類別c的預測得分，N表示腦區(qū)數(shù)量，亦即PDECNN中p-ACNN的數(shù)量。

3 實驗

3.1 數(shù)據(jù)集

本文實驗使用的MRⅠ來自阿爾茨海默癥神經(jīng)影像學倡議[15]（Alzheimer’s disease neuroimaging initiative，ADNⅠ）數(shù)據(jù)庫。該數(shù)據(jù)庫致力于推動AD 的研究進展。根據(jù)Liu等人[16]、Silveira等人[17]和Roberts[18]等人的描述，本文將樣本分為四類：阿爾茨海默癥（Alzheimer’s disease，AD）、會向AD 轉(zhuǎn)變的輕度認知障礙（mild cognitive impairment who will convert to AD，MCⅠc）、不會向AD 轉(zhuǎn)變的輕度認知障礙（mild cognitive impairment who will not convert to AD，MCⅠnc），以及正常認知（healthy cognition，HC）。

ADNⅠ數(shù)據(jù)庫中的787 個結(jié)構影像（structure MRⅠ，sMRⅠ）被用作訓練集和測試集。影像的采集過程使用的場強為1.5 特斯拉（Tesla，T）。數(shù)據(jù)集的詳細情況如表1 所示。具體地，表1 展示了數(shù)據(jù)集中各類別的樣本數(shù)、性別、年齡、體重、簡易精神狀況檢查（mini mental state examination，MMSE）[19]、臨床癡呆評定（clinical dementia rating，CDR）[20]、總體衰退量表（global deterioration scale，GDS）[21]的情況。

表1 數(shù)據(jù)集中的受試者的詳細信息Table 1 Details of subjects included in studied dataset

3.2 數(shù)據(jù)預處理

數(shù)據(jù)預處理過程如圖2 所示。所有的預處理過程都是通過CAT12軟件包（https：//neuro-jena.github.io/cat/）完成。首先通過矯正和去除頭骨如圖2（b）來去除MRⅠ非腦組織結(jié)構并校正到蒙特利爾（montreal neurological institute，MNⅠ）標準空間（使用軟件包中提供的MNⅠ模板）。然后使用2×2×2大小的平滑核進行高斯平滑處理如圖2（c），以消除MRⅠ采樣過程中的噪聲對MRⅠ圖像質(zhì)量的影響。最后進行灰度值歸一化處理如圖2（d），減少不同樣本的MRⅠ灰度信息差異性。本文最后采用經(jīng)預處理后的MRⅠ體數(shù)據(jù)。

圖2 MRⅠ預處理過程Fig.2 MRⅠpreprocessing

3.3 實驗設置

實驗進行5折交叉驗證實驗。在每一次實驗中，選取MRⅠ數(shù)據(jù)集中其中一折作為測試數(shù)據(jù)集，其余四折作為訓練數(shù)據(jù)集。每次實驗的測試集相互獨立。記錄五次實驗預測平均值與方差作為最終結(jié)果。

本文評估模型性能的分類性能指標包括：準確率（accuracy，ACC）、ROC 曲線下面積（area under curve，AUC）、F1 值（F1-score）、馬修斯相關系數(shù)（Matthews correlation coefficient，MCC）。相關的計算公式如下：

式中，TP 表示樣本為正例樣本且被預測為正例的樣本數(shù)，F(xiàn)P 表示樣本為負例且被預測為正例的樣本數(shù)，F(xiàn)N表示樣本為正例且被預測為負例的樣本數(shù)，TN 表示樣本為負例且被預測為負例的樣本數(shù)。P(·)表示事件發(fā)生的概率。

3.4 實驗結(jié)果

3.4.1 分類實驗結(jié)果

將PDECNN 的預測結(jié)果與當前主流的AD 分類模型結(jié)果進行比較。對比方法包括Salvatore[3]的PCA+SVM方法、由Hu[22]等人的SENET 方法改進而來3D-SENET方法、Lian[12]的wH-FCN方法和Li等人[23]的Trans-ResNet方法。實驗結(jié)果如表2 所示。在AD vs.HC、MCⅠc vs.HC、MCⅠnc vs.MCⅠnc 三組實驗中，本文方法性能都優(yōu)于其他方法。模型的ACC 分別取得大約4%、11%以及8%的提升，AUC 分別取得大約7%、3%以及21%的提升。值得注意的是，表2 中PCA+SVM[3]、wH-FCN[12]和Trans-ResNet[23]的準確率相較原文有所下降，這是由于PCA+SVM[3]、wH-FCN[12]和Trans-ResNet[23]使用的數(shù)據(jù)集不一致導致。

表2 分類實驗結(jié)果對比Table 2 Comparison of classification experimental results

3.4.2 消融實驗

為了驗證g-ACNN和動態(tài)集成策略的有效性，設計如下消融實驗：（1）屏蔽模型中的g-ACNN，在vc中去除全腦特征向量vg，進行AD分類實驗。（2）屏蔽動態(tài)集成策略，所有腦區(qū)特征向量{vi}i=1,2,…,N和全腦特征向量vg都輸入到最后的全連接層中，獲取AD分類結(jié)果。（3）屏蔽模型中的g-ACNN和動態(tài)集成策略，vc由腦區(qū)特征向量{vi}i=1,2,…,N組成并輸入到全連接層中，作為基線實驗。消融實驗的結(jié)果如表3所示。在AD vs. HC實驗組中，對比基線實驗，單獨添加g-ACNN 后模型準確率（ACC）上升8%，單獨添加動態(tài)集成后模型準確率（ACC）表現(xiàn)上升7%，PDECNN（無屏蔽模塊）準確率（ACC）上升14%。在另外兩個實驗組（MCⅠc vs. HC、MCⅠc vs. MCⅠnc）中，消融實驗亦可發(fā)現(xiàn)相似的模型準確率（ACC）上升趨勢。消融實驗結(jié)果表明，PDECNN準確率和泛化能力的提升，得益于全局信息的保留和動態(tài)集成策略。g-ACNN 為模型最后的全連接層提供重要的全局特征信息。有效解決以往AD 分類模型（如Pan[11]和Lian[12]）忽略全局信息的問題。動態(tài)集成策略可以根據(jù)輸入樣本有針對性地挑選退化程度更高的腦區(qū)，充分適應樣本間的差異性，使得模型的準確率提升。

表3 消融實驗結(jié)果Table 3 Results of ablation experiments

3.4.3 行為域?qū)嶒?/p>

為了證明模型挑選腦區(qū)的有效性，本文將AD的臨床表現(xiàn)和退化腦區(qū)的行為域（behavioral domains）得分進行比對。將模型在ADNⅠ測試數(shù)據(jù)集中發(fā)現(xiàn)的所有退化腦區(qū)記錄下來，并根據(jù)Brainnetome Atlas官網(wǎng)[14]的各腦區(qū)行為域得分，統(tǒng)計PDECNN 模型找到的退化腦區(qū)在各行為域上的得分。圖3 各子圖分別展示在AD vs.HC、MCⅠc vs.HC、MCⅠc vs.MCⅠnc 實驗組中的行為域得分結(jié)果，其中縱坐標表示各行為域，橫坐標表示該行為域上的得分。實驗發(fā)現(xiàn)這些退化腦區(qū)主要和語言、情感、記憶以及認知有關。這些行為域都與AD患者的臨床表現(xiàn)如記憶障礙、語言功能缺失、認知障礙等基本一致，這進一步證實了PDECNN模型挑選腦區(qū)的有效性。

圖3 行為閾值實驗結(jié)果Fig.3 Results of behavior domain experiments

3.4.4 退化腦區(qū)頻次實驗

為了探究AD 的病因，本文統(tǒng)計ADNⅠ測試數(shù)據(jù)集中所有樣本退化腦區(qū)的出現(xiàn)頻次，頻次越高表明該腦區(qū)的退化與AD 的病發(fā)相關性越高。表4 中展示了在AD vs.HC、MCⅠc vs. HC和MCⅠc vs. MCⅠnc實驗組中退化頻次較高的腦區(qū)。實驗結(jié)果發(fā)現(xiàn)左側(cè)背外側(cè)區(qū)（L.A37dl，37）在AD vs. HC和MCⅠc vs.HC實驗中有較高的出現(xiàn)頻次，而左側(cè)喙腹區(qū)域40（L.A40rv，145）在MCⅠc vs.HC 和MCⅠc vs. MCⅠnc 實驗組中有較高的出現(xiàn)頻次。這兩個腦區(qū)分別與語言和感知功能相關，可能是導致AD語言功能缺失和感知障礙這些臨床表現(xiàn)的主要原因。

表4 退化腦區(qū)出現(xiàn)頻次Table 4 Occurrence frequency of degenerate brain regions

4 討論

4.1 模型便捷性

PDECNN 模型的訓練過程不需要手動挑選退化腦區(qū)，模型可以在端對端框架下完成特征挑選和融合操作，便于醫(yī)生或缺乏深度學習相關背景知識的人使用。對比Pan[11]和Lian[12]等將特征學習與特征挑選和融合分為兩個階段的方法，本文提出的PDECNN模型更具便捷性。

4.2 樣本腦區(qū)退化差異性

p-ACNN 可根據(jù)不同輸入樣本給出不一樣集成策略，有助于挖掘患者個性化的退化腦區(qū)。圖4（使用Brainnetome Atlas Viewer 制作，其官網(wǎng)為https：//www.nitrc.org/projects/bn_atlas）展示4 個測試樣本中，5 個退化最嚴重的腦區(qū)。圖中不同退化程度的腦區(qū)使用不同顏色標注。從圖中可以觀察到，樣本A、B、C、D 退化最嚴重的五個腦區(qū)具有差異性。樣本A 退化最嚴重的腦區(qū)為左側(cè)區(qū)域11（R.A11l，46），行為域主要與味覺相關。而樣本B 和C 退化最嚴重的腦區(qū)為左側(cè)喙部區(qū)域35/36（A35/36r，109），行為域主要與記憶相關。樣本D退化最嚴重的腦區(qū)為左側(cè)區(qū)域31（L.A31，153），行為域主要與語言相關。上述發(fā)現(xiàn)表明，在臨床表現(xiàn)中，不同患者可能是由于不同腦區(qū)的退化而患有AD。該模型發(fā)現(xiàn)的患者間腦區(qū)退化的差異性，對AD的病理研究和臨床分析具有更大的科學價值。

圖4 不同樣本腦區(qū)退化程度差異Fig.4 Differences in degree of degeneration of brain regions in different samples

4.3 樣本腦區(qū)整體退化規(guī)律

在退化腦區(qū)出現(xiàn)頻次實驗中，本文發(fā)現(xiàn)AD常見的退化腦區(qū)。如表4 所示，本文找到的大部分退化腦區(qū)（如左腹側(cè)極端區(qū)域37（L.A37elv，91）、右側(cè)喙部區(qū)域35/36（R.A35/36r，110）、左側(cè)喙部海馬（L.rHipp，215）等）與近期AD診斷的相關工作（如Pan[11]等人）的結(jié)果一致。另一方面，實驗還發(fā)現(xiàn)部分新的退化腦區(qū)，如左側(cè)尾部后顳上溝腦區(qū)（L.cpSTS，123）、左側(cè)喙后顳上溝（L.rpSTS，121）等。L.cpSTS 和L.rpSTS 腦區(qū)位置如圖5 所示。L.cpSTS 和L.rpSTS 腦區(qū)主要負責語言功能，這兩個腦區(qū)的退化與AD 患者語言功能受損的臨床表現(xiàn)高度一致。

圖5 部分新發(fā)現(xiàn)的大腦區(qū)域的位置示意圖Fig.5 Ⅰllustration of location of partial newly discovered brain regions

5 結(jié)論

本文提出了一種基于個性化動態(tài)集成策略的卷積神經(jīng)網(wǎng)絡（PDECNN）用于AD 分類輔助診斷。通過融合局部與全局的MRⅠ信息，模型在AD分類上性能得到提升。該模型能適應樣本腦區(qū)退化的差異性，使模型根據(jù)不同樣本動態(tài)調(diào)整關注的退化腦區(qū)。由于PDECNN模型可以根據(jù)輸入樣本找到樣本特有的退化腦區(qū)，在臨床問題中該模型具有輔助診斷意義。通過統(tǒng)計退化腦區(qū)出現(xiàn)的頻次，該模型還可以關注到AD患者的腦區(qū)退化規(guī)律，并發(fā)現(xiàn)AD 患者語言功能退化的相關腦區(qū)，對AD病因溯源有參考意義。