用于阿爾茲海默病輔助診斷的多流卷積神經(jīng)網(wǎng)絡(luò)

賈璦瑋，劉芳宇

（1.南華大學(xué)計算機學(xué)院醫(yī)學(xué)信息工程系，衡陽 421001；2.上海大學(xué)計算機工程與科學(xué)學(xué)院，上海 200444）

關(guān)鍵字：阿爾茲海默?。欢嗔骶矸e神經(jīng)網(wǎng)絡(luò)；特征融合；線性拼接

0 引言

近些年來醫(yī)學(xué)技術(shù)不斷發(fā)展，大腦成為醫(yī)學(xué)研究的對象之一。阿爾茲海默癥是一種神經(jīng)系統(tǒng)退行性疾病，常見的癥狀主要是認知功能障礙。近些年來病例的數(shù)量在持續(xù)上升，并且常發(fā)生于老年人中。由于醫(yī)學(xué)技術(shù)水平的限制，這種病并不能根治，只能通過有效預(yù)防來干預(yù)。根據(jù)國際阿爾茲海默病協(xié)會（ADI）最新發(fā)布的世界阿爾茲海默病報告顯示，現(xiàn)在有超過5500萬名阿爾茲海默病患者。預(yù)計到2050年，每33秒世界上就會增加一例病例，全世界將會有1.39億人受到該病影響。隨著人口老齡化加劇，能夠提前發(fā)現(xiàn)并預(yù)防阿爾茲海默癥具有重要現(xiàn)實意義。檢測阿爾茲海默癥的常見手段主要是心理學(xué)測量和醫(yī)學(xué)影像學(xué)輔助，輔助工具有磁共振成像（MRI）、正電子發(fā)射層掃描（PET）等。磁共振成像可以提供疾病相關(guān)的局部或者區(qū)域特征，通過對這些特征的處理分析，我們可以將阿爾茲海默癥患者與正常人區(qū)別開來。

1 相關(guān)工作

1.1 經(jīng)典的深度模型

隨著硬件條件的發(fā)展，越來越多的人嘗試用整圖卷積的方法來提高磁共振圖像識別的準(zhǔn)確率。卷積網(wǎng)絡(luò)的卷積層間的堆疊方式、卷積核的大小和數(shù)量以及池化層的選擇方式都會影響模型的性能。經(jīng)典的卷積網(wǎng)絡(luò)VGG13模型使用多個3×3×3的小卷積核的卷積層，能夠獲得不錯的局部信息提取。但是隨著普通3D卷積的堆疊，不能很好地把梯度反饋給網(wǎng)絡(luò)層，模型的分類性能反而越來越弱，還容易產(chǎn)生梯度消失或者梯度爆炸等問題。He等提出了ResNet模型，可以解決梯度消失、爆炸等問題，而且所需要的參數(shù)量少。ResNet34模型引入了橫跨層的快捷連接（shortcut connections）結(jié)構(gòu)，將輸入跨層連接到后面的網(wǎng)絡(luò)層。在后向傳播時使用了殘差網(wǎng)絡(luò)的思想，能夠?qū)⒌蛯拥木W(wǎng)絡(luò)梯度上傳給高層。

1.2 基于地標(biāo)的深度多實例模型

常用的方法是自主預(yù)先將MRI圖像劃分成多個感興趣區(qū)域（regions-of-interest,ROI），提取相關(guān)的區(qū)域特征后再使用分類器判別，但是在定義ROI和提取相關(guān)特征方面存在困難，需要專業(yè)的臨床知識和大量的時間。Liu等提出的深度多實例模型（LDMIL）是一種多實例學(xué)習(xí)的學(xué)習(xí)方法，通過對多個地標(biāo)定位的圖像塊捕捉進行建模，形成在整個圖像級別表示的大腦結(jié)構(gòu)。先對訓(xùn)練數(shù)據(jù)中的阿爾茲海默癥患者和NC受試者作比較，用來導(dǎo)出AD的識別解剖標(biāo)志，然后再提取以多個標(biāo)志位置為中心的圖像塊。對每一個對應(yīng)位置的塊采用CNN模型進行端到端的分類，將MRI圖像的局部和全局特征合并起來，獲得受試者的全局表示。這是一種逐層的學(xué)習(xí)方法，通過對多個地標(biāo)定位的圖像塊捕捉進行建模，然后形成在整個圖像級別表示大腦的結(jié)構(gòu)。

1.3 基于自注意機制的卷積神經(jīng)網(wǎng)絡(luò)

殘差注意力網(wǎng)絡(luò)（ResAttNet）結(jié)構(gòu)可以拓展網(wǎng)絡(luò)，提升分類性能，利用該模式可以在圖像識別上取得更好的效果。Zhang等提出的三維可解釋的殘差自注意卷積神經(jīng)網(wǎng)絡(luò)（3DResAttNet），是使用少量參數(shù)增加神經(jīng)網(wǎng)絡(luò)深度來獲得MRI圖像的局部、全局和空間信息。自注意力機制可以專注于主要的區(qū)域，忽視非必要的區(qū)域，在原始殘差模塊的尾部添加了自注意力層，可以幫助模型更好地對全局信息進行處理分析。該模型采用3D CNN方法，將三個3×3×3的卷積層堆疊起來，對數(shù)據(jù)集使用3D過濾器來獲得三維的低級特征。通過將這些特征組合起來獲得高級特征，這是一種端到端的操作。

2 材料和方法

2.1 受試者和數(shù)據(jù)處理

本研究采用的數(shù)據(jù)集是來自100名正常和100名患病受試者的基線MR掃描圖像。參照一些臨床標(biāo)準(zhǔn)，如簡易精神狀態(tài)檢查（MMSE）分數(shù)、蒙特利爾認知評價量表（MoCA）和臨床癡呆評分（CDR）將這200名受試者分為兩類：AD（阿爾茨海默?。┖蚇C（正常對照）。表1是對兩百位受試者的人口統(tǒng)計信息報告，呈現(xiàn)性別、年齡、體重和簡易精神狀態(tài)（MMSE）值等信息。

表1 受試者的人口統(tǒng)計學(xué)信息（平均值±標(biāo)準(zhǔn)差）

2.2 圖像處理

對于受試者的MRI影像，首先對圖像進行非均勻組織強度矯正，再對圖像重新采樣為1.5×1.5×1.5的立體像素。對校訂后的圖像采用SPM工具中的CAT12工具包完成剝離頭骨的操作，并將影像分割成GM、WM、CSF三個部分。最后按照標(biāo)準(zhǔn)腦模版空間MNI（montreal neurological institute）配準(zhǔn)，將分割好的圖像統(tǒng)一大小為113×137×113。圖1是第100例受試者的MRI結(jié)構(gòu)核磁共振圖像和GM、WM、CSF分割結(jié)果圖像。

圖1 第100例受試者冠狀、矢狀和軸向方向圖示

2.3 提出的方法

本文采用的模型是針對卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network,CNN）結(jié)構(gòu)模型改進后的多流卷積神經(jīng)網(wǎng)絡(luò)（multi-stream convolutional neural network,MSCNN）模型，同時對GM、WM、CSF三個特征進行提取。在提取的過程中，我們引入原MRI圖像來防止信息丟失，即同時進行四路特征提取。卷積層由一系列固定尺度的卷積核組成，尺度為3×3×3，以寬度為1的窗口在原始圖像上間隔滑動，用于計算不同的特征圖。該模型含有9層卷積（即Conv1、Conv2、Conv3、Conv4、Conv5、Conv6、Conv7、Conv8和Conv9）和3個全連接層（即FC10、FC11和FC12）。經(jīng)過每層卷積后特征圖的通道數(shù)量為64、64、128、128、256、256、512、512、512。卷積層后緊跟著批量歸一化層Batch-Norm3d（）和整流線性單元激活函數(shù)ReLU（），能夠加快模型的訓(xùn)練過程。其中對Conv2、Conv4、Conv6、Conv7、Conv8和Conv9后 進 行Max-Pool3D最大池化操作，Conv9后的池化內(nèi)核大小為2×2×3，其他層的池化內(nèi)核大小都為2×2×2。通過多個卷積和池化的步驟后，特征圖被展平成1×1×1的大小，再送入全連接層。全連接層含有神經(jīng)單元的數(shù)量分別為512、256、2，將FC12的輸出送到soft-max層，概率最大的類別即為本次的預(yù)測結(jié)果。

本文采用了兩種融合方法對模型進行改進，分別是特征融合Fusion（）方法和線性拼接Cat（）方法，框架分別如圖2和圖3所示。特征融合方法是對Conv5的輸出進行特征融合操作，我們定義了四個可學(xué)習(xí)的參數(shù)，將四路卷積的不同尺度特征加權(quán)匯總在一起作為Conv6的輸入，再進行四層單路卷積送入全連接層；而線性拼接Cat（）方法則是對經(jīng)過九層卷積展平后的特征圖沿著通道Channel方向進行矢量拼接后再送入全連接層FC10，然后再輸入到FC11。

圖2 MSCNN-Fusion架構(gòu)

圖3 MSCNN-Cat架構(gòu)

3 實驗

3.1 實驗比較

為了檢驗本文提出的模型的預(yù)測性能，本節(jié)設(shè)計了三個類型的實驗：

實驗一：將MSCNN模型與其他現(xiàn)有的處理MRI圖像的四種方法進行比較研究。VGG13、ResNet34、ResAttNet34和LDMIL四種模型處理對象為MRI圖像，MSCNN則對切割后的GM、WM、CSF和原MRI圖像進行驗證。所有實驗均在Pytorch上構(gòu)建和實現(xiàn)。

實驗二：使用消融實驗來檢驗各部分對預(yù)測結(jié)果的影響和有效性。我們設(shè)計比較了有和沒有各個部分（即GM、WM、CSF和MRI）對MSCNN模型實驗指標(biāo)的影響，將缺失某部分模型的預(yù)測效果與原MSCNN模型進行比較。

實驗三：對采用兩種融合方法的模型進行實驗比較。我們對MSCNN-Fusion和MSCNNCat兩個模型進行實驗，比較特征融合方法和線性拼接方法對預(yù)測的影響。

所有的實驗均采用五折交叉驗證的方法，學(xué)習(xí)率（LR）設(shè)置為1×10，將交叉熵（Cross Entropy）設(shè)置為損失函數(shù)，并且使用優(yōu)化器Adam優(yōu)化模型。

3.2 實驗設(shè)置

該實驗是針對AD和NC進行的二分類任務(wù)，我們采用七個指標(biāo)來評判模型的性能，分別是準(zhǔn)確性（ACC）、受試者工作特征曲線下面積（AUC）、召回率（Recall）、馬修斯相關(guān)系數(shù)（MCC）、F1分數(shù)（F1-Score）、精確率（Precision）和ROC曲線。這些評判指標(biāo)的定義如下：

其中FP、FN、TP和TN分別表示假陽性、假陰性、真陽性和真陰性。

3.3 實驗結(jié)果

將所提出的MSCNN模型與其他四種模型進行了比較，對AD和NC分類的比較結(jié)果如表2所示。從表2可以看出，MSCNN的Accuracy、Precision等六項指標(biāo)均高于其他四個模型，進一步表明了該模型的有效性。MSCNN模型對于AD的分類性能是波動的，但是相比于其他四種模型的波動更小。五種模型的ACC、AUC和ROC結(jié)果如圖4所示。

圖4 五種模型的ACC、AUC和ROC結(jié)果

表2 五種模型在AD分類任務(wù)的六個指標(biāo)結(jié)果（平均值±標(biāo)準(zhǔn)偏差）

本文提出的方法是將整個MRI圖像切割成GM、WM、CSF三部分輸入，同時使用原MRI圖像進行輔助處理。該實驗研究了GM、WM、CSF和MRI四個部分對模型的影響，表3報告了這四個部分在分類任務(wù)上獲得的ACC、Precision、Recall、AUC等指標(biāo)值。從表3可知，MRI和GM對模型的Accuracy貢獻都是29.41%，大于WM和CSF的貢獻。MRI對AUC的貢獻為35.35%，遠遠大于GM、WM和CSF的貢獻。該實驗的各種指標(biāo)表明，將原MRI圖像與切割后的三個部分（GM、WM和CSF）相結(jié)合有助于提高模型的預(yù)測性能，從而更好地進行AD的分類。不同模式影像對各參數(shù)的貢獻如圖5所示。

圖5 不同模式影像對各參數(shù)的貢獻

表3 五種模型在AD分類任務(wù)的六個指標(biāo)結(jié)果（平均值±標(biāo)準(zhǔn)偏差）

表4 兩種融合方法在AD分類任務(wù)的六個指標(biāo)結(jié)果（平均值±標(biāo)準(zhǔn)偏差）

我們將兩種方法對同一個數(shù)據(jù)集進行交叉驗證。從中我們觀察到兩種方法的各項指標(biāo)都很接近，但是MSCNN-Cat的四個指標(biāo)ACC、Recall、F1-Score、MCC均 優(yōu) 于MSCNN-Fusion的分數(shù)，說明分開獨立卷積的模型參數(shù)量更大，計算開銷也更高。

4 總結(jié)

本文根據(jù)卷積神經(jīng)網(wǎng)絡(luò)進行改進，將多流卷積神經(jīng)網(wǎng)絡(luò)與兩種融合方法（Fusion和Cat）結(jié)合起來，用于AD和NC的分類。我們在五折交叉驗證策略下進行了三個實驗：①將MSCNN模型與其他現(xiàn)有的處理MRI圖像的四種方法進行比較研究；②使用消融實驗來檢驗各部分對預(yù)測結(jié)果的影響和有效性；③對采用兩種融合方法的模型進行實驗比較。實驗表明，本文提出的模型優(yōu)于現(xiàn)有的模型（VGG13、ResNet34、ResAttNet34和LDMIL），對于AD的診斷具有良好的性能。在未來，我們會基于該模型開發(fā)一個能夠?qū)崿F(xiàn)輕度認知障礙（MCI）和AD分類的模型框架。