基于多模態(tài)影像特征的AD診斷研究

張 格，林 嵐，康文杰，吳水才

（北京工業(yè)大學環(huán)境與生命學部生物醫(yī)學工程系，智能化生理測量與臨床轉(zhuǎn)化北京市國際科研合作基地，北京 100124）

0 引言

阿爾茨海默?。ˋlzheimer's disease，AD）是一種神經(jīng)退行性疾病，表現(xiàn)為記憶力逐漸喪失和認知功能障礙，是最常見的癡呆癥。預計到21世紀中葉，全球?qū)⒂?.07億人罹患該病[1-2]。與正常受試者（normal control，NC）相比，AD患者的全腦體積萎縮，灰質(zhì)、白質(zhì)減少以及腦區(qū)間連接性紊亂等癥狀更為嚴重[3]。該病起病較為隱匿，早期癥狀不明顯，約有50%的患者未被及時檢出[4]。到目前為止，AD患者還沒有治愈的可能。然而，若能在患病早期及時檢出并積極干預，可以有效延緩該疾病的發(fā)展進程。由于老年人的認知退化進程和其臨床表現(xiàn)存在差異[5]，單憑認知量表來評判AD病情并不準確。

MRI以其無創(chuàng)性、高空間分辨力和良好的組織對比度等優(yōu)點，被廣泛用于AD的相關(guān)研究中。其中，結(jié)構(gòu)MRI（structural MRI，sMRI）由于能夠?qū)崿F(xiàn)高分辨力結(jié)構(gòu)成像，被大多數(shù)研究者所采用，并迅速成為該研究領(lǐng)域最流行的影像模態(tài)之一。多項基于sMRI的研究發(fā)現(xiàn)，AD患者的海馬體、扣帶回、頂葉等區(qū)域的灰質(zhì)體積減少，部分腦區(qū)出現(xiàn)明顯萎縮[6-7]，基于受試者的sMRI數(shù)據(jù)可獲得海馬體、顳葉等腦區(qū)的皮層厚度、紋理等特征，將這類特征輸入傳統(tǒng)機器學習模型中可得到不錯的分類性能[8-9]。隨著神經(jīng)網(wǎng)絡技術(shù)的快速發(fā)展，基于sMRI數(shù)據(jù)構(gòu)建的二維、三維卷積神經(jīng)網(wǎng)絡（convolutional neural networks，CNN）在AD研究領(lǐng)域已得到廣泛應用，并取得了較好效果[10-13]。本課題組前期基于阿爾茨海默病神經(jīng)影像學計劃（Alzheimer's Disease Neuroimaging Initiative，ADNI）數(shù)據(jù)庫中400余例sMRI數(shù)據(jù)，采用遷移學習和多切片集成方法獲得了較好的分類性能，AD/NC分類準確率達90.4%[14]。雖然基于sMRI的AD診斷模型性能相對優(yōu)異，但是多模態(tài)融合模型在分類性能方面還有一定的提升空間。多模態(tài)的影像數(shù)據(jù)可從不同時空角度對大腦信息進行描述[15-16]。例如，sMRI是從腦灰質(zhì)角度揭示AD結(jié)構(gòu)變化，而彌散張量成像（diffusion tensor imaging，DTI）是描述大腦中的白質(zhì)變化，可從不同角度揭示AD疾病進程中的差異。因此，單個模態(tài)影像數(shù)據(jù)學習的特征之間存在一定互補性，利用多模態(tài)神經(jīng)影像進行AD診斷研究可以進一步提高模型性能。

已有的神經(jīng)病理學研究證實了腦白質(zhì)病變是影響AD發(fā)展的一個重要因素[17]，也有研究表明白質(zhì)微結(jié)構(gòu)的改變與大量Tau蛋白存在軸突變性密切相關(guān)，這同樣支持著白質(zhì)微結(jié)構(gòu)的改變在AD發(fā)病機制中起重要作用的論點[18]。DTI可反映白質(zhì)微結(jié)構(gòu)的變化，在AD分類研究中逐漸引起研究者的注意，被認為是具有較大研究潛力的影像模態(tài)。基于DTI構(gòu)建的腦連接網(wǎng)絡可反映出大腦復雜的網(wǎng)絡特性，是研究人體大腦白質(zhì)網(wǎng)絡連接規(guī)律、信號交換和腦區(qū)間相互作用的數(shù)據(jù)基礎(chǔ)[19-20]。圖論方法以圖網(wǎng)絡為研究對象，可探究圖網(wǎng)絡的拓撲結(jié)構(gòu)特性。但是，圖論方法提取的腦白質(zhì)網(wǎng)絡特征是人工篩選的初級網(wǎng)絡特征，特征表征性一般，因此采用深度學習方法自動提取腦網(wǎng)絡特征具有重要意義。圖卷積神經(jīng)網(wǎng)絡（graph convolutional neural networks，GCN）算法是圖論分析工具與CNN算法的綜合體，可以處理數(shù)據(jù)結(jié)構(gòu)不規(guī)則的腦白質(zhì)網(wǎng)絡，同時也保留了CNN權(quán)值共享、局部連接等優(yōu)勢，適合與基于sMRI的深度學習模型結(jié)合并進行多模態(tài)研究。

本研究基于ADNI數(shù)據(jù)庫中的多模態(tài)影像數(shù)據(jù)，在二維CNN提取的T1加權(quán)成像（T1weight image，T1WI）的影像特征基礎(chǔ)上，再利用GCN提取DTI影像數(shù)據(jù)中的腦連接網(wǎng)絡特征，經(jīng)過多模態(tài)特征融合后實現(xiàn)AD/NC的分類。

1 資料與方法

1.1 研究對象及數(shù)據(jù)獲取

本研究受試對象是81例年齡分布在56～80歲的老年人，他們都來自于ADNI數(shù)據(jù)庫中ADNI-GO和ADNI-2階段。受試者根據(jù)認知評分可分為AD、NC 2類人群，他們都是相應階段的基線數(shù)據(jù)。每個受試者的影像數(shù)據(jù)均包含T1WI和DTI 2個模態(tài)。受試者均無抑郁等精神疾病。受試者的特征信息見表1。

表1 受試者的特征信息

1.2 數(shù)據(jù)預處理

T1WI數(shù)據(jù)預處理是基于MATLAB 2017b中的SPM12軟件包[21]實現(xiàn)的。圖像預處理包括數(shù)據(jù)標準化，白質(zhì)、灰質(zhì)、腦脊液的分割，灰質(zhì)密度圖的標準化與平滑。其中，在生成灰質(zhì)密度圖后采用了2×2×2的高斯平滑核進行灰質(zhì)密度圖的平滑。

DTI構(gòu)建結(jié)構(gòu)腦連接網(wǎng)絡是由PANDA軟件[22]實現(xiàn)的。PANDA是同時集合了MRIcron、Diffusion Toolkit、FSL等開發(fā)軟件的自動化處理DTI數(shù)據(jù)的流程化軟件包。采用自動解剖標記（anatomical automatic labeling，AAL）模板定義腦網(wǎng)絡節(jié)點，由確定性纖維追蹤算法確定腦網(wǎng)絡的邊，最終得到纖維數(shù)量（fiber number，F(xiàn)N）、纖維長度（fiber length，F(xiàn)L）、各向異性分數(shù)（fractional anisotropy，F(xiàn)A）3種不同類型的結(jié)構(gòu)腦連接網(wǎng)絡，分別從白質(zhì)纖維束的FN、FL和FA描述腦白質(zhì)結(jié)構(gòu)。為了防止追蹤算法造成的偽連接干擾，以FN=3為閾值對FN結(jié)構(gòu)腦連接網(wǎng)絡進行預處理[23]，PANDA具體實現(xiàn)流程可參見文獻[24]。采用腦網(wǎng)絡分析軟件GRETNA[25]計算腦網(wǎng)絡特征。

1.3 基于CNN的結(jié)構(gòu)特征提取

基于CNN網(wǎng)絡提取T1WI結(jié)構(gòu)特征的方法[14]主要包括切片選擇和切片特征集成2個部分。經(jīng)SPM預處理后，T1WI數(shù)據(jù)大小統(tǒng)一為121×145×121，沿冠狀面切割成145張大小為121×121的二維腦切片。隨后利用VGG16網(wǎng)絡對145張切片進行單獨訓練，最終確定了分類排名前11的切片。切片特征集成基于深度卷積對抗生成網(wǎng)絡（deep convolutional generative adversarial networks，DCGAN）模型完成：首先，利用145張受試者全腦切片訓練DCGAN[26]；然后利用遷移學習方法將訓練好的DCGAN判別器遷移到單張切片預測訓練中，每個受試者根據(jù)11張切片的訓練模型可得到11個預測標簽；最后利用投票法對結(jié)果進行集成可獲得受試者的最終預測標簽。

1.4 基于頻域GCN的DTI特征提取

GCN是CNN在非規(guī)則域運算的推廣，可從不規(guī)則腦網(wǎng)絡圖中提取關(guān)鍵隱藏特征[27]。引入卷積算子，并利用傅里葉變換將信號和卷積算子映射到頻域中，運用乘積運算即可實現(xiàn)不規(guī)則圖上的卷積運算。對稱歸一化形式圖的拉普拉斯矩陣為

式中，L為圖的拉普拉斯矩陣；IN為單位矩陣；D為圖中節(jié)點的度矩陣；A為反映節(jié)點間關(guān)系的鄰接矩陣；Λ為拉普拉斯矩陣的特征值構(gòu)成的特征向量；U為拉普拉斯矩陣L的特征向量。圖的拉普拉斯矩陣的特征向量可將信號和濾波器轉(zhuǎn)到頻域中，由此圖上的信號與濾波器卷積運算可表示為

式中，f為輸入時域信號；g為濾波器；gθ為可學習參數(shù)的濾波器；?為卷積運算符；⊙為哈達瑪乘法運算符。由此可定義譜卷積神經(jīng)網(wǎng)絡（Spectral CNN），其中第n層結(jié)構(gòu)可表示為

式中，X（n+1）j為n+1層中j個輸入特征向量；h為激活函數(shù)；p和q分別是輸入、輸出的特征維數(shù)；為濾波器∈Rn，代表圖中節(jié)點在第n層的第i個輸入特征向量，R為所有輸入特征的集合。但Spectral CNN計算較復雜，并且未實現(xiàn)局部卷積的效果。隨后Defferrard等[28]提出ChebNet，該網(wǎng)絡使用切比雪夫多項式近似擬合濾波器，并定義參數(shù)K控制濾波器的學習范圍，大大降低了網(wǎng)絡計算的復雜度并實現(xiàn)了卷積的局部性，該網(wǎng)絡可使用公式（4）、（5）表示：

式中，θk為切比雪夫多項式參數(shù)；Tk（）為切比雪夫多項式；Tk（）=U Tk（）UT。Kipf等[29]進一步將濾波器學習范圍減小到1，利用近似簡化的方法實現(xiàn)層式傳播，GCN可表示為

式中，H（l+1）為l+1層的輸入節(jié)點特征；f（·）為激活函數(shù)；H（l）為l層的輸入節(jié)點特征，且H（0）=f；W（l）為第l個濾波器的參數(shù)矩陣。隨著GCN的不斷發(fā)展，其已經(jīng)在多個領(lǐng)域得到應用，也產(chǎn)生了結(jié)構(gòu)復雜、設計更巧妙的新模型。

對應于AAL模板得到的結(jié)構(gòu)腦連接網(wǎng)絡，GCN的節(jié)點數(shù)為90。GCN的輸入包含2個部分，分別是鄰接矩陣A和節(jié)點特征矩陣X。由PANDA計算出的FN矩陣是各個腦區(qū)間白質(zhì)纖維束的連接數(shù)量，反映了腦區(qū)間的連接程度。本研究將預處理后的FN矩陣同時作為受試者的鄰接矩陣和節(jié)點特征矩陣，利用GCN算法提取不規(guī)則腦網(wǎng)絡間的連接特征，探究AD與NC受試者的腦網(wǎng)絡連接差異。模型共包含2個卷積層、1個全局平均池化層和2個全連接層：2個卷積層的輸出特征維度分別為64和32，每個卷積層后都添加線性整流（rectified linear unit，ReLU）激活函數(shù)。由于這項研究是圖分類，需要在最后1個卷積層后利用全局平均池化操作將整個圖的特征壓縮成一維特征向量。2個全連接層的輸出特征維數(shù)分別為32和2，GCN模型架構(gòu)如圖1所示。

1.5 多模態(tài)融合

類別提升（categorical boosting，CatBoost）[30]算法是一種基于對稱決策樹為基學習器的機器學習算法，該集成算法可較好地處理各種類別特征，與極限梯度提升（extreme gradient boosting，XGBoost）算法、輕量級梯度提升機（light gradient boosting machine，LightGBM）算法并稱為梯度下降樹（gradient boosting decision tree，GBDT）的三大主流神器。CatBoost算法與其他集成算法相比具有以下優(yōu)勢：（1）性能優(yōu)異：CatBoost算法在性能方面可與其他所有機器學習算法相匹敵。（2）魯棒性強：該算法減少了超參數(shù)的調(diào)優(yōu)，降低了過擬合概率，使得模型具有更好的通用性。（3）實用性強：該算法不僅可以處理類別型數(shù)據(jù)，還可以處理數(shù)值型的特征。（4）可擴展性：該算法除了自帶的損失函數(shù)，還可以自定義損失函數(shù)。

本研究首先分別采用GCN和CNN模型提取DTI腦白質(zhì)網(wǎng)絡拓撲特征和T1WI結(jié)構(gòu)影像特征，然后導出GCN模型中第一個全連接層和CNN模型最后一個全連接層的輸出特征，最后基于CatBoost集成算法根據(jù)DTI和T1WI 2種模態(tài)的融合特征可得到受試者的預測標簽。多模態(tài)融合模型如圖2所示。

圖2 多模態(tài)融合模型

1.6 評價指標

為了全面描述實驗結(jié)果，本研究選取了準確率（ACC）、精確率（PRE）、召回率（REC）、F1分數(shù)作為模型結(jié)果的評價指標，其計算公式如下：

式中，TP是正確檢測出的AD樣本；TN是正確檢測為NC的樣本；FP是NC受試者錯誤劃分為AD；FN是AD受試者錯誤劃分為NC。

2 結(jié)果

2.1 實驗參數(shù)設置

為了排除實驗結(jié)果的隨機性，將受試者隨機打亂10次并按照6∶4的比例劃分訓練集和測試集。CNN采用Adam優(yōu)化器，學習率為1×10-5，當模型驗證集的準確率在30個回合（epoch）不再上升時就停止訓練。GCN模型同樣采用Adam優(yōu)化器，學習率為1×10-5，權(quán)重衰減為5×10-4，損失函數(shù)為交叉熵，epoch為7 000個。CatBoost算法使用默認參數(shù)進行訓練。以上模型構(gòu)建及訓練均在Windows系統(tǒng)下的Pytorch學習框架，基于NVIDA Geforce GTX 1050 Ti下執(zhí)行。

2.2 GCN模型訓練

為了探究GCN在不規(guī)則腦網(wǎng)絡中的特征提取能力，將基于圖論提取的人工特征（腦網(wǎng)絡局部特征，根據(jù)先驗知識提取網(wǎng)絡的節(jié)點度、節(jié)點強度、節(jié)點局部效率、度中心性、節(jié)點效率、聚類系數(shù)這6個局部特征）與分類結(jié)合，與GCN模型進行對比實驗。每例受試者共有540維腦區(qū)特征輸入SVM模型中進行訓練，該過程通過LIBSVM工具箱[31]實現(xiàn)?；谑茉囌逥TI數(shù)據(jù)的AD/NC分類結(jié)果見表2，該結(jié)果是10次隨機劃分數(shù)據(jù)的平均值。由表2可以看出，GCN模型明顯優(yōu)于SVM模型，僅使用2個卷積層便可以學習到腦網(wǎng)絡中更復雜的特征表達。

表2 基于DTI數(shù)據(jù)的AD/NC分類結(jié)果

2.3 多模態(tài)融合

基于T1WI單模態(tài)和DTI、T1WI多模態(tài)影像數(shù)據(jù)的AD/NC分類性能比較見表3。由表3中可以看出，多模態(tài)融合相比單一模態(tài)影像數(shù)據(jù)可獲得更加優(yōu)異的分類性能。

表3 單/多模態(tài)的AD/NC分類結(jié)果

3 討論

3.1 深度學習在高級腦網(wǎng)絡特征提取中的優(yōu)勢

AD患者的大腦伴隨著大量神經(jīng)元的丟失，這在一定程度上可理解為腦白質(zhì)和腦灰質(zhì)的退化[32]?；颊吣X區(qū)之間的白質(zhì)連接通路受損，腦白質(zhì)網(wǎng)絡出現(xiàn)異常拓撲變化，通過特征選擇或數(shù)據(jù)挖掘的方法捕捉腦白質(zhì)網(wǎng)絡的拓撲異?？色@得較好的分類性能。傳統(tǒng)的機器學習方法通常需要根據(jù)先驗知識手工提取腦網(wǎng)絡特征，在本研究中，選取了腦連接網(wǎng)絡的6個重要局部特征，分別從不同角度描述了大腦各個腦區(qū)間的聯(lián)系和交互作用。節(jié)點度和節(jié)點強度分別從二值和加權(quán)腦網(wǎng)絡直觀描述腦區(qū)的相互連接統(tǒng)計，度越大，腦區(qū)間的連接就越多，說明腦區(qū)在整個腦網(wǎng)絡中的地位越重要；節(jié)點局部效率是評判腦網(wǎng)絡局部信息傳輸能力的重要參數(shù)，也在一定程度上反映了腦網(wǎng)絡防御隨機攻擊的能力；度中心性和節(jié)點效率分別從度和效率2個角度度量腦區(qū)在腦網(wǎng)絡中的重要性；聚類系數(shù)可衡量腦網(wǎng)絡的集團化程度，表示腦區(qū)的鄰居之間互為鄰居的可能性。深度學習模型是端到端的學習，不再需要手工設計特征[33]，并且可以自主設計損失函數(shù)并不斷優(yōu)化學習規(guī)則，通過多個卷積核盡可能地學習目標域復雜、高級的特征。在基于DTI影像數(shù)據(jù)構(gòu)建的結(jié)構(gòu)腦連接網(wǎng)絡特征學習中，深度學習模型提取的腦白質(zhì)網(wǎng)絡特征明顯優(yōu)于人工選擇的腦網(wǎng)絡特征，因此深度學習算法可在腦網(wǎng)絡中提取更具有表征性的腦連接網(wǎng)絡分類特征。

3.2 AD多模態(tài)特征的互補性

大量組織病理學和影像學研究證實了AD患者的顳葉、額葉和枕葉皮層相比其他腦皮層有更嚴重的灰質(zhì)萎縮。在疾病早期階段就已經(jīng)存在海馬體異常加速萎縮情況，這些灰質(zhì)結(jié)構(gòu)的改變與患者的病癥表現(xiàn)基本一致，從腦灰質(zhì)角度進行AD研究是研究者們的首選之一[34-36]。但在后續(xù)研究中發(fā)現(xiàn)，在AD臨床早期階段，通過DTI數(shù)據(jù)監(jiān)測到白質(zhì)纖維擴散率的改變與疾病嚴重程度相關(guān)[37]，白質(zhì)纖維異常和腦脊液生物標志物異常也存在聯(lián)系[38-39]。另外，在一項家族性攜帶AD基因的群體研究中發(fā)現(xiàn)，認知正常的個體中也出現(xiàn)了腦白質(zhì)擴散率的改變，這表明白質(zhì)纖維退化可能存在于AD的海馬體萎縮等癥狀之前[40]。除灰質(zhì)外，腦白質(zhì)病變也參與到整個疾病的發(fā)展中。雖然二者在AD早期階段表現(xiàn)出相似的退化模式，但在整個疾病發(fā)展中腦白質(zhì)病變?nèi)匀槐３忠欢ǖ莫毩⑿?，因此它們所表達的結(jié)構(gòu)信息存在互補關(guān)系[41]。DTI數(shù)據(jù)是當前唯一一種能較好觀察和追蹤腦白質(zhì)纖維束的無創(chuàng)檢查技術(shù)，由DTI構(gòu)建的腦白質(zhì)連接網(wǎng)絡可通過腦區(qū)纖維連接特性識別白質(zhì)纖維變化趨勢和腦白質(zhì)損傷程度[42-44]。T1WI數(shù)據(jù)通過高分辨力成像反映腦灰質(zhì)萎縮程度，DTI則通過構(gòu)建的白質(zhì)連接網(wǎng)絡反映白質(zhì)微結(jié)構(gòu)變化，2種不同模態(tài)的腦結(jié)構(gòu)數(shù)據(jù)分別從灰質(zhì)和白質(zhì)角度提供互補型的多模態(tài)腦結(jié)構(gòu)信息。本研究中，在CNN模型提取的T1WI灰質(zhì)特征基礎(chǔ)上，加入GCN模型提取的DTI白質(zhì)連接網(wǎng)絡特征后獲得了更好的AD/NC分類性能，證明了T1WI和DTI多模態(tài)特征在AD研究中的互補性。

4 結(jié)語

本研究采用多模態(tài)特征融合的方法，基于ADNI數(shù)據(jù)庫中81例老年人的多模態(tài)數(shù)據(jù)實現(xiàn)AD/NC分類。首先，以CNN模型提取的T1WI全腦灰質(zhì)密度圖特征為基礎(chǔ)，將GCN模型提取的DTI結(jié)構(gòu)腦連接網(wǎng)絡特征和基礎(chǔ)特征融合，然后基于CatBoost集成算法實現(xiàn)AD/NC分類，最終得到多模態(tài)融合特征，準確率為85.3%，優(yōu)于單一模態(tài)特征的分類性能。當然，深度學習的模型性能與數(shù)據(jù)量高度相關(guān)。本研究目前僅采用81例受試者進行研究，一定程度上影響模型表現(xiàn)?；赥1WI影像的模型在較大數(shù)據(jù)集（約400）中，分類準確率為90.4%，多模態(tài)影像特征的分類模型在性能提升方面還具有較大空間。在后續(xù)研究中，需要獲取更大規(guī)模的多模態(tài)數(shù)據(jù)進行研究。