基于非對稱多模態(tài)學(xué)習(xí)的阿爾茨海默癥輔助診斷算法研究

潘偉博，汪海濤，姜 瑛，陳 星

(昆明理工大學(xué) 信息工程與自動(dòng)化學(xué)院，昆明650500)

E-mail：weibopan@yeah.net

1 引 言

阿爾茲海默癥(Alzheimer′s Disease，AD)是最常見的神經(jīng)退化性疾病之一，俗稱老年癡呆，常出現(xiàn)在65歲以上的人群中，并逐漸影響他們的記憶和其他它大腦功能.根據(jù)阿爾茨海默癥協(xié)會(huì)的研究報(bào)告[1]，在未來的50年內(nèi)，全球的AD發(fā)病總數(shù)預(yù)計(jì)會(huì)達(dá)到6000萬人，因此許多研究致力于了解阿爾茨海默癥潛在的生物學(xué)或生理機(jī)制[2].盡管現(xiàn)階段還沒有有效的阿爾茨海默癥治療手段，但是研究表明在阿爾茨海默癥的早期階段，即在輕度認(rèn)知障礙階段治療可以有效的減緩疾病的進(jìn)展[3，4].

隨著神經(jīng)影像技術(shù)的發(fā)展，MRI和PET圖像已經(jīng)被廣泛的應(yīng)用于阿爾茨海默癥的輔助診斷，尤其是多種模態(tài)數(shù)據(jù)之間包含的互補(bǔ)信息促進(jìn)了阿爾茨海默癥輔助診斷的發(fā)展.此外，還有研究表明MRI和PEI之間包含的互補(bǔ)信息有助于提高阿爾茨海默癥的輔助診斷性能[5].但是基于多模態(tài)神經(jīng)影像學(xué)習(xí)的方法通常存在的一個(gè)普遍問題，即缺失某種模態(tài)的數(shù)據(jù)[6]，在臨床測試中，受試者可能因中途退出或者數(shù)據(jù)質(zhì)量差而缺失了特定模態(tài)的數(shù)據(jù)，例如在ADNI數(shù)據(jù)庫中就缺失大量的PET數(shù)據(jù).傳統(tǒng)的方法通常會(huì)舍棄缺失PET的圖像樣本數(shù)據(jù)[7]，但這種處理方法會(huì)讓可用于訓(xùn)練模型的數(shù)據(jù)量減少，從而導(dǎo)致模型的診斷性能不佳.為了盡可能多的利用多模態(tài)神經(jīng)影像數(shù)據(jù)，一種直接的解決辦法就是補(bǔ)充缺失的PET圖像數(shù)據(jù).但是傳統(tǒng)的數(shù)據(jù)補(bǔ)充方法大多側(cè)重于補(bǔ)充PET圖像的特征值，而忽略了同一受試者的MRI和PET之間具有的潛在相關(guān)性(MRI和PET圖像都是來源于同一受試者的大腦掃描成像)，以及完整PET圖像所傳達(dá)的特定疾病信息，而且這種填充PET特征值大多是手工制作而成[6].因此這種填充缺失特征值的方法在阿爾茨海默癥輔助診斷的效果并不理想.此外，基于多模態(tài)學(xué)習(xí)的方法還存在一個(gè)問題，如何利用多模態(tài)數(shù)據(jù)之間的內(nèi)在關(guān)聯(lián)，即如何有效的融合多種模態(tài)的數(shù)據(jù).為了融合多種模態(tài)數(shù)據(jù)，傳統(tǒng)方法通常分為兩個(gè)步驟，首先分別為每個(gè)模態(tài)進(jìn)行特征選擇，然后將所選特征串聯(lián)起來進(jìn)行診斷或分類，但是這些方法忽略了不同模態(tài)之間的潛在關(guān)聯(lián).

基于上述原因，本文提出了一種新的解決方案，稱為基于非對稱多模態(tài)學(xué)習(xí)的阿爾茨海默癥輔助診斷算法，用于不完整多模態(tài)神經(jīng)圖像(MRI與PET)合成和阿爾茨海默癥輔助診斷.該算法的主要思想是通過3DCGAN補(bǔ)全缺失的PET數(shù)據(jù)，再利用MDNFM模型學(xué)習(xí)多模態(tài)數(shù)據(jù)(MRI和PET)的共享潛在表示進(jìn)行輔助診斷.該模型學(xué)習(xí)的功能具有較好的可解釋性，將有助揭示大腦的復(fù)雜結(jié)構(gòu).在ADNI數(shù)據(jù)庫中的實(shí)驗(yàn)結(jié)果表明本文提出的算法不僅可以生成合理PET圖像，而且在阿爾茨海默癥輔助診斷中也表現(xiàn)出良好的性能.

本文的貢獻(xiàn)主要有3個(gè)方面：

1)通過MRI和PET之間的潛在關(guān)聯(lián)，構(gòu)建3DCGAN模型補(bǔ)全了缺失的PET圖像數(shù)據(jù).

2)使用分層分解策略構(gòu)建MDNMF模型，以有效地發(fā)現(xiàn)多模式神經(jīng)影像數(shù)據(jù)的隱藏信息.

3)本文提出的算法將多模態(tài)融合和分類集成到一個(gè)統(tǒng)一的模型中，通過學(xué)習(xí)不同模態(tài)的共享特征表示來挖掘MRI和PET之間的隱藏信息，用于阿爾茨海默癥的輔助診斷.

2 相關(guān)工作

隨著阿爾茨海默癥患者逐年增加，計(jì)算機(jī)輔助診斷越來越受到關(guān)注.在早期研究中，通常使用單一的模態(tài)數(shù)據(jù)(如MRI，PET，臨床診斷數(shù)據(jù)或者基因數(shù)據(jù))作為研究內(nèi)容.文獻(xiàn)[8]通過提取PET圖像特征后，使用主成分分析法進(jìn)行特征選擇，然后通過邏輯回歸進(jìn)行分類，阿爾茨海默癥患者和正常對照組的分類準(zhǔn)確率為82%.文獻(xiàn)[9]使用最小二乘法對MRI進(jìn)行分析，在實(shí)驗(yàn)結(jié)果顯示阿爾茨海默癥和正常對照組的分類準(zhǔn)確率達(dá)到了87%.文獻(xiàn)[10]提出了一種層次全卷積網(wǎng)絡(luò)來自動(dòng)識別整個(gè)大腦MRI中的有區(qū)別的局部塊和區(qū)域，然后通過聯(lián)合學(xué)習(xí)和融合多尺度特征表示來構(gòu)建阿爾茨海默癥診斷的層次分類模型.文獻(xiàn)[11]提取了皮層表面每個(gè)頂點(diǎn)的體積和幾何度量，構(gòu)建了一個(gè)線性SVM來區(qū)分輕度認(rèn)知障礙和阿爾茨海默癥患者.文獻(xiàn)[12]通過提取以多個(gè)預(yù)先定義的解剖標(biāo)志為中心的局部圖像斑塊來開發(fā)基于卷積神經(jīng)網(wǎng)絡(luò)的阿爾茨海默癥分類和輕度認(rèn)知障礙的轉(zhuǎn)換預(yù)測模型.

隨著多模態(tài)學(xué)習(xí)的發(fā)展，越來越多的多模態(tài)學(xué)習(xí)算法已經(jīng)應(yīng)用于腦部疾病的診斷[13].其中最直接的方法就是使用一種簡單的融合算法，將多種模態(tài)的特征拼接在一起[14]，然后利用分類器(例如支持向量機(jī))進(jìn)行分類.然而這種算法不能有效地利用多種模態(tài)數(shù)據(jù)之間的潛在相關(guān)性，導(dǎo)致診斷性能不理想.為了有效地融合多模態(tài)數(shù)據(jù)，文獻(xiàn)[15]提出的模型采用了多內(nèi)核學(xué)習(xí)算法，通過學(xué)習(xí)最優(yōu)的線性組合進(jìn)行分類和數(shù)據(jù)融合.文獻(xiàn)[13]提出了一種基于多任務(wù)學(xué)習(xí)的特征選擇算法，該算法利用不同模態(tài)間的關(guān)系保持約束.最近提出了一種多視角的多模態(tài)融合學(xué)習(xí)算法，其中每一種模態(tài)都被視為一個(gè)特定的視角.文獻(xiàn)[16]構(gòu)建了一種自適應(yīng)的多視角學(xué)習(xí)模型，同時(shí)執(zhí)行聚類/半監(jiān)督分類和局部結(jié)構(gòu)學(xué)習(xí)進(jìn)行預(yù)測.

盡管多模態(tài)學(xué)習(xí)在阿爾茨海默癥輔助診斷方面已經(jīng)取得了相當(dāng)大的進(jìn)步，但是多模態(tài)數(shù)據(jù)的有效融合仍然面臨很多問題.首先，多模態(tài)數(shù)據(jù)的融合通常獨(dú)立于診斷模型的訓(xùn)練，這導(dǎo)致了診斷模型性能不佳.其次，如何有效地利用基于低水平成像特征的多種成像方式之間的信息互補(bǔ)也是一個(gè)亟待解決的問題.相比之下，在本文中，通過MDNFM可以效的融合MRI和PET兩種神經(jīng)影像數(shù)據(jù)，挖掘出MRI和PET圖像之間深層關(guān)聯(lián).

3 原理與方法

在本節(jié)中，介紹本文提出的基于非對稱多模態(tài)學(xué)習(xí)的阿爾茨海默癥輔助診斷算法研究.首先概述所提出的算法，然后詳細(xì)描述該算法的兩個(gè)主要組成部分，即PET圖像生成和阿爾茨海默癥輔助診斷.算法的整體流程圖如圖1所示.

圖1 阿爾茨海默癥輔助診斷整體算法流程圖Fig.1 Flow chart of the overall algorithm for Alzheimer′sdisease-assisted diagnosis

3.1 預(yù)備知識

(1)

由上文可知，基于非對稱多模態(tài)學(xué)習(xí)的阿爾茨海默癥輔助診斷算法中包含兩個(gè)任務(wù).

1)學(xué)習(xí)一個(gè)可靠的映射函數(shù)G來生成缺失的PET數(shù)據(jù).

2)構(gòu)建一個(gè)能有效融合多種模態(tài)數(shù)據(jù)并可以分類的輔助診斷模型.

3.2 3D循環(huán)對抗生成神經(jīng)網(wǎng)絡(luò)模型

第1階段任務(wù)的目標(biāo)是學(xué)習(xí)一個(gè)映射函數(shù)G：χM→χP：用于生成PET圖像，并且G必須確保每一個(gè)受試者的MRI和PET圖像之間的一對一關(guān)系，其中χM表示MRI圖像域，χP表示PET圖像域.與此同時(shí)還必須學(xué)習(xí)一個(gè)逆向映射函數(shù)G-1：χP→χM來保證映射的一致性，即通過映射函數(shù)G生成的PET圖像，使用逆向映射函數(shù)G-1還原出MRI圖像.

圖2 3D循環(huán)生成對抗神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.2 3D cycle-generative adversarial networks structure diagram

為此，本文基于cycle-GAN[17]網(wǎng)絡(luò)模型提出3DCGAN模型，用于生成缺失的PET數(shù)據(jù).3DCGAN的具體網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示.該模型包含兩個(gè)生成器GM：χM→χP和GP：χP→χM以及兩個(gè)判別器DP和DM.每個(gè)生成器由編碼、轉(zhuǎn)換、解碼3個(gè)部分組成.編碼部分包含3個(gè)卷積層，用于抽取MRI的特征信息.轉(zhuǎn)換部分由6個(gè)殘差塊組成，將MRI的特征向量轉(zhuǎn)化為PET特征向量.解碼部分包含2個(gè)反卷積層和1卷積層，使用轉(zhuǎn)換后的PET特征向量還原PET圖像.兩個(gè)判別器DP和DM包含5個(gè)卷積層，通過將真實(shí)的PET和生成的PET進(jìn)行對比來判斷圖片的真假.3DCGAN的損失函數(shù)如下所示：

L(GP，GM，DP，DM)=Lgan(GM，DP)+Lgan(GP，DM)+
λLc(GP，GM)

(2)

公式(2)中的Lgan是對抗損失函數(shù)，確保生成的PET圖像與真實(shí)圖像相似.Lc為循環(huán)損失函數(shù)，確保生成的PET圖像與其對應(yīng)的真實(shí)MRI圖像保持一致.參數(shù)λ用于控制圖像生成的一致性.對抗損失函數(shù)Lgan(GM，DP)和Lgan(GP，DM)以及循環(huán)一致?lián)p失函數(shù)Lc的具體表示如下：

Lgan(GM，DP)=Ex∈χPlog(DP(x))+
Ex∈χMlog(1-GP(GM(x)))

(3)

Lgan(GM，DP)=Ex∈χMlog(DM(x))+
Ex∈χPlog(1-GM(GP(x)))

(4)

Lc(GP，GM)=Ex∈χM‖GP(GM(x))-x‖1+
Ex∈χP‖GM(GP(x))-x‖1

(5)

其中公式(5)中的Ex∈χM‖GP(GM(x))-x‖1和Ex∈χP‖GM(GP(x))-x‖1表示L1損失.

3.3 多模態(tài)深度非負(fù)矩陣分解模型

通過3DCGAN獲得完整的MRI和PET圖像數(shù)據(jù)后，就可以進(jìn)行第2階段任務(wù)，即構(gòu)建診斷模型.本文在非負(fù)矩陣分解(Nonnegative Matrix Factorization，NMF)[18]的基礎(chǔ)上提出一種特定針對MRI和PET的多模態(tài)深度NMF模型(MDNFM)，用于多模態(tài)特征學(xué)習(xí)融合以及阿爾茨海默癥的輔助診斷.

非負(fù)矩陣分解是一種分解矩陣的算法.NMF是指將一個(gè)非負(fù)矩陣X=[x1，x2，…，xn]∈Rd×n分解成為兩個(gè)非負(fù)矩陣B∈Rd×h和H∈Rh×n的乘積，非負(fù)矩陣的函數(shù)表達(dá)如下所示：

(6)

其中X∈Rd×n表示n個(gè)樣本的輸入數(shù)據(jù)，每個(gè)樣本都是d維特征.B∈Rd×h表示基礎(chǔ)矩陣，H∈Rh×n，H>0表示潛在空間中的共享特征矩陣，共享特征矩陣H可以揭示X中隱含的信息.但是在ADNI數(shù)據(jù)庫中包含多種模態(tài)的數(shù)據(jù)，使用單層NMF不足以消除那些不良因素的影響，并且抽取到固有的潛在信息.

圖3 多模態(tài)深度非負(fù)矩陣分解模型結(jié)構(gòu)圖Fig.3 Multi-modal depth non-negative matrix factorizationmodel structure diagram

為此，本文以NMF為基礎(chǔ)提出了一種特定針對MRI和PET的深度非負(fù)矩陣分解算法，利用MRI和PEI之間的潛在聯(lián)系學(xué)習(xí)共享的特征表示，提升阿爾茲海默癥輔助診斷的性能，具體網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示.本文是用X(1)，X(2)，…，X(V)}表示多模態(tài)神經(jīng)影像數(shù)據(jù)，其中X(v)∈Rdv×n表示第v(1，2，…，V)種模態(tài)的數(shù)據(jù)，dv和n分別表示不同模態(tài)數(shù)據(jù)的維度和樣本數(shù)，則多模態(tài)NMF可表示為：

(7)

公式(7)中的B(v)和H(v)分別表示第v中模態(tài)的基和特征表示，公式(7)雖然能夠獨(dú)立地學(xué)習(xí)每個(gè)模態(tài)的新的特征表示，但不能明確地捕捉到多個(gè)模態(tài)之間的潛在相關(guān)性.為了學(xué)習(xí)到不同模態(tài)之間潛在共享特征表示，則公式(7)更新為如下所示：

(8)

公式(8)中的H表示不同模態(tài)的共享特征表示，因此可以用來挖掘多種模態(tài)之間的相關(guān)性.在阿爾茨海默癥診斷任務(wù)中，需要構(gòu)建一個(gè)統(tǒng)一的多模態(tài)特征學(xué)習(xí)和分類器訓(xùn)練的框 架，則統(tǒng)一的框架表示如下：

(9)

其中λ為懲罰系數(shù)，W為權(quán)重矩陣，Y∈Rc×n表示c種類別的標(biāo)簽信息.公式(9)中定義的模型利用訓(xùn)練數(shù)據(jù)的標(biāo)簽信息來指導(dǎo)模型學(xué)習(xí)共享表示H，也就是說，學(xué)習(xí)到的“好的”特征表示可以提高分類性能.但是公式(9)僅定義了一個(gè)單層的NMF模型，該模型無法有效的解釋多種模態(tài)之間的復(fù)雜相關(guān)性.因?yàn)樯疃葘W(xué)習(xí)可以產(chǎn)生高質(zhì)量的特征表示，也可以捕獲特征之間的高級關(guān)聯(lián).所以定義了一個(gè)具有多層的深度NMF模型來捕獲不同模態(tài)特征之間的高級關(guān)聯(lián)，產(chǎn)生高質(zhì)量的共享特征表示.深度NMF模型中的多層分解過程如公式(10)所示.

(10)

(11)

公式(11)中的λ和β為懲罰系數(shù)，S表示某種模態(tài)的數(shù)據(jù)是否存缺失標(biāo)簽，若缺失標(biāo)簽則sii∈S為0，反之則為1，在輔助診斷模型中添加標(biāo)簽限制可以降低因缺失標(biāo)簽對輔助診斷結(jié)果造成的影響.

3.4 模型優(yōu)化

(12)

(13)

3)更新權(quán)重矩陣W，優(yōu)化W可以理解為求W的最小值，即：

(14)

用E表示單位矩陣，則更新后的W如下所示：

(15)

4 實(shí) 驗(yàn)

在本節(jié)中，首先介紹實(shí)驗(yàn)所用數(shù)據(jù)集和數(shù)據(jù)預(yù)處理方法，然后對實(shí)驗(yàn)設(shè)置和評估指標(biāo)進(jìn)行描述，最后展示本文提出的模型與對比模型的診斷結(jié)果.

4.1 ADNI數(shù)據(jù)集

本文實(shí)驗(yàn)的數(shù)據(jù)全部來源于ADNI數(shù)據(jù)庫，ADNI數(shù)據(jù)集是由美國國家老齡研究所，美國國家生物醫(yī)學(xué)成像與生物工程研究所，美國食品藥品管理局，私營制藥公司和非營利組織于2003年啟動(dòng)的.ADNI的主要目的是研究如何有效地融合多種模態(tài)數(shù)據(jù)(例如神經(jīng)影像，臨床，生物學(xué)和遺傳生物標(biāo)記)，以有效診斷阿爾茨海默癥及其早期階段[19,20].在本文的實(shí)驗(yàn)中使用ADNI-1和ADNI-2數(shù)據(jù)集中MRI和PET數(shù)據(jù)，其中共分為3個(gè)類別：阿爾茨海默癥患者(Alzheimer′s disease，AD)，認(rèn)知正常(Normal Cognition，NC)和輕度認(rèn)知障礙(Mild Cognitive Impairmen，MCI).同時(shí)，本文將24個(gè)月內(nèi)轉(zhuǎn)變成為AD的MCI受試者定義為進(jìn)行性輕度認(rèn)知障礙(progressive Mild Cognitive Impairmen，pMCI)，未轉(zhuǎn)變?yōu)锳D的MCI受試者定義為穩(wěn)定輕度認(rèn)知障礙(stable Mild Cognitive Impairmen，sMCI).ADNI-1中有821位受試者，ADNI-2中有636位受試者.表1為ADNI數(shù)據(jù)庫中MRI和PET圖像的具體描述.

表1 ADNI數(shù)據(jù)集Table 1 ADNI dataset

4.2 數(shù)據(jù)預(yù)處理

ADNI數(shù)據(jù)庫中的MRI通過不同的掃描器收集的，而且每個(gè)掃描器的掃描協(xié)議都有所不同.為了控制MRI的質(zhì)量，本文在實(shí)驗(yàn)之前需要對MRI圖像進(jìn)行預(yù)處理操作[21].

1)首先對MRI進(jìn)行前連合(AC)-后聯(lián)合(PC)校正，圖像重新采樣為標(biāo)準(zhǔn)的256×256×256模式；

2)使用N3算法校正不均勻的組織強(qiáng)度；

3)使用顱骨剝離算法提取大腦；

4)小腦切除；

5)使用FSL軟件包中的FAST算法對組織進(jìn)行分割，以獲得白質(zhì)，灰質(zhì)和腦脊液3個(gè)主要組織；

6)通過模板對MRI進(jìn)行配準(zhǔn)；

7)從模板圖像到MRI進(jìn)行投影標(biāo)記興趣區(qū)域(ROI)；

8)標(biāo)記MRI中每個(gè)ROI的灰質(zhì)組織體積，并通過顱內(nèi)體積對其進(jìn)行歸一化處理.

4.3 實(shí)驗(yàn)設(shè)置及評價(jià)指標(biāo)

實(shí)驗(yàn)分為兩個(gè)階段，第1階段使用ADNI-1數(shù)據(jù)集中擁有完整MRI和PET的樣本數(shù)據(jù)訓(xùn)練3DCGAN模型，使用ADNI-2數(shù)據(jù)集中具有完整MRI和PET的樣本數(shù)據(jù)測試.獲得完整的MRI和PET數(shù)據(jù)之后，再將預(yù)處理后MRI圖像劃分為93個(gè)預(yù)先定義的興趣區(qū)域，并且把計(jì)算的灰質(zhì)體積值作為MRI的特征，然后將每個(gè)PET圖像與其對應(yīng)的MRI圖像線性對齊，確保每個(gè)受試者的MRI和PET之間存在空間對應(yīng)關(guān)系，然后計(jì)算出ROI的平均強(qiáng)度值作為PET的特征.

本文將提出的輔助診斷模型與基于多模態(tài)學(xué)習(xí)的算法及傳統(tǒng)算法進(jìn)行比較，通過3個(gè)二分類任務(wù)(AD vs.NC，MCI vs.AD，pMRI vs.sMRI)充分評估不同分類對所提出模型實(shí)驗(yàn)結(jié)果造成的影響.基線算法是通過將 MRI和PET圖像的ROI特征向量簡單拼接在一起，使用SVM分類器進(jìn)行分類.此外還與4種多模態(tài)學(xué)習(xí)算法進(jìn)行對比，其中MKL[15]使用多核學(xué)習(xí)融合不同模態(tài)的數(shù)據(jù)，通過學(xué)習(xí)最優(yōu)的線性組合進(jìn)行分類；MLAN[16]算法對不同模態(tài)數(shù)據(jù)同時(shí)進(jìn)行局部結(jié)構(gòu)學(xué)習(xí)和聚類；NMF[18]利用矩陣分解的思想，學(xué)習(xí)不同模態(tài)之間的共享特征；MDCR[22]算法采用內(nèi)核匹配來規(guī)范化多個(gè)模態(tài)之間的依賴關(guān)系，并將每個(gè)模態(tài)投影到低維空間中進(jìn)行診斷.

本文使用準(zhǔn)確性(ACC)，敏感性，特異性(SPE)以及Fscore這4個(gè)評估指標(biāo)來評估不同模型在阿爾茨海默癥輔助診斷中的性能表現(xiàn).其中，4個(gè)評估指標(biāo)值越高，表示模型的診斷性能越好.

4.4 實(shí)驗(yàn)結(jié)果及分析

實(shí)驗(yàn)使用10次重復(fù)的10倍交叉驗(yàn)證算法來評估所有的比較模型，首先將真?zhèn)€數(shù)據(jù)集劃分為10個(gè)子集，每個(gè)子集的樣本數(shù)量大致相等，然后選擇1個(gè)子集進(jìn)行測試，其余的9個(gè)子集進(jìn)行訓(xùn)練.所提出的模型與對比模型的性能比較如表2所示.

表2 阿爾茨海默癥輔助診斷算法性能比較Table 2 Performance comparison of Alzheimer′s disease-assisted diagnosis algorithms

從表2可以得出6種算法在3個(gè)二分類任務(wù)上的性能表現(xiàn)，本文提出的算法優(yōu)于其他5種算法，即本文提出的算法可以幫助提高阿爾茨海默癥的分類性能.其中基線算法，MKL以及MDCR這3種算法通過兩個(gè)獨(dú)立的步驟進(jìn)行特征學(xué)習(xí)和模型訓(xùn)練，而本文提出的算法和MLAN算法將特征學(xué)習(xí)和模型訓(xùn)練集中在一個(gè)統(tǒng)一的框架中.MDCR算法雖然也是將特征學(xué)習(xí)和分類集成在一個(gè)模型中，但是本文提出的算法在MRI和PET圖像數(shù)據(jù)融合上具有天然的優(yōu)勢，即可以學(xué)習(xí)到MRI和PET之間深層次的關(guān)聯(lián)性.雖然NMF算法也可以學(xué)習(xí)到不同模態(tài)之間的共享表示，但是該算法只能學(xué)習(xí)到淺層的特征，捕捉不到MRI和PET之間深層的關(guān)系.本文提出的算法在4個(gè)評估指標(biāo)上比所有的比較算法都有更好的表現(xiàn).主要原因是本文提出的模型可以有效地發(fā)現(xiàn)多模式神經(jīng)影像數(shù)據(jù)的隱藏信息，同時(shí)也確保分類模型向NMF深層提供反饋，從而更好地學(xué)習(xí)MRI和PET之間的共享特征.

此外，本文為了分析多模態(tài)數(shù)據(jù)有效融合的優(yōu)勢，同樣設(shè)置3個(gè)二分類任務(wù)(AD vs.NC，MCI vs.AD，pMRI vs.sMRI).分別使用多模態(tài)神經(jīng)影像(MRI和PET)數(shù)據(jù)和單模態(tài)神經(jīng)影像(MRI或PET)數(shù)據(jù)作為輸入.通過比較本文提出的算法與基線算法，NMF，MDCR以及MDNMF這4種算法的分類結(jié)果，體現(xiàn)多模態(tài)數(shù)據(jù)有效融合的好處.結(jié)果如圖4-圖6所示.

圖4 NC vs.AD分類結(jié)果Fig.4 NC vs.AD classification results

圖5 MCI vs.AD分類結(jié)果Fig.5 MCI vs.AD classification results

圖6 sMCI vs.pMCI分類結(jié)果Fig.6 sMCI vs.pMCI classification results

從圖4-圖6可以得出，所有算法在使用多模態(tài)神經(jīng)影像數(shù)據(jù)的分類準(zhǔn)確率都優(yōu)于使用單一模態(tài)神經(jīng)影像數(shù)據(jù).對于所有的二分類任務(wù)，本文提出的方法在使用單模態(tài)神經(jīng)影像數(shù)據(jù)用于阿爾茨海默癥診斷的性能較其他對比方法都有提升.如圖6所示，在sMRI vs.pMRI的分類任務(wù)中，MDCR和本文提出的MDNMF方法都是基于深度學(xué)習(xí)的方法，通常這類方法都有較好的分類能力，但是由于本研究中的sMRI和pMRI樣本數(shù)量有限，診斷性能就可能會(huì)下降.相比于MCI vs.AD的分類任務(wù)，用于訓(xùn)練模型的樣本較多，所以本文提出的MDNMF方法和MDCR方法的分類結(jié)果就有所提升.

5 結(jié)果討論與未來工作

本文提出一種兩階段任務(wù)的深度學(xué)習(xí)算法用于阿爾茨海默癥輔助診斷，該算法在第1階段通過MRI和PET之間的潛在聯(lián)系，使用3DCGAN補(bǔ)全了缺失的PET圖像數(shù)據(jù).第2階段在NMF的基礎(chǔ)上提出基于多模態(tài)的深度NMF模型，利用MRI和PET之間的潛在聯(lián)系，將特征學(xué)習(xí)與輔助診斷集成到一個(gè)統(tǒng)一的模型中，揭示了多模態(tài)神經(jīng)影像之間的層次關(guān)聯(lián)，并捕捉復(fù)雜的數(shù)據(jù)與標(biāo)簽之間的關(guān)系.實(shí)驗(yàn)結(jié)果表明利用MRI和PET圖像之間的相關(guān)性，合成PET圖像的算法是合理的，并且通過3個(gè)二分類的實(shí)驗(yàn)驗(yàn)證了本文提出的阿爾茨海默癥輔助診斷算法的性能優(yōu)于傳統(tǒng)的多模態(tài)算法.在未來的工作中，可以通過增加生物標(biāo)志物數(shù)據(jù)、臨床診斷數(shù)據(jù)以及基因數(shù)據(jù)，進(jìn)一步了解阿爾茨海默癥的潛在生理機(jī)制，幫助提升阿爾茨海默癥輔助診斷的性能.