基于三維卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)磁共振影像分析在AD分類(lèi)中的研究進(jìn)展

林 嵐， 沈小琪

(北京工業(yè)大學(xué)環(huán)境與生命學(xué)部生物醫(yī)學(xué)工程系智能化生理測(cè)量與臨床轉(zhuǎn)化北京市國(guó)際科研合作基地, 北京 100124)

阿爾茨海默癥(Alzheimer’s disease，AD)是一種發(fā)病隱匿的漸行性神經(jīng)退化疾病，多發(fā)于老年人群，故又稱(chēng)老年癡呆癥. AD主要表現(xiàn)為記憶力衰退，認(rèn)知功能障礙，行為異常和社交障礙等，通常與病理淀粉樣蛋白沉積、腦萎縮和大腦化學(xué)物質(zhì)的代謝變化有關(guān)，是一種無(wú)法通過(guò)治療手段逆轉(zhuǎn)的疾病. 隨著社會(huì)老齡化程度的不斷加深，AD的患病率也呈逐年上升趨勢(shì). 預(yù)計(jì)在2050年，全世界AD患病人數(shù)將達(dá)到1.35億[1]. 當(dāng)前，AD的致病機(jī)理尚不明確，藥物研發(fā)也屢屢失敗. AD存在長(zhǎng)達(dá)10多年的臨床前期，該期患者腦內(nèi)已經(jīng)出現(xiàn)特異性病理改變，但無(wú)臨床癥狀. 因此，早期識(shí)別和早期干預(yù)可有效延緩疾病進(jìn)程[2].

在過(guò)去的30年中，機(jī)器學(xué)習(xí)方法已被成功運(yùn)用于提取AD相關(guān)特征，分析神經(jīng)影像數(shù)據(jù)中的復(fù)雜模式，構(gòu)建分類(lèi)模型，以實(shí)現(xiàn)AD的早期診斷[3]. 胡玲靜等[4]對(duì)左右側(cè)海馬進(jìn)行三維紋理分析，利用支持向量機(jī)(support vector machine，SVM)探索紋理特征對(duì)AD早期診斷的啟示作用. 海馬區(qū)域體積萎縮是診斷AD的一項(xiàng)重要生物標(biāo)記，Gokce等[5]從腦結(jié)構(gòu)磁共振成像(structural magnetic resonance imaging，sMRI)中獲取出海馬的體積并進(jìn)行三維建模，通過(guò)使用邏輯回歸，K最鄰近和SVM等機(jī)器學(xué)習(xí)技術(shù)分析數(shù)據(jù)，輔助AD診斷. 大腦皮質(zhì)厚度可有效預(yù)測(cè)AD. Salim等[6]結(jié)合皮層特征指標(biāo)與認(rèn)知測(cè)試評(píng)分，采用4種常見(jiàn)的機(jī)器學(xué)習(xí)方法區(qū)分AD患者和正常受試者(normal control，NC).

傳統(tǒng)的機(jī)器學(xué)習(xí)方法依賴(lài)人工方式提取特征，需要一定的先驗(yàn)知識(shí)，且?guī)в兄饔^性. 隨著數(shù)據(jù)量的增大，使用機(jī)器學(xué)習(xí)方法提取特征需要耗費(fèi)大量的時(shí)間和人工成本，并且它們有時(shí)并不能有效地挖掘出神經(jīng)影像中蘊(yùn)含的豐富信息. 深度學(xué)習(xí)是機(jī)器學(xué)習(xí)領(lǐng)域的新興研究方向之一，其靈感來(lái)源于人類(lèi)大腦的工作方式，是利用深度神經(jīng)網(wǎng)絡(luò)來(lái)解決特征表達(dá)的一種學(xué)習(xí)過(guò)程[7]. 深度學(xué)習(xí)從原始數(shù)據(jù)中自動(dòng)地學(xué)習(xí)得到層次化的特征表示，從而可建立更為復(fù)雜、分類(lèi)性能更高的模型. 近年來(lái)，該模型已開(kāi)始被應(yīng)用于AD的分類(lèi)、診斷之中[8]. 卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network，CNN)基于生物視知覺(jué)機(jī)制進(jìn)行構(gòu)建，是深度學(xué)習(xí)的代表網(wǎng)絡(luò)之一. 其基本結(jié)構(gòu)一般由輸入層、卷積層、池化層、全連接層及輸出層構(gòu)成，在圖像處理領(lǐng)域取得了巨大的成功[9]. 經(jīng)典的CNN模型是一種二維圖像處理模型. 呂鴻蒙等[10]直接采用二維AlexNet[11]及增強(qiáng)AlexNet模型基于sMRI冠狀位切片進(jìn)行AD分類(lèi)，但研究中訓(xùn)練集和測(cè)試集可能存在較高的空間相關(guān). 此外，不少學(xué)者采用集成學(xué)習(xí)、三維特征重建或融合等方法結(jié)合經(jīng)典二維CNN來(lái)處理三維sMRI信息. 如曾安等[12]提出基于CNN和集成學(xué)習(xí)的多切片集成分類(lèi)模型用于早期AD診斷. 張柏雯等[13]在應(yīng)用CNN提取特征后進(jìn)行三維特征重建，使用SVM實(shí)現(xiàn)AD分類(lèi). 鉏家歡等[14]使用VGG-Net[15]從大腦的冠狀位、矢狀位和橫斷位sMRI切片中提取初步特征向量，采用加權(quán)投票法通過(guò)單隱層神經(jīng)網(wǎng)絡(luò)得到融合特征向量，提出一種融合sMRI圖像特征和臨床指標(biāo)的新型分類(lèi)診斷模型.

基于二維CNN模型處理三維sMRI數(shù)據(jù)，容易忽略影像中包含的空間信息，不能充分利用三維影像中包含的診斷信息. 隨著人工智能技術(shù)的發(fā)展，應(yīng)用三維CNN提取更為全面的信息應(yīng)用于AD分類(lèi)已成為該領(lǐng)域的一個(gè)重要發(fā)展方向. 本文首先從方法學(xué)角度概述了多種不同類(lèi)型的三維CNN架構(gòu)的原理、演進(jìn)以及其在AD診斷中的應(yīng)用，然后對(duì)三維CNN模型目前存在的局限性進(jìn)行分析討論，最后展望了未來(lái)潛在發(fā)展方向.

1 基于三維CNN的AD分類(lèi)方法

1.1 基于圖像塊的方法

基于圖像塊的方法是指遵從一定準(zhǔn)則從三維sMRI中提取多個(gè)大小相同或者不同的三維圖像塊作為網(wǎng)絡(luò)輸入. 按網(wǎng)絡(luò)訓(xùn)練方式，基于圖像塊的方法主要有2種：一種是將三維sMRI數(shù)據(jù)分為多個(gè)圖像塊，進(jìn)行有監(jiān)督訓(xùn)練，最后對(duì)這些圖像塊的結(jié)果進(jìn)行聚合處理；另一種是無(wú)監(jiān)督和有監(jiān)督相結(jié)合的方法，采用無(wú)監(jiān)督方法訓(xùn)練三維的自編碼器作為CNN網(wǎng)絡(luò)的卷積核，最后進(jìn)行有監(jiān)督訓(xùn)練.

直接對(duì)三維圖像塊進(jìn)行有監(jiān)督訓(xùn)練是一種與二維切片三維集成法相似的方法. 只是一個(gè)將集成用在sMRI切片，一個(gè)將集成用在從sMRI提取的圖像塊上. Cheng等[16]將LeNet[17]擴(kuò)展為三維結(jié)構(gòu)，從每個(gè)受試者的sMRI中以步長(zhǎng)為20提取了27個(gè)50×41×40的局部圖像塊，對(duì)每個(gè)圖像塊構(gòu)建一個(gè)具有4個(gè)卷積層(卷積核為3×3×3)、3個(gè)最大池化層和1個(gè)全連接層的三維CNN. 然后，根據(jù)驗(yàn)證集的分類(lèi)精度排序選擇排名靠前的CNN進(jìn)行集成，實(shí)現(xiàn)AD和NC的分類(lèi). DenseNet[18]改進(jìn)了整個(gè)網(wǎng)絡(luò)的信息流和梯度，易于訓(xùn)練，適用于數(shù)據(jù)集有限的情況. Li等[19]將整個(gè)大腦圖像均勻地劃分為3×3×3個(gè)不同局部區(qū)域，并在每個(gè)局部區(qū)域以步長(zhǎng)為2提取32×32×32的圖像塊，然后使用K均值聚類(lèi)方法將每個(gè)區(qū)域的圖像塊分組為不同的聚類(lèi). 針對(duì)每個(gè)聚類(lèi)構(gòu)建了多個(gè)具有相同結(jié)構(gòu)的三維DenseNet學(xué)習(xí)特征，并將每個(gè)可辨別聚類(lèi)中學(xué)習(xí)到的特征集合起來(lái)進(jìn)行分類(lèi). 最后，組合來(lái)自不同局部區(qū)域的分類(lèi)結(jié)果以得到最終分類(lèi)結(jié)果. 該方法從局部圖像塊到全局圖像逐步學(xué)習(xí)圖像特征，實(shí)現(xiàn)分類(lèi)任務(wù).

與前面以隨機(jī)或固定步長(zhǎng)方式提取固定大小的圖像塊不同，部分研究人員選取AD敏感的部位來(lái)構(gòu)成圖像塊，這種圖像塊區(qū)域通常比較小. 如海馬是神經(jīng)系統(tǒng)參與學(xué)習(xí)及記憶的重要存儲(chǔ)器，是AD中最早受損的大腦的區(qū)域之一. 以海馬作為感興趣區(qū)域(region of interest，ROI)，Huang等[20]將輕度認(rèn)知障礙(mild cognitive impairment，MCI)患者進(jìn)一步細(xì)分為穩(wěn)定的輕度認(rèn)知障礙(stable mild cognitive impairment，sMCI)和進(jìn)行性輕度認(rèn)知障礙(progressive mild cognitive impairment，pMCI). 他們?cè)O(shè)計(jì)了具有8個(gè)卷積層和3個(gè)全連接層的類(lèi)似于VGG-Net架構(gòu)的三維網(wǎng)絡(luò)，在單模態(tài)和多模態(tài)(正電子發(fā)射型計(jì)算機(jī)斷層顯像(positron emission computed tomography，PET)和sMRI)下分別對(duì)模型進(jìn)行訓(xùn)練. 在多模態(tài)下，AD/NC的分類(lèi)準(zhǔn)確率為90.10%，sMCI/pMCI的為76.9%. 多模態(tài)影像數(shù)據(jù)比單個(gè)模態(tài)具有更好診斷性能. Khvostikov等[21]對(duì)受試者的sMRI和彌散張量成像數(shù)據(jù)進(jìn)行多模態(tài)融合，設(shè)計(jì)了2個(gè)由4個(gè)序列的Inception 塊組成的類(lèi)似于GoogLeNet[22]三維模型應(yīng)用于海馬的左右葉，最后結(jié)合2個(gè)CNN進(jìn)行最終分類(lèi). 和類(lèi)似于AlexNet的三維網(wǎng)絡(luò)進(jìn)行比較，所提出的基于三維Inception塊組成的網(wǎng)絡(luò)在AD診斷上具有更好的性能，AD/NC的分類(lèi)準(zhǔn)確率達(dá)到93.3%.

另一種圖像塊方法采用自編碼器結(jié)構(gòu)進(jìn)行無(wú)監(jiān)督的預(yù)訓(xùn)練從圖像塊中學(xué)習(xí)特征，并將學(xué)習(xí)好的卷積核放回三維卷積網(wǎng)絡(luò)構(gòu)建模型進(jìn)行分類(lèi). Payan等[23]采用縱向數(shù)據(jù)集，從2 265張圖像中隨機(jī)采取了100 000個(gè)5×5×5的圖像塊. 并使用稀疏自編碼器學(xué)習(xí)圖像塊特征，網(wǎng)絡(luò)具有1個(gè)卷積層、1個(gè)池化層、1個(gè)全連接層. 與使用大小為11×11圖像塊訓(xùn)練的二維 CNN相比，三分類(lèi)的分類(lèi)準(zhǔn)確率提高至89.47%. 自編碼器結(jié)構(gòu)不僅可用于淺層網(wǎng)絡(luò)進(jìn)行無(wú)監(jiān)督預(yù)訓(xùn)練，也可連接多個(gè)CNN模型. 例如，Vu等[24]在訓(xùn)練集的100次掃描中從每個(gè)PET和sMRI數(shù)據(jù)提取了500個(gè)圖像塊，一共50 000個(gè). 他們?cè)O(shè)計(jì)了2個(gè)三維CNN分別用于PET和MRI模態(tài)，這2個(gè)三維CNN經(jīng)過(guò)稀疏自編碼器的高層連接而進(jìn)行預(yù)訓(xùn)練. 實(shí)驗(yàn)比較了單模態(tài)(sMRI/PET)和多模態(tài)(PET+sMRI)，以及在不同圖像塊大小(3×3×3、5×5×5、7×7×7)下的模型分類(lèi)表現(xiàn). 實(shí)驗(yàn)結(jié)果證明，在多模態(tài)融合、圖像塊大小為5×5×5時(shí)三維 CNN模型對(duì)AD和NC的分類(lèi)效果最好，為91.14%. 本文對(duì)基于圖像塊的不同方法歸納整理，如表1所示.

表1 基于圖像塊的不同方法比較Table 1 Comparison of different methods based on image blocks

1.2 傳統(tǒng)的CNN架構(gòu)

傳統(tǒng)的CNN架構(gòu)是指模型結(jié)構(gòu)由多個(gè)重復(fù)的卷積、池化層構(gòu)成，其代表作為AlexNet和VGG-Net. 將傳統(tǒng)的二維CNN模型的設(shè)計(jì)架構(gòu)擴(kuò)展到三維是三維CNN研究中一種常用的方法. 如B?ckstr?m等[25]將AlexNet擴(kuò)展到了三維，除將第一個(gè)卷積層的卷積核設(shè)置為7×7×7外，其余4個(gè)卷積層的卷積核均為3×3×3，實(shí)現(xiàn)了高性能的AD檢測(cè). 并且實(shí)驗(yàn)結(jié)果顯示超參數(shù)選擇、數(shù)據(jù)預(yù)處理、數(shù)據(jù)分區(qū)、數(shù)據(jù)集大小等都可能對(duì)CNN模型的最終性能產(chǎn)生影響. 隨著神經(jīng)網(wǎng)絡(luò)架構(gòu)的不斷演化，Hosseini-Asl等[26]采用與前面圖像塊自編碼器相似的方法，以整個(gè)圖像作為輸入，然后結(jié)合自編碼器和VGG-Net學(xué)習(xí)AD生物標(biāo)志物的通用特征實(shí)現(xiàn)AD分類(lèi). 本文將采用傳統(tǒng)CNN架構(gòu)的方法歸納整理，如表2所示.

表2 基于傳統(tǒng)CNN架構(gòu)的不同方法比較Table 2 Comparison of different methods based on traditional CNN architecture

1.3 基于結(jié)構(gòu)優(yōu)化的CNN架構(gòu)

相對(duì)于傳統(tǒng)架構(gòu)，GoogLeNet、ResNet[27]、DenseNet等通過(guò)優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)而獲得性能上的提升. 它們也通過(guò)三維擴(kuò)展被應(yīng)用到AD診斷中. Wegmayr等[28]直接擴(kuò)充數(shù)據(jù)量，構(gòu)造了一個(gè)具有7個(gè)卷積層，1個(gè)全連接層，卷積核分別為7×7×7，6×6×6，5×5×5和3×3×3的多尺度網(wǎng)絡(luò)模型. 模型類(lèi)似于Inception結(jié)構(gòu)，在第1個(gè)卷積層中選擇了3個(gè)不同大小的濾波器來(lái)捕獲不同尺度上的輸入特征. Karasawa等[29]基于ResNet架構(gòu)設(shè)計(jì)了具有36個(gè)卷積層、1個(gè)dropout層、1個(gè)平均池化層和1個(gè)全連接層，卷積核為3×3×3的三維CNN用于AD診斷. 他們使用更深的網(wǎng)絡(luò)架構(gòu)并采用殘差連接來(lái)緩解梯度消失. AD/NC分類(lèi)和三分類(lèi)準(zhǔn)確率分別達(dá)到94%和87%. Jin等[30]將注意力機(jī)制引入AD分類(lèi). 在眾多信息中把注意力集中放在重要的信息，而忽略其他無(wú)關(guān)的信息. 他們?cè)O(shè)計(jì)的網(wǎng)絡(luò)類(lèi)似于三維ResNet，具有8個(gè)殘差連接塊、1個(gè)卷積層和1個(gè)全連接層，每個(gè)塊由2個(gè)卷積核為3×3×3的卷積層組成.

為了解決訓(xùn)練數(shù)據(jù)有限的問(wèn)題，Wang等[31]在三維CNN中引入了密集連接. 改善了信息內(nèi)容和梯度在網(wǎng)絡(luò)中的傳播，且參數(shù)較少會(huì)使得網(wǎng)絡(luò)更易于訓(xùn)練. 因此，他們分析了參數(shù)對(duì)三維DenseNet性能的影響，每個(gè)基礎(chǔ)三維DenseNet都是通過(guò)更改超參數(shù)初始化和體系結(jié)構(gòu)來(lái)構(gòu)造. 此外，使用基于概率的融合方法組合基本分類(lèi)器，集成模型的準(zhǔn)確性與對(duì)網(wǎng)絡(luò)進(jìn)行簡(jiǎn)單預(yù)測(cè)平均相比獲得明顯的提升. 提出的基于概率的集成方法優(yōu)于多數(shù)投票方法. 多網(wǎng)絡(luò)的比較可以為研究人員選擇模型時(shí)提供參考. Korolev等[32]基于2種不同的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，設(shè)計(jì)三維CNN對(duì)AD進(jìn)行分類(lèi)和方法比較. 一種架構(gòu)是類(lèi)似于VGG-Net的架構(gòu)VoxCNN：具有4個(gè)用于學(xué)習(xí)特征的卷積塊和2個(gè)用于正則化的反卷積層，卷積核均為3×3×3；另一種則是基于ResNet設(shè)計(jì)，有21層，其中包含6個(gè)殘差連接塊，每個(gè)都有64個(gè)用于卷積的濾波器，最后2個(gè)除外，后者有128個(gè)卷積，卷積核均為3×3×3. 經(jīng)統(tǒng)計(jì)，2個(gè)網(wǎng)絡(luò)均顯示了相似的結(jié)果，其中在AD/NC上，VoxCNN為79%，ResNet為80%.

多種架構(gòu)的融合可能表現(xiàn)出更優(yōu)秀的性能. Senanayake等[33]從GoogLeNet、ResNet和DenseNet等架構(gòu)中汲取靈感，提出了一種融合體系結(jié)構(gòu)用于MCI診斷. 他們使用了膨脹卷積用于稠密預(yù)測(cè)，殘差網(wǎng)絡(luò)和密集連接用于降低融合管道中三維MR特征的復(fù)雜性，以及在保持空間相關(guān)性的同時(shí)用于特征空間降維的1×1×1卷積等多種技術(shù). 該方法可以無(wú)縫融合來(lái)自多個(gè)模態(tài)的數(shù)據(jù). 本文對(duì)采用結(jié)構(gòu)優(yōu)化的CNN方法歸納整理，如表3所示.

表3 基于結(jié)構(gòu)優(yōu)化的不同方法比較Table 3 Comparison of different methods based on structural optimization

2 討論

2.1 網(wǎng)絡(luò)維度與網(wǎng)絡(luò)規(guī)模間的矛盾與潛在解決方案

二維卷積不能充分利用sMRI的空間信息，而三維CNN則存在計(jì)算復(fù)雜性和存儲(chǔ)空間問(wèn)題. 盡管基于三維CNN的神經(jīng)影像分析方法在AD的分類(lèi)研究中已經(jīng)取得了令人矚目的結(jié)果，但其仍存在一些局限性.

CNN維度的增加帶來(lái)了參數(shù)數(shù)量的增加以及更高的顯存和計(jì)算能力需求. 早期三維CNN研究中更多采用圖像塊的方式構(gòu)建網(wǎng)絡(luò)來(lái)緩解這一問(wèn)題. 但將三維CNN擴(kuò)展到端到端的學(xué)習(xí)后，問(wèn)題變得更為突出. 這里以將 AlexNet從二維擴(kuò)展到三維為例，如表4所示. 擴(kuò)展未改變架構(gòu)，只擴(kuò)展了一個(gè)維度，并將最后的輸出改成了2類(lèi). 通過(guò)比較，可以看出二者之間在顯存需求上的較大差別.

表4 二維AlexNet和三維AlexNet對(duì)比Table 4 Comparison of 2D AlexNet and 3D AlexNet

從表4可以看出，在模型的前5個(gè)卷積層，三維網(wǎng)絡(luò)的參數(shù)數(shù)量是二維的3.38倍. 比較全部層的參數(shù)數(shù)量，三維網(wǎng)絡(luò)是二維網(wǎng)絡(luò)的4.42倍. 在前5個(gè)卷積層中，三維網(wǎng)絡(luò)的特征圖整體大小是二維網(wǎng)絡(luò)的35.30倍.

傳統(tǒng)上對(duì)顯存需求的緩解更多從網(wǎng)絡(luò)架構(gòu)和參數(shù)的優(yōu)化來(lái)考慮，這一般包含4個(gè)方面.

1) 輸入圖像降采樣：對(duì)應(yīng)的代價(jià)是可能會(huì)帶來(lái)部分的病理特征損失，因此需要在模型復(fù)雜度和輸入圖像大小間建立平衡.

2) 降低批大?。阂话銇?lái)說(shuō)，在合理的范圍之內(nèi)，較大的批大小使下降方向更準(zhǔn)確，震蕩更小. 過(guò)小的批大小引入的隨機(jī)性大，不容易達(dá)到收斂.

3) 卷積核數(shù)目：卷積核數(shù)目直接影響特征圖大小，這方面的設(shè)計(jì)一般有2種思路. 一種是簡(jiǎn)單對(duì)二維網(wǎng)絡(luò)進(jìn)行擴(kuò)展，選擇和經(jīng)典二維網(wǎng)絡(luò)數(shù)目一樣的卷積核. 另一種是研究者自己設(shè)定卷積核的數(shù)目，不少研究者可能從降低顯存需求的角度出發(fā)采用了較小的卷積核數(shù)目. 這2種思路都存在一定缺陷. 自然圖像中的物體外觀(如光、強(qiáng)度、邊緣、顏色等)等方面有很大的變化，同時(shí)圖像拍攝的角度和距離不同. MRI圖像比自然圖像在特征上要簡(jiǎn)單，可能并不需要那么多的卷積核. 但單純從降低顯存需要出發(fā)可能會(huì)造成選取的卷積核過(guò)少.

4) 全連接層設(shè)計(jì)：深度學(xué)習(xí)的參數(shù)主要集中在全連接層，減少全連接層的層數(shù)和大小可以大幅度降低模型參數(shù)量，但在三維網(wǎng)絡(luò)中可能帶來(lái)特征降維過(guò)快這一問(wèn)題. 圖形加速卡的顯存大小對(duì)三維CNN極為關(guān)鍵. 相對(duì)于CPU的延遲優(yōu)化，圖形加速卡的GPU是基于帶寬優(yōu)化，計(jì)算卷積和矩陣乘法通過(guò)圖形加速中的L1緩存和顯存中存儲(chǔ)大量數(shù)據(jù)來(lái)并行實(shí)現(xiàn). 存放于圖形加速卡的顯存中的數(shù)據(jù)一般包括模型自身的參數(shù)、每一批圖像的各層特征圖以及梯度等信息. 顯存越大，所能運(yùn)行的網(wǎng)絡(luò)也越復(fù)雜. 2012年，AlexNet是將訓(xùn)練過(guò)程分布到2個(gè)GPU(GTX 580，3GB顯存)上協(xié)同訓(xùn)練，整個(gè)過(guò)程花費(fèi)了近一周時(shí)間. 隨著硬件技術(shù)的不斷發(fā)展，三維CNN對(duì)顯存的要求會(huì)慢慢得到緩解. 英偉達(dá)于2020年推出的高端顯卡RTX 3090，顯存最高可達(dá)到24 GB.

2.2 構(gòu)建標(biāo)準(zhǔn)化三維影像大數(shù)據(jù)平臺(tái)

CNN在自然圖像領(lǐng)域的巨大成功基于ImageNet數(shù)據(jù)集包含1 400萬(wàn)張圖像的手動(dòng)注釋?zhuān)瑸椴煌Ｐ偷募軜?gòu)和參數(shù)優(yōu)化提供了比較. 在AD分析領(lǐng)域，還缺乏像ImageNet這樣的標(biāo)準(zhǔn)數(shù)據(jù)集，三維 CNN在AD領(lǐng)域的進(jìn)一步優(yōu)化需要一個(gè)基于sMRI影像的大數(shù)據(jù)平臺(tái).

當(dāng)前，國(guó)內(nèi)和國(guó)際研究者在長(zhǎng)期AD的研究中已經(jīng)構(gòu)建了一系列的包含大量AD影像的開(kāi)放數(shù)據(jù)庫(kù). 如中國(guó)AD臨床前期聯(lián)盟多中心認(rèn)知下降縱向研究數(shù)據(jù)庫(kù)(http:∥www.alzheimer.org.cn/)、英國(guó)生物銀行(http:∥www.ukbiobank.ac.uk)、OASIS(http:∥www.oasis-brains.org/)和ADNI(http:∥adni.loni.usc.edu/)等. 這些開(kāi)放數(shù)據(jù)庫(kù)都包含著大量AD患者的影像和人口統(tǒng)計(jì)學(xué)數(shù)據(jù)、神經(jīng)心理學(xué)數(shù)據(jù)、基因數(shù)據(jù)、血液數(shù)據(jù)等信息. 如ADNI數(shù)據(jù)庫(kù)中包含了4期受試者的數(shù)據(jù). 其中ADNI-1有200NC、400MCI和200AD；ADNI-GO在ADNI-1的基礎(chǔ)上增加200MCI；ADNI-2在ADNI-1和ADNI-GO的基礎(chǔ)上增加150NC、100EMCI、150LMCI和150AD；ADNI-3在前3個(gè)的基礎(chǔ)上增加133NC、151MCI和87AD.

基于這些開(kāi)放影像數(shù)據(jù)庫(kù)建立一個(gè)國(guó)際化的標(biāo)準(zhǔn)大數(shù)據(jù)平臺(tái)，可以有利于推動(dòng)三維CNN模型的網(wǎng)絡(luò)的進(jìn)一步優(yōu)化以及不同模型的性能比較評(píng)估.

2.3 三維網(wǎng)絡(luò)優(yōu)化設(shè)計(jì)

提升三維CNN在AD分析領(lǐng)域的性能表現(xiàn)，還可以從優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)方面入手. 設(shè)計(jì)的優(yōu)化方向主要包括2個(gè)方面，一是通過(guò)融合多種網(wǎng)絡(luò)來(lái)取得更好的結(jié)果，二是如何利用有限的計(jì)算資源來(lái)達(dá)到較好的模型精度.

目前，已有部分研究人員為了獲得更好的AD分類(lèi)結(jié)果，在借鑒多種網(wǎng)絡(luò)模型的基礎(chǔ)上提出一種融合架構(gòu). 如文獻(xiàn)[33]提出的多網(wǎng)絡(luò)融合架構(gòu)實(shí)質(zhì)是多技術(shù)的融合，其設(shè)計(jì)靈感來(lái)自于一系列最先進(jìn)的深度學(xué)習(xí)架構(gòu)，如GoogLeNet、ResNet和DenseNet. GoogLeNet的特點(diǎn)在于推出了新的網(wǎng)絡(luò)結(jié)構(gòu)Inception模塊，在參數(shù)量和計(jì)算量下降的同時(shí)保證了準(zhǔn)確率. ResNet的創(chuàng)新在于提出了殘差網(wǎng)絡(luò)，避免了梯度消失問(wèn)題，加速網(wǎng)絡(luò)的收斂. DenseNet從特征的角度考慮，通過(guò)特征重用和旁路設(shè)置，既大幅度減少了網(wǎng)絡(luò)的參數(shù)量，又在一定程度上緩解了梯度消失問(wèn)題的產(chǎn)生. 多網(wǎng)絡(luò)融合不僅可以是多技術(shù)融合，也可以是不同類(lèi)型網(wǎng)絡(luò)的融合. 如文獻(xiàn)[23]圖像塊方法中自編碼器架構(gòu)和三維CNN網(wǎng)絡(luò)的組合. 文獻(xiàn)[34]將自編碼器架構(gòu)、三維CNN和三維膠囊網(wǎng)絡(luò)集成提高了檢測(cè)性能. 文獻(xiàn)[35]在傳統(tǒng)的長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)中加入三維卷積，并將其融入三維CNN網(wǎng)絡(luò)中，以學(xué)習(xí)更高級(jí)別的特征表示. 本文關(guān)注點(diǎn)主要在sMRI上，因?yàn)樗峁┝素S富的形態(tài)學(xué)信息. 但sMRI與其他影像模態(tài)的融合可能提供更全面的特征. 不同的CNN學(xué)習(xí)不同模態(tài)的特征，多個(gè)模態(tài)的特征網(wǎng)絡(luò)可以融合來(lái)提升AD分類(lèi)準(zhǔn)確性.

總之，三維CNN有不同的組合方式，如多網(wǎng)絡(luò)設(shè)計(jì)融合、多網(wǎng)絡(luò)特征融合以及多模態(tài)網(wǎng)絡(luò)融合等. 不同的組合方式各有特點(diǎn)，特征之間可能存在互補(bǔ)性，合理高效地利用它們有助于三維CNN更好地應(yīng)用于AD分類(lèi).

此外，當(dāng)計(jì)算資源有限時(shí)，就需要在大體保持模型性能的前提下，降低模型大小，提升模型速度. 這一般存在2個(gè)可調(diào)整的方向：減少可學(xué)習(xí)參數(shù)的數(shù)量和減少整個(gè)網(wǎng)絡(luò)的計(jì)算量. 前人在輕量化模型方面做了不少有益探索，提出了一些新的卷積計(jì)算方法. 如SqueezeNet[36]提出了新的網(wǎng)絡(luò)架構(gòu)Fire模塊，每個(gè)Fire模塊由Squeeze部分和Expand部分組成. 用1×1卷積來(lái)替代3×3卷積，參數(shù)減少為原來(lái)的1/9；并在Squeeze部分減少輸入通道數(shù)量進(jìn)行降維. MobileNet[37]采用深度可分離卷積代替?zhèn)鹘y(tǒng)卷積，以達(dá)到減少網(wǎng)絡(luò)權(quán)值參數(shù)的目的. 卷積分解為深度卷積和逐點(diǎn)卷積2個(gè)操作：深度卷積對(duì)每個(gè)輸入通道采用不同的卷積核. 逐點(diǎn)卷積通過(guò)1×1的卷積對(duì)輸出再進(jìn)行結(jié)合. 深度可分離卷積整體效果和一個(gè)標(biāo)準(zhǔn)卷積差不多，但大大減少了計(jì)算量和模型參數(shù)量. 另外，模型還包含寬度因子和分辨率因子2個(gè)超參數(shù). 寬度因子可以按照比例降低計(jì)算量和參數(shù)量. 分辨率因子按比例降低特征圖的大小. 由此可見(jiàn)，將諸如SqueezeNet、MoblieNet等此類(lèi)輕量級(jí)CNN網(wǎng)絡(luò)應(yīng)用于AD研究領(lǐng)域具有很高的發(fā)展?jié)摿?

綜上所述，多網(wǎng)絡(luò)融合在提升模型性能的基礎(chǔ)上也伴隨著更高的硬件需求. 輕量化網(wǎng)絡(luò)則是在保持模型性能基礎(chǔ)上，降低對(duì)硬件需求. 未來(lái)的三維CNN優(yōu)化設(shè)計(jì)需要從這2個(gè)方面進(jìn)行綜合考慮.

3 總結(jié)展望

本文回顧了從機(jī)器學(xué)習(xí)到深度學(xué)習(xí)應(yīng)用AD研究的發(fā)展過(guò)程，從方法學(xué)角度將三維CNN的多種模型分為基于圖像塊的三維CNN、基于傳統(tǒng)CNN架構(gòu)的三維CNN和基于結(jié)構(gòu)優(yōu)化的三維CNN 3類(lèi)，并對(duì)其應(yīng)用于AD分類(lèi)領(lǐng)域已經(jīng)取得的成果進(jìn)行了分析. 與基于二維CNN的方法相比，三維CNN具有一定的優(yōu)勢(shì). 但是三維CNN也會(huì)帶來(lái)需求顯存過(guò)大這一問(wèn)題，該領(lǐng)域還存在進(jìn)一步深入研究與提升的空間. 結(jié)合文章的研究現(xiàn)狀分析，并且考慮目前CNN領(lǐng)域的研究熱點(diǎn)，三維CNN在AD分類(lèi)領(lǐng)域的進(jìn)一步研究可以從以下幾個(gè)方面考慮：

1) 在神經(jīng)影像領(lǐng)域，研究者們已經(jīng)構(gòu)建了多個(gè)開(kāi)放性的數(shù)據(jù)庫(kù)，用于AD研究. 基于這些開(kāi)放數(shù)據(jù)庫(kù)，構(gòu)建大規(guī)模的標(biāo)準(zhǔn)化神經(jīng)影像數(shù)據(jù)集，可以為三維CNN的各方面優(yōu)化提供支持.

2) CNN領(lǐng)域的發(fā)展現(xiàn)在更集中在結(jié)構(gòu)優(yōu)化、深度加深和減少網(wǎng)絡(luò)計(jì)算量上，不同設(shè)計(jì)的網(wǎng)絡(luò)有著各自的優(yōu)點(diǎn). 三維CNN可以進(jìn)一步借鑒這些發(fā)展過(guò)程中的優(yōu)點(diǎn)，從網(wǎng)絡(luò)融合和降低硬件需求的角度來(lái)推動(dòng)AD診斷的發(fā)展.

3) 構(gòu)建這些三維模型的最終目的是將其運(yùn)用于臨床. 研究人員在研究中已經(jīng)設(shè)計(jì)了不少性能優(yōu)越的診斷模型. 然而，它們很少被商業(yè)化并投入市場(chǎng). 主要的挑戰(zhàn)是須在不同的臨床環(huán)境中測(cè)試構(gòu)建的模型，評(píng)估各種真實(shí)醫(yī)療條件，并仔細(xì)評(píng)估這些條件如何影響診斷的準(zhǔn)確性. 與AD大數(shù)據(jù)集相結(jié)合的臨床試驗(yàn)有助于推動(dòng)三維診斷模型成為臨床工具的重要組成部分，在未來(lái)廣泛用于評(píng)估患者的健康狀況.