阿爾茨海默癥的多模態(tài)分類(lèi)方法

李偉漢，侯北平，胡飛陽(yáng)，朱必宏

浙江科技學(xué)院自動(dòng)化與電氣工程學(xué)院，浙江杭州310023

阿爾茨海默病[1]（Alzheimer’s disease,AD）是一種起病隱匿的進(jìn)行性發(fā)展神經(jīng)系統(tǒng)退行性疾病，臨床表現(xiàn)為記憶力衰退、失語(yǔ)、抑郁、執(zhí)行功能障礙以及人格和行為改變等癥狀。目前該病的發(fā)病機(jī)制尚未確定，暫時(shí)無(wú)法治愈，只能通過(guò)藥物延緩疾病進(jìn)展，延長(zhǎng)生存期。中國(guó)約有1 400 萬(wàn)阿爾茨海默患者，預(yù)計(jì)到2050 年將突破3 000 萬(wàn)[2]，AD 的診斷和治療已成為當(dāng)今社會(huì)的主要醫(yī)療衛(wèi)生問(wèn)題之一。該病可劃分為AD 前階段和AD 階段，AD 前階段醫(yī)學(xué)認(rèn)定為輕度認(rèn)知障礙[3]（mild cognitive impairment,MCI），這一階段介于正常衰老和AD 之間，是認(rèn)知障礙癥階段，患者輕度認(rèn)知功能減退，但日常能力沒(méi)有受到明顯影響，MCI 早期階段在臨床上認(rèn)定為早期輕度認(rèn)知障礙（early mild cognitive impairment,EMCI），這一階段的診出對(duì)病人的及時(shí)治療、延緩疾病進(jìn)展、改善癥狀具有重要意義。

隨著深度學(xué)習(xí)領(lǐng)域的不斷發(fā)展，越來(lái)越多的學(xué)者利用醫(yī)學(xué)影像通過(guò)深度學(xué)習(xí)的方法對(duì)AD 進(jìn)行分級(jí)診斷。主要方法有兩種：一種是基于單模態(tài)醫(yī)學(xué)影像的分類(lèi)方法，利用核磁共振成像[4]（magnetic resonance imaging,MRI）對(duì)AD 進(jìn)行分類(lèi)識(shí)別，例如文獻(xiàn)[5] 提出的基于視覺(jué)幾何組（visual geometry group,VGG）神經(jīng)網(wǎng)絡(luò)的弱監(jiān)督細(xì)粒度分類(lèi)方法，文獻(xiàn)[6] 提出的基于Alexnet 模型的AD 分類(lèi)方法；另一種是基于多模態(tài)醫(yī)學(xué)影像的分類(lèi)方法，利用MRI圖像和正電子發(fā)射計(jì)算機(jī)斷層成像[7]（positron emission computed tomography,PET）加權(quán)融合作為多模態(tài)輸入，如文獻(xiàn)[8] 提出的一種基于卷積循環(huán)神經(jīng)網(wǎng)絡(luò)的阿爾茨海默癥早期診斷方法，這兩種方法均存在不足，主要體現(xiàn)在以下兩個(gè)方面：

1）腦圖像切片選取問(wèn)題：MRI 圖像和PET 圖像均為三維影像，按照剖切面[9]的不同可分為多張橫斷面、冠狀面、矢狀面切片。AD、EMCI 和NC 大腦萎縮程度只在部分腦區(qū)內(nèi)有所差別，上述分類(lèi)方法所用的圖像是隨機(jī)取大腦橫斷面單張切片或連續(xù)多張切片作為神經(jīng)網(wǎng)絡(luò)輸入，隨機(jī)單切片法所取切片難以完整表征三類(lèi)人群腦結(jié)構(gòu)差異，無(wú)法充分發(fā)揮神經(jīng)網(wǎng)絡(luò)模型性能。連續(xù)切片法雖然保證了少部分輸入圖像能夠表征三者腦區(qū)域差異性，但引入了大量的無(wú)關(guān)圖像降低了神經(jīng)網(wǎng)絡(luò)的分類(lèi)精度，增加了神經(jīng)網(wǎng)絡(luò)計(jì)算量。

2）生物標(biāo)志物選取問(wèn)題：在AD 的多模態(tài)分類(lèi)識(shí)別中，僅利用MRI 圖像和PET 圖像作為兩個(gè)不同的輸入模態(tài)，未加入生物標(biāo)志物模態(tài)。MRI 圖像和PET 圖像均反映大腦萎縮程度，作為兩個(gè)多模態(tài)輸入圖像對(duì)模型性能提升有限，且AD 的早期階段EMCI 與NC 腦結(jié)構(gòu)差異并不明顯，其病理變化首先體現(xiàn)在生物標(biāo)志物含量的改變。生物標(biāo)志物作為臨床上診斷AD 和EMCI 的首要參考因素，其含量的異常變化具有重大的分類(lèi)意義，應(yīng)考慮作為多模態(tài)輸入，探究其對(duì)AD 分類(lèi)準(zhǔn)確率的貢獻(xiàn)程度。

以上現(xiàn)狀說(shuō)明，選取更精確的腦圖像切片，采用更科學(xué)的多模態(tài)輸入，對(duì)于EMCI 的早期發(fā)現(xiàn)及AD 精確分級(jí)診斷具有重大意義。本文以分析AD、EMCI、NC 腦差異區(qū)域?yàn)橹c(diǎn)，確定最大差異腦區(qū)域位置并在此區(qū)域提取三類(lèi)樣本的腦圖像切片，對(duì)同一名樣本對(duì)象篩選并引入其生物標(biāo)志物與腦圖像切片一一對(duì)應(yīng)作為多模態(tài)輸入，采用基于ResNet 的特征融合方法提取腦圖像切片深度特征，同時(shí)利用多層感知機(jī)對(duì)生物標(biāo)志物進(jìn)行擴(kuò)維，構(gòu)建多模態(tài)分類(lèi)模型，經(jīng)多次實(shí)驗(yàn)對(duì)比驗(yàn)證，該模型具有優(yōu)秀的分類(lèi)能力。

1 基本原理

1.1 數(shù)據(jù)說(shuō)明

本文所使用的圖像數(shù)據(jù)、生物標(biāo)志物均來(lái)自ADNI (Alzheimer’s disease neuroimaging initiative)數(shù)據(jù)庫(kù)。ADNI[10]數(shù)據(jù)庫(kù)由美國(guó)國(guó)立衛(wèi)生研究院衰老研究所（National Institute on aging,NIA）、生物醫(yī)學(xué)成像與生物工程研究所（National Institute of biomedical imaging and bioengineering,NIBIB）等組織聯(lián)合建立。數(shù)據(jù)庫(kù)主要由臨床數(shù)據(jù)、遺傳數(shù)據(jù)、和影像數(shù)據(jù)組成，用于早期檢測(cè)、研究、跟蹤阿爾茨海默病。臨床數(shù)據(jù)為每個(gè)受試者的臨床信息，包括招募，人口統(tǒng)計(jì)學(xué)，身體檢查和認(rèn)知評(píng)估數(shù)據(jù)；遺傳數(shù)據(jù)為受試者的基因數(shù)據(jù)；影像數(shù)據(jù)為原始、預(yù)處理和后處理的圖像文件包括MRI、功能性磁共振成像（functional magnetic resonance imaging,FMRI）、彌散張量成像（diffusion tensor imaging,DTI）、PET 圖像。

1.2 腦圖像配準(zhǔn)與分割

本文通過(guò)對(duì)不同人群進(jìn)行腦區(qū)域差異性分析[11]，來(lái)獲取最大差異腦區(qū)域，并確定特征圖的選取位置，以選取優(yōu)質(zhì)腦圖切片提升識(shí)別準(zhǔn)確率。在進(jìn)行腦區(qū)差異性分析時(shí)要對(duì)腦圖像進(jìn)行配準(zhǔn)處理[12]。不同患者大腦的大小和形狀是不一樣的，而且在不同次的核磁掃描中患者躺平的姿勢(shì)也不同，這就會(huì)造成腦圖像在相同空間坐標(biāo)下對(duì)應(yīng)的不同大腦的解剖位置也不一致，因此不同組別樣本的腦組織圖像相減得到的并不是對(duì)應(yīng)組織結(jié)構(gòu)的變化，而這樣的腦區(qū)差異是沒(méi)有意義的。腦圖像空間坐標(biāo)配準(zhǔn)，能夠在保證腦組織特異性的前提下，將不同大腦圖像對(duì)應(yīng)到公共腦模板上矯正大腦形狀和解剖位置，讓不同的受試者具有可比性。圖像配準(zhǔn)方法大致可分為基于標(biāo)簽的配準(zhǔn)方法和基于強(qiáng)度的配準(zhǔn)方法[13]：基于標(biāo)簽的配準(zhǔn)方法識(shí)別源圖像和參考圖像中的同源特征，并找到最佳疊加變換，標(biāo)簽可以是點(diǎn)、線(xiàn)或曲面，由于標(biāo)簽通常需要人工參與，因此存在主觀和耗時(shí)的問(wèn)題；基于強(qiáng)度的配準(zhǔn)方法則是尋找特定的變換來(lái)優(yōu)化源圖像和模板圖像中的一些體素相似性度量，將模板圖像g看作待配準(zhǔn)圖像f根據(jù)變換向量α扭曲后，同時(shí)加上高斯隨機(jī)噪聲的圖像。配準(zhǔn)原則是找到最優(yōu)變換向量α，確定位移場(chǎng)來(lái)對(duì)圖像進(jìn)行矯正。本文采用基于強(qiáng)度的方法進(jìn)行腦圖像配準(zhǔn)，模板圖像第i個(gè)體素的體素強(qiáng)度為gi，其滿(mǎn)足均值為fi(α)，標(biāo)準(zhǔn)差為σ的正態(tài)分布，調(diào)節(jié)變換向量α使得損失函數(shù)F(α) 最小，公式為

式中：I為圖像體素點(diǎn)數(shù)目；H(α) 為包含能量密度的雜項(xiàng)，在確定最優(yōu)變換向量α后，原圖像像素點(diǎn)xi形變后位置yi(xi,α) 就可以用一系列的基函數(shù)的線(xiàn)性組合表示，則有

式中：Φm(xi) 為xi的余弦變換基函數(shù)，公式為

式中：M為基函數(shù)的項(xiàng)數(shù)，變換向量α維度也為M。實(shí)際上因?yàn)榇竽X圖像并不存在一一精準(zhǔn)對(duì)應(yīng)的關(guān)系，所以不需要過(guò)高的精準(zhǔn)度，M可取有限項(xiàng)。

在腦圖像配準(zhǔn)后要對(duì)其進(jìn)行組織分割處理[14]，可將腦組織分割為灰質(zhì)、白質(zhì)和腦脊液，以進(jìn)行下一步處理，分割方法基于不同腦組織的獨(dú)立高斯模型組成的高斯混合模型和樸素貝葉斯原理。已知該模型由K個(gè)單獨(dú)的腦組織高斯混合模型組成，其中第k個(gè)高斯的均值為μk，方差為，混合比例為γk=1,γk>0)。一幅圖像強(qiáng)度為yi的體素點(diǎn)，若已知其屬于第k個(gè)高斯分布，那么它出現(xiàn)的概率P(yi|ci=k,μk,σk) 可表示為

已知任意體素其屬于第k個(gè)腦組織高斯分布的概率為P(ci=k)=γk，利用貝葉斯方法可以求得體素i屬于第k個(gè)腦組織高斯分布概率為

求出體素i屬于第k個(gè)腦組織高斯分布概率后，可根據(jù)概率最大原則對(duì)所有體素進(jìn)行分類(lèi)。

1.3 腦區(qū)域差異性分析實(shí)驗(yàn)

根據(jù)上文提出的腦組織配準(zhǔn)、分割原理就可以結(jié)合基本統(tǒng)計(jì)方法和圖像處理方法對(duì)不同人群腦組織進(jìn)行腦區(qū)域差異性分析。在ADNI 數(shù)據(jù)庫(kù)中選取具有MRI 腦圖像的AD、EMCI、NC 各27 例樣本，受試者信息如表1 所示。

表1 SPM 實(shí)驗(yàn)受試者信息Table 1 SPM subjects’ information

將3 組樣本的MRI 原生圖像利用VBM 軟件進(jìn)行去骨骼、配準(zhǔn)和腦組織分割得到灰質(zhì)和白質(zhì)，結(jié)果如圖1 所示，實(shí)驗(yàn)流程如圖2 所示。隨后選擇灰質(zhì)圖像進(jìn)行腦區(qū)差異性分析（事實(shí)上大腦的灰質(zhì)和白質(zhì)在腦空間上是互補(bǔ)的，選用白質(zhì)也將獲得同樣的分析結(jié)果）。首先將灰質(zhì)圖像進(jìn)行圖像平滑便于統(tǒng)計(jì)與分析，然后進(jìn)行組內(nèi)相關(guān)性分析，去除組內(nèi)相關(guān)性最大和最小的樣本，增加實(shí)驗(yàn)結(jié)果的魯棒性。此時(shí)3 組樣本中每組各有25 幅三維灰質(zhì)圖像，將3 組樣本進(jìn)行兩兩分組，分別為AD&NC、AD&EMCI、EMCI&NC，對(duì)應(yīng)3 次灰質(zhì)組間差異性實(shí)驗(yàn)。以AD&NC 的差異性實(shí)驗(yàn)分析為例，將兩類(lèi)樣本的三維灰質(zhì)圖像利用SPM 進(jìn)行雙樣本t檢驗(yàn)（本實(shí)驗(yàn)顯著性水平α=0.005），其原理是，設(shè)AD 患者腦灰質(zhì)的體素點(diǎn)集合為SAD，NC患者腦灰質(zhì)的體素點(diǎn)集合為SNC，樣本A集合為AD 患者腦灰質(zhì)的體素點(diǎn)集合SAD的子集合，樣本B集合為NC 患者腦灰質(zhì)的體素點(diǎn)集合SNC的子集合。由上文可知，AD 和NC 樣本均經(jīng)過(guò)公共腦圖像模板配準(zhǔn)，所以SAD與SNC同一空間區(qū)域子集合(A,B) 具有相同的組織對(duì)應(yīng)關(guān)系，對(duì)樣本A集合和樣本B集合進(jìn)行雙樣本t 檢驗(yàn)，可得出SAD與SNC同一空間區(qū)域腦組織是否有顯著性差異。

圖1 原生腦圖和組織圖Figure 1 Original brain image and tissue image

圖2 實(shí)驗(yàn)流程圖Figure 2 Flow chart of experimental

圖3 腦區(qū)差異對(duì)比圖Figure 3 Comparison chart of brain differences

1.4 腦圖像選取方法

在經(jīng)過(guò)差異性分析后AD、EMCI、NC 腦區(qū)差異對(duì)比圖如圖3 所示，同一顏色圓圈所示區(qū)域?yàn)榇竽X同一區(qū)域（橫斷面視角）不同層次的觀測(cè)結(jié)果。由3 幅圖得知3 組受試者腦結(jié)構(gòu)差異主要存在于左右腦的海馬體和顳葉區(qū)域。其中右腦海馬體和顳葉區(qū)域（藍(lán)色圓圈標(biāo)注區(qū)域）較為明顯，能很好地涵蓋3 類(lèi)樣本。

依照實(shí)驗(yàn)結(jié)果所示的最大差異腦區(qū)域，取右腦海馬體-顳葉區(qū)域切片作為模型的輸入圖像，大腦的醫(yī)學(xué)影像視角描述共有3 種，分別為矢狀面視角、橫斷面視角以及冠狀面視角（分別對(duì)應(yīng)圖1 中的a1、a2、a3），不同視角易于呈現(xiàn)不同的腦組織特征。海馬體平行于大腦矢狀面斜向下生長(zhǎng)，根據(jù)矢狀面視角取腦切片可以完整地反映出患者大腦海馬體-顳葉區(qū)域的萎縮程度。

圖4 為腦切片選取位置示意圖，圖中兩條紅線(xiàn)間區(qū)域可做腦切片選取區(qū)域，對(duì)照?qǐng)D3可知，圖4 中綠線(xiàn)所示位置橫穿海馬體顳葉區(qū)域，可以體現(xiàn)出3 類(lèi)樣本間的腦區(qū)域差異性。ADNI 數(shù)據(jù)庫(kù)中每幅三維MRI 圖像都由121 幅二維切片構(gòu)成，圖4 綠線(xiàn)所示位置約在第37～40 幅矢狀面切片處，本文對(duì)所有樣本的MRI 原生圖像進(jìn)行去骨骼和矯正處理，同時(shí)取其第38 幅圖像作為神經(jīng)網(wǎng)絡(luò)的輸入圖像。所選腦切片圖像如圖5 所示。觀察圖5 可知，AD 海馬體區(qū)域（紅色標(biāo)注區(qū)域）萎縮嚴(yán)重呈現(xiàn)大塊黑色空洞，前額葉區(qū)域黑色褶皺較多與NC 相關(guān)區(qū)域呈現(xiàn)出顯著差異，EMCI 患者腦萎縮程度不明顯，在結(jié)構(gòu)上接近NC，但生物標(biāo)志物的加入能夠提高分類(lèi)精度。

圖4 腦切片選取位置示意圖Figure 4 Schematic diagram of selected locations of brain slice

圖5 腦區(qū)截面圖Figure 5 Brain sectional view

1.5 生物標(biāo)志物分析

AD 患者大腦結(jié)構(gòu)變化為腦萎縮，而生標(biāo)志物的變化體現(xiàn)在神經(jīng)元細(xì)胞周?chē)?淀粉樣（Amyloid-β,Aβ）蛋白聚集、細(xì)胞內(nèi)微觀相關(guān)蛋白（microtubule-associated protein tau,tau）、過(guò)度磷酸化形成磷化tau 蛋白（phosphorylated tau protein,p-tau）[15]。臨床標(biāo)志物的變化指標(biāo)是AD 早期診斷、監(jiān)測(cè)疾病的重要依據(jù)，尋找到合適的生物標(biāo)志物對(duì)AD 的診斷和分類(lèi)至關(guān)重要。本文從ADNI 數(shù)據(jù)庫(kù)中選取50 名受試者和50 名AD 患者的生物標(biāo)志物，其中包括tau 蛋白、p-tau 蛋白、Aβ蛋白、載脂蛋白E 型基因（Apoli-poproteinE,ApoE）[16-17]等，受試者信息統(tǒng)計(jì)表如表2 所示。

表2 差異性實(shí)驗(yàn)受試者信息統(tǒng)計(jì)表Table 2 Statistical table of difference experiment subjects’ information

對(duì)3 組樣本的生物標(biāo)志物進(jìn)行差異性檢驗(yàn)（Z檢驗(yàn)）來(lái)辨別在AD、EMCI 和NC 組別中相應(yīng)生物標(biāo)志物含量的變化是否有顯著性差異。對(duì)各組樣本的生物標(biāo)志物按照式(10) 求均值，按照式(11) 求標(biāo)準(zhǔn)差，ˉx為組內(nèi)生物標(biāo)志物含量樣本均值，xi為組內(nèi)第i個(gè)樣本生物標(biāo)志物含量，n為樣本數(shù)量，n取50。

將式(10) 和(11) 代入式(12) 中得出Z值，為組間樣本均值，為組間樣本方差。

根據(jù)Z值表可判定AD、EMCI 與NC 組的tau 蛋白、p-tau 蛋白、Aβ蛋白、ApoE 基因有顯著性差異，作為本實(shí)驗(yàn)多模態(tài)輸入。

2 實(shí)驗(yàn)設(shè)計(jì)

2.1 ResNet 網(wǎng)絡(luò)調(diào)整

ResNet[18]（residual neural network）神經(jīng)網(wǎng)絡(luò)的主要思想是，在網(wǎng)絡(luò)中增加直連通道以允許保留之前網(wǎng)絡(luò)層的一定比例輸出，構(gòu)建出一個(gè)如圖6 所示的殘差學(xué)習(xí)模塊。殘差模塊的引入使ResNet 具有良好的特征提取能力，同時(shí)減小了網(wǎng)絡(luò)的計(jì)算量，提高了網(wǎng)絡(luò)的實(shí)際運(yùn)行速度。本文選擇ResNet18 網(wǎng)絡(luò)為本模型特征提取網(wǎng)絡(luò)。實(shí)驗(yàn)所用圖像為121×145 的灰度圖像，對(duì)ResNet18 網(wǎng)絡(luò)進(jìn)行調(diào)整使得輸入為（121,145,1）大小的圖像，并去掉最后一層分類(lèi)層，圖像特征提取網(wǎng)絡(luò)結(jié)構(gòu)如圖7 所示，網(wǎng)絡(luò)參數(shù)如表3 所示，其中s為步長(zhǎng)，p為填充。

圖6 殘差單元Figure 6 Residual unit

圖7 特征提取結(jié)構(gòu)Figure 7 Feature extraction structure

表3 ResNet18 網(wǎng)絡(luò)參數(shù)Table 3 ResNet18 network parameters

2.2 聯(lián)合網(wǎng)絡(luò)

本實(shí)驗(yàn)利用ResNet18 神經(jīng)網(wǎng)絡(luò)模型作為圖像特征提取模塊，提取腦圖像特征并降維至512 維特征向量，利用4 層感知機(jī)將生物標(biāo)志物擴(kuò)展為512 維特征向量；對(duì)圖像特征和生物標(biāo)志物特征進(jìn)行特征加權(quán)拼接至1 024 維特征向量，圖像特征向量加權(quán)系數(shù)為w1，生物特征向量加權(quán)系數(shù)為(1-w1)；最后利用多層感知機(jī)將1 024 維的向量降維至512 維并利用Softmax層對(duì)融合后的特征向量進(jìn)行分類(lèi)，網(wǎng)絡(luò)流程圖如圖8 所示，多層感知機(jī)網(wǎng)絡(luò)參數(shù)如表4 所示。

圖8 分類(lèi)網(wǎng)絡(luò)模型流程圖Figure 8 Classification network model flow chart

表4 多層感知機(jī)網(wǎng)絡(luò)參數(shù)Table 4 MLP network parameters

3 實(shí) 驗(yàn)

3.1 分類(lèi)實(shí)驗(yàn)數(shù)據(jù)集說(shuō)明

本文分類(lèi)實(shí)驗(yàn)數(shù)據(jù)來(lái)自于ADNI 數(shù)據(jù)庫(kù)，其中AD 樣本、NC 樣本來(lái)源于ADNI1 階段，EMCI 樣本來(lái)自于ADNIGO 階段。ADNI1 階段有1 673 例AD 樣本、4 518 例NC 樣本，同時(shí)包含MRI(T1) 圖像和生物標(biāo)志物信息的AD 樣本共有344 例，由233 名患者提供，包含MRI(T1) 圖像和生物標(biāo)志物信息的NC 樣本共有651 例，由285 志愿者提供。ADNIGO 階段有2 798 例EMCI 樣本，包含MRI(T1) 圖像和生物標(biāo)志物信息的EMCI 樣本共有455 例，由281 名患者提供，同一名患者可能提供多例樣本。

分類(lèi)實(shí)驗(yàn)選用的數(shù)據(jù)包含年齡在57～89 歲的AD、NC、EMCI 樣本各300 例，訓(xùn)練集AD、NC、EMCI 各200 例，測(cè)試集AD、NC、EMCI 各100 例。數(shù)據(jù)庫(kù)中AD 樣本共有344例，由233 名患者提供，因此分類(lèi)實(shí)驗(yàn)中選用的300 例實(shí)驗(yàn)樣本會(huì)包含縱向數(shù)據(jù)，為保證實(shí)驗(yàn)的嚴(yán)謹(jǐn)性與科學(xué)性，分類(lèi)實(shí)驗(yàn)測(cè)試集選用的100 例數(shù)據(jù)由100 名患者提供，均不包含縱向數(shù)據(jù)，訓(xùn)練集選用的200 例數(shù)據(jù)由133 名患者提供，每名患者最多提供2 例樣本，且提供樣本的時(shí)間跨度至少為1 年，在擴(kuò)充數(shù)據(jù)集的同時(shí)，保證了實(shí)驗(yàn)的嚴(yán)謹(jǐn)性，EMCI、NC 數(shù)據(jù)集劃分規(guī)則與AD 數(shù)據(jù)集劃分規(guī)則一致。

每例樣本的核磁共振圖像均經(jīng)過(guò)矯正、配準(zhǔn)、分割處理，依據(jù)腦區(qū)差異性實(shí)驗(yàn)選取右腦海馬體-顳葉區(qū)域的矢狀面第38 圖像作為模型的輸入圖像。模型以樣本單張腦圖像切片預(yù)測(cè)樣本患病的可能性，選取樣本信息如表5 所示。

表5 分類(lèi)實(shí)驗(yàn)受試者信息統(tǒng)計(jì)表Table 5 Statistical table of classification experiment subjects’ information

表6 Kappa 系數(shù)表Table 6 Kappa Coefficient table

3.2 實(shí)驗(yàn)環(huán)境和實(shí)驗(yàn)方法

網(wǎng)絡(luò)模型訓(xùn)練使用Keras 深度學(xué)習(xí)框架，GPU 型號(hào)為NVIDIA 3090Ti，顯存24 G，CPU為XEON 2680V4，操作系統(tǒng)為Ubantu-18.04。網(wǎng)絡(luò)為多輸入單輸出模型，同時(shí)輸入樣本的腦圖像信息和臨床生物標(biāo)志物信息，輸出分類(lèi)結(jié)果，批次大小設(shè)置為20，使用Adam[19]優(yōu)化器，初始學(xué)習(xí)率為0.000 1，w1初始權(quán)值為1，程序每完全執(zhí)行一次w1的權(quán)值減少0.05 直至w1值為0，記錄實(shí)驗(yàn)結(jié)果并選取最優(yōu)模型。為與傳統(tǒng)分類(lèi)方法對(duì)比，本文部分實(shí)驗(yàn)選取目前腦圖分類(lèi)選取較多的橫斷面區(qū)域與本文所選海馬體相關(guān)區(qū)域特征腦圖作對(duì)比實(shí)驗(yàn)。為探究多模態(tài)模型對(duì)分類(lèi)準(zhǔn)確率的提升效果，本文生物標(biāo)志物模態(tài)由1 種逐步增加至4 種并且嘗試不同的組合的分類(lèi)效果。

3.3 評(píng)價(jià)指標(biāo)

為評(píng)估模型的分類(lèi)性能，本實(shí)驗(yàn)采用準(zhǔn)確率（Accuracy,A）、精確率（Precision,P）、召回率（Recall,R）作為二分類(lèi)模型的評(píng)價(jià)指標(biāo)，采用Kappa (K) 系數(shù)[20]作為三分類(lèi)評(píng)價(jià)指標(biāo)。準(zhǔn)確率即對(duì)于給定的數(shù)據(jù)，分類(lèi)正確的樣本數(shù)占總樣本數(shù)的比例；精確率是指在預(yù)測(cè)為正類(lèi)的樣本中真正類(lèi)所占的比例；召回率是指在所有正類(lèi)中被預(yù)測(cè)為正類(lèi)的比例。Kappa 系數(shù)是用在統(tǒng)計(jì)學(xué)中評(píng)估一致性的一種方法，取值范圍在一般應(yīng)用中是[0,1]，系數(shù)越高，則代表模型分類(lèi)的準(zhǔn)確度越高，相關(guān)公式和圖表如下。

式中：TP 表示把正類(lèi)預(yù)測(cè)為正類(lèi)；FP 表示把負(fù)類(lèi)預(yù)測(cè)為正類(lèi)；TN 表示把負(fù)類(lèi)預(yù)測(cè)為負(fù)類(lèi)；FN 表示把正類(lèi)預(yù)測(cè)為負(fù)類(lèi)。

式中：po為總體分類(lèi)精度；pe為所有類(lèi)別分別對(duì)應(yīng)的“實(shí)際與預(yù)測(cè)數(shù)量的乘積”之總和，除以“樣本總數(shù)的平方”。

3.4 實(shí)驗(yàn)結(jié)果

為探究特征區(qū)域選取的有效性，本文利用ResNet18 網(wǎng)絡(luò)對(duì)目前腦圖分類(lèi)選取較多的橫斷面圖像和本文選取的特征區(qū)域圖像進(jìn)行AD、CN 和EMCI 的分類(lèi)，分類(lèi)效果表7 所示。

表7 橫斷面和軸狀面分類(lèi)效果對(duì)比Table 7 Comparison of classification results between cross-sectional and axial plane

由表7 可知，在利用特征面做分類(lèi)腦圖之后，因提取到了更為顯著的腦圖像特征，分類(lèi)效果顯著提升。

為探究加入臨床標(biāo)志物后模型分類(lèi)效果，本實(shí)驗(yàn)在特征面腦圖像的基礎(chǔ)上逐步增加生物標(biāo)志物模態(tài)的種類(lèi)，利用圖8 的聯(lián)合分類(lèi)網(wǎng)絡(luò)對(duì)AD、CN、EMCI 進(jìn)行分類(lèi)識(shí)別，分類(lèi)效果如表8 所示。

表8 不同模態(tài)組別分類(lèi)效果Table 8 Classification results of different modal groups

上述結(jié)果顯示在逐步增加生物標(biāo)志物的種類(lèi)時(shí)，模型的分類(lèi)性能提高，這表明生物標(biāo)志物對(duì)AD 分類(lèi)具有提升效果。

為探究生物標(biāo)志物的特征表達(dá)能力，利用圖8 的聯(lián)合分類(lèi)網(wǎng)絡(luò)對(duì)AD、CN、EMCI 樣本的生物標(biāo)志物進(jìn)行分類(lèi)識(shí)別，將圖像特征的權(quán)重調(diào)節(jié)為0，特征融合方式由拼接改為加和，分類(lèi)準(zhǔn)確率如表9 所示。

表9 不同生物標(biāo)志物分類(lèi)效果Table 9 Classification results of different biomarker groups

上述分類(lèi)實(shí)驗(yàn)顯示僅利用生物標(biāo)志物對(duì)三類(lèi)樣本分類(lèi)識(shí)別，模型的分類(lèi)效果一般，而腦切片影像和生物標(biāo)志物結(jié)合的分類(lèi)方式會(huì)取得良好的分類(lèi)效果。

最后，將本文方法與文獻(xiàn)[5-6,8] 分類(lèi)方法相比較，由于不同方法衡量指標(biāo)有差別，這里僅選取3 種方法都選用的準(zhǔn)確率衡量指標(biāo)作為不同方法結(jié)果對(duì)比指標(biāo)，比較結(jié)果如表10所示。

表10 不同方法分類(lèi)結(jié)果Table 10 Classification results of different methods

比較3 種分類(lèi)方法的分類(lèi)效果可知，本文通過(guò)選取特征區(qū)域腦切片結(jié)合生物標(biāo)志物的多模態(tài)分類(lèi)方法，在各組別分類(lèi)中均優(yōu)于文獻(xiàn)[5] 所用基于VGG 神經(jīng)網(wǎng)絡(luò)的弱監(jiān)督細(xì)粒度分類(lèi)方法和文獻(xiàn)[6] 所用基于Alexnet 模型的AD 分類(lèi)方法。文獻(xiàn)[8] 提出的基于卷積循環(huán)神經(jīng)網(wǎng)絡(luò)的阿爾茨海默癥早期診斷方法僅對(duì)AD 和NC 組別進(jìn)行了分類(lèi)，每組僅有100 個(gè)樣本，而本文方法每組別各300 個(gè)樣本，均包含MRI 圖像信息和生物標(biāo)志物信息，在結(jié)果上更具有說(shuō)服力。同時(shí)本文分類(lèi)組別更完善，所用神經(jīng)網(wǎng)絡(luò)架構(gòu)也更為輕量級(jí)，同時(shí)適用于任意組別分類(lèi)，具有廣泛的應(yīng)用前景。

4 結(jié)語(yǔ)

本文提出了一種選取大腦萎縮區(qū)域腦切片并結(jié)合生物標(biāo)志物的多模態(tài)疾病分類(lèi)方法。該方法通過(guò)將不同組別MRI 腦圖像進(jìn)行組間差異性分析，獲得最大腦萎縮區(qū)域。依照最大腦萎縮區(qū)域所示位置對(duì)所有組別進(jìn)行特征圖選取，將選取的腦切片和生物標(biāo)志物分別利用ResNet18 網(wǎng)絡(luò)和多層感知機(jī)進(jìn)行特征的提取和加權(quán)融合，最后通過(guò)Softmax 層進(jìn)行分類(lèi)識(shí)別。

實(shí)驗(yàn)表明，選取大腦萎縮區(qū)域腦切片并結(jié)合生物標(biāo)志物的多模態(tài)疾病分類(lèi)方法能夠有效提高網(wǎng)絡(luò)模型的分類(lèi)效果，可以廣泛應(yīng)用于智慧醫(yī)療領(lǐng)域。此外，該模型可推廣到癲癇、小兒麻痹癥等腦病的分析與診斷，具有廣泛的推廣價(jià)值和適用性。