基于殘差自注意力機(jī)制的阿爾茨海默癥分類*

盧星進(jìn)，王書卜，肖磊△，高禮彬，李瑞，胡眾義△

(1.溫州大學(xué) 計(jì)算機(jī)與人工智能學(xué)院，溫州 325035；2.溫州市智能影像處理與分析重點(diǎn)實(shí)驗(yàn)室，溫州 325035；3.上海東方醫(yī)院，上海 200120)

引言

阿爾茨海默癥(Alzheimer′s disease，AD)是一種發(fā)病進(jìn)程緩慢且不可逆的神經(jīng)退行性疾病，可導(dǎo)致患者大腦神經(jīng)細(xì)胞死亡和組織萎縮[1-2]。據(jù)報(bào)道，目前AD約占所有癡呆病例的60%～70%，有超過5 500萬人患有AD，預(yù)測到2030年將達(dá)到7 800萬，治療總成本將達(dá)到2萬億美元。盡管目前對AD患病的原因尚不明確且缺乏特效藥物來阻斷發(fā)病、治愈AD，但是若對AD進(jìn)行早期診斷和治療即可有效延緩其惡化。在臨床診斷中，磁共振成像技術(shù)、彌散張量成像技術(shù)和腦電圖等方式能夠展示患者大腦的結(jié)構(gòu)變化，其中，結(jié)構(gòu)性磁共振成像技術(shù)(structural MRI,sMRI)產(chǎn)生的圖像能夠更好地顯示器官的萎縮、變形等。因此，本研究基于sMRI 圖像設(shè)計(jì)殘差自注意力框架以實(shí)現(xiàn)對AD的輔助診斷。

1 相關(guān)工作

在計(jì)算機(jī)輔助診斷領(lǐng)域，近年已有多項(xiàng)研究探討阿爾茨海默癥，以實(shí)現(xiàn)對該疾病的計(jì)算機(jī)輔助診斷。黎建忠等[5]提出了一種基于三類特征的支持向量機(jī)模型，三維重構(gòu) sMRI 的灰質(zhì)體積、皮層表面積及厚度作為特征輸入進(jìn)行AD和正常對照組(normal controls，NC)的分類識別。曾安等[6]將大腦腦區(qū)預(yù)處理的感興趣區(qū)域作為特征，輸入3D卷積神經(jīng)網(wǎng)絡(luò)用于分類任務(wù)。Agrawal等[7]使用深度卷積神經(jīng)網(wǎng)絡(luò)用于AD的分類。曾安等[8]提出了基于卷積循環(huán)神經(jīng)網(wǎng)絡(luò)的AD早期診斷框架，該方法結(jié)合2D卷積和循環(huán)神經(jīng)網(wǎng)絡(luò)，將2D切片序列輸入框架，對AD和NC的分類準(zhǔn)確率達(dá)到93.3%。Dai等[9]將功能連接網(wǎng)絡(luò)(FCN)和結(jié)構(gòu)連接網(wǎng)絡(luò)(SCN)的拓?fù)浣Y(jié)構(gòu)相關(guān)信息應(yīng)用于AD分類，具有較好的效果。曾安等[10]利用腦區(qū)模板標(biāo)簽(AAL)劃分受試者的大腦區(qū)域，提出直映式注意力機(jī)制，提高了模型的穩(wěn)定性及準(zhǔn)確率。Liu等[11]提出構(gòu)建級聯(lián)卷積神經(jīng)網(wǎng)絡(luò)，學(xué)習(xí)MRI和PET腦圖像特征用于AD分類。Shi等[12]建立光滑非線性特征空間變換來映射數(shù)據(jù)，并使用深度網(wǎng)絡(luò)特征融合策略對腦圖像的橫截面和縱截面進(jìn)行融合，評估特征轉(zhuǎn)換和特征融合策略的有效性。曾安等[13]設(shè)計(jì)基于卷積神經(jīng)網(wǎng)絡(luò)和集成學(xué)習(xí)的切片集成分類模型用于AD早期分類。潘丹等[14]提出基于3D卷積神經(jīng)網(wǎng)絡(luò)和遺傳算法相結(jié)合的AD早期輔助診斷模型，首先利用3D卷積對數(shù)據(jù)訓(xùn)練出候選基分類器，然后利用遺傳算法選出最優(yōu)基分類器組合，最終集成分類。Jain等[15]采用基于遷移學(xué)習(xí)的模型，訓(xùn)練VGG作為特征提取器，用于AD和NC的分類任務(wù)。Qiu等[16]提出一個(gè)可解釋的深度學(xué)習(xí)策略，框架中使用全卷積網(wǎng)絡(luò)，從MRI、年齡和精神狀態(tài)檢查分?jǐn)?shù)等多模態(tài)數(shù)據(jù)中描繪AD特征，得到AD的準(zhǔn)確診斷。Mehmood等[17]開發(fā)了一個(gè)Siamese卷積網(wǎng)絡(luò)(SCNN)模型，并在AD和NC的分類中得到了99.05%的準(zhǔn)確率。Xing等[18]創(chuàng)新性地改造了近似秩池化操作，將三維MRI圖像轉(zhuǎn)為二維圖像，作為二維卷積輸入，相比于三維模型，其AD分類準(zhǔn)確率提高了9.5%。Esteva等[19]使用強(qiáng)化學(xué)習(xí)方法，達(dá)到了對醫(yī)學(xué)成像數(shù)據(jù)的精準(zhǔn)分類?；陉P(guān)鍵切片投票的方法[20]從關(guān)鍵切片區(qū)間的角度，利用切片投票的分類結(jié)果，診斷患病狀態(tài)，通過多張切片集成分類。雖然該方法的準(zhǔn)確率和穩(wěn)定性都有一定程度的提升，但是仍有未進(jìn)行切片權(quán)重分配，進(jìn)而模糊核心切片區(qū)間比重的問題。

針對上述問題，本研究受自注意力機(jī)制[21]和集成學(xué)習(xí)的啟發(fā)，在關(guān)鍵切片投票方法[20]的基礎(chǔ)上，使用殘差網(wǎng)絡(luò)提取圖像特征信息，再通過切片自注意力機(jī)制替代切片投票機(jī)制學(xué)習(xí)特征信息，并進(jìn)行權(quán)重分配，使得每一張切片擁有動態(tài)的權(quán)重，達(dá)到增強(qiáng)核心分類區(qū)間比重的作用，最終在不同權(quán)重的切片下集成分類結(jié)果，可智能診斷AD和NC，達(dá)到精準(zhǔn)分類。通過將自適應(yīng)梯度裁剪應(yīng)用于圖像分類模型框架，在訓(xùn)練大批量和大規(guī)模的數(shù)據(jù)時(shí)，更容易達(dá)到收斂，提升了模型診斷的可靠性。

2 數(shù)據(jù)集與預(yù)處理

2.1 數(shù)據(jù)獲取

本研究所有數(shù)據(jù)均來自阿爾茨海默病神經(jīng)影像學(xué)計(jì)劃(Alzheimer′s disease neuroimaging initiative, ADNI)數(shù)據(jù)庫(www.loni.ucla.edu/adni)，從中下載431名受試者的MRI圖像，其中AD 200例，NC 231例，年齡分布在70～84歲，性別比例保持均等。詳細(xì)信息見表1。

表1 數(shù)據(jù)集基本情況

2.2 數(shù)據(jù)預(yù)處理

利用FreeSurfer軟件進(jìn)行圖像預(yù)處理，主要包括頭部矯正、磁場不均勻信號偏差矯正、MNI305模板配準(zhǔn)、白質(zhì)區(qū)域信號的標(biāo)準(zhǔn)化和非腦組織(比如顱骨、脛部等)的去除，處理過程中的參數(shù)使用默認(rèn)參數(shù)，經(jīng)過FreeSurfer軟件預(yù)處理后的圖像大小均為256×256×256，再進(jìn)行粗裁剪去除邊緣無用的非腦區(qū)域，重采樣得到圖像大小為180×180×150。預(yù)處理流程見圖1。

圖1 數(shù)據(jù)集預(yù)處理Fig.1 Dataset preprocessing

在之前切片工作[20-22]中，使用預(yù)處理完的數(shù)據(jù)分別測試了從獨(dú)立測試個(gè)體的沿軸向、冠狀和矢狀解剖平面提取的切片，表明冠狀面具有最高的準(zhǔn)確率和敏感度，因此本研究實(shí)驗(yàn)最終選取40個(gè)冠狀面切片用于實(shí)驗(yàn)，其索引區(qū)間為[70,109]。最終在431個(gè)樣本中生成8 000張AD患者的MRI切片，9 240張NC的MRI切片。

3 方法

本研究基于殘差自注意力機(jī)制，使用殘差網(wǎng)絡(luò)[23]提取每個(gè)切片圖像特征信息，利用自注意力機(jī)制學(xué)習(xí)特征信息，并進(jìn)行權(quán)重分配，增強(qiáng)核心分類區(qū)間的比重后，使用不同權(quán)重的切片特征信息集成分類。同時(shí)，在模型中增加自適應(yīng)梯度裁剪(adaptive gradient clipping, AGC)[24]，以便于達(dá)到收斂。

醫(yī)生閱片時(shí)，會依據(jù)大腦切片的圖像判斷患者是否患病，但是在不同位置的切片會影響醫(yī)生決策。因此，引入自注意力機(jī)制，對不同切片位置設(shè)置權(quán)重，并進(jìn)行動態(tài)分配，最終能夠增強(qiáng)核心切片區(qū)間的權(quán)重，進(jìn)而實(shí)現(xiàn)集成分類。

基于殘差自注意力機(jī)制的框架中，殘差網(wǎng)絡(luò)的作用是學(xué)習(xí)每張冠狀切片圖像，并提取對應(yīng)切片位置的特征信息；自注意力機(jī)制則是學(xué)習(xí)切片間的特征信息比重，對權(quán)重動態(tài)分配，增強(qiáng)核心分類區(qū)間的比重。最終將所有切片權(quán)重信息集成，得到AD分類結(jié)果。該框架很好地提高了視覺信息處理的準(zhǔn)確性。具體模型框架見圖2。

圖2 殘差自注意力框架Fig.2 Residual self-attention framework

本研究使用的框架結(jié)構(gòu)分左、中、右三部分。其中，左邊表示sMRI數(shù)據(jù)集；中間綠色部分表示40個(gè)sMRI切片，藍(lán)色部分表示殘差模塊；右邊橙色部分表示經(jīng)過殘差網(wǎng)絡(luò)后提取的特征信息，綠色部分表示值向量序列，藍(lán)色部分表示鍵向量序列，灰色部分表示查詢向量序列，紅色部分表示權(quán)重向量。

3.1 殘差網(wǎng)絡(luò)

殘差網(wǎng)絡(luò)(residual network,ResNet)采用恒等映射結(jié)構(gòu)，減輕了普通卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練難度。ResNet由卷積層、池化層等構(gòu)成的多個(gè)殘差塊堆疊組成。特征矩陣以兩個(gè)分支進(jìn)入殘差塊，直線分支進(jìn)入多個(gè)卷積層輸出特征矩陣。跳躍分支在輸入輸出一致時(shí)使用恒等映射，不一致時(shí)使用線性投影保證維度一致。最終對直線分支和跳躍分支輸出特征的矩陣進(jìn)行求和并進(jìn)入下一層。殘差學(xué)習(xí)算法見式(1)。

(1)

本研究主要基于ResNet-34模塊實(shí)驗(yàn)，ResNet-34模塊有34個(gè)堆積層結(jié)構(gòu)，先通過步長為2的池化進(jìn)行下采樣，再通過中間16層殘差塊，最后網(wǎng)絡(luò)以全局池化層和softmax函數(shù)的全連接層輸出分類結(jié)果。不同殘差塊層的輸入和輸出有差別，結(jié)構(gòu)基本相似。使用ResNet-34可以減緩過擬合或者梯度消失/爆炸問題，擁有更好的性能。

3.2 自注意力機(jī)制

自注意力機(jī)制采用表征加權(quán)的方式有助于獲得特征的內(nèi)部相關(guān)信息。自注意力機(jī)制可以建立序列依賴關(guān)系，通過依賴關(guān)系引入權(quán)重，在通道和空間層面計(jì)算每個(gè)單元通道與通道、像素點(diǎn)與像素點(diǎn)之間的值，以加強(qiáng)兩者之間的聯(lián)系。其中權(quán)重計(jì)算引入的Q,K,V分別為查詢向量序列、鍵向量序列和值向量序列，分別學(xué)習(xí)了參數(shù)矩陣，得到自注意力權(quán)重大小。自注意力權(quán)重算法見式(2)。

(2)

其中，j表示第j層冠狀切片，L是線性映射用來匹配維度。Kj,Qj和Vj分別表示注意力機(jī)制的查詢，鍵和值向量矩陣，ω表示激活函數(shù)。

本研究在引入自注意力機(jī)制時(shí)會對40個(gè)切片產(chǎn)生40個(gè)不同權(quán)重信息，這些權(quán)重信息構(gòu)成的注意力矩陣見圖3。其中每個(gè)格子的顏色代表權(quán)重值，顏色越深權(quán)重值越大，具體數(shù)值用圖中熱力棒刻度表示。本研究在預(yù)處理中選取切片索引為[70, 109]，將第70個(gè)索引作為第1個(gè)格子，按照順序依次分配給40個(gè)格子。其中橫坐標(biāo)表示格子坐標(biāo)的個(gè)位數(shù)，縱坐標(biāo)表示格子坐標(biāo)的十位數(shù)。由圖可知，越靠近切片索引中間位置特征信息越穩(wěn)定，權(quán)重值越大。

圖3 注意力矩陣

3.3 自適應(yīng)梯度裁剪

本研究中，實(shí)驗(yàn)設(shè)置的自適應(yīng)梯度裁剪是解決梯度爆炸的關(guān)鍵技術(shù)，可替代神經(jīng)網(wǎng)絡(luò)中歸一化層用于殘差網(wǎng)絡(luò)。傳統(tǒng)歸一化的方法不適用于大批量訓(xùn)練且難以選擇最佳學(xué)習(xí)率。自適應(yīng)梯度裁剪的方法，基于梯度范數(shù)與參數(shù)范數(shù)的單位比例來進(jìn)行剪切梯度。在數(shù)據(jù)規(guī)模比較大時(shí)，使用自適應(yīng)梯度裁剪能夠使得尋找最優(yōu)解的過程變得平緩，模型更容易達(dá)到正確的收斂水平。本研究使用AGC替代批歸一化層用于網(wǎng)絡(luò)中，在尋找平緩最優(yōu)解的基礎(chǔ)上，能訓(xùn)練大批量和大規(guī)模的數(shù)據(jù)快速收斂并取得穩(wěn)定的準(zhǔn)確率。

4 實(shí)驗(yàn)

設(shè)置訓(xùn)練集和測試集比例為8∶2，選取對于分類效果最佳的區(qū)間[70, 109]。為確保對比公平性，采用相同的參數(shù)配置。最終實(shí)驗(yàn)使用ResNet-34模塊作為基礎(chǔ)網(wǎng)絡(luò)，采用RMSprop優(yōu)化器，α:0.99，學(xué)習(xí)率:0.0005，偏置:1e-8，實(shí)驗(yàn)設(shè)置100個(gè)迭代次數(shù)，在最終無變化時(shí)，停止訓(xùn)練。經(jīng)對比發(fā)現(xiàn)，VGG和AlexNet網(wǎng)絡(luò)結(jié)構(gòu)較為臃腫不適合修改。在本節(jié)中，基準(zhǔn)實(shí)驗(yàn)使用ResNet-34模塊作為基礎(chǔ)網(wǎng)絡(luò)，再結(jié)合關(guān)鍵切片投票方法。在基準(zhǔn)實(shí)驗(yàn)上改進(jìn)關(guān)鍵切片投票方法，使用自注意力機(jī)制動態(tài)分配權(quán)重，最終實(shí)驗(yàn)基于殘差自注意力機(jī)制框架。該框架分別與不同網(wǎng)絡(luò)進(jìn)行對比，分類性能參數(shù)包括準(zhǔn)確率(ACC)，召回率(REC)，精確率(PRE)和均衡平均數(shù)(F1-Score)。結(jié)果見表2、表3。

表2 不同網(wǎng)絡(luò)結(jié)果對比

表3 不同模塊結(jié)果對比

4.1 不同網(wǎng)絡(luò)效果

本研究提出的模型四個(gè)方面均優(yōu)于PCA+SVM和傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的框架，其中PCA+SVM代表基于主成分分析和支持向量機(jī)的診斷模型[13]；2DCNN表示使用單切片訓(xùn)練的二維卷積神經(jīng)網(wǎng)絡(luò)[13]；ResNet是基于ResNet-34的實(shí)驗(yàn)設(shè)置；3D-PCANet為文獻(xiàn)[14]中提出的一種非監(jiān)督學(xué)習(xí)方法；VGG by slice代表文獻(xiàn)[20]基于關(guān)鍵切片投票的方法。由表2可知，基于殘差自注意力機(jī)制框架可以提高傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的性能，同時(shí)也能夠有效捕捉關(guān)鍵特征信息。

4.2 不同模塊效果

表3為本研究模型與不同模塊在同一主干網(wǎng)絡(luò)下相對比，實(shí)驗(yàn)結(jié)果顯示，本研究在準(zhǔn)確率、召回率、精準(zhǔn)度和均衡平均數(shù)均優(yōu)于基準(zhǔn)實(shí)驗(yàn)，準(zhǔn)確率比基準(zhǔn)實(shí)驗(yàn)高2.4%，其中ResNet是基于ResNet-34的實(shí)驗(yàn)設(shè)置；Baseline是基準(zhǔn)實(shí)驗(yàn)。這表明基于殘差自注意力機(jī)制的診斷方式能夠達(dá)到更好的分類效果。該方法通過捕捉關(guān)鍵特征，學(xué)習(xí)特征間的顯著性，動態(tài)分配權(quán)重信息，在增強(qiáng)核心分類區(qū)間比重的方式上，達(dá)到不同權(quán)重集成分類。最終框架對AD分類具有較高的敏感度和魯棒性，該模型能夠更好地提升AD分類的性能，為輔助醫(yī)生診斷AD提供客觀依據(jù)。

5 結(jié)論

本研究提出了一種基于殘差注意力機(jī)制的分類模型。該模型使用殘差網(wǎng)絡(luò)提取每張切片圖像的特征信息，然后通過自注意力機(jī)制學(xué)習(xí)提取的特征信息，對切片權(quán)重動態(tài)分配，增強(qiáng)核心分類區(qū)間的比重，最終集成所有的權(quán)重結(jié)果，對AD和NC進(jìn)行分類。實(shí)驗(yàn)結(jié)果在對比不同主干網(wǎng)絡(luò)和不同模塊方面都取得了良好效果?；跉埐钭宰⒁饬C(jī)制的召回率、精確率和均衡平均數(shù)都高于基準(zhǔn)方法，對模型的改進(jìn)有很好的效果，同時(shí)對于AD的輔助診斷也具有重要意義。在后續(xù)的研究中，將會嘗試使用更多維度的信息(比如表征信息等)來提取特征，結(jié)合自注意力機(jī)制進(jìn)一步提高模型性能。