基于典型相關分析與雙模態(tài)數(shù)據(jù)融合的抑郁癥輔助診斷

計亞榮，王瑜，付常洋，肖洪兵，邢素霞

北京工商大學人工智能學院，北京100048

前言

抑郁癥又稱抑郁障礙，是一種常見的精神類疾病，患者通常表現(xiàn)為情緒長期低落、悲觀絕望，甚至出現(xiàn)自殺等行為［1］。目前的抑郁癥診斷主要通過醫(yī)生觀察患者的臨床癥狀與行為描述，并依據(jù)國際診斷標準進行判定，但這種方式過于依賴醫(yī)生的主觀判斷，使得診斷準確率較低，造成患者病情延誤或加重等后果。

近年來，越來越多的研究者使用機器學習方法識別醫(yī)學圖像，從而輔助醫(yī)生進行早期的診斷與治療。王露瑩等［2］基于解剖圖譜提取116 個腦區(qū)的影像組學特征，并使用重要程度高的特征構建支持向量機模型，結果顯示，其分類器區(qū)分抑郁癥患者與正常對照組的準確度為86.51%。趙建龍［3］提出一種基于功能網(wǎng)絡連接的生成對抗網(wǎng)絡，用于精神疾病患者的分類任務，顯著提高了模型的分類精度，同時有效緩解腦圖像的小樣本問題。在這些研究中，多數(shù)任務只依據(jù)單一模態(tài)的核磁共振成像(Magnetic Resonance Imaging, MRI)數(shù)據(jù)就可達到較好的分類效果。文獻［4］針對功能磁共振成像（functional Magnetic Resonance Imaging,fMRI）數(shù)據(jù)［5］，提出一種多尺度功能腦網(wǎng)絡融合特征的分類方法，實驗結果顯示，其分類準確率達88.67%。文獻［6］針對結構磁共振成像（structural Magnetic Resonance Imaging,sMRI）數(shù)據(jù)［7］，提出一種基于ADNI-Transfer 遷移學習方法的三維密集連接深度卷積神經(jīng)網(wǎng)絡（3DDenseNet264），以充分提取數(shù)據(jù)特征，實現(xiàn)準確分類。盡管對單模態(tài)數(shù)據(jù)的抑郁癥分類已經(jīng)達到較好的準確率，但僅對單一模態(tài)數(shù)據(jù)進行分類仍是片面的，并不能充分利用MRI數(shù)據(jù)的有效信息。

針對上述問題，本文提出基于雙模態(tài)數(shù)據(jù)融合的抑郁癥分類算法，以充分提取fMRI 與sMRI 的數(shù)據(jù)特征，得到更加準確的分類效果，首先構建多尺度功能腦網(wǎng)絡，提取fMRI 特征，其次使用遷移學習的3D-DenseNet264 模型提取sMRI 特征，接著利用典型相關分析法將提取的兩種特征融合，最后使用支持向量機（Support Vector Machine,SVM）［8］對融合特征進行分類。實驗結果顯示，本文提出的算法可達到較高的準確率，有效輔助醫(yī)生進行抑郁癥的臨床診斷。

1 方法

本文提出的算法主要對被試雙模態(tài)數(shù)據(jù)的融合特征進行分類，從而識別出被試是健康者還是抑郁癥患者，在對數(shù)據(jù)進行預處理后，算法主要分為三步，分別為：特征提取、特征融合以及特征分類。算法流程圖如圖1所示。

圖1 基于典型相關分析與雙模態(tài)數(shù)據(jù)融合的抑郁癥分類算法流程圖Fig.1 Flowchart of major depressive disorder classification algorithm based on canonical correlation analysis and bimodal data fusion

1.1 特征提取

1.1.1 fMRI 數(shù)據(jù)特征的提取對于fMRI 數(shù)據(jù)的特征提取，傳統(tǒng)的方法為根據(jù)某一特定的先驗腦模板，對fMRI數(shù)據(jù)構建單一大尺度的功能腦網(wǎng)絡［9-12］，并提取腦網(wǎng)絡的局部與全局特征，用于下一步的分類任務。功能腦網(wǎng)絡由節(jié)點和連接邊組成［13］，由于可塑性強，能夠提供豐富全面的影像學特征，因此被廣泛應用于抑郁癥的分類研究中［14-16］。依據(jù)不同尺度的腦模板，可以構建出包含有不同節(jié)點數(shù)目的腦網(wǎng)絡，腦網(wǎng)絡的節(jié)點數(shù)目越多，就越精細化，也就更能表征豐富的圖像特征，因此僅構建單一尺度的腦網(wǎng)絡，并不能充分提取fMRI 的數(shù)據(jù)特征。針對該問題，本文使用分別包含有116、264、625 和1 024 個腦區(qū)的4 個腦模板，構建4 種不同尺度的功能腦網(wǎng)絡，并提取每種尺度腦網(wǎng)絡的局部特征與全局特征，最后使用串聯(lián)融合方法［17］將4種腦網(wǎng)絡的特征融合，融合后形成的特征即為本算法要提取的fMRI 數(shù)據(jù)特征，由于篇幅所限，具體細節(jié)請參考文獻［4］。多尺度功能腦網(wǎng)絡如圖2所示。

圖2 多尺度功能腦網(wǎng)絡Fig.2 Multi-scale functional brain network

1.1.2 sMRI 數(shù)據(jù)特征的提取對于sMRI 數(shù)據(jù)，深度神經(jīng)網(wǎng)絡可以有效提取其3D 特征，而前人的實驗發(fā)現(xiàn)，經(jīng)過ADNI-Transfer 方法遷移學習后的3DDenseNet264 模型，其分類準確率可達84.37%，召回率可達87.26%，與同實驗其他模型相比，其分類效果最好［6］，因此本文使用該模型來提取sMRI 數(shù)據(jù)的特征。3D-DenseNet264模型共含有121層，其中模型的倒數(shù)第二層為一個全連接層，可輸出一個高維的特征向量，最后一層為softmax分類層，用于對上一層輸出的特征向量進行分類，由于本文使用該模型的目的主要在于提取特征，而不用于分類，且模型全連接層的輸出向量一般包含有最豐富的圖像特征，因此當被試的sMRI 數(shù)據(jù)被送入3D-DenseNet264 模型進行特征提取后，取其在模型全連接層的輸出向量作為本算法要提取的sMRI 數(shù)據(jù)特征，由于篇幅所限，具體細節(jié)請參考文獻［6］。

1.2 特征融合

在獲取fMRI 與sMRI 的數(shù)據(jù)特征之后，本文使用典型相關分析（Canonical Correlation Analysis,CCA）［18］方法將兩種圖像特征進行融合。CCA 是一種利用一組向量中變量對之間的關系來反映向量整體之間相關性的分析方法。通過CCA 可以得到兩個向量的線性組合，使它們彼此之間的相關性最大，隨后通過串聯(lián)或相加等融合策略，不僅實現(xiàn)了特征融合，也在一定程度上實現(xiàn)了冗余特征的去除，達到特征降維的作用。

其中，定義為fMRI 的特征向量定義為sMRI 的特征向量，的向量維度分別為p、q，定義為第i(1 ≤i≤p)對典型變量。

典型變量間的相關性表達為：

其中，E表示計算期望，σ表示計算標準差。要想找到使兩個特征向量之間關聯(lián)關系最大化的線性組合，就要使ρi值最大化。由于為乘以常數(shù)后，其相關系數(shù)值不變，因此同一個相關系數(shù)值ρi會有多組解，為避免求得多組重復的最優(yōu)解，在最大化ρi值時，需使σA→best=σB→best= 1，故通過推算可表示為如式（4）的線性規(guī)劃問題：

融合特征FCCA中蘊含著兩種模態(tài)數(shù)據(jù)的特征，因此，與單模態(tài)特征相比，對融合特征進行分類，可達到更加準確的分類效果。

1.3 特征分類

融合特征獲取后，本文使用基于徑向基核函數(shù)（Radial Basis Function,RBF）的SVM 對其分類，其中RBF 核參數(shù)C值為103～105，g為10-4～10-1。實驗將所有數(shù)據(jù)按8：1：1劃分為訓練集、驗證集、測試集，采用五折交叉驗證法訓練和測試分類器，并且根據(jù)訓練過程中損失函數(shù)值的變化與測試過程中評估指標值的大小，實時調整參數(shù)，以使分類器的效果達最優(yōu)。

1.4 評價指標

本文所提算法主要依據(jù)被試的MRI 腦影像，將被試識別為抑郁癥患者或健康對照者兩類，規(guī)定抑郁癥患者為正類（Positive），健康對照者為負類（Negative），分類模型對樣本的預測有正確或錯誤之分，一般使用準確率（Accuracy）與召回率（Recall）評估模型的預測性能，準確率反映模型對所有樣本的判定能力，召回率反映被正確判定的抑郁癥患者占抑郁癥患者總數(shù)的比重。其中，被預測為正類的正類樣本數(shù)記為TP（True Positive）、被預測為負類的正類樣本數(shù)記為FN（False Negative）、被預測為正類的負類樣本數(shù)記為FP（False Positive）、被預測為負類的負類樣本數(shù)記為TN（True Negative），則準確率、召回率的定義如下：

1.5 算法流程

基于以上方法的介紹，本文算法的實現(xiàn)流程如下所示：步驟1，對某一被試的fMRI 數(shù)據(jù)構建多尺度功能腦網(wǎng)絡，提取各腦網(wǎng)絡的特征并進行串聯(lián)融合，形成的融合特征，記為；步驟2，將該被試的sMRI數(shù)據(jù)輸入到訓練好的3D-DenseNet264 模型中，提取其在全連接層的輸出，即維度為1 024 的特征向量，記為；步驟3，根據(jù)式（1）和式（2）獲得對應的典型變量表達式；步驟4，根據(jù)式（3）得到間的相關性表達式ρi，根據(jù)式（4）求得使ρi值最大時的線性組合向量；步驟5，將進行串聯(lián)融合，得到最終的融合特征FCCA；步驟6，使用SVM分類器對FCCA分類，獲得模型對被試的輔助診斷結果。

2 實驗與結果分析

2.1 數(shù)據(jù)獲取

本研究共包含174 名被試，其中包括99 名重癥抑郁癥患者和75名年齡、性別、受教育程度匹配的健康對照者。重癥抑郁癥患者是從首都醫(yī)科大學附屬安定醫(yī)院招募的，健康對照組是從報紙廣告上招募的。依據(jù)美國精神障礙診斷與統(tǒng)計學手冊第四版［19］所列標準，所有被試都已經(jīng)過嚴格篩選，且均簽署知情同意書。實驗需采集每一位被試的fMRI 數(shù)據(jù)與sMRI 數(shù)據(jù)，兩種模態(tài)數(shù)據(jù)均由一臺第三代特斯拉磁共振掃描儀（西門子公司，德國埃爾根）掃描所得。

2.2 數(shù)據(jù)預處理

fMRI 數(shù)據(jù)預處理主要步驟為：（1）丟棄前10 個時間點，以獲取被試者對機器有一定適應性時的穩(wěn)定信號；（2）灰質分割；（3）時間層校正和頭動矯正；（4）空間標準化為3 mm 體素的標準空間；（5）平滑；（6）去線性漂移；（7）將0.01～0.08 Hz 帶寬之外的樣本過濾掉，以消除高頻干擾。整個過程基于Matlab 的SPM8 工具包［20］實現(xiàn)。sMRI 數(shù)據(jù)預處理的主要步驟為：（1）去除非腦組織；（2）空間標準化；（3）灰質分割；（4）空間平滑。整個過程基于Matlab的SPM12工具包［21］實現(xiàn)。

2.3 實驗結果

為驗證所提算法的有效性，本實驗設計基于CCA 與雙模態(tài)數(shù)據(jù)融合的抑郁癥分類模型，對其訓練與優(yōu)化，同時使用先前實驗訓練所得的兩種模型作對比實驗，兩種模型分別為：基于fMRI構建多尺度功能腦網(wǎng)絡的抑郁癥分類模型（單獨fMRI分類）［4］與基于sMRI 使用ADNI-Transfer 的3D-DenseNet264 模型（單獨sMRI 分類）［6］，由于兩種模型與本實驗模型使用同組數(shù)據(jù)，且訓練方法一致，因此可進行對比。同時，為明確CCA 方法對雙模態(tài)數(shù)據(jù)融合分類的效果優(yōu)劣，實驗中額外增加一組對比算法，即基于串聯(lián)融合的抑郁癥雙模態(tài)數(shù)據(jù)分類方法，與本文所提算法不同的是，該算法在特征融合環(huán)節(jié)使用串聯(lián)融合法［21］，實驗對兩組模型使用相同的訓練與測試方法，并依據(jù)評估結果進行對比分析。各對比實驗結果如表1所示。

表1 抑郁癥分類的對比實驗結果（%）Tab.1 Comparative experimental results of major depressive disorder classification(%)

從表1可以看出，使用CCA 實現(xiàn)雙模態(tài)數(shù)據(jù)融合的方法，其準確率比單獨fMRI 數(shù)據(jù)分類高出0.89%，比單獨sMRI 數(shù)據(jù)分類高出5.19%，說明雙模態(tài)數(shù)據(jù)融合分類思想可提升抑郁癥分類效果，具有一定可行性。然而并不是所有的雙模態(tài)融合分類方法均具有實現(xiàn)意義，例如本實驗基于串聯(lián)融合的方法，其分類效果雖高于單獨使用sMRI 數(shù)據(jù)進行分類的結果，卻比單獨使用fMRI 數(shù)據(jù)分類結果低2.33%，這說明將深度學習網(wǎng)絡提取的特征與功能腦網(wǎng)絡的特征進行簡單拼接，并不能達到預期效果。另外，在雙模態(tài)數(shù)據(jù)融合分類的方法中，基于CCA 方法與基于串聯(lián)融合的方法相比，其準確率提升3.22%，召回率提升2.86%，說明使用CCA 融合特征對抑郁癥的分類更有效。而且本文所提算法的準確率達89.56%，召回率達95.48%，與本實驗其他算法相比，效果最好，表明使用CCA 實現(xiàn)雙模態(tài)數(shù)據(jù)融合的方法，在抑郁癥的分類中具有一定優(yōu)越性。

3 結論

為了提高抑郁癥的分類精度，充分利用MRI 數(shù)據(jù)的多模態(tài)信息，本文提出基于CCA 方法與雙模態(tài)數(shù)據(jù)融合的抑郁癥分類算法，分別提取fMRI與sMRI數(shù)據(jù)的特征，使用CCA 方法融合兩種特征，并使用SVM 分類器對融合特征進行分類。實驗對所提算法的模型進行訓練與測試，并設計一系列對比實驗，結果表明，本文提出算法的分類準確率達89.56%，召回率達95.48%，均優(yōu)于使用單模態(tài)數(shù)據(jù)分類的結果，說明基于雙模態(tài)數(shù)據(jù)融合的抑郁癥分類方法具有一定的有效性，同時實驗結果顯示，與使用串聯(lián)融合的方法相比，使用CCA 融合雙模態(tài)數(shù)據(jù)特征的方法，可達到更高的識別精度，有效提升分類效果，具有重要的研究價值。