基于腦網(wǎng)絡(luò)的圖卷積神經(jīng)網(wǎng)絡(luò)在腦疾病中的研究進(jìn)展

張 格，林 嵐，吳水才

（北京工業(yè)大學(xué)環(huán)境與生命學(xué)部生物醫(yī)學(xué)工程系智能化生理測(cè)量與臨床轉(zhuǎn)化北京市國際科研合作基地，北京100124）

0 引言

人體大腦中的大量神經(jīng)元、神經(jīng)元集群和腦區(qū)在時(shí)空尺度上相互連接并傳遞信息構(gòu)成了復(fù)雜的腦網(wǎng)絡(luò)系統(tǒng)[1-2]。研究者充分意識(shí)到基于圖論復(fù)雜網(wǎng)絡(luò)分析的重要性，提出了腦連接組的概念[3]。腦連接組研究將大腦視為縱橫交叉、相互連接的復(fù)雜統(tǒng)一體，研究者致力于從宏觀到微觀角度，全面且細(xì)致地研究人體大腦網(wǎng)絡(luò)的連接規(guī)律、信號(hào)交換與腦區(qū)間的影響等。已往研究顯示，阿爾茨海默?。ˋlzheimer’s disease，AD）、精神分裂癥、抑郁癥等多種疾病與腦網(wǎng)絡(luò)的異常連接密切相關(guān)[4-8]。隨著神經(jīng)影像技術(shù)和基于圖論復(fù)雜網(wǎng)絡(luò)分析工具的快速發(fā)展，以結(jié)構(gòu)性磁共振成像（structural magnetic resonance imaging，sMRI）、彌散張量成像（diffusion tensor imaging，DTI）生成的腦結(jié)構(gòu)連接網(wǎng)絡(luò)和基于功能性磁共振成像（functional magnetic resonance imaging，fMRI）、腦電圖（electroencephalogram，EEG）、腦磁圖（magnetoencephalography，MEG）生成的腦功能連接網(wǎng)絡(luò)[9-10]為深入窺探大腦認(rèn)知活動(dòng)的基本規(guī)律和各種疾病的發(fā)病機(jī)理提供了全新視角[11-12]。

從圖論的角度，腦網(wǎng)絡(luò)在形式上可以表示為連接一組節(jié)點(diǎn)和一組邊的集合。網(wǎng)絡(luò)節(jié)點(diǎn)具有不同層次規(guī)模，對(duì)于DTI和f MRI一般基于預(yù)定義的解剖和功能模板定義，而EEG和MEG一般以電極帽內(nèi)電極作為節(jié)點(diǎn)。節(jié)點(diǎn)間的相互關(guān)系可以看作是復(fù)雜網(wǎng)絡(luò)的邊，因此存在不同性質(zhì)、不同類型的腦網(wǎng)絡(luò)，如由DTI生成的腦結(jié)構(gòu)連接網(wǎng)絡(luò)一般基于確定性或概率性纖維追蹤腦區(qū)間白質(zhì)纖維連接數(shù)量來構(gòu)建。由sMRI生成的腦結(jié)構(gòu)連接網(wǎng)絡(luò)一般基于各個(gè)腦區(qū)的形態(tài)學(xué)特征（皮層厚度、曲率、表面積等）關(guān)系進(jìn)行構(gòu)建。而fMRI、EGG、MEG等生成的腦功能連接網(wǎng)絡(luò)一般基于網(wǎng)絡(luò)不同節(jié)點(diǎn)的時(shí)空相關(guān)性構(gòu)建，網(wǎng)絡(luò)形式也可以被進(jìn)一步分為二值網(wǎng)絡(luò)或加權(quán)網(wǎng)絡(luò)。腦結(jié)構(gòu)和功能連接網(wǎng)絡(luò)的基本構(gòu)建流程如圖1所示。

圖1 腦結(jié)構(gòu)和功能連接網(wǎng)絡(luò)構(gòu)建流程圖

近年來，隨著醫(yī)學(xué)工程技術(shù)和計(jì)算機(jī)技術(shù)的快速發(fā)展，神經(jīng)影像領(lǐng)域迎來了大數(shù)據(jù)時(shí)代。機(jī)器學(xué)習(xí)、深度學(xué)習(xí)等技術(shù)與腦網(wǎng)絡(luò)分析相結(jié)合，突破了傳統(tǒng)神經(jīng)影像分析方法的局限性，從連接性差異角度為腦科學(xué)研究創(chuàng)立了新的應(yīng)用模式。Cui等[13]基于AD患者（N=21）、輕度認(rèn)知障礙（mild cognitive impairment，MCI）患者（N=25）和健康認(rèn)知（healthy cognitive，HC）受試者（N=22）的fMRI數(shù)據(jù)構(gòu)建最小生成樹腦功能連接網(wǎng)絡(luò)。根據(jù)最具判別力的子網(wǎng)絡(luò)重建腦網(wǎng)絡(luò)，并從重建的腦網(wǎng)絡(luò)中提取網(wǎng)絡(luò)拓?fù)涮卣?，利用支持向量機(jī)（support vector machines，SVM）分類器對(duì)3組患者進(jìn)行分類，模型具有較高準(zhǔn)確率。Kong等[14]基于78例孤獨(dú)癥譜系障礙（autism spectrum disorder，ASD）患者的T1WI sMRI構(gòu)建基于皮層特性的個(gè)體腦結(jié)構(gòu)連接網(wǎng)絡(luò)并提取網(wǎng)絡(luò)關(guān)鍵特征，采用深度神經(jīng)網(wǎng)絡(luò)（deep neural network，DNN）對(duì)ASD和HC進(jìn)行分類，分類準(zhǔn)確率達(dá)90.4%。Lotfan等[15]基于23例健康男性在不同壓力狀態(tài)下采集的EEG數(shù)據(jù)分別構(gòu)建個(gè)體腦功能連接網(wǎng)絡(luò)，利用距離補(bǔ)償評(píng)估技術(shù)選擇腦功能連接網(wǎng)絡(luò)中的最佳敏感特征，通過SVM模型對(duì)數(shù)據(jù)集進(jìn)行半監(jiān)督訓(xùn)練學(xué)習(xí)，狀態(tài)判別準(zhǔn)確率達(dá)93.6%。Lin等[16]基于112例健康老年人的DTI數(shù)據(jù)構(gòu)建個(gè)體腦結(jié)構(gòu)連接網(wǎng)絡(luò)，采用主成分分析法（principal component analysis，PCA）對(duì)腦網(wǎng)絡(luò)的全局與局部屬性進(jìn)行降維，利用神經(jīng)網(wǎng)絡(luò)對(duì)健康老年人腦年齡進(jìn)行預(yù)測(cè)，預(yù)測(cè)腦年齡的平均絕對(duì)誤差僅為4.29 a。

深度學(xué)習(xí)模型具有較強(qiáng)的復(fù)雜特征提取和表達(dá)能力[17-19]，其中卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural networks，CNN）算法以其局部連接、權(quán)值共享的優(yōu)點(diǎn)被廣泛應(yīng)用于計(jì)算機(jī)視覺、自然語言處理等領(lǐng)域。但CNN算法只能處理歐氏空間中的數(shù)據(jù)，例如一維文本數(shù)據(jù)、規(guī)則的二維和三維數(shù)據(jù)，無法處理各個(gè)腦區(qū)鄰域非規(guī)則、非歐空間數(shù)據(jù)的腦網(wǎng)絡(luò)。圖卷積神經(jīng)網(wǎng)絡(luò)（graph convolutional neural networks，GCN）算法是圖論復(fù)雜網(wǎng)絡(luò)分析工具與CNN算法相結(jié)合的綜合體，可處理腦網(wǎng)絡(luò)中的不規(guī)則空間數(shù)據(jù)，并保留了CNN算法局部連接、權(quán)值共享等優(yōu)勢(shì)，為理解腦疾病發(fā)病機(jī)理、診斷和預(yù)測(cè)提供了新的機(jī)制。本文首先介紹腦結(jié)構(gòu)和功能連接網(wǎng)絡(luò)的構(gòu)建及深度學(xué)習(xí)在該領(lǐng)域的部分應(yīng)用，然后根據(jù)特征提取方法差異分別介紹頻域和空間域GCN的基本思想和模型，并列舉目前GCN在腦疾病研究中的應(yīng)用，最后分析多模態(tài)、多網(wǎng)絡(luò)構(gòu)建方法以及影像和非影像特征對(duì)該領(lǐng)域研究的影響，提出今后潛在的研究方向。

1 GCN算法

GCN算法可看作是CNN算法在非歐幾里得域運(yùn)算的推廣，其從解決非歐空間節(jié)點(diǎn)分布不規(guī)則和節(jié)點(diǎn)鄰居數(shù)量隨機(jī)的問題出發(fā)，從不規(guī)則拓?fù)鋱D中提取圖中隱含特征。GCN算法關(guān)注的對(duì)象是由節(jié)點(diǎn)和含有節(jié)點(diǎn)間關(guān)系的邊組成的拓?fù)鋱D，完成特征提取后，使用這些特征完成對(duì)圖數(shù)據(jù)的節(jié)點(diǎn)分類、圖分類和邊預(yù)測(cè)等任務(wù)[20]。根據(jù)特征提取方法的不同，GCN可分為頻域法和空間域法。

1.1 頻域法

基于頻域的GCN算法，其基本思想是利用信號(hào)處理理論將空間中的卷積運(yùn)算映射為頻域中的乘積運(yùn)算。具體分為2步：（1）在不規(guī)則圖上進(jìn)行傅里葉變換，將空間域信號(hào)映射到頻域。（2）在頻域圖上進(jìn)行乘法運(yùn)算。傅里葉變換是時(shí)域信號(hào)與拉普拉斯算子特征函數(shù)在時(shí)間上的積分，確定不規(guī)則圖上的拉普拉斯算子就可以進(jìn)一步定義圖上的傅里葉變換形式。不規(guī)則圖的拉普拉斯矩陣L由節(jié)點(diǎn)的度矩陣D和鄰接矩陣A定義，即L=D-A，其對(duì)稱歸一化形式為L=I N-D-1/2AD-1/2=UΛUT（I N為單位矩陣；U為拉普拉斯矩陣L的特征向量；Λ為拉普拉斯矩陣的特征值構(gòu)成的對(duì)角陣）。特征向量U對(duì)應(yīng)頻域中拉普拉斯算子的一組正交基，借助不規(guī)則圖拉普拉斯矩陣的特征向量，可得時(shí)域信號(hào)f及濾波器g在圖上的矩陣傅里葉變換形式：

圖的頻域信號(hào)卷積運(yùn)算可表示為：

式中，h為該層激活函數(shù)；p和q分別是該層的輸入、輸出特征維數(shù)為圖中節(jié)點(diǎn)在第n層的第i個(gè)輸入特征，其中R為所有輸入特征的集合。公式（4）涉及矩陣L的特征分解，在大圖中特征分解的計(jì)算復(fù)雜度呈指數(shù)增長且未實(shí)現(xiàn)卷積的局部連接特性。針對(duì)計(jì)算復(fù)雜度和局部連接問題，Defferrard等[21]提出第二代GCN，即切比雪夫圖卷積神經(jīng)網(wǎng)絡(luò)（Chebyshev GCN，ChebNet-GCN），用切比雪夫多項(xiàng)式近似擬合濾波器gθ。ChebNet-GCN不再依賴于整個(gè)圖，而是依賴于距離中心節(jié)點(diǎn)K步之內(nèi)的節(jié)點(diǎn)（即K階鄰居），中間計(jì)算過程不涉及矩陣的特征分解，降低了計(jì)算復(fù)雜度，第n層的結(jié)構(gòu)定義如下：

式中，θk為切比雪夫多項(xiàng)式參數(shù)為切比雪夫多項(xiàng)式。公式（6）為切比雪夫多項(xiàng)式的遞歸定義，ChebNet-GCN的誕生開啟了GCN在大型圖領(lǐng)域的分析與應(yīng)用。隨后Kipf等[22]在ChebNet-GCN的基礎(chǔ)上進(jìn)一步簡化模型，使中心節(jié)點(diǎn)僅可學(xué)習(xí)到一階鄰居信息并固定拉普拉斯矩陣的最大特征值，令λmax=2，為了進(jìn)一步防止過擬合令切比雪夫多項(xiàng)式系數(shù)滿足θ=θ0=θ1，由此可得到一階ChebNet-GCN，即GCN。公式（7）為第m層結(jié)構(gòu)定義：

1.2 空間域法

基于空間域的GCN提取特征方式可類比CNN在二維圖像上的卷積。GCN直接在圖上定義卷積運(yùn)算，通過聚合鄰居節(jié)點(diǎn)的信息進(jìn)一步更新中心節(jié)點(diǎn)的狀態(tài)?？臻g域GCN的卷積運(yùn)算主要涉及2個(gè)方面的問題：（1）根據(jù)各個(gè)節(jié)點(diǎn)不同數(shù)目的鄰居定義卷積核大小。（2）處理節(jié)點(diǎn)不同數(shù)目的鄰居特征。圖歸納網(wǎng)絡(luò)（sample and aggregate graph，GraphSAGE）[23]引入聚合函數(shù)定義了卷積運(yùn)算，該模型首先對(duì)中心節(jié)點(diǎn)的一階鄰居進(jìn)行隨機(jī)采樣，然后通過聚合采樣的鄰居節(jié)點(diǎn)信息再更新節(jié)點(diǎn)自身狀態(tài)。類似GraphSAGE固定中心節(jié)點(diǎn)鄰居數(shù)量的還有可學(xué)習(xí)式圖卷積神經(jīng)網(wǎng)絡(luò)（learnable GCN，LGCN）[24]、劃分式圖卷積神經(jīng)網(wǎng)絡(luò)（partition graph convolutional-deep graph CNN，PGC-DGCNN）[25]等。中心節(jié)點(diǎn)將多個(gè)鄰居的信息都聚合到自身會(huì)造成信息冗余，圖注意力網(wǎng)絡(luò)（graph attention network，GAT）[26]以及門控注意力網(wǎng)絡(luò)（gated attention network，GaAN）[27]引入注意力機(jī)制來評(píng)價(jià)不同鄰居節(jié)點(diǎn)對(duì)中心節(jié)點(diǎn)的貢獻(xiàn)，進(jìn)一步篩選出對(duì)中心節(jié)點(diǎn)更重要的信息來更新圖的狀態(tài)。

1.3 頻域及空間域GCN的比較

雖然頻域和空間域GCN是從不同域提取不規(guī)則圖的拓?fù)涮卣鳎S著頻域GCN的不斷發(fā)展，二者已經(jīng)成為“包含”關(guān)系，頻域GCN是一種特殊的空間域GCN。從卷積核的設(shè)計(jì)角度出發(fā)，頻域中的3個(gè)GCN都可看作是在頻域中利用了圖的特征向量及其變體作為聚合函數(shù)進(jìn)而聚合圖中其他節(jié)點(diǎn)信息并進(jìn)一步更新自身中心節(jié)點(diǎn)的狀態(tài)，因此頻域GCN是一種顯示了譜變換空間的特殊空間域GCN。例如，一階ChebNet-GCN先變換一階鄰居節(jié)點(diǎn)特征再進(jìn)行特征聚合，這充分體現(xiàn)了空間域GCN的“信息聚合”思想，其雖然是頻域GCN發(fā)展過程中的產(chǎn)物，但同時(shí)也是空間域GCN發(fā)展的開端。

1.4 GCN變體模型

GCN算法能較好地對(duì)復(fù)雜網(wǎng)絡(luò)特征進(jìn)行提取和表達(dá)，在社交、交通、化學(xué)等多個(gè)領(lǐng)域應(yīng)用，進(jìn)一步演化出眾多變體模型并各有其特點(diǎn)。在頻域中，有研究者根據(jù)傅里葉變換思想提出了圖小波神經(jīng)網(wǎng)絡(luò)[28]，該方法利用小波變換實(shí)現(xiàn)信號(hào)從空間域映射到頻域，模體網(wǎng)絡(luò)[29]實(shí)現(xiàn)GCN在有向圖上的應(yīng)用。相比頻域，空間域GCN發(fā)展較為迅速，在鄰域信息的處理機(jī)制方面涌現(xiàn)出GAT[26]、GaAN[27]等模型，在大規(guī)模網(wǎng)絡(luò)應(yīng)用方面涌現(xiàn)出GraphSAGE[23]、對(duì)偶圖卷積神經(jīng)網(wǎng)絡(luò)[30]，此類模型可降低訓(xùn)練的節(jié)點(diǎn)或邊數(shù)量，優(yōu)化GCN在大規(guī)模網(wǎng)絡(luò)的應(yīng)用。另外，GCN在對(duì)節(jié)點(diǎn)及邊緣這種固有特征學(xué)習(xí)外，還可利用子圖拆解或?qū)ε紙D構(gòu)建的方法學(xué)習(xí)額外的網(wǎng)絡(luò)信息，代表模型有關(guān)系圖神經(jīng)網(wǎng)絡(luò)[31]、關(guān)系圖注意力網(wǎng)絡(luò)[32]等，其進(jìn)一步學(xué)習(xí)網(wǎng)絡(luò)的邊屬性及高階網(wǎng)絡(luò)結(jié)構(gòu)等特征。動(dòng)態(tài)腦網(wǎng)絡(luò)以時(shí)間為單位刻畫了腦網(wǎng)絡(luò)隨時(shí)間的實(shí)時(shí)工作機(jī)制變化，為解釋人類大腦高級(jí)認(rèn)知能力研究提供了重要參考價(jià)值，因而受到廣泛關(guān)注。圖卷積遞歸神經(jīng)網(wǎng)絡(luò)[33]等組合式模型既利用GCN對(duì)網(wǎng)絡(luò)的復(fù)雜拓?fù)涮匦赃M(jìn)行提取，同時(shí)利用可捕獲數(shù)據(jù)時(shí)間動(dòng)態(tài)特征的模型達(dá)到充分考慮網(wǎng)絡(luò)圖的空間及時(shí)間依賴的性能。

2 GCN在腦疾病研究中的應(yīng)用

由于具備處理不規(guī)則空間數(shù)據(jù)的優(yōu)勢(shì)，GCN已在交通流、化學(xué)成分結(jié)構(gòu)、生物基因蛋白等數(shù)據(jù)領(lǐng)域得到成功應(yīng)用[34]。將大腦連接性建模為不規(guī)則圖能較好地反映腦連接網(wǎng)絡(luò)的特性，因此隨著GCN研究的不斷深入和推廣，GCN逐漸開始被應(yīng)用于腦疾病的分類與預(yù)測(cè)研究中。其中腦部卷積神經(jīng)網(wǎng)絡(luò)（CNN for brain networks，BrainNetCNN）[35]模型秉承GCN的“信息聚合”思想，包含3種不同尺度的信息聚合濾波器。腦結(jié)構(gòu)連接網(wǎng)絡(luò)由115例早產(chǎn)兒的DTI數(shù)據(jù)構(gòu)建，網(wǎng)絡(luò)大小為90×90。BrainNetCNN模型提取早產(chǎn)兒的腦網(wǎng)絡(luò)特征，并對(duì)早產(chǎn)兒腦健康發(fā)育情況進(jìn)行預(yù)測(cè)。模型預(yù)測(cè)嬰兒的胎齡誤差僅為2周。隨著BrainNetCNN的成功應(yīng)用，研究者開始注意到GCN在不規(guī)則腦網(wǎng)絡(luò)圖中良好的特征提取能力，由此開啟了GCN算法在腦疾病中的研究工作[35]。

2.1 頻域GCN在腦疾病中的應(yīng)用

頻域GCN模型與CNN架構(gòu)較為近似，輸入的網(wǎng)絡(luò)連接圖和節(jié)點(diǎn)特征矩陣經(jīng)圖卷積層提取隱藏的特征、池化層進(jìn)行聚合降維，全連接層和分類函數(shù)輸出分類結(jié)果。由于腦網(wǎng)絡(luò)的相似性度量學(xué)習(xí)可以在保留輸入空間語義距離的同時(shí)，將輸入的網(wǎng)絡(luò)模式映射到目標(biāo)函數(shù)空間，因此在頻域研究中孿生網(wǎng)絡(luò)與頻域GCN被結(jié)合應(yīng)用?；贕CN算法和孿生網(wǎng)絡(luò)構(gòu)建的腦網(wǎng)絡(luò)相似性度量學(xué)習(xí)模型的輸入是一對(duì)腦網(wǎng)絡(luò)，若2例受試者為同一類型則為匹配對(duì)，反之則是非匹配對(duì)，2個(gè)共享權(quán)重的相同頻域GCN網(wǎng)絡(luò)分別提取2個(gè)腦網(wǎng)絡(luò)圖特征，2個(gè)分支提取的特征經(jīng)融合層融合為一維向量，再由距離度量函數(shù)輸出相似性分?jǐn)?shù)，該相似性度量學(xué)習(xí)基本模型如圖2所示。通過學(xué)習(xí)匹配對(duì)和非匹配對(duì)的腦網(wǎng)絡(luò)之間的相似性和差異性，大大擴(kuò)充了模型的訓(xùn)練樣本量，通過該模型得出的相似性度量分?jǐn)?shù)也進(jìn)一步為疾病的分類和預(yù)測(cè)任務(wù)提供了重要參考依據(jù)。Ktena等[36]基于腦網(wǎng)絡(luò)相似性度量學(xué)習(xí)模型進(jìn)行疾病分類探究。數(shù)據(jù)集為自閉癥腦成像數(shù)據(jù)交換（Autism Brain Imaging Data Exchange，ABIDE）數(shù)據(jù)庫中的部分?jǐn)?shù)據(jù)，包含來自20個(gè)采集地點(diǎn)且采集協(xié)議均不同的403例ASD患者及468例HC受試者的rs-fMRI數(shù)據(jù)，采用時(shí)間序列相關(guān)性根據(jù)哈佛牛津模板構(gòu)建大小為110×110的腦功能連接網(wǎng)絡(luò)。2層頻域GCN用于提取腦網(wǎng)絡(luò)圖特征，濾波器的切比雪夫多項(xiàng)式系數(shù)K為3，表明濾波器學(xué)習(xí)距離中心腦區(qū)3步以內(nèi)的鄰域腦區(qū)信息。五折交叉檢驗(yàn)結(jié)果顯示，基于所有數(shù)據(jù)的匹配對(duì)和非匹配對(duì)分類工作特性AUC值為0.58，其中在具有最大樣本量的單個(gè)采集地點(diǎn)AUC值為0.64。在相似性度量分?jǐn)?shù)的基礎(chǔ)上，K近鄰分類器進(jìn)一步對(duì)樣本進(jìn)行分類，基于所有數(shù)據(jù)的分類準(zhǔn)確率為66.0%，在具有最大數(shù)據(jù)量的單個(gè)采集地點(diǎn)分類準(zhǔn)確率為68.0%，較K最鄰近分類算法（K-nearest neighbor，KNN）分類器準(zhǔn)確率有明顯提升。

圖2 腦網(wǎng)絡(luò)相似性度量學(xué)習(xí)模型

在頻域GCN算法中融入隨機(jī)游走策略可獲得腦網(wǎng)絡(luò)高階特征。Ma等[37]基于ABIDE數(shù)據(jù)集（ASD，N=70；HC，N=102）、人腦連接組計(jì)劃（HC，N=100）、艾滋病（acquiredlmmune deficiency syndrome，AIDS）數(shù)據(jù)集（AIDS，N=56；HC，N=21）、雙向情感障礙（bipolar disorder，BP）數(shù)據(jù)集（BP，N=52；HC，N=45）的靜息態(tài)fMRI（rs-fMRI）數(shù)據(jù)分別構(gòu)建個(gè)體腦功能連接網(wǎng)絡(luò)。融入隨機(jī)游走策略同時(shí)從設(shè)定的多個(gè)中心節(jié)點(diǎn)出發(fā)，調(diào)節(jié)滑動(dòng)窗口和游走長度隨機(jī)獲取各個(gè)中心節(jié)點(diǎn)的鄰居并更新腦網(wǎng)絡(luò)。模型卷積層數(shù)為2，K為3。五折交叉檢驗(yàn)結(jié)果顯示，在ASD、HC、AIDS、BP 4個(gè)數(shù)據(jù)集中匹配對(duì)及非匹配對(duì)分類的AUC值分別為0.96±0.02、0.98±0.03、0.77±0.20、0.94±0.07，遠(yuǎn)優(yōu)于經(jīng)PCA和譜嵌入2種方法學(xué)習(xí)到的低維特征作為模型輸入的結(jié)果。根據(jù)模型在ABIDE和BP數(shù)據(jù)集學(xué)習(xí)的相似性分?jǐn)?shù)，采用K近鄰分類器對(duì)2個(gè)數(shù)據(jù)集的樣本進(jìn)行分類，分類準(zhǔn)確率分別為66.0%和67.0%。該模型將捕捉到的高階鄰近性和全局結(jié)構(gòu)融入圖形表示以獲得更復(fù)雜的腦網(wǎng)絡(luò)拓?fù)湫畔?，在小?shù)據(jù)量的ABIDE數(shù)據(jù)中也可獲得不錯(cuò)的分類結(jié)果。

不同腦網(wǎng)絡(luò)追蹤方法構(gòu)建的腦網(wǎng)絡(luò)存在互補(bǔ)性，融合后可進(jìn)一步提升模型的性能。Zhang等[38]基于帕金森患者（N=596）和HC受試者（N=158）的DTI數(shù)據(jù)構(gòu)建大小為84×84的個(gè)體腦結(jié)構(gòu)連接網(wǎng)絡(luò)模型。該研究使用6種不同腦纖維束追蹤算法得到同一受試者的6種不同腦結(jié)構(gòu)連接網(wǎng)絡(luò)，經(jīng)頻域GCN處理后可融合為一個(gè)特征矩陣，再與另一受試者的融合特征矩陣進(jìn)行相似性度量后，經(jīng)Softmax函數(shù)獲得腦網(wǎng)絡(luò)關(guān)系的預(yù)測(cè)結(jié)果，架構(gòu)如圖3所示。五折交叉檢驗(yàn)結(jié)果顯示，在匹配對(duì)和非匹配對(duì)分類中，GCN算法與元素最大池化算法結(jié)合構(gòu)建的模型AUC值達(dá)0.954±0.059，優(yōu)于PCA和全連接網(wǎng)絡(luò)。根據(jù)匹配對(duì)和非匹配對(duì)分類分?jǐn)?shù)，進(jìn)一步使用K均值算法對(duì)數(shù)據(jù)進(jìn)行聚類分析，聚類標(biāo)準(zhǔn)化互信息達(dá)1.00。Zhang等[39]基于同樣影像數(shù)據(jù)構(gòu)建了大小為84×84的個(gè)體腦結(jié)構(gòu)連接網(wǎng)絡(luò)。為研究非影像的臨床縱向信息對(duì)疾病分類的影響，建立了用于腦網(wǎng)絡(luò)度量學(xué)習(xí)的記憶GCN模型。該模型共有3個(gè)分支，其中2個(gè)分支都使用3個(gè)卷積層提取腦網(wǎng)絡(luò)特征，另一分支利用記憶機(jī)制從受試者的電子健康記錄序列中提取對(duì)診斷有用的縱向信息并融入另外2個(gè)提取特征的分支中。利用雙線性匹配函數(shù)設(shè)計(jì)融合層，將電子健康記錄序列與頻域GCN獲取的神經(jīng)影像信息融合得到患者較全面的特征信息。模型增加多跳策略不斷迭代更新電子健康記錄信息，保證將患者全局電子信息充分納入分析中。該模型的匹配對(duì)與非匹配對(duì)分類準(zhǔn)確率可達(dá)96.0%，AUC值為0.968±0.063，與傳統(tǒng)機(jī)器學(xué)習(xí)方法相比較優(yōu)，與Zhang等[38]研究結(jié)果基本一致。

圖3 基于頻域GCN的多視圖卷積神經(jīng)網(wǎng)絡(luò)分類架構(gòu)[38]

2.2 空間域GCN在腦疾病中的應(yīng)用

空間域GCN關(guān)注各個(gè)腦感興趣區(qū)間的相互連接，聚合鄰近節(jié)點(diǎn)或邊上攜帶的信息并更新中心節(jié)點(diǎn)或邊的狀態(tài)。BrainNetCNN[35]模型是空間域GCN在腦連接網(wǎng)絡(luò)分析中的代表，通過構(gòu)建3種不同尺度的濾波器聚合不同類型的鄰域信息，空間域GCN在腦疾病應(yīng)用中多以該模型提出的濾波器提取不規(guī)則腦網(wǎng)絡(luò)特征為主。模型中濾波器的類型有以下3種：（1）邊到邊濾波器，將鄰居邊的權(quán)重信息聚合到中心邊并更新中心邊的狀態(tài)。（2）邊到節(jié)點(diǎn)濾波器，將連接到節(jié)點(diǎn)的每條邊的傳入和傳出權(quán)重進(jìn)行加權(quán)組合計(jì)算節(jié)點(diǎn)的單個(gè)輸出值。（3）節(jié)點(diǎn)到圖濾波器，獲得所有節(jié)點(diǎn)的單個(gè)響應(yīng)值。

基于相同的不規(guī)則圖數(shù)據(jù)特征提取任務(wù)，較簡單的空間域GCN模型與傳統(tǒng)機(jī)器學(xué)習(xí)方法相比顯示出較大優(yōu)勢(shì)。Song等[40]基于HC、早期MCI、晚期MCI、AD 4類受試者（各12例）的DTI數(shù)據(jù)，采用自適應(yīng)合成采樣技術(shù)擴(kuò)充至每個(gè)類型132例，使用預(yù)定義模板構(gòu)建大小為112×112的個(gè)體腦結(jié)構(gòu)連接網(wǎng)絡(luò)。模型共含有9個(gè)卷積層，采用BrainNetCNN中的3種不同卷積濾波器提取腦網(wǎng)絡(luò)連接特征，2個(gè)全連接層分別輸出32、10個(gè)節(jié)點(diǎn)，平均分類準(zhǔn)確率達(dá)89.0%，顯著優(yōu)于網(wǎng)絡(luò)節(jié)點(diǎn)度和聚類系數(shù)作為輸入的SVM模型。

基于相同腦連接網(wǎng)絡(luò)，通過設(shè)計(jì)不同卷積核可提取不同類型圖特征而進(jìn)一步提高模型性能。Meszlényi等[41]根據(jù)25例MCI患者和24例HC受試者的rs-fMRI數(shù)據(jù)構(gòu)建大小為499×499的個(gè)體腦功能連接網(wǎng)絡(luò)，使用反映功能連接強(qiáng)度的動(dòng)態(tài)時(shí)間扭曲距離和連接穩(wěn)定性的扭曲路徑長度2個(gè)指標(biāo)作為互補(bǔ)信息共同描述節(jié)點(diǎn)間的連接性。模型的行（濾波器大小為1×499）、列（濾波器大小為499×1）卷積層分別考慮鄰居節(jié)點(diǎn)對(duì)中心節(jié)點(diǎn)的傳入和傳出權(quán)重信息。2個(gè)卷積層分別含64、128個(gè)濾波器，第二個(gè)卷積層輸出的128維特征向量作為全連接層的輸入，經(jīng)Softmax函數(shù)輸出分類標(biāo)簽，該模型分類準(zhǔn)確率達(dá)71.9%，優(yōu)于SVM模型和DNN算法。Phang等[42]基于45例精神分裂癥患者和39例HC受試者的EEG數(shù)據(jù)中16個(gè)通道記錄的信息構(gòu)建大小為16×16的個(gè)體腦功能連接網(wǎng)絡(luò)。模型共有3個(gè)分支，其中2個(gè)分支分別使用二維卷積層提取頻域部分定向相干系數(shù)、時(shí)域向量自回歸模型系數(shù)，另一分支使用一維卷積層對(duì)網(wǎng)絡(luò)復(fù)雜拓?fù)涮卣鬟M(jìn)行提取，模型架構(gòu)如圖4所示。獲取的特征通過全連接層和Softmax函數(shù)輸出預(yù)測(cè)概率，并在決策級(jí)進(jìn)行融合后經(jīng)多數(shù)投票法輸出良性或惡性標(biāo)簽，五折交叉檢驗(yàn)顯示模型分類準(zhǔn)確率為93.1%，顯著優(yōu)于SVM模型。

圖4 基于3層空間域GCN的精神分裂癥分類架構(gòu)[42]

基于多個(gè)影像模態(tài)數(shù)據(jù)構(gòu)建的融合性腦連接網(wǎng)絡(luò)與單模態(tài)相比具有較多敏感特征，可作為互補(bǔ)信息提高模型性能。Yang等[43]基于BP患者（N=59）、HC受試者（N=47）的fMRI和sMRI數(shù)據(jù)構(gòu)建大小為129×129含有多模態(tài)特征信息的個(gè)體腦連接網(wǎng)絡(luò)，其中該網(wǎng)絡(luò)底圖用fMRI數(shù)據(jù)構(gòu)建，以sMRI數(shù)據(jù)的7個(gè)結(jié)構(gòu)特征（頂點(diǎn)數(shù)、表面積、灰質(zhì)體積、平均厚度等）和fMRI數(shù)據(jù)的4個(gè)功能特征（節(jié)點(diǎn)連通向量到其他節(jié)點(diǎn)的平均值、標(biāo)準(zhǔn)差、峰度、偏度）作為感興趣區(qū)域節(jié)點(diǎn)特征。模型的3個(gè)卷積層加入圖注意力算法進(jìn)一步增強(qiáng)聚合節(jié)點(diǎn)的鄰域信息能力，該算法通過自注意力機(jī)制聚合中心節(jié)點(diǎn)的一階鄰居節(jié)點(diǎn)并計(jì)算中心節(jié)點(diǎn)與相鄰節(jié)點(diǎn)間的注意權(quán)重，通過潛在的連接性加權(quán)關(guān)注圖上其他所有節(jié)點(diǎn)，對(duì)圖中重要信息進(jìn)行提取。與相同參數(shù)設(shè)置但僅用fMRI數(shù)據(jù)構(gòu)建的模型輸入相比，本模型分類準(zhǔn)確率提高11.3%，相比提取構(gòu)建的網(wǎng)絡(luò)圖特征作為輸入的SVM、隨機(jī)森林等傳統(tǒng)機(jī)器學(xué)習(xí)分類器最多提高20%，充分肯定了多模態(tài)影像信息結(jié)合空間域GCN的優(yōu)勢(shì)。

3 研究中存在的問題

3.1 影像模態(tài)與網(wǎng)絡(luò)構(gòu)建差異對(duì)GCN研究的影響

大量研究證實(shí)了多種腦疾病與腦區(qū)間的異常連接相關(guān)聯(lián)，因此腦網(wǎng)絡(luò)分析為探索疾病的發(fā)病機(jī)理提供了新的研究思路，但是現(xiàn)階段由不同影像模態(tài)、不同腦網(wǎng)絡(luò)構(gòu)建方式得到的腦連接網(wǎng)絡(luò)存在較大差異性。首先，各種模態(tài)的影像數(shù)據(jù)從不同時(shí)空角度描述大腦內(nèi)部信息處理機(jī)制，例如基于sMRI的腦結(jié)構(gòu)連接網(wǎng)絡(luò)是灰質(zhì)形態(tài)學(xué)特征的相似性度量[44]，而基于DTI的腦結(jié)構(gòu)連接網(wǎng)絡(luò)則反映了白質(zhì)纖維束的連接[45]，因此同一類疾病患者根據(jù)影像模態(tài)的不同可建立具有較大差異性的腦連接網(wǎng)絡(luò)。其次，腦網(wǎng)絡(luò)的構(gòu)建方案至今還未有“金標(biāo)準(zhǔn)”，相同影像模態(tài)數(shù)據(jù)也因構(gòu)建方案不同產(chǎn)生差異性不小的腦網(wǎng)絡(luò)：（1）不同腦模板將大腦分割成許多不同的解剖區(qū)域，其決定了腦網(wǎng)絡(luò)研究的分辨力尺度不同，基本的網(wǎng)絡(luò)屬性會(huì)存在明顯的差異[46]。（2）不同的邊定義會(huì)得到不同特性的腦網(wǎng)絡(luò)。例如Zhang等[38]在研究中使用6種不同腦纖維束追蹤算法來定義連接邊、Meszlényi等[41]使用反映功能連接強(qiáng)度及穩(wěn)定性的指標(biāo)定義邊。而現(xiàn)有GCN模型對(duì)大腦網(wǎng)絡(luò)的特征進(jìn)行提取時(shí)，并不存在任何校正或歸一化方法消除不同構(gòu)建方法帶來的影響。另外，腦網(wǎng)絡(luò)作為一個(gè)高度集成的復(fù)雜系統(tǒng)，單一的度量方法并不能充分挖掘腦網(wǎng)絡(luò)的特征信息，因此在使用GCN進(jìn)行腦網(wǎng)絡(luò)分析中，需要對(duì)影像模態(tài)、網(wǎng)絡(luò)構(gòu)建方案給予更多的關(guān)注。

3.2 影像和非影像特征對(duì)GCN研究的影響

GCN與CNN的作用一樣，是一個(gè)特征提取器，只不過其對(duì)象是圖數(shù)據(jù)。GCN精妙地設(shè)計(jì)了一種從圖數(shù)據(jù)中提取特征的方法，從而可以使用這些特征對(duì)腦網(wǎng)絡(luò)的圖數(shù)據(jù)進(jìn)行分類。由于GCN在腦科學(xué)研究中的發(fā)展還處于萌芽階段，研究者在網(wǎng)絡(luò)中輸入的影像特征一般為網(wǎng)絡(luò)特征，敏感度一般，這一定程度限制了GCN的特征表達(dá)能力。輸入影像特征的優(yōu)化對(duì)于提升GCN的分類預(yù)測(cè)性能有著重要作用[47]。

另外，性別、年齡及采集站點(diǎn)等非影像特征也與疾病存在不可忽略的聯(lián)系，若同時(shí)將受試者的影像、非影像特征輸入模型可最大限度地獲得受試者特征表達(dá)。在群體圖中，每個(gè)受試者都作為一個(gè)單獨(dú)的節(jié)點(diǎn)構(gòu)建網(wǎng)絡(luò)，節(jié)點(diǎn)特征是受試者的影像學(xué)信息，網(wǎng)絡(luò)中的邊是2個(gè)受試者間影像和非影像特征的相似性，將受試者多類型信息輸入GCN網(wǎng)絡(luò)中實(shí)現(xiàn)疾病的分類預(yù)測(cè)任務(wù)?？紤]到受試群體間的聯(lián)系與受試者非影像信息的不可忽略性，研究者已經(jīng)開始嘗試從單個(gè)腦連接網(wǎng)絡(luò)擴(kuò)大到群體網(wǎng)絡(luò)規(guī)模的研究[48-49]，更有研究者同時(shí)考慮腦網(wǎng)絡(luò)和群體網(wǎng)絡(luò)實(shí)現(xiàn)網(wǎng)絡(luò)的端到端分類模型[50]。

4 結(jié)語

隨著研究者對(duì)GCN的深入研究，GCN逐步在腦科學(xué)研究中嶄露頭角。雖然GCN在腦網(wǎng)絡(luò)中的研究還處于初步階段，但隨著更多研究者致力于從腦網(wǎng)絡(luò)角度運(yùn)用GCN算法開展研究，該領(lǐng)域會(huì)產(chǎn)生更多值得關(guān)注的研究方向。從腦網(wǎng)絡(luò)發(fā)展角度來看，基于多模態(tài)、多網(wǎng)絡(luò)構(gòu)建方法的特征融合可進(jìn)一步提升模型的分類、預(yù)測(cè)能力。另外，特征在GCN分類、預(yù)測(cè)模型中起著關(guān)鍵作用?；贑NN的腦區(qū)影像特征提取和GCN相結(jié)合可以大大擴(kuò)展GCN的特征表達(dá)能力，而基于非影像特征構(gòu)建群體網(wǎng)絡(luò)也需要給予一定的關(guān)注。GCN在多領(lǐng)域的應(yīng)用研究產(chǎn)生了許多結(jié)構(gòu)更復(fù)雜、設(shè)計(jì)更加巧妙的變體模型，這些在其他領(lǐng)域性能優(yōu)異的GCN模型通過一定程度地修改，在未來也有可能運(yùn)用于腦網(wǎng)絡(luò)的研究中?？偠灾?，該領(lǐng)域仍處在高速發(fā)展階段并存在不少未知的問題，但預(yù)計(jì)未來GCN在腦網(wǎng)絡(luò)研究中會(huì)具有更光明的前景。