面向腦核磁共振識別運動任務的門控循環(huán)單元方法

袁振，侯玉亮，杜宇慧

山西大學計算機與信息技術(shù)學院，太原 030006

0 引 言

在腦科學領(lǐng)域，人們一直致力于理解人類大腦的功能(Yarkoni等，2011；楊志和左西年，2015)。借助計算機認識人類大腦是流行的手段之一，原理是通過大腦的活動信息解碼大腦。近年來，越來越多的研究者使用血氧水平依賴性功能核磁共振成像(functional magnetic resonance imaging，fMRI)技術(shù)探索腦功能(Anzellotti和Coutanche，2018；Hebart和Baker，2018)。fMRI的原理是腦活動區(qū)域局部血液中氧合血紅蛋白與去氧血紅蛋白比例的變化引起局部組織中T2的變化，從而可以在T2加權(quán)圖像上反映腦組織的局部活動功能。該技術(shù)的非侵入性和無輻射的優(yōu)點是其備受青睞的重要原因。

分析處于不同任務狀態(tài)時的大腦fMRI影像數(shù)據(jù)，并探索基于大腦影像數(shù)據(jù)區(qū)分大腦所處的不同任務狀態(tài)有助于研究人員更好地獲知大腦中思想、感覺與行為的奧秘，也有利于進一步推動fMRI成像在精神疾病臨床診斷和治療中的應用(Barch等，2013)。基于利用fMRI技術(shù)獲取的數(shù)據(jù)，已有研究使用腦影像測度進行大腦處于不同任務狀態(tài)時的任務分類。簡而言之，研究者可以通過任務態(tài)fMRI數(shù)據(jù)提取腦影像測度，利用腦影像測度訓練分類模型，使用訓練好的模型即可基于新的任務態(tài)下收集到的fMRI數(shù)據(jù)識別出大腦處于什么樣的任務。關(guān)于任務態(tài)fMRI數(shù)據(jù)，通?？梢岳脙煞N腦影像測度。第1種測度是體素或不同腦區(qū)(腦區(qū)也稱感興趣區(qū))的fMRI時間信號；第2種測度是反映不同腦區(qū)交互關(guān)系的腦功能連接。

在已有的基于任務態(tài)fMRI數(shù)據(jù)進行大腦任務分類的相關(guān)研究中，更多的研究集中于使用fMRI時間信號進行分類。Mensch等人(2017)利用多個站點的fMRI時間信號使用遷移學習對不同的認知狀態(tài)進行分類。盡管各站點的數(shù)據(jù)涵蓋的認知狀態(tài)并不完全相同，但是通過遷移學習可以很好地將fMRI時間信號的特征提取出來，其在部分站點的分類結(jié)果達到了91%左右。Gao等人(2019)運用遷移學習，將基于自然圖像訓練的卷積神經(jīng)網(wǎng)絡(convolutional neural network, CNN)遷移到基于fMRI數(shù)據(jù)的認知狀態(tài)分類，對7種認知狀態(tài)的分類準確率達到75.2%。Thomas等人(2019)利用遷移學習，基于fMRI數(shù)據(jù)在7種認知狀態(tài)的分類準確率最高為81.91%。Zhang等人(2021)針對fMRI時間信號提出運用圖卷積網(wǎng)絡(graph convolutional networks, GCN)進行大腦21種任務的分類。該方法將腦區(qū)作為圖的節(jié)點，將fMRI時間信號作為圖的節(jié)點特征來區(qū)分6個認知狀態(tài)下的21種任務，準確率達到90%。Wang等人(2020)針對fMRI時間信號提出一種3維空間的卷積神經(jīng)網(wǎng)絡(3D-CNN)模型，對7種大腦認知狀態(tài)進行分類，分類準確率達到了93.7%。Qi等人(2021)針對fMRI時間信號提出具有注意力機制的3D-CNN網(wǎng)絡，在分類7種大腦認知狀態(tài)時，分類準確率最高為88.69%。這些研究表明，利用fMRI時間信號探索大腦認知狀態(tài)有很大潛力。

已有的使用腦功能連接測度進行大腦任務分類的工作并不多。Gonzalez-Castillo等人(2015)利用不同時間窗口下的任務態(tài)fMRI數(shù)據(jù)估計的腦功能連接測度對大腦的記憶、數(shù)值計算和視覺注意3種任務狀態(tài)進行分類，結(jié)果表明設(shè)定大于22.5 s的時間窗口進行任務狀態(tài)的分類是可行的，但該方法關(guān)于視覺注意任務的分類在不同時間窗口的分類準確率都小于70%，總體分類準確率小于90%。

雖然以上針對大腦在不同任務的分類研究都取得了不錯的分類效果，但是這些研究都沒有有效利用任務態(tài)fMRI數(shù)據(jù)中的時序信息。本文提出一種基于門控循環(huán)單元(gated recurrent unit，GRU)(Cho等，2014)的模型捕獲任務態(tài)fMRI數(shù)據(jù)中更細粒的時序特征，并直接用該特征區(qū)分不同的運動任務。GRU是循環(huán)神經(jīng)網(wǎng)絡的一個變體，盡管循環(huán)神經(jīng)網(wǎng)絡在時序數(shù)據(jù)的處理和應用上已表現(xiàn)出巨大潛力，但是使用循環(huán)神經(jīng)網(wǎng)絡分析大腦運動功能的工作很少，本文是首次利用GRU模型基于全腦腦區(qū)時間信號進行人腦運動任務的工作。本文方法有效提取并利用了任務態(tài)fMRI數(shù)據(jù)的時序信息，極大提高了不同運動任務分類的準確率。

1 方 法

1.1 數(shù)據(jù)

1.1.1 數(shù)據(jù)來源和描述

本文使用HCP(human connectome projects)數(shù)據(jù)集中100個健康被試者在5種運動任務下的任務態(tài)fMRI數(shù)據(jù)(https://db.humanconnectome.org/data/ projects/HCP_1200)。該數(shù)據(jù)集是在3T Siemens Skyra上使用梯度回波EPI(echo planar imaging)序列采集的，采集參數(shù)為TR= 720 ms，TE= 33.1 ms，翻轉(zhuǎn)角度為52°，視野(field of view，F(xiàn)OV)= 208 mm × 180 mm，72層，2.0 mm各向同性體素。

在數(shù)據(jù)采集時，每個被試者按要求進行5種運動任務，依次為左手、右手、左腳、右腳和舌頭的移動，共進行兩輪。每種運動任務都持續(xù)12 s，前后運動任務之間設(shè)有時間間隔。本文的目的是利用任務態(tài)fMRI數(shù)據(jù)實現(xiàn)不同運動任務的識別(即分類)。fMRI數(shù)據(jù)預處理由美國HCP團隊完成，步驟主要包括頭骨去除、運動校正、切片時間校正、空間標準化、空間平滑和時間信號去趨勢等(Barch等，2013；Glasser等，2013)。

1.1.2 腦影像測度計算

本文從預處理后的任務態(tài)fMRI數(shù)據(jù)中估計了多種腦影像測度(包括全腦腦區(qū)的時間信號和腦功能連接)，這些測度將用于運動任務的分類。

從上可知，100個被試者在5種運動任務進行兩輪后的任務態(tài)fMRI數(shù)據(jù)共1 000條(100個被試者 × 5種運動任務 × 2輪 = 1 000條)。被試者的任務態(tài)fMRI數(shù)據(jù)都通過Glasser 腦模板(Glasser等，2016)分割對應到360個不同的腦區(qū)，每個腦區(qū)的時間信號(time course，TC)用該腦區(qū)內(nèi)所有體素時間信號的平均信號來代表。依照此方式進行分析，每條任務態(tài)fMRI數(shù)據(jù)包含360個腦區(qū)的時間信號，且每條數(shù)據(jù)僅對應一種運動任務。值得注意的是，因為TR=0.72 s，為了使每條任務態(tài)fMRI數(shù)據(jù)完整地囊括該任務的信息(每種運動任務都持續(xù)了12 s)，令每條任務態(tài)fMRI數(shù)據(jù)里的每個腦區(qū)信號為17個時間點(0.72 s×17=12.24 s)。

FCi=gcoor(Xi)

(1)

1.2 基于門控循環(huán)單元的人腦運動任務狀態(tài)分類方法

循環(huán)神經(jīng)網(wǎng)絡(recurrent neural network, RNN)在處理序列數(shù)據(jù)上非常有效(莊連生 等，2019)。為了解決模型訓練過程中的梯度消失難題，長短期記憶網(wǎng)絡(long short-term memory, LSTM)和GRU模型相繼提出并廣泛運用于文本分析(Sutskever等，2014；劉婉婉 等，2018；譚詠梅 等，2018)。GRU和LSTM都是使用門控單元結(jié)構(gòu)控制信息流動。其中，GRU比LSTM模型更為簡潔，參數(shù)更少，但是卻仍然能有效地處理復雜任務。從編碼的角度對GRU模型處理序列數(shù)據(jù)的過程進行分析，簡而言之，GRU模型融合序列數(shù)據(jù)在某個時刻和在此之前的信息得到該時刻的編碼信息，如此迭代，在最后時刻得到可以用來表示整段序列的最終編碼。

由于全腦腦區(qū)的時間信號包含腦區(qū)隨時間波動的信息，因此該測度具有很強的時序性，即某一腦區(qū)任意時刻的信號幅值理論上與該時刻之前的時刻的信號幅值是有關(guān)系的。為了捕獲到這種關(guān)系(即時序特征)，本文基于GRU模型提出了可以提取全腦腦區(qū)時間信號中的時序特征并進行分類運動任務的TC-GRU模型。該模型分兩步，首先利用GRU提取全腦腦區(qū)時間信號中的時序特征；隨后基于該時序特征使用線性分類器進行分類。在某一時刻，將全腦腦區(qū)在該時刻對應的時間信號幅值和過往時刻GRU模型捕獲的時序特征輸入GRU模型，通過GRU模型再融合并編碼當前時刻信號幅值和過往時刻的全腦腦區(qū)時間信號的時序特征，持續(xù)此過程直到最后時刻，通過GRU就提取了全部時刻全腦腦區(qū)時間信號的時序信息，如圖1所示。

圖1 基于全腦腦區(qū)時間信號D1構(gòu)建的TC-GRU模型

以D1中第i條數(shù)據(jù)的Xi為例，GRU提取全腦腦區(qū)時間信號的時序特征的過程可以描述為

(2)

(3)

(4)

(5)

在j=1時，輸入到GRU模型的初始全腦腦區(qū)時間信號的時序特征為隨機化的特征。于是按照式(2)—式(5)描述的過程，本文通過GRU模型得到了j=1時刻的時序特征s1，并將該特征傳遞到下一個時刻的GRU中。此過程一直迭代到最后T時刻(如圖1)。最終，在最后T=17時刻得到的sT提煉了全腦腦區(qū)在整段時間上的時序特征。由此，直接基于該特征進行運動任務分類，即

ypred=fclf(sT),ypred∈R5×1

(6)

式中，fclf是由單層感知器構(gòu)成的線性分類器，輸出的ypred為用獨熱(one-hot)編碼表示的預測結(jié)果。

1.3 與其他方法的比較

為了檢驗本文方法是否能更有效地挖掘fMRI數(shù)據(jù)中的信息以用于運動任務的分類，設(shè)計了不同的實驗進行對比。分別基于全腦腦區(qū)的時間信號測度和腦功能連接測度利用LSTM、GCN和MLP模型對不同運動任務進行分類。其中，對比GRU、GCN和MLP模型是為了證實TC-GRU模型可以捕獲更好的時序信息。對比GRU和LSTM模型是為了比較由不同模型提取的fMRI時序特征。

設(shè)計的對比實驗包括基于全腦腦區(qū)時間信號使用LSTM、基于全腦腦區(qū)時間信號使用GCN和分別基于全腦腦區(qū)的時間信號和腦功能連接使用MLP區(qū)分不同運動任務。此外，探測了進行先驗特征選擇和不進行特征選擇對結(jié)果的影響。

1.3.1 基于全腦腦區(qū)時間信號利用長短期記憶網(wǎng)絡區(qū)分不同的運動任務

在使用全腦腦區(qū)信號D1的對比實驗中，基于LSTM設(shè)計了TC-LSTM模型提取全腦腦區(qū)時間信號的時序特征，以此區(qū)分不同的運動任務。LSTM同樣可以提取并利用全腦腦區(qū)時間信號的時序特征，但是模型參數(shù)比GRU多。設(shè)計該實驗主要為了對比在較小樣本量情況下，GRU和LSTM提取時序特征的適用性。同時進一步比較利用時序信息的模型和忽略時序信息的模型在區(qū)分運動任務上的差異。

圖2 基于全腦腦區(qū)時間信號D1構(gòu)建的TC-LSTM模型

1.3.2 基于全腦腦區(qū)時間信號利用圖卷積網(wǎng)絡區(qū)分不同的運動任務

在使用全腦腦區(qū)信號D1的對比實驗中，基于GCN設(shè)計了TC-GCN模型提取全腦腦區(qū)關(guān)系的特征，以此區(qū)分不同的運動任務。

在TC-GCN模型中，首先基于訓練集數(shù)據(jù)構(gòu)建反映腦區(qū)關(guān)系的圖G，計算過程為將訓練集中每個樣本Xi對應的功能連接矩陣FCi相加后平均，再根據(jù)平均的功能連接使用最鄰近算法(k-nearest neighbors，KNN)對每個腦區(qū)保留與其連接最強(只考慮正值)的N個腦區(qū)的連接得到G′，最后將其對稱化，即G=(G′T+G′)/2。接著，基于得到的腦區(qū)關(guān)系圖G(無向圖)。以D1中第i條數(shù)據(jù)的Xi為例，每個腦區(qū)的特征對應為Xi的行向量，每個腦區(qū)與其他腦區(qū)的連接由圖G表示。對于某個腦區(qū)，TC-GCN根據(jù)圖G融合與該腦區(qū)有連接的所有腦區(qū)的特征，然后更新該融合后的特征。對于更新后的各個腦區(qū)的特征，GCN再對其進行一次融合和更新。最后對更新后的每個腦區(qū)特征求均值，將所有腦區(qū)特征的均值拼接成一行向量，并利用線性層分類，如圖3所示。

圖3 基于全腦腦區(qū)時間信號D1構(gòu)建的TC-GCN模型

1.3.3 基于全腦腦區(qū)時間信號利用多層感知器區(qū)分不同的運動任務

針對全腦腦區(qū)時間信號測度，設(shè)計了兩組端到端的模型進行運動任務分類實驗。由于腦功能連接是由全腦腦區(qū)時間信號計算而來，在計算過程中可能會丟失全腦腦區(qū)時間信號中的一些細節(jié)信息，因此設(shè)計此對比實驗，期望全腦腦區(qū)時間信號可以提供比腦功能連接更多的信息。

在針對全腦腦區(qū)信號D1的對比實驗中，基于多層感知器(multi-layer perceptron,MLP)設(shè)計了TC-MLP模型。當輸入D1中第i條數(shù)據(jù)的Xi時，TC-MLP模型的第1層神經(jīng)網(wǎng)絡提取Xi中每個腦區(qū)的信號特征(一個腦區(qū)的信號為Xi中對應行的行向量)，即并行輸入Xi所有的行向量至TC-MLP的第1層神經(jīng)網(wǎng)絡中；然后平均每個提取出的腦區(qū)信號特征，這樣得到一列360維的向量；緊接著用TC-MLP第2層至最后一層(不包括最后一層)的神經(jīng)網(wǎng)絡對這列向量繼續(xù)進行特征提取，得到Xi最終的特征；最后基于最終的特征用TC-MLP的最后一層進行分類，如圖4所示。

圖4 基于全腦腦區(qū)時間信號D1構(gòu)建的TC-MLP模型

在針對全腦腦區(qū)時間信號D2的對比實驗中，基于MLP構(gòu)造了TC-ANOVA-MLP模型。首先運用方差分析(analysis of variance，ANOVA)在訓練集中選出最容易區(qū)分5種運動任務的K個信號幅值，即ANOVA 給出的所有p值中最小的前K個p值對應的信號幅值；然后基于進行了特征選擇的數(shù)據(jù)利用TC-ANOVA-MLP模型進行5種運動任務分類，如圖5所示。ANOVA進行特征選擇的過程為：對于每個特征，ANOVA分析其在不同類數(shù)據(jù)間(即不同任務數(shù)據(jù)間)的差異(即p值)，若該特征在不同類數(shù)據(jù)間差異較大(即p值較小)則保留，否則舍棄。注意，ANOVA僅運用于訓練集上，保證了特征提取的無偏性。

圖5 基于全腦腦區(qū)時間信號D2構(gòu)建的TC-ANOVA-MLP模型

1.3.4 基于腦功能連接利用多層感知器區(qū)分不同的運動任務

由于腦功能連接矩陣是2維數(shù)據(jù)，而感知器模型要求的輸入是1維向量，因此大多數(shù)研究都是將功能連接的上三角部分串聯(lián)成一行作為輸入特征。然而，這樣會使輸入的樣本特征維度非常高，可能會帶來維度災難、過擬合等問題。

在基于腦功能連接的兩個對比實驗中，針對此問題設(shè)計新的解決方案。在針對腦功能連接數(shù)據(jù)D3的對比實驗中，參考深度學習在圖論領(lǐng)域的處理方法(Wang等，2016)，基于MLP設(shè)計了FC-MLP模型。當輸入D3中第i條數(shù)據(jù)的FCi時，先用FC-MLP的第1層神經(jīng)網(wǎng)絡提取FCi每個腦區(qū)的連接特征(一個腦區(qū)與全部腦區(qū)的連接為FCi對應行的行向量)，即并行輸入FCi所有的行向量至FC-MLP的第1層神經(jīng)網(wǎng)絡中。然后，平均每個提取出來的腦區(qū)連接特征，得到一列360維的向量；接著用FC-MLP第2層至最后一層(不包括最后一層)對這列向量繼續(xù)進行特征提取，得到FCi最終的特征。最后，基于最終的特征用FC-MLP的最后一層進行分類，如圖6所示。

圖6 基于腦功能連接數(shù)據(jù)D3構(gòu)建的FC-MLP模型

在針對腦功能連接數(shù)據(jù)D4的對比實驗中，基于MLP構(gòu)造了FC-ANOVA-MLP模型。首先采用ANOVA在訓練集中選擇出最能區(qū)分5種運動任務的K個連接作為輸入特征，然后基于這些輸入特征利用FC-ANOVA-MLP進行5種運動任務分類，如圖7所示。注意，ANOVA同樣僅運用于訓練集上。

圖7 基于腦功能連接數(shù)據(jù)D4構(gòu)建的FC-ANOVA-MLP模型

1.4 評估方法

采用一致的方式構(gòu)建本文的7個模型，即為了保證實驗結(jié)果穩(wěn)定可靠，都采用100次的交叉驗證方式進行實驗，且使用的數(shù)據(jù)在7個模型中是一致的。在交叉驗證實驗中，為了減少模型的過擬合，同時盡量保證用于構(gòu)建(包括挑選)模型的數(shù)據(jù)和用于驗證的數(shù)據(jù)是獨立同分布的，將數(shù)據(jù)按8 ∶1 ∶1劃分為訓練集、驗證集和測試集。訓練集用于訓練模型；驗證集用于實現(xiàn)模型的選擇，即在驗證集上取得最高分類準確率的模型作為最終的模型；測試集用來模型評估，即測試構(gòu)建好的模型的分類準確率。實驗時各數(shù)據(jù)集合中(訓練集、驗證集和測試集)不同運動任務對應的數(shù)據(jù)條數(shù)是平衡的，以保證不同運動任務的結(jié)果具有可比性。

在對實驗結(jié)果評估時，針對每個模型，評估每次交叉驗證測試的總體分類準確率，即分類正確的數(shù)據(jù)條數(shù)除以總的數(shù)據(jù)條數(shù)。用箱線圖展示100次交叉驗證測試的總體分類準確率，其平均值反映模型的總體準確率，均方差反映模型的穩(wěn)定性。

在實驗中，有些運動任務產(chǎn)生于身體的相似部位，例如左手和右手。為了觀察不同運動任務的分類表現(xiàn)，用箱線圖展示了每個模型在各種運動任務上的分類準確率。此外，用混淆矩陣反映某運動任務分類成各種運動任務的結(jié)果?；煜仃嚨拿恳恍邪藴y試集中某類運動任務的所有數(shù)據(jù)正確分類成該行對應的運動任務的準確率(位于對角線位置)和錯誤分類成其他運動任務的誤分率(位于非對角線位置)。值得注意的是，箱線圖和混淆矩陣都包括了100次交叉驗證的結(jié)果。

1.5 模型參數(shù)的設(shè)定

以上7個模型的參數(shù)設(shè)置如下：

1)TC-GRU模型，層數(shù)為1，且為單向，隱含層神經(jīng)元個數(shù)為32。TC-GRU用來提取全腦腦區(qū)時間信號時序特征的單層感知器神經(jīng)元個數(shù)為5。

2)TC-LSTM模型，與TC-GRU類似。層數(shù)為1，且為單向，隱含層神經(jīng)元個數(shù)為32。TC-LSTM用來提取全腦腦區(qū)時間信號時序特征的單層感知器神經(jīng)元個數(shù)為5。

3)TC-GRU模型，設(shè)定兩層GCN，神經(jīng)元個數(shù)分別為32和64。最后的線性層神經(jīng)元個數(shù)為5，即只有輸出層。設(shè)定用于得到稀疏腦區(qū)關(guān)系圖的KNN中的N=4。

4)TC-MLP模型，設(shè)定3層神經(jīng)網(wǎng)絡，神經(jīng)元個數(shù)分別設(shè)為32,64,5。

5)TC-ANOVA-MLP模型，設(shè)定3層神經(jīng)網(wǎng)絡，神經(jīng)元個數(shù)分別為64，64，5。為了保持與TC-GRU模型以及TC-MLP模型第2層網(wǎng)絡輸入的維度一致，選出K=360個差異最顯著的幅值作為輸入數(shù)據(jù)。

6)FC-MLP模型，與TC-MLP類似，設(shè)定3層神經(jīng)網(wǎng)絡，神經(jīng)元個數(shù)分別為64，64，5。

7)FC-ANOVA-MLP模型，與TC-ANOVA-MLP類似。設(shè)定3層神經(jīng)網(wǎng)絡，神經(jīng)元個數(shù)分別為64，64，5。同樣，ANOVA選出差異最顯著的K=360個連接。

在訓練模型時，線性整流函數(shù)(rectified linear unit, ReLU)激活函數(shù)會使得模型更容易收斂，同時dropout技術(shù)可以有效減緩模型的過擬合問題。因此，在以上實驗中，模型的激活函數(shù)均設(shè)定為ReLU，正則化選用dropout技術(shù)(概率參數(shù)設(shè)為0.5)和L2參數(shù)正則化(權(quán)重設(shè)為0.000 01)。統(tǒng)一將批量尺寸(batch size)設(shè)定為64，訓練迭代次數(shù)(epoch)設(shè)為100次，學習率設(shè)為0.001。實驗中選用了交叉熵損失和Adam優(yōu)化器作為訓練時的損失函數(shù)和優(yōu)化器。

2 結(jié) 果

表1和圖8為7個模型在100次交叉驗證測試中的總體分類準確率。表1中均值和標準差對應100次交叉驗證測試得到的準確率的平均值和標準差。TC-GRU模型的總體分類準確率為94.51%±2.4%，即100次的準確率的平均值為94.51%，準確率的標準差為2.4%。從表1可以看出，TC-GRU模型總體分類準確率的平均值高于對比實驗中的6個模型，均方差都小于對比實驗的6個模型。其次，TC-LSTM模型總體分類準確率的平均值高于對比實驗中的其他5個模型。另外，基于全腦腦區(qū)時間信號測度構(gòu)建的模型得到的總體分類準確率(100次交叉驗證)的平均值都高于87%，而基于腦功能連接測度構(gòu)建的模型得到的分類準確率的(100次交叉驗證)平均值都低于73%。基于全腦腦區(qū)時間信號測度訓練的模型在整體表現(xiàn)上優(yōu)于基于腦功能連接測度訓練的模型，TC-GRU模型具有最高的準確率和最強的穩(wěn)定性。

表1 不同模型在100次交叉驗證實驗的總體表現(xiàn)

圖8 7種模型的總體分類準確率箱線圖

圖9和表2展示了100次交叉驗證實驗中7個模型在每個運動任務上的分類準確率。TC-GRU對右腳、左腳、右手、左手、舌頭的運動任務分類的準確率分別為92.35%±6.61%、92.35%±4.97%、95.75%±4.02%、93.8%±6.05%、98.3%±2.85%。除了左腳運動任務的分類準確率略遜于TC-ANOVA-MLP(93.0%±6.82%)，在其他部位運動任務的分類準確率均為最高。另外，基于全腦腦區(qū)時間信號測度訓練的模型在5種運動任務上的分類準確率都高于84%，而基于腦功能連接測度訓練的模型在5種運動任務上取得的分類準確率都低于79%。基于全腦腦區(qū)時間信號訓練的模型在各種運動任務分類上的表現(xiàn)均優(yōu)于基于腦功能連接測度訓練的模型。TC-GRU 在絕大多數(shù)運動任務上的表現(xiàn)是最好的。

圖9 7種模型對每種運動任務的分類準確率的箱線圖

表2 7種模型在100次交叉驗證測試中針對每種運動任務分類的準確率

圖10展示了7種模型的混淆矩陣結(jié)果，混淆矩陣中每個元素展示了平均值和標準差(括號內(nèi)為標準差)?？梢钥闯?，各模型在運動任務分類過程中受到了運動任務發(fā)生在身體相似或同側(cè)部位時的干擾。TC-GRU模型將右腳運動任務分成左腳和右手運動任務的誤分率分別為4.35%和2.25%；將左腳運動任務分成右腳和左手運動任務的誤分率分別為5.7%和1.2%；將右手運動任務分成左手和右腳運動任務的誤分率分別為2.05%和1.1%；將左手運動任務分成右手和左腳運動任務的誤分率分別為1.7%和2.05%。除了在分類左腳運動任務時受到的干擾略大于TC-ANOVA-MLP模型，其將左腳分成右腳和左手運動任務的誤分率為4.55%和1.25%，TC-GRU在分類其他部位運動任務時受到的干擾都是最小的。即當運動任務發(fā)生在身體相似或同側(cè)部位時，TC-GRU模型在進行分類時受到的干擾較小。

圖10 7種模型的混淆矩陣

3 討 論

基于全腦腦區(qū)時間信號，本文提出的TC-GRU模型可以很好地分類5種運動任務。為了表明TC-GRU模型能夠有效提取并利用fMRI數(shù)據(jù)中的時序信息，設(shè)計了豐富的對比實驗。從實驗結(jié)果可以看出，在使用全腦腦區(qū)時間信號作為特征時，TC-GRU、TC-LSTM、TC-GCN、TC-MLP和TC-ANOVA-MLP模型都可以比較準確地區(qū)分手部、腳部和舌頭的運動任務，總體準確率都大于92%， 其中TC-GRU取得了最高的分類準確率，為94.51%。當運動任務產(chǎn)生在身體的相似或同側(cè)時，會給模型的分類造成一定干擾。對于右腳、左手和右手的運動任務而言，TC-GRU模型在分類時受到的干擾最小。TC-GRU相比其他6個模型在這些運動任務上得到的分類準確率都是最高的。在區(qū)分舌頭運動任務時，TC-GRU模型也取得了最佳的分類準確率。

TC-GRU模型按時間順序依次對每個時刻的全腦腦區(qū)時間信號進行處理，將不同時刻的時序特征進行融合，得到全腦腦區(qū)時間信號的表示，提取出全腦腦區(qū)時間信號更為細粒的時序特征，在識別腳部、手部和舌頭運動任務時變得更為精準。TC-LSTM也使用了全腦腦區(qū)信號的時序特征，表現(xiàn)僅次于TC-GRU模型。而基于全腦腦區(qū)時間信號的TC-GCN、TC-MLP和TC-ANOVA-MLP模型都僅考慮某段時間上的整體信息，即將整段信號認為是在同一時刻發(fā)生的，處理數(shù)據(jù)時是對一個完整時間段的全腦腦區(qū)時間信號一次性處理，忽略了時序信息，因此結(jié)果不夠好?？傊?，在使用樣本量較少的情況下，使用時序特征的TC-GRU模型對人腦運動任務分類時表現(xiàn)最優(yōu)。研究表明，利用GRU模型提取fMRI數(shù)據(jù)中的時序特征在腦疾病研究中也具有優(yōu)越性(Yan等，2022)。

在實驗結(jié)果中，基于全腦腦區(qū)時間信號訓練的模型在整體表現(xiàn)上優(yōu)于基于腦功能連接測度訓練的模型?？赡艿脑蚴枪δ苓B接的計算丟失了全腦腦區(qū)時間信號中的一些細微信息。

為增加模型的可比性，本文選取的模型都由感知器構(gòu)成。TC-GRU模型按時間維度展開是一個MLP模型，其中，單層的感知器用來提取某個時刻全腦腦區(qū)時間信號的時序特征并輸出到下一個感知器。TC-LSTM按時間維度展開也為MLP模型。TC-GCN也用單層感知器更新每個腦區(qū)特征。通過實驗，對比了利用和未利用fMRI數(shù)據(jù)中時序信息間的差異，以及利用全腦腦區(qū)時間信號和腦功能連接測度的差異。

本文中的數(shù)據(jù)都是基于360個腦區(qū)內(nèi)的代表性時間信號得到的，為了提高使用數(shù)據(jù)的可比性，沒有與基于3維fMRI圖像的3D-CNN網(wǎng)絡進行比較。3D-CNN網(wǎng)絡具有更高的時間復雜度，對樣本量的要求也更高。

4 結(jié) 論

本文首次利用GRU模型基于全腦腦區(qū)時間信號區(qū)分不同的人腦運動任務。為了表明GRU確實可以很好地提取和利用fMRI數(shù)據(jù)中的時序信息，全面公平地比較了7種模型在人腦運動任務分類方面的表現(xiàn)。探索了利用和未利用fMRI數(shù)據(jù)中的時序信息對模型進行運動任務分類的影響，比較了利用全腦腦區(qū)時間信號和腦功能連接測度對模型進行運動任務分類的影響，明確展示出了使用時序信息對運動任務分類的正面作用。

本文提出的基于TC-GRU模型的人腦運動任務分類充分利用了全腦腦區(qū)時間信號中更為細粒的時序信息，可以很好地區(qū)分不同的運動任務。相對于對比實驗的方法，TC-GRU模型取得了更高的分類準確率。在腦科學領(lǐng)域，利用fMRI獲取數(shù)據(jù)探索人類大腦的運動任務功能是研究的熱點。對由fMRI估計的全腦腦區(qū)時間信號測度而言，GRU模型能夠提取出全腦腦區(qū)時間信號的時序特征，更有利于任務態(tài)數(shù)據(jù)的分類。

本文方法有些方面仍需要在未來進行完善。首先，由于實驗使用的數(shù)據(jù)集中樣本較少，TC-GRU模型是否能夠在大樣本下仍然具有優(yōu)異的表現(xiàn)值得進一步檢驗。其次，雖然本文方法簡潔、參數(shù)較少，但是深度學習對計算資源需求很大，如何有效利用硬件資源也是一個亟需解決的問題。最后，采用更加先進的超參搜索算法促進分類結(jié)果的提升也是未來的改進方向之一。