面向認(rèn)知表現(xiàn)預(yù)測(cè)的時(shí)?空共變混合深度學(xué)習(xí)模型

李晴 徐雪遠(yuǎn) 鄔霞

認(rèn)知表現(xiàn)預(yù)測(cè)是指對(duì)大腦執(zhí)行認(rèn)知任務(wù)時(shí)學(xué)習(xí)能力、記憶力、注意力等方面能力的預(yù)測(cè),在教育發(fā)展、疾病診療等諸多領(lǐng)域具有重要的應(yīng)用,一直備受研究人員的關(guān)注[1].認(rèn)知神經(jīng)科學(xué)證據(jù)顯示,神經(jīng)影像數(shù)據(jù)所蘊(yùn)含的大腦信息能夠直接反映出大腦認(rèn)知表現(xiàn)的處理過(guò)程[2].因此,利用神經(jīng)影像技術(shù)對(duì)認(rèn)知表現(xiàn)進(jìn)行預(yù)測(cè)已經(jīng)成為了人們關(guān)注的焦點(diǎn)[3?4].其中,同時(shí)具有較好的時(shí)間分辨率和空間分辨率的功能磁共振成像(Functional magnetic resonance imaging,fMRI)技術(shù)已經(jīng)被廣泛應(yīng)用于構(gòu)建上述關(guān)系.

已有多項(xiàng)基于fMRI 數(shù)據(jù)的研究探究了腦功能與認(rèn)知表現(xiàn)之間的關(guān)系,并取得了不錯(cuò)的結(jié)果[5?6].深度學(xué)習(xí)作為一種強(qiáng)有力的預(yù)測(cè)模型,已經(jīng)被廣泛應(yīng)用于人臉識(shí)別、語(yǔ)言處理、物體檢測(cè)等多個(gè)領(lǐng)域[7?8].受到已有工作啟發(fā),多種深度學(xué)習(xí)模型被引入到基于fMRI 數(shù)據(jù)的研究中,如: 深度置信網(wǎng)絡(luò)[9]、卷積神經(jīng)網(wǎng)絡(luò)[10]、循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent neural network,RNN)[11]等.深度學(xué)習(xí)具有突出的特征提取能力,使其能夠?yàn)榻⒛X功能與認(rèn)知表現(xiàn)間的關(guān)系提供支持,并進(jìn)一步實(shí)現(xiàn)對(duì)認(rèn)知表現(xiàn)的預(yù)測(cè)[12?13].

研究表明,大腦功能網(wǎng)絡(luò)具有時(shí)?空共變的特性,即不僅在空間上存在腦區(qū)協(xié)同的腦網(wǎng)絡(luò)模式,在時(shí)間上存在著動(dòng)態(tài)變化的特性,且不同空間網(wǎng)絡(luò)與時(shí)間維度序列存在交互作用[14].受其影響,大腦的認(rèn)知表現(xiàn)也在空間維度中受到大腦功能網(wǎng)絡(luò)的系統(tǒng)性影響,在時(shí)間維度上受到重復(fù)性、衰減性等動(dòng)態(tài)性影響[3].因此,受大腦功能網(wǎng)絡(luò)時(shí)?空共變特性的啟發(fā),從時(shí)?空共變角度來(lái)預(yù)測(cè)認(rèn)知表現(xiàn),將能夠更加完善地對(duì)其進(jìn)行信息處理與分析.

目前,有研究者提出一種多任務(wù)學(xué)習(xí)模型,采用最小化奇異值的方式對(duì)低秩公共子空間進(jìn)行表征,從而聯(lián)合分析神經(jīng)影像數(shù)據(jù)和認(rèn)知行為數(shù)據(jù),實(shí)現(xiàn)了認(rèn)知表現(xiàn)預(yù)測(cè)[15].然而,以上研究依然未能在基于大腦學(xué)習(xí)機(jī)制的同時(shí),利用時(shí)?空腦數(shù)據(jù)對(duì)認(rèn)知表現(xiàn)進(jìn)行預(yù)測(cè)[16],從而限制了認(rèn)知表現(xiàn)預(yù)測(cè)的能力.因此,將大腦學(xué)習(xí)機(jī)制引入到時(shí)?空共變深度認(rèn)知表現(xiàn)預(yù)測(cè)模型中非常有必要.最近,一種學(xué)習(xí)機(jī)制啟發(fā)的深度學(xué)習(xí)模型被提出,即深度稀疏循環(huán)自編碼器算法 (Deep sparse recurrent autoencoder,DSRAE).該算法被用來(lái)對(duì)時(shí)?空共變fMRI 特征進(jìn)行分析,驗(yàn)證了其對(duì)時(shí)?空共變腦數(shù)據(jù)的重建能力及對(duì)特征的高效分析能力[11, 17].在本研究中,為了更好地預(yù)測(cè)認(rèn)知表現(xiàn)能力,本文結(jié)合DSRAE 模型和循環(huán)全連接網(wǎng)絡(luò)(Recurrent fully connected net,RFNet)構(gòu)建了一種時(shí)?空共變混合深度學(xué)習(xí)模型(如圖1 所示),稱(chēng)為DSRAE-RFNet.為了驗(yàn)證本文提出的模型,本文采用人類(lèi)連接組項(xiàng)目數(shù)據(jù)集(Human connectome project,HCP)[18]中被試執(zhí)行工作記憶任務(wù)的反應(yīng)時(shí)間(Reaction time,RT)和準(zhǔn)確率(Accuracy,ACC)作為認(rèn)知表現(xiàn)預(yù)測(cè)的目標(biāo).

圖1 基于大腦學(xué)習(xí)機(jī)制的時(shí)?空共變混合DSRAE-RFNet 模型框架Fig.1 The overview of learning mechanism based spatio-temporal co-variant hybrid deep learning framework (DSRAE-RFNet)

本研究的目的是構(gòu)建基于DSRAE-RFNet 算法的認(rèn)知表現(xiàn)預(yù)測(cè)模型.在保證高預(yù)測(cè)準(zhǔn)確率的同時(shí),獲取有意義的神經(jīng)影像預(yù)測(cè)特征作為神經(jīng)學(xué)標(biāo)記物.本文的創(chuàng)新點(diǎn)在于:

1)提出了一種新的時(shí)?空共變混合深度學(xué)習(xí)模型,采用混合損失函數(shù),同時(shí)利用腦影像數(shù)據(jù)與認(rèn)知表現(xiàn)數(shù)據(jù)對(duì)時(shí)?空共變混合神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練.算法面向認(rèn)知表現(xiàn)預(yù)測(cè)需求,基于fMRI 數(shù)據(jù)特點(diǎn),利用高維度時(shí)?空共變神經(jīng)影像特征對(duì)認(rèn)知表現(xiàn)進(jìn)行預(yù)測(cè).相較單一損失函數(shù)算法,DSRAE-RFNet算法以高維度時(shí)?空共變腦影像特征為橋梁,建立了神經(jīng)影像數(shù)據(jù)與認(rèn)知表現(xiàn)之間的關(guān)系.

2)引入了人類(lèi)大腦學(xué)習(xí)機(jī)制,能夠有效借助大腦變化中的時(shí)序依賴(lài)關(guān)系,利用神經(jīng)影像高維度時(shí)?空共變特征,實(shí)現(xiàn)認(rèn)知表現(xiàn)的精準(zhǔn)預(yù)測(cè).采用定量分析的方式,證明了DSRAE-RFNet 算法作為一種腦啟發(fā)算法模型,在認(rèn)知表現(xiàn)預(yù)測(cè)方面具有明顯優(yōu)勢(shì).從認(rèn)知神經(jīng)科學(xué)的角度,證明了大腦學(xué)習(xí)機(jī)制對(duì)認(rèn)知表現(xiàn)預(yù)測(cè)的重要性.

3)在DSRAE 算法的基礎(chǔ)上,加入了RFNet模型,構(gòu)建了新的能夠有效提取大腦高維度時(shí)?空共變特征的認(rèn)知表現(xiàn)預(yù)測(cè)模型.面向fMRI 數(shù)據(jù)特點(diǎn),利用長(zhǎng)短時(shí)記憶(Long short term memory,LSTM)層獲取包含數(shù)據(jù)有利信息的高維度時(shí)?空共變特征,并利用全連接層對(duì)認(rèn)知表現(xiàn)進(jìn)行預(yù)測(cè).作為一種受fMRI 數(shù)據(jù)本身特點(diǎn)驅(qū)動(dòng)的算法模型,DSRAE-RFNet 模型不僅能夠魯棒地預(yù)測(cè)認(rèn)知表現(xiàn),而且可以提取到有意義的神經(jīng)影像預(yù)測(cè)特征.該混合學(xué)習(xí)模型為揭示人類(lèi)大腦認(rèn)知機(jī)制提供了新思路.

1 DSRAE-RFNet 算法模型

1.1 模型框架

DSRAE-RFNet 模型框架如圖1 所示,在進(jìn)行認(rèn)知表現(xiàn)預(yù)測(cè)的同時(shí)對(duì)相關(guān)神經(jīng)影像特征進(jìn)行分析.第1.2 節(jié)描述了DSRAE 模型,第1.3 節(jié)描述了RFNet 模型,第1.4 節(jié)詳細(xì)介紹了時(shí)?空共變混合深度學(xué)習(xí)模型.其中,DSRAE 模型的評(píng)價(jià)指標(biāo)為fMRI 數(shù)據(jù)的重建錯(cuò)誤,RFNet 模型的目的則是將回歸預(yù)測(cè)誤差最小化.

1.2 DSRAE 模型

為了能夠?qū)崿F(xiàn)時(shí)?空共變腦網(wǎng)絡(luò)的提取,進(jìn)而進(jìn)行認(rèn)知表現(xiàn)預(yù)測(cè),DSRAE 模型將LSTM 和自編碼器 (Autoencoder,AE)相結(jié)合[17],有效利用LSTM能夠捕捉時(shí)間序列間時(shí)序依賴(lài)關(guān)系的優(yōu)勢(shì)和AE 能夠有效利用空間維度信息的優(yōu)勢(shì),采用無(wú)監(jiān)督學(xué)習(xí)的框架對(duì)fMRI 數(shù)據(jù)進(jìn)行分析.圖1(a)展示了DSRAE模型的整體框架,包含編碼器和解碼器兩部分,無(wú)需任何時(shí)序標(biāo)簽即可學(xué)習(xí)到任務(wù)特異性的時(shí)?空共變腦網(wǎng)絡(luò)特征.其中,編碼器包含一層輸入層、一層全連接層(可保留大部分空間維度信息) 和兩層LSTM 層;解碼器包含兩層LSTM 層、一層全連接層和一層輸出層.編碼器經(jīng)過(guò)全連接層(128 個(gè)節(jié)點(diǎn))、LSTM 層(64 個(gè)節(jié)點(diǎn)),將輸入數(shù)據(jù)的空間維度編碼為32 維特征,時(shí)間序列長(zhǎng)度為T(mén),在每一層保持不變,有效提取時(shí)?空共變特征.解碼器則與編碼器完全相反,將32 維特征解碼為原始fMRI 的空間維度.DSRAE 部分的輸入和輸出都是fMRI 時(shí)間序列,其隱含層傳導(dǎo)特征到RFNet 模型.

1.3 RFNet 模型

圖1(b)展示了RFNet 模型,共包含一層LSTM層,一層全連接層.從DSRAE 的隱含層獲得的32個(gè)時(shí)序特征經(jīng)過(guò)一層LSTM 層獲得一個(gè)唯一的高維特征,該特征包含了每個(gè)時(shí)間點(diǎn)的全部空間信息,作為高階時(shí)?空共變特征.將神經(jīng)影像特征與認(rèn)知行為特征通過(guò)全連接層連接,根據(jù)神經(jīng)影像數(shù)據(jù)特征的時(shí)間維度與認(rèn)知表現(xiàn)數(shù)據(jù)維度,權(quán)重矩陣的維度為405 × 10.下面利用相關(guān)分析構(gòu)建基于時(shí)?空共變信息的認(rèn)知表現(xiàn)預(yù)測(cè)模型.特別地,本文采用模型在全連接層的權(quán)重與任務(wù)設(shè)計(jì)之間的皮爾遜相關(guān)系數(shù)(Pearson correlation coefficient,PCC)與行為數(shù)據(jù)進(jìn)行相關(guān)分析,構(gòu)建預(yù)測(cè)模型.

1.4 時(shí)?空共變混合學(xué)習(xí)模型

本研究采用如圖1 所示的時(shí)?空共變混合學(xué)習(xí)模型,基于神經(jīng)影像數(shù)據(jù),對(duì)被試執(zhí)行不同任務(wù)刺激下的認(rèn)知表現(xiàn)的整體趨勢(shì)進(jìn)行預(yù)測(cè).

具體來(lái)說(shuō),DSRAE-RFNet 整體模型在訓(xùn)練階段的優(yōu)化公式為:

式中,MSE() 為DSRAE 模型的誤差函數(shù),MSE(xf||y)為RFNet 模型的誤差函數(shù).二者均基于均方誤差(Mean square error,MSE)損失方程構(gòu)建:

式中,L表示g(f(ρ))與θ之間差異的損失函數(shù).對(duì)于DSRAE 模型,θ和ρ均為fMRI 一個(gè)時(shí)間點(diǎn)上的全腦數(shù)據(jù);f(ρ) 為編碼階段輸出(編碼器第2 層LSTM 的節(jié)點(diǎn)輸出),g(f(ρ)) 為解碼階段輸出(DSRAE 解碼器最后一層的輸出).對(duì)于RFNet 模型,ρ為從DSRAE 模型隱含層獲得的時(shí)間維度特征,θ為認(rèn)知表現(xiàn)數(shù)據(jù);f(ρ) 為RFNet 的LSTM 層輸出,g(f(ρ)) 為全連接層輸出.式 (1) 中,O表示模型 的整體輸出. ?1和 ?2分別為L(zhǎng)1和L2正則懲罰項(xiàng),用以避免整個(gè)訓(xùn)練過(guò)程過(guò)擬合.

基于DSRAE 和RFNet 模型的均方誤差損失加權(quán)和,時(shí)?空共變混合學(xué)習(xí)模型的損失函數(shù)定義為:

式中,Loss1和Loss2分別代表DSRAE 和RFNet模型的均方誤差損失,ω為DSRAE 模型的均方誤差損失對(duì)整個(gè)時(shí)?空共變混合學(xué)習(xí)模型的占比權(quán)重.

DSRAE-RFNet 算法的主要計(jì)算流程如算法1所示.

算法1.基于大腦學(xué)習(xí)機(jī)制的時(shí)?空共變混合深度學(xué)習(xí)模型

輸入.數(shù)據(jù)矩陣H∈Rs×t// 輸入的fMRI 數(shù)據(jù).

輸出.預(yù)測(cè)矩陣B′∈R// 認(rèn)知表現(xiàn)預(yù)測(cè)結(jié)果、S ∈Rs×h//基于彈性網(wǎng)絡(luò)回歸獲得的空間網(wǎng)絡(luò)模式、T∈Rh×t// 時(shí)間序列.

循環(huán).

1)更新預(yù)測(cè)矩陣B′.

2)根據(jù)輸入矩陣H、標(biāo)準(zhǔn)化認(rèn)知表現(xiàn)數(shù)據(jù)B、式(1)和式(3)更新網(wǎng)絡(luò)模型.

3)直到收斂或達(dá)到規(guī)定重復(fù)次數(shù).

2 算法評(píng)估

2.1 實(shí)驗(yàn)數(shù)據(jù)

本文使用750 名神經(jīng)影像數(shù)據(jù) (如表1 所示)和行為數(shù)據(jù) (如表2 所示)均完備的正常成年被試數(shù)據(jù)作為訓(xùn)練集、驗(yàn)證集和測(cè)試集.所使用的數(shù)據(jù)來(lái)自國(guó)際公開(kāi)數(shù)據(jù)集HCP (https://db.humanconnectome.org).HCP 數(shù)據(jù)集采用國(guó)際標(biāo)準(zhǔn)的蒙特利爾神經(jīng)學(xué)研究所坐標(biāo)系統(tǒng)空間對(duì)大腦灰質(zhì)信息進(jìn)行建模,該坐標(biāo)系統(tǒng)空間是根據(jù)一系列正常人腦的磁共振圖像建立的.數(shù)據(jù)預(yù)處理步驟包括: 空間維度平滑、時(shí)間維度濾波、回歸去除腦脊液等干擾信息、以及頭動(dòng)校正.所有預(yù)處理步驟均為HCP 數(shù)據(jù)集基于FreeSurfer 軟件[19]完成的.

表1 工作記憶任務(wù): fMRI 數(shù)據(jù)信息Table 1 Working memory task: fMRI data information

本研究采用工作記憶任務(wù)數(shù)據(jù)作為認(rèn)知表現(xiàn)預(yù)測(cè)數(shù)據(jù)集,該任務(wù)采用N-back 的方式對(duì)被試的工作記憶能力進(jìn)行評(píng)測(cè)[20],任務(wù)刺激包括0-back、2-back 和cue.該任務(wù)已被證明在不同被試[20]和不同時(shí)間[21]均能夠激發(fā)出較為穩(wěn)定的大腦活動(dòng)模式.任務(wù)信息如表1 所示,其中,任務(wù)組塊表示將相同條件的幾個(gè)行為實(shí)驗(yàn)安排在一起.掃描信息如下: 矩陣大小為90 × 104、切片數(shù)為72、脈沖重復(fù)時(shí)間為0.72 s、回波時(shí)間為33.1 ms、面內(nèi)視野為208 ×180 mm、翻轉(zhuǎn)角為52°,頻帶寬度為2290 Hz/Px,空間分辨率為2 × 2 × 2 mm3.被試的反應(yīng)時(shí)間和準(zhǔn)確率的10 項(xiàng)具體認(rèn)知表現(xiàn)數(shù)據(jù)信息如表2 所示.

表2 工作記憶任務(wù): 認(rèn)知表現(xiàn)數(shù)據(jù)信息Table 2 Working memory task: Cognitive performance data information

2.2 算法細(xì)節(jié)

特別地,本文利用Z-值[22]標(biāo)準(zhǔn)化(如式(4))將fMRI 數(shù)據(jù)標(biāo)準(zhǔn)化為均值為0、標(biāo)準(zhǔn)差為1 的矩陣:

式中,x為原始數(shù)據(jù),為原始數(shù)據(jù)的均值,σ為原始數(shù)據(jù)的標(biāo)準(zhǔn)差,x?為標(biāo)準(zhǔn)化后的數(shù)據(jù).為了統(tǒng)一認(rèn)知表現(xiàn)數(shù)據(jù)的單位,本文將反應(yīng)時(shí)間數(shù)值均/1000,準(zhǔn)確率數(shù)值均/100.

本研究采用HCP 數(shù)據(jù)集中參與工作記憶任務(wù)的750 名被試數(shù)據(jù)作為實(shí)驗(yàn)數(shù)據(jù).本文將其隨機(jī)平均分為3 組,每組包含250 名被試.其中,每組被試中的150 名被試作為訓(xùn)練集,50 名作為驗(yàn)證集,50名作為測(cè)試集.第2.3 節(jié)所呈現(xiàn)的結(jié)果均基于測(cè)試集獲得.反應(yīng)時(shí)間與準(zhǔn)確率的認(rèn)知表現(xiàn)預(yù)測(cè)結(jié)果作為每個(gè)組別對(duì)應(yīng)的驗(yàn)證評(píng)價(jià)指標(biāo).

DSRAE-RFNet 采用Adam 優(yōu)化器[23]來(lái)處理模型中的后向傳播過(guò)程:

式中,μ和ν為勢(shì)能因子,gt為梯度.

模型的參數(shù)如下: 學(xué)習(xí)率設(shè)置為0.01,批大小為1 (包含1 次回看步數(shù)內(nèi)的全部信息),L1和L2正則化參數(shù) ?1和 ?2分別為 1 /107和 1 /104[11].為了比較學(xué)習(xí)機(jī)制對(duì)DSRAE-RFNet 模型的影響,LSTM的回看步數(shù)根據(jù)是否采用學(xué)習(xí)機(jī)制設(shè)置為405 (每個(gè)被試的重復(fù)時(shí)間總數(shù)量) 和1 (單個(gè)重復(fù)時(shí)間).重復(fù)次數(shù)設(shè)置為10 (若驗(yàn)證集更早收斂,則采用早停機(jī)制直接停止,如5～ 6 個(gè)重復(fù)次數(shù)).如圖2 所示,無(wú)論是對(duì)準(zhǔn)確率還是反應(yīng)時(shí)間進(jìn)行預(yù)測(cè),在3組數(shù)據(jù)集上,基于MSE 的驗(yàn)證集損失在10 個(gè)重復(fù)次數(shù)內(nèi)均能達(dá)到收斂狀態(tài).DSRAE-RFNet 模型整體損失中,DSRAE 模型的均方誤差損失對(duì)整個(gè)時(shí)?空共變混合學(xué)習(xí)模型的占比權(quán)重ω設(shè)置為0.5,從而有效平衡DSRAE 模型對(duì)神經(jīng)影像特征的提取精確度和RFNet 對(duì)認(rèn)知表現(xiàn)的預(yù)測(cè)精度.如圖3 所示,當(dāng)ω=0.5 時(shí)(即神經(jīng)影像數(shù)據(jù)和認(rèn)知表現(xiàn)數(shù)據(jù)的混合學(xué)習(xí)比重一致),DSRAE-RFNet 模型對(duì)RT 和ACC 的預(yù)測(cè)效果最為穩(wěn)定.

圖2 DSRAE-RFNet 模型在3 組被試上對(duì)RT、ACC 分別進(jìn)行預(yù)測(cè)時(shí)的MSE 損失圖Fig.2 The MSE loss when predicting RT and ACC with DSRAE-RFNet model on three groups participants

圖3 DSRAE-RFNet 模型在3 組被試上對(duì)RT、ACC 的預(yù)測(cè)結(jié)果Fig.3 The predictive results of RT and ACC with DSRAE-RFNet model on three groups participants

為了進(jìn)一步揭示神經(jīng)影像數(shù)據(jù)對(duì)認(rèn)知表現(xiàn)預(yù)測(cè)的認(rèn)知神經(jīng)科學(xué)依據(jù),并有效避免噪聲對(duì)空間網(wǎng)絡(luò)激活模式生成過(guò)程的影響,本文通過(guò)彈性網(wǎng)絡(luò)回歸[24?26],基于RFNet 中獲得的時(shí)序特征生成空間網(wǎng)絡(luò):

式中,X為預(yù)測(cè)矩陣(空間網(wǎng)絡(luò)),xf1為RFNet 的一維高階特征(時(shí)序特征).λ1和λ2分別是彈性網(wǎng)絡(luò)回歸的L1和L2正則化參數(shù),能夠有效避免噪聲、奇異值等的影響,本文L1比例設(shè)置為0.005.

2.3 結(jié)果與分析

本文將DSRAE-RFNet 模型在3 組參與了工作記憶任務(wù)的被試上進(jìn)行了訓(xùn)練、驗(yàn)證和測(cè)試,預(yù)測(cè)被試的反應(yīng)時(shí)間和準(zhǔn)確率.結(jié)果顯示,本文提出的時(shí)?空共變混合深度學(xué)習(xí)模型能夠通過(guò)fMRI 數(shù)據(jù)有效預(yù)測(cè)認(rèn)知表現(xiàn)能力,并能夠同時(shí)獲得相關(guān)的時(shí)?空共變腦網(wǎng)絡(luò).

2.3.1 學(xué)習(xí)機(jī)制分析

為了對(duì)學(xué)習(xí)機(jī)制啟發(fā)的DSRAE-RFNet 模型進(jìn)行驗(yàn)證,本文在3 組被試上分別進(jìn)行了采用學(xué)習(xí)機(jī)制和未采用學(xué)習(xí)機(jī)制的模型測(cè)試.研究表明,大腦在學(xué)習(xí)新信息或處理新任務(wù)時(shí),會(huì)基于原有時(shí)間序列獲得時(shí)序信息經(jīng)驗(yàn),即便是較長(zhǎng)時(shí)間間隔之前的信息,依然會(huì)對(duì)當(dāng)前時(shí)刻大腦的信息處理能力產(chǎn)生一定程度的影響[27?29].因此,本文將回看步數(shù)設(shè)置為完整fMRI 時(shí)間序列長(zhǎng)度,即405.相反地,回看步數(shù)設(shè)置為1 代表模型沒(méi)有基于人腦學(xué)習(xí)機(jī)制.

表3 展示了RT 和ACC 在3 組被試測(cè)試集上的預(yù)測(cè)結(jié)果.對(duì)于RT 預(yù)測(cè),使用了學(xué)習(xí)機(jī)制的預(yù)測(cè)結(jié)果在3 組被試上均比未使用學(xué)習(xí)機(jī)制的模型結(jié)果好(采用雙樣本t檢驗(yàn),p值<0.01).

表3 與未采用學(xué)習(xí)機(jī)制模型比較的認(rèn)知表現(xiàn)預(yù)測(cè)結(jié)果Table 3 Cognitive performance prediction results compared with the model without learning mechanism

特別地,對(duì)于第2 組被試,使用了學(xué)習(xí)機(jī)制的模型在認(rèn)知表現(xiàn)預(yù)測(cè)上的性能具有0.41 的優(yōu)勢(shì),甚至超過(guò)了未使用學(xué)習(xí)機(jī)制的模型預(yù)測(cè)結(jié)果兩倍.對(duì)于ACC 預(yù)測(cè),采用了學(xué)習(xí)機(jī)制的模型預(yù)測(cè)結(jié)果總體來(lái)說(shuō)高于沒(méi)有采用學(xué)習(xí)機(jī)制的模型.對(duì)于第1 組被試,采用學(xué)習(xí)機(jī)制的模型預(yù)測(cè)結(jié)果沒(méi)有展現(xiàn)出更多優(yōu)勢(shì),但在統(tǒng)計(jì)學(xué)上二者沒(méi)有差異.這可能是由于第1 組被試整體在各個(gè)刺激條件下的ACC 變化不明顯(詳見(jiàn)第2.3.3 節(jié)),導(dǎo)致預(yù)測(cè)模型敏感性較低.

2.3.2 反應(yīng)時(shí)間表現(xiàn)預(yù)測(cè)

如表3 所示,3 組被試的RT 預(yù)測(cè)結(jié)果分別是0.7、0.74 和0.776.圖4 展示了RFNet 中全連接層的權(quán)重可視化結(jié)果及其與RT 表現(xiàn)之間的關(guān)系.對(duì)于每一組被試,RFNet 的全連接層建立了該組被試的RT 數(shù)據(jù)與神經(jīng)影像數(shù)據(jù)之間的潛在關(guān)系.如圖4(a)所示,針對(duì)RT 進(jìn)行預(yù)測(cè)時(shí),無(wú)論是第幾組被測(cè)試,RFNet 全連接層的10 組權(quán)重均與任務(wù)設(shè)計(jì)之間表現(xiàn)出明顯的正相關(guān)性,表明本文的模型所學(xué)習(xí)到的連接權(quán)重具有神經(jīng)影像學(xué)意義.對(duì)于RT 的表現(xiàn)預(yù)測(cè)包含了10 個(gè)預(yù)測(cè)條目(如表2 所示),圖4(b)展示了上述連接權(quán)重與任務(wù)設(shè)計(jì)之間的PCC 系數(shù)與RT 的認(rèn)知表現(xiàn)數(shù)據(jù)間所具有的正相關(guān)性,分別為0.862、0.665 和0.767.以上結(jié)果表明,預(yù)測(cè)模型學(xué)習(xí)到的特征同時(shí)具有神經(jīng)科學(xué)意義和認(rèn)知科學(xué)意義,也證明了基于大腦學(xué)習(xí)機(jī)制的時(shí)?空共變混合深度學(xué)習(xí)模型能夠有效建立神經(jīng)影像腦數(shù)據(jù)與認(rèn)知表現(xiàn)之間的關(guān)系,為基于fMRI 數(shù)據(jù)對(duì)認(rèn)知表現(xiàn)進(jìn)行預(yù)測(cè)提供了有力證據(jù).

圖4 反應(yīng)時(shí)間表現(xiàn)預(yù)測(cè)結(jié)果Fig.4 Reaction time performance predicting results

為了更進(jìn)一步驗(yàn)證基于大腦學(xué)習(xí)機(jī)制的時(shí)?空共變混合深度學(xué)習(xí)模型在預(yù)測(cè)RT 時(shí)能夠?qū)W習(xí)到有意義的神經(jīng)影像學(xué)特征,圖5(a)展示了相關(guān)的時(shí)間維度和空間維度特征.對(duì)于時(shí)間維度特征,在對(duì)被試RT 進(jìn)行預(yù)測(cè)時(shí),DSRAE-RFNet 學(xué)習(xí)到的時(shí)間序列與任務(wù)設(shè)計(jì)具有高度相關(guān)性,在3 組被試上分別為0.568、0.624 和0.325.這表明,提取到的高維時(shí)?空共變特征與工作記憶任務(wù)刺激波動(dòng)具有一致性.對(duì)于空間維度特征,在對(duì)被試執(zhí)行工作記憶任務(wù)的RT 進(jìn)行預(yù)測(cè)時(shí),3 組被試都一致顯著地正激活了背側(cè)注意網(wǎng)絡(luò)和視覺(jué)網(wǎng)絡(luò).基于廣義線(xiàn)性模型(General linear model,GLM)[18]、薈萃分析[30]和深度學(xué)習(xí)[11,17,31]等研究的結(jié)果均表明,兩個(gè)網(wǎng)絡(luò)的相關(guān)腦區(qū)與工作記憶任務(wù)具有高度相關(guān)性;此外,默認(rèn)網(wǎng)絡(luò)顯示出了明顯的負(fù)激活,這與基于GLM 生成的空間網(wǎng)絡(luò)非常相似[18, 32],也就是說(shuō)在執(zhí)行認(rèn)知任務(wù)過(guò)程中,DMN 處于負(fù)激活狀態(tài).結(jié)果證明在RT 預(yù)測(cè)過(guò)程中所提取到的時(shí)?空共變特征是具有認(rèn)知神經(jīng)科學(xué)意義的.

圖5 反應(yīng)時(shí)間與準(zhǔn)確率表現(xiàn)預(yù)測(cè)過(guò)程中習(xí)得的大腦時(shí)?空共變特征Fig.5 The brain spatio-temporal co-variant features learned from the RT and ACC performance prediction processes

2.3.3 準(zhǔn)確率表現(xiàn)預(yù)測(cè)

如表3 所示,對(duì)于3 組被試的ACC 表現(xiàn)預(yù)測(cè),基于大腦學(xué)習(xí)機(jī)制的DSRAE-RFNet 模型的預(yù)測(cè)準(zhǔn)確率分別是0.429、0.477 和0.536.在對(duì)ACC 表現(xiàn)進(jìn)行預(yù)測(cè)時(shí),3 組被試的全部10 個(gè)條目(如表2所示) 的全連接層權(quán)重均與任務(wù)設(shè)計(jì)具有正相關(guān)性(如圖6(a)所示),表明模型學(xué)習(xí)到的權(quán)重具有明顯的實(shí)際意義.此外,模型學(xué)習(xí)到的權(quán)重與任務(wù)設(shè)計(jì)PCC 和ACC 的認(rèn)知表現(xiàn)數(shù)據(jù)具有高度正相關(guān)性,對(duì)于3 組被試分別為0.499、0.439 和0.666 (如圖6(b)所示).

圖6 準(zhǔn)確率表現(xiàn)預(yù)測(cè)結(jié)果Fig.6 Accuracy performance predicting results

為了進(jìn)一步驗(yàn)證預(yù)測(cè)過(guò)程中所學(xué)習(xí)到的神經(jīng)影像特征具有實(shí)際意義,本文同樣將預(yù)測(cè)ACC 表現(xiàn)過(guò)程中習(xí)得的時(shí)?空共變網(wǎng)絡(luò)特征進(jìn)行了可視化(如圖5(b)所示).與RT 預(yù)測(cè)結(jié)果相似,提取到的時(shí)序信息特征與工作記憶的任務(wù)設(shè)計(jì)具有高度相關(guān)性.同時(shí),空間維度網(wǎng)絡(luò)激活模式與GLM、薈萃分析及深度學(xué)習(xí)等算法所獲得的空間網(wǎng)絡(luò)非常相似[11, 17?18,30?31],即背側(cè)注意網(wǎng)絡(luò)和視覺(jué)網(wǎng)絡(luò)正激活,默認(rèn)網(wǎng)絡(luò)負(fù)激活.以上結(jié)果表明,DSRAE-RFNet模型能夠提取到具有認(rèn)知神經(jīng)科學(xué)意義的時(shí)?空腦網(wǎng)絡(luò),從而實(shí)現(xiàn)對(duì)被試認(rèn)知表現(xiàn)的預(yù)測(cè).

2.3.4 算法性能比較

為了證明本文提出的DSRAE-RFNet 算法的性能,本文將DSRAE-RFNet與經(jīng)典預(yù)測(cè)模型 (包括線(xiàn)性和非線(xiàn)性模型) 以及前沿算法進(jìn)行了比較,包括: 獨(dú)立成分分析(Independent component analysis,ICA)、GLM、RNN、LSTM、AE、深度稀疏循環(huán)神經(jīng)網(wǎng)絡(luò)(Deep sparse recurrent neural network,DSRNN)[33]、深度變分自編碼器 (Deep variational autoencoder,DVAE)[34]、時(shí)空注意力自編碼器(Spatiotemporal attention autoencoder,STAAE)[35]、深度卷積自編碼器(Deep convolutional autoencoder,DCAE)[10].其中,AE與經(jīng)典線(xiàn)性模型ICA、GLM 相似,提取空間網(wǎng)絡(luò)模式特征進(jìn)行認(rèn)知表現(xiàn)預(yù)測(cè);DSRNN[33]與經(jīng)典非線(xiàn)性模型RNN、LSTM 相似,主要對(duì)fMRI 信號(hào)中的高維度時(shí)序特征進(jìn)行提取,從而實(shí)現(xiàn)認(rèn)知表現(xiàn)預(yù)測(cè);DVAE[34]、STAAE[35]算法分別利用變分生成模塊和注意力模塊與AE 相結(jié)合,提取fMRI 的空間高維度特征;DCAE[10]算法以fMRI 數(shù)據(jù)中的體素為單位,提取時(shí)間維度高維特征作為預(yù)測(cè)指標(biāo).如表4 所示,相較經(jīng)典和前沿各預(yù)測(cè)模型,DSRAE-RFNet 在RT和ACC 的預(yù)測(cè)能力上均表現(xiàn)出較大優(yōu)勢(shì).對(duì)于第1、3 組被試,預(yù)測(cè)能力均達(dá)到最優(yōu)水平,證明了本文算法在預(yù)測(cè)能力上的有效性和穩(wěn)定性.

表4 與其他預(yù)測(cè)模型比較的認(rèn)知表現(xiàn)預(yù)測(cè)結(jié)果Table 4 Cognitive performance prediction results compared with the other predictive model

為了證明DSRAE-RFNet 算法在認(rèn)知表現(xiàn)預(yù)測(cè)上具有優(yōu)勢(shì)的同時(shí),在預(yù)測(cè)效率上同樣具有優(yōu)勢(shì),本文在單個(gè)圖形處理器(Graphics processing unit,GPU) (RTX 2070)上比較了不同算法的運(yùn)行時(shí)間(包括: 在特征提取階段的單個(gè)運(yùn)行次數(shù)內(nèi)運(yùn)行時(shí)間和在測(cè)試階段的單個(gè)被試預(yù)測(cè)時(shí)間).如圖7 所示,DSRAE-RFNet 算法的運(yùn)行時(shí)間遠(yuǎn)低于ICA 方法;相較其他以AE 為基礎(chǔ)的前沿算法 (DVAE[34]、STAAE[35]、DCAE[10]),本文所提算法同樣具有明顯優(yōu)勢(shì);本文算法與GLM、RNN、LSTM、AE、DSRNN[33]算法在單個(gè)GPU 上的運(yùn)行時(shí)間基本相似,但對(duì)認(rèn)知表現(xiàn)的預(yù)測(cè)效果更具優(yōu)勢(shì)(如表4所示).因此,基于對(duì)各算法運(yùn)行時(shí)間和預(yù)測(cè)準(zhǔn)確率的綜合分析,本文所提DSRAE-RFNet 算法是一種高效、魯棒的新型認(rèn)知表現(xiàn)預(yù)測(cè)算法.

圖7 DSRAE-RFNet 及比較算法在單個(gè)GPU 上單個(gè)運(yùn)行次數(shù)的運(yùn)行時(shí)間Fig.7 Running time of DSRAE-RFNet and comparable methods on a single GPU during one epoch

3 結(jié)束語(yǔ)

本文提出了一種新型基于大腦學(xué)習(xí)機(jī)制的時(shí)?空共變混合深度學(xué)習(xí)模型DSRAE-RFNet,用來(lái)預(yù)測(cè)認(rèn)知表現(xiàn),并同時(shí)提取相關(guān)的時(shí)?空共變神經(jīng)學(xué)特征.本文采用HCP 數(shù)據(jù)集中的工作記憶任務(wù)作為本研究的訓(xùn)練、驗(yàn)證及測(cè)試集,獲得了非常有意義的結(jié)果.

為了證明本文提出的DSRAE-RFNet 模型的魯棒性,本文將模型擴(kuò)展到了HCP 數(shù)據(jù)集中提供了RT 和ACC 認(rèn)知表現(xiàn)信息的情感任務(wù)、語(yǔ)言任務(wù)和關(guān)系任務(wù)上,用于對(duì)被試的認(rèn)知能力進(jìn)行預(yù)測(cè).結(jié)果表明,DSRAE-RFNet 模型除了能夠?qū)Ρ辉噲?zhí)行工作記憶任務(wù)時(shí)的認(rèn)知表現(xiàn)進(jìn)行預(yù)測(cè)外,還能夠穩(wěn)定地對(duì)多種認(rèn)知任務(wù)的認(rèn)知表現(xiàn)能力進(jìn)行預(yù)測(cè)(如表5 所示).其中,相較其他三種認(rèn)知任務(wù),情感任務(wù)的RT 和ACC 預(yù)測(cè)準(zhǔn)確率相對(duì)偏低,這可能與被試執(zhí)行情感任務(wù)時(shí)對(duì)人臉和圖形判斷的相關(guān)認(rèn)知表現(xiàn)差異并不明顯有關(guān)[18].

表5 對(duì)不同認(rèn)知任務(wù)的認(rèn)知表現(xiàn)預(yù)測(cè)結(jié)果Table 5 Cognitive performance prediction results for different cognitive tasks

總之,作為一種面向認(rèn)知表現(xiàn)預(yù)測(cè)需求的新型時(shí)?空共變混合深度學(xué)習(xí)模型,本文提出的DSRAERFNet 算法能夠基于學(xué)習(xí)機(jī)制,受fMRI 數(shù)據(jù)本身特點(diǎn)驅(qū)動(dòng),充分利用認(rèn)知神經(jīng)科學(xué)先驗(yàn)信息.算法模型不僅能夠基于fMRI 數(shù)據(jù)預(yù)測(cè)認(rèn)知表現(xiàn),同時(shí)能夠獲得認(rèn)知任務(wù)有意義的神經(jīng)影像學(xué)特征.通過(guò)對(duì)3 組被試的驗(yàn)證與測(cè)試,證明了本文提出的DSRAERFNet 模型的有效性和魯棒性.與經(jīng)典線(xiàn)性、非線(xiàn)性以及前沿算法的比較結(jié)果同樣證明,本文提出的算法在預(yù)測(cè)效果和效率上均具有優(yōu)勢(shì).基于本文研究,未來(lái)將在以下幾方面進(jìn)行研究: 1)繼續(xù)嘗試其他混合深度學(xué)習(xí)模型,如多核學(xué)習(xí)[36?38]方式,采用自適應(yīng)的損失函數(shù)優(yōu)化方式,以期更加有效地利用神經(jīng)影像特征來(lái)預(yù)測(cè)認(rèn)知表現(xiàn);2)基于神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)搜索框架,針對(duì)不同認(rèn)知表現(xiàn)數(shù)據(jù)的預(yù)測(cè)任務(wù),對(duì)DSRAE-RFNet 中DSRAE 部分的空間維度特征維度進(jìn)行優(yōu)化和搜索[39],以期得到更加具有任務(wù)特異性的算法結(jié)構(gòu);3)本文在對(duì)大腦時(shí)?空共變特征進(jìn)行分析時(shí),空間維度特征是基于時(shí)間維度特征通過(guò)彈性網(wǎng)絡(luò)回歸分析得到的,尚未結(jié)合和利用深度學(xué)習(xí)模型.未來(lái)將結(jié)合生成模型,對(duì)空間特征進(jìn)行生成;4)由于DSRAE-RFNet 模型并不依賴(lài)于認(rèn)知任務(wù)的具體任務(wù)刺激,因此有潛力基于靜息態(tài)fMRI數(shù)據(jù)對(duì)認(rèn)知表現(xiàn)進(jìn)行預(yù)測(cè).未來(lái)將基于靜息態(tài)fMRI數(shù)據(jù),利用DSRAE-RFNet 模型對(duì)被試的決策能力等認(rèn)知行為指標(biāo)進(jìn)行預(yù)測(cè)[40].