探究事件相關腦電/腦磁信號中的神經(jīng)表征模式：基于分類解碼和表征相似性分析的方法*

陳新文 李鴻杰 丁玉瓏

(華南師范大學腦認知與教育科學教育部重點實驗室;華南師范大學心理學院;華南師范大學心理應用研究中心;廣東省心理健康與認知科學重點實驗室,廣州 510631)

1 前言

得益于計算機硬件和算法的發(fā)展,越來越多行之有效的技術方法被用于神經(jīng)影像數(shù)據(jù)分析。自機器學習中的分類算法(即基于分類的解碼,classification-based decoding,簡稱解碼分析)開創(chuàng)性地引入到功能性磁共振成像(functional magnetic resonance imaging,簡稱fMRI)數(shù)據(jù)分析之中,人們能夠更好地識別與分類特定大腦認知加工活動對應的神經(jīng)表征(Cox &Savoy,2003;Kamitani &Tong,2005;Norman et al.,2006)。除了解碼分析外,一種稱作表征相似性分析(representation similarity analysis,簡稱RSA)的方法也被廣泛應用于fMRI研究中,它可以評估不同神經(jīng)表征之間的相似性關系,具有跨任務、跨模態(tài)、跨群體等優(yōu)點(Kriegeskorte,Mur,&Bandettini,2008)。兩種新方法的引入,讓研究者在大腦的空間結(jié)構(gòu)上對神經(jīng)表征信息的理解更加深刻。

解碼分析與RSA 近年來也被逐漸用于腦電(electroencephalography,簡稱 EEG) 和腦磁(magnetoencephalography,簡稱MEG)數(shù)據(jù)分析中(Carlson et al.,2011,2013;Cichy et al.,2014,2016;Cichy,Pantazis,&Oliva,2016;Cichy,Kriegeskorte,et al.,2017;Cichy,Khosla,et al.,2017;Wardle et al.,2016;Teichmann et al.,2018;Dobs et al.,2019;Giari et al.,2020;Kong et al.,2020;Xie et al.,2020)。fMRI 由于其高空間分辨率,相應的研究更多關注的是大腦空間結(jié)構(gòu)上的認知加工機制;與fMRI 不同的是,EEG/MEG 高時間分辨率的特點使得相應的研究更適合從時間進程上探索大腦的認知加工機制。將解碼分析與RSA 引入EEG/MEG研究中,既可以在一定程度上克服傳統(tǒng)EEG/MEG數(shù)據(jù)分析中存在的不足,還能夠從不同的角度去解釋大腦對神經(jīng)表征信息的動態(tài)編碼情況。

本文將從解碼分析和RSA 這兩種新方法與傳統(tǒng)EEG/MEG 分析的對比展開介紹,簡要闡明兩種新方法的基本原理與優(yōu)勢;之后將對上述方法的具體實現(xiàn)進行闡述,并通過梳理前人采用解碼分析和RSA 開展的EEG/MEG 研究,討論兩種技術在認知神經(jīng)科學領域的實際應用場景;對于這兩種技術在未來的EEG/MEG 研究中可能的應用方向,在文末提出了一些我們的見解。

2 原理總論

隨著認知神經(jīng)科學研究的不斷深入,傳統(tǒng)的EEG 和MEG 分析方法已無法滿足研究人員的全部需求,人們需要尋找更加精細的方法來識別與分析大腦活動模式。EEG 和MEG 由于高時間分辨率、非侵入式等特點被廣泛應用于各類大腦認知加工的研究,并形成了一套成熟的數(shù)據(jù)處理流程。現(xiàn)有的事件相關EEG/MEG 研究需要計算每個被試迭加平均后的事件相關電位(event-related potentials,簡稱ERPs)或事件相關磁場(event-related magnetic fields,簡稱ERMFs),并在此基礎上求出不同條件之間的差異波或者地形圖,之后再進行群體水平上的統(tǒng)計分析。根據(jù)不同時刻點的ERPs/ERMFs 特征值,可以隨時間進程繪制振幅和地形圖的變化情況來進行神經(jīng)表征時空模式分析(Ding et al.,2014;Qu et al.,2014,2017)。但不論是迭加平均后的ERPs/ERMFs 還是經(jīng)過計算得到的差異波和地形圖均具有極性,為了盡可能地使?jié)撛诘男用黠@,傳統(tǒng)的EEG/MEG 研究要求所有被試在研究者關注的時間進程上,誘發(fā)出的ERPs/ERMFs振幅大小和方向以及地形圖分布和極性等均要在不同被試之間具有較高的一致性,在一致性較差的情況下對不同被試的神經(jīng)響應水平進行平均后,得到的結(jié)果可能難以做出合理的解釋(圖1)。

圖1 傳統(tǒng)ERP 研究示例。(A)假設在某一特定通道上對不同條件誘發(fā)的ERPs 成分進行分析,能夠觀測到不同的被試在不同刺激條件間均存在明顯的ERPs 差異,這提示了兩種刺激可能具有不同的神經(jīng)表征,使得每名被試都能區(qū)分這兩種刺激。由于受到個體差異的影響,不同被試在刺激條件間的ERPs 差異方向可能是不一致的,這將導致在對所有被試的數(shù)據(jù)進行組平均處理后,可能會使得研究者不能從組平均ERPs 上區(qū)分兩種刺激,從而做出兩種刺激具有相似神經(jīng)表征的錯誤推論。(B)由于被試間存在著個體差異,假設對于相同的刺激條件,在某一時刻下不同的被試均能誘發(fā)出較為明顯的大腦活動模式,但在不同的通道上激活水平的極性不同,可能使得不同被試的地形圖映射情況差別很大,導致人們同樣可能對所有被試進行組平均后得到的結(jié)果做出錯誤的解釋。

相比于傳統(tǒng)的EEG/MEG 分析方法,解碼分析和RSA 并不需要不同被試之間的ERPs/ERMFs振幅等信息具有較高的一致性,它們更多地要求事件相關的EEG/MEG 信號在每個被試內(nèi)部具有較高的一致性(即存在相對穩(wěn)定的加工機制)。以不同的刺激類型為例,解碼分析和RSA 的基本假設是：當大腦對特定刺激信息進行了有效編碼時都會產(chǎn)生對應的活動模式,如圖2A 所示,每個試次記錄到的大腦活動模式可以投射到由所有通道(記錄EEG 信號的電極、MEG 信號的磁力計和平面梯度計)共同構(gòu)成的神經(jīng)表征空間中(為便于展示此處將其簡化為三個通道構(gòu)成的三維空間),并得到其對應的響應向量(即神經(jīng)表征空間中的點),該響應向量的特征坐標由各個通道包含的幅值信息轉(zhuǎn)換而來(Haxby et al.,2014)。每種類型的刺激信息在神經(jīng)表征空間中的分布是不同的,同一刺激條件下的大腦活動模式將被投射到神經(jīng)表征空間中的某個特定區(qū)域,具體表現(xiàn)為相同類型的刺激信息在空間分布上更加集中,且集中于某個區(qū)域內(nèi)所有的響應向量都表征了同一類信息,例如刺激類型、認知狀態(tài)等(Cox &Savoy,2003;Kamitani&Tong,2005;Grootswagers et al.,2017;Hebart &Baker,2018;Carlson et al.,2019)。而當大腦未對特定刺激信息進行編碼時,如圖2B 所示,其對應的響應向量在神經(jīng)表征空間上的分布則是隨機不可分的。

當在被試內(nèi)部不同刺激條件對應的神經(jīng)表征之間在關注的時間進程上存在著穩(wěn)定的差異(本文稱之為絕對差異)時,解碼分析可以在神經(jīng)表征空間中按照一定的規(guī)則找到一個能將不同類型響應向量分離開的邊界(即圖2C 中所示的決策邊界,decision boundary),使得各種刺激類型信息所對應的大腦活動模式可以最優(yōu)地區(qū)分開,從而實現(xiàn)對個體不同的認知狀態(tài)進行分離(Haxby et al.,2014;Grootswagers et al.,2017;Kriegeskorte &Diedrichsen,2019;Weaverdyck et al.,2020)。解碼正確率是衡量決策邊界區(qū)分絕對差異的效果的指標,如果得到的解碼正確率越高,理論上該決策邊界就越能夠區(qū)分不同的認知狀態(tài)。無論不同被試誘發(fā)出的ERPs/ERMFs 振幅大小和方向、地形圖分布情況是否一致,我們都可以借助解碼分析來考察每名被試區(qū)分不同刺激條件的神經(jīng)表征絕對差異(由解碼正確率表示);將不同被試的解碼正確率進行平均和統(tǒng)計檢驗分析,以說明不同刺激條件之間確實存在著差異(圖3)。

圖2 以不同的刺激類型為例,(A)不同刺激信息的神經(jīng)表征不同,具體在神經(jīng)表征空間中會表現(xiàn)出同類刺激信息相聚、異類刺激信息相離的特點。(B)當大腦未對特定刺激信息進行編碼的情況下,神經(jīng)表征將處于隨機不可分的狀態(tài)。(C)解碼分析可以使用決策邊界對不同類型的刺激進行區(qū)分。(D)RSA 通過計算不同刺激之間的距離來說明它們之間的相似程度。

圖3 以基于時域ERP 信號進行的解碼分析(可以對特定時間點的單個通道或多個通道數(shù)據(jù)進行解碼)為例,在每個時間點上對ERPs/ERMFs 數(shù)據(jù)進行解碼,能夠得到一條隨著時間變化的解碼正確率曲線,從而可以在時間進程上探究神經(jīng)表征信息的動態(tài)編碼情況。由于解碼分析只關注不同的刺激條件之間是否存在著差異,而不關心這個差異的振幅極性和地形分布等具體信息,相比于圖1A 的情況,此處不僅保留了每名被試對不同刺激條件的區(qū)分情況,且他們在時程上的一致性可以在平均結(jié)果中保留。

不同于解碼分析尋找能夠最優(yōu)分離各種類型神經(jīng)表征的決策邊界的思路,RSA 致力于衡量不同神經(jīng)表征之間的差異大小。由于同一類別的信息彼此之間的相似程度更高,在神經(jīng)表征空間中表現(xiàn)為對應的響應向量間的距離更近,不同刺激類型的信息則由于相似程度低而表現(xiàn)為響應向量間的距離更遠,所以RSA 可以根據(jù)每個響應向量在神經(jīng)表征空間內(nèi)的特征坐標來計算響應向量間的成對距離,使得不同刺激條件間神經(jīng)表征的差異情況可以用對應的響應向量間距離來進行衡量(圖 2D,Kriegeskorte,Mur,&Bandettini,2008;Kriegeskorte &Kievit,2013;Haxby et al.,2014;Popal et al.,2019;Weaverdyck et al.,2020)。這種根據(jù)不同腦活動量化得到的標準化差異被RSA 記錄在表征差異矩陣(representational dissimilarity matrix,簡稱RDM)中,它反映了由不同刺激條件誘發(fā)的大腦活動模式間相似程度。當不同刺激條件的神經(jīng)表征之間存在差異且這種差異穩(wěn)定存在于被試內(nèi)部時,此時RSA 只關心在個體水平上不同刺激誘發(fā)的腦活動是否有差異、差異程度有多大,而不關心腦活動之間的差異體現(xiàn)在哪些具體測量特征值上(如ERPs/ERMFs 振幅大小和方向、地形圖分布情況等)。對于一組刺激而言,它們的具體測量特征值在不同被試之間可能會有很大的不同,但是當每個被試內(nèi)部對這組刺激內(nèi)不同刺激條件的加工存在著穩(wěn)定的規(guī)律時,那么根據(jù)不同被試的EEG/MEG 活動計算得到的RDM (反映了刺激之間的絕對差異程度)有可能是相似的(如圖4A 被試1、被試2 的神經(jīng)RDM 所示)。此外,研究者還可以基于研究目的對不同來源和形式的數(shù)據(jù)進行量化(如圖4A 分別根據(jù)行為表現(xiàn)和類別屬性構(gòu)建的行為RDM、概念RDM),并與根據(jù)EEG/MEG數(shù)據(jù)構(gòu)建的逐時間點神經(jīng)RDMs 進行比較,進而闡明不同類型的數(shù)據(jù)能夠在哪些時程上提供一致性信息,以在不同層面反映刺激條件之間的差異(圖 4B,Kriegeskorte,Mur,&Bandettini,2008;Kriegeskorte &Kievit,2013;Carlson et al.,2013;Cichy et al.,2014;Cichy,Kriegeskorte,et al.,2017;Redcay &Carlson,2015;Grootswagers et al.,2019)。

圖4 RSA 方法示意圖。(A)根據(jù)不同個體的神經(jīng)活動、行為表現(xiàn)、類別屬性等來對不同刺激條件之間的差異進行量化,得到的不相似度可以記錄在RDM 中(此處神經(jīng)RDM 的數(shù)據(jù)來源為某時間點的EEG 數(shù)據(jù),不相似度以1-相似度(刺激M,刺激N) 來計算;行為RDM 的數(shù)據(jù)來源為行為評分,不相似度以相對距離(刺激M,刺激N)來計算;具體算法以及其它評估方式見4.2.1 節(jié))。由于個體差異的存在,對于一組刺激以及這組刺激內(nèi)不同刺激條件之間的差異,在不同被試的神經(jīng)活動和行為表現(xiàn)上可能是不一樣的;如果被試內(nèi)部對不同刺激條件的加工存在穩(wěn)定的規(guī)律,那么通過計算得到的RDM 在個體之間可能是類似的。(B)對于EEG/MEG 數(shù)據(jù),可以在每個時間點上計算不同刺激條件之間的不相似度并構(gòu)建對應的神經(jīng)RDM,再分別與其它來源的RDM 進行比較得到相似度曲線。例如,本圖顯示在刺激呈現(xiàn)約200 ms 后出現(xiàn)了區(qū)分動植物類別概念的神經(jīng)表征,這種分類機制在不同個體之間是一致的(盡管具體的神經(jīng)表征活動模式在不同被試間可能存在較大差異)。將構(gòu)建的模型RDM 與逐時間點構(gòu)建的神經(jīng)RDMs 進行比較,可以在一定程度上說明根據(jù)理論假設構(gòu)建的模型能夠在什么時程上對不同刺激類型之間的差異做出解釋。

在ERPs/ERMFs 研究中,解碼分析和RSA 不僅可以在時間進程上揭示個體間一致的加工機制,并且當個體間存在顯著差異、但是個體內(nèi)存在穩(wěn)定的加工機制時,還能對具體的神經(jīng)表征模式進行探索,用于識別個體的“腦指紋”。將這兩種方法引入EEG/MEG 研究,可以彌補傳統(tǒng)分析方法只關注群體水平ERPs/ERMFs 結(jié)果的不足,還能根據(jù)每個被試獨有的大腦活動模式,給出個體水平上的統(tǒng)計分析結(jié)果,幫助人們在個體水平上理解信息編碼加工的時程。

3 基于分類的解碼

3.1 基本概述

解碼分析起源于機器學習中的分類算法,它主要根據(jù)從樣本數(shù)據(jù)中提取的特征(能夠反映樣本數(shù)據(jù)在某些方面的屬性。ERPs/ERMFs 研究主要關注如時間-振幅、時間-通道、時間-頻率-功率等特征)來訓練能夠區(qū)分不同類別(樣本數(shù)據(jù)所屬的種類,如刺激類型、認知狀態(tài)等)的分類模型。在認知神經(jīng)科學領域,人們可以使用與特定事件相關的 EEG/MEG 數(shù)據(jù)來訓練和測試分類器(classifier),以尋找不同心智活動下的神經(jīng)表征差異,從而將特定事件所對應的大腦活動信號進行區(qū)分(Pereira et al.,2009;Haxby et al.,2014;Haynes,2015;Contini et al.,2017)。以采用EEG/MEG 技術開展的一個視覺研究舉例,解碼分析的流程大致如圖5 所示：該研究擬探究人們在識別動物刺激和植物刺激時的神經(jīng)信號差異,在向被試呈現(xiàn)不同類型的視覺刺激并記錄EEG/MEG 后(圖5A),對每名被試的數(shù)據(jù)進行單獨處理。首先進行數(shù)據(jù)預處理以提高解碼分析的效果,再將預處理好的數(shù)據(jù)分為訓練集和測試集并分別打上標簽(例如試次2 和試次3 都是動物,編碼為0;試次1 和試次4 都是植物,編碼為1)形成訓練集和測試集;然后將訓練集用于訓練分類器以構(gòu)建分類模型(不同通道下每個試次的神經(jīng)信號為預測變量,打上的標簽為結(jié)果變量);最后用測試集來檢驗分類模型的性能,即計算模型預測標簽和實際標簽的差異,也就是解碼正確率(圖5B)。如果解碼正確率高于隨機水平(chance level,本研究中的隨機水平為50%),說明它確實能夠區(qū)分不同的大腦認知狀態(tài),因為分類器能夠從訓練集中學習到不同的類別與其特征之間的關系,并將這種關系推廣到訓練樣本以外的獨立數(shù)據(jù)中。對于每名被試,可以在每個時間點都分別進行上述的解碼分析并得到一個解碼正確率,進而繪制解碼正確率隨時間變化的曲線(圖3);對多名被試的解碼正確率曲線進行組平均分析和統(tǒng)計檢驗,能夠考察不同實驗條件間的神經(jīng)表征差異何時達到顯著,從而揭示人類大腦進行分類加工的時間進程。

圖5 解碼分析流程示意圖。(A)采用標準的EEG/MEG 記錄方法對呈現(xiàn)不同類型刺激信息時被試的大腦活動信號進行采集。由于每種類型的刺激都與一種特定的大腦活動模式有關,因此可以尋找大腦與不同刺激條件之間的神經(jīng)相關性。(B)解碼分析的基本模型。將已有數(shù)據(jù)劃分為訓練集和測試集(其中色塊表示用于解碼分析的特征信息),使用已標記訓練標簽的數(shù)據(jù)來訓練分類器,并使用測試集對訓練好的分類器進行測試;通過計算分類模型預測的結(jié)果和真實結(jié)果之間的差異,便可以得到用于評估分類性能的解碼正確率。

3.2 具體算法及實現(xiàn)

3.2.1 數(shù)據(jù)預處理

與傳統(tǒng)ERPs/ERMFs 分析相似,解碼分析的預處理階段也需要使用濾波、眼動校正、偽跡排除、數(shù)據(jù)分段、重參考等方式來處理原始信號(詳見Luck,2014),以盡可能地減少偽跡和噪聲帶來的影響。在預處理階段,根據(jù)關注的特征類型對信號處理的操作有所不同。例如,關注特定的時域ERP 成分時需要將提取后的ERPs/ERMFs 振幅信息作為后續(xù)解碼的輸入,通常采用截止頻率30～40 Hz 的低通數(shù)字濾波去除高頻噪音(低頻噪音一般是在EEG 記錄時通過高通模擬濾波來去除,截止頻率通常設為0.01～0.1 Hz);關注某個頻段的神經(jīng)震蕩活動時,可以采取希爾伯特變換或小波變換的方式提取固定頻段的能量信號(例如,8～13 Hz 的alpha 能量)作為后續(xù)解碼的輸入(Bae&Luck,2018;Xie et al.,2020)。受到通道數(shù)量、采樣率、關注的特征類型等諸多因素的影響,有時為了防止輸入分類器的特征數(shù)量過多而導致過擬合(over fitting)的情況發(fā)生(de Martino et al.,2008;Misaki et al.,2010;Lemm et al.,2011;Weaverdyck et al.,2020),需要對EEG/MEG 數(shù)據(jù)進行降維處理以減少數(shù)據(jù)中的冗余信息。常用的數(shù)據(jù)降維方法有主成分分析(principle component analysis)、獨立成分分析(independent component analysis)和方差分析(analysis of variance)等(Pereira et al.,2009;Lemm et al.,2011;Carlson et al.,2011,2013;Charles et al.,2014;Isik et al.,2014;Sankaran et al.,2018;Dobs et al.,2019)。為了減少解碼的耗時,在解碼之前可以通過將時間窗內(nèi)多個時間點的數(shù)據(jù)平均來對數(shù)據(jù)進行降采樣(downsampling)處理,該操作會增加數(shù)據(jù)的信噪比,一定程度上能夠提升解碼性能,同時由于數(shù)據(jù)降到較低的采樣率,使得用于訓練和測試分類器的時間點數(shù)量減少,這將大幅減少信號解碼的耗時,對于數(shù)據(jù)分析來說是有利的(Carlson et al.,2011,2013;Kaiser,Azzalini,&Peelen,2016;Kaiser,Oosterhof,&Peelen,2016;Giari et al.,2020)。此外,在解碼分析前隨機選取相同刺激條件下的部分試次進行信號平均來提高用于解碼數(shù)據(jù)的信噪比,可以適當提高解碼性能,并且在一定范圍內(nèi),隨著用于信號平均的試次數(shù)增加,其解碼正確率的也會有一定的提升(Isik et al.,2014;Redcay &Carlson,2015;Grootswagers et al.,2017;Bae &Luck,2018,2019a,2019b;Collins et al.,2018)。

在預處理階段,如果ERPs/ERMFs 在試次之間顯示出較大的變異性,導致數(shù)據(jù)處于一個較大的取值范圍時,則要對數(shù)據(jù)進行歸一化(normalization)處理(Correia et al.,2015;Guggenmos et al.,2018;Tuckute et al.,2019;Kong et al.,2020)。歸一化不僅能夠避免不同數(shù)據(jù)間由于取值范圍的差異所造成的影響,提高解碼精度,還能適當降低訓練分類器的時間成本,從而提高計算效率。常用的歸一化方法有最小最大值法(min-max;Croce et al.,2018;Güven et al.,2020)和z分數(shù)法(z-score;Isik et al.,2014;Sato et al.,2018;Tuckute et al.,2019;Barchiesi et al.,2020)。

3.2.2 數(shù)據(jù)劃分

在訓練分類器之前,需要將預處理之后的ERPs/ERMFs 數(shù)據(jù)劃分為訓練集和測試集,用于訓練分類器并測試其泛化性能(訓練得到的分類模型對新樣本數(shù)據(jù)的適應能力)。受到實際樣本數(shù)量的限制,為了盡可能的對數(shù)據(jù)進行利用,提高分類器的性能,需要引入交叉驗證(cross validation)的方法。最廣泛使用的是k 折(k-folds)交叉驗證,該過程包括了彼此相互獨立的k 次迭代運算(即k次訓練和測試)：首先需要將數(shù)據(jù)集等比例劃分成k 個試次數(shù)相等的子集,在每次迭代過程中依次取出劃分后的1 個子集作為測試集,用來對訓練后的分類器性能做出評估,同時將剩下的k-1 個子集作為訓練集用于訓練分類器;最后將k 次迭代后得到的正確率進行平均(Pereira et al.,2009;Lemm et al.,2011;Grootswagers et al.,2017;Weaverdyck et al.,2020)。當k 折交叉驗證的迭代運算次數(shù)k 等于樣本量n 時,是k 折交叉驗證的一種特殊形式,也稱為留一法(leave-one-out)交叉驗證：每次抽出一個樣本作為測試集,并將剩余的n-1 個樣本用來訓練分類器;將該過程不斷重復,直到每個樣本都被作為了測試集,此時會得到n個解碼正確率,它們的平均結(jié)果則作為衡量模型性能的指標。留一法對樣本的利用率最高,但同時該方法會非常耗時,一般更適用于小樣本的情況(Pereira et al.,2009;Lemm et al.,2011;Carlson et al.,2013;Tucciarelli et al.,2015;Grootswagers et al.,2017,2019;Robinson et al.,2019)。

應當注意的是,在一個完整的訓練-測試流程中,訓練和測試的數(shù)據(jù)需要保持相互獨立,如果對來自相同刺激條件的某個試次同時執(zhí)行訓練和測試兩個步驟,容易造成分類器過擬合的情況,進而對其性能造成影響(Fahrenfort et al.,2018)。另外,還需要盡量保持各個條件之間樣本數(shù)量的平衡,否則有可能會導致分類器對不同類別的判別能力有著較大的差距,使得分類器進行分類時偏向樣本基數(shù)大的一方就能得到較高的正確率,進而對實驗結(jié)果的解釋造成影響(Pereira et al.,2009;Carlson et al.,2019)。

3.2.3 模型構(gòu)建

將數(shù)據(jù)進行劃分后,需要把訓練集輸入至分類器中,使分類器從數(shù)據(jù)中按照一定規(guī)則找到?jīng)Q策邊界,求解出相應的函數(shù)來構(gòu)建分類模型。對于分類器的選擇,一般選擇線性分類器而不是非線性分類器,主要有以下幾點考量：第一,非線性分類器雖然能夠擬合更為復雜的決策邊界,但這種分類性能的提高往往是以過擬合為代價的,導致其對結(jié)果的可解釋性比線性分類器差(Kamitani&Tong,2005;Misaki et al.,2010;Carlson et al.,2019;Ivanova et al.,2021)。第二,線性分類器能夠?qū)⑵錂嘀亟?jīng)過處理后投影到EEG/MEG 通道的地形圖上(詳見下一小節(jié)“權重投影”部分),使結(jié)果可視化,讓人們能夠?qū)獯a信息的來源有一個更加直觀的認識(Haufe et al.,2014)。第三,線性分類器是對來自不同通道的信息進行加權和組合,與大腦神經(jīng)元的工作原理很像,更符合生物學特性(Kriegeskorte,2011;Ivanova et al.,2021)。因此在認知神經(jīng)科學的研究中,研究者更加傾向于使用線性分類器進行解碼分析,如線性支持向量機(linear support vector machine,LSVM;Cichy et al.,2014,2016;Cichy,Pantazis,&Oliva,2016;Cichy,Kriegeskorte,et al.,2017;Cichy,Khosla,et al.,2017;Charles et al.,2014;Tucciarelli et al.,2015;Bae &Luck,2018,2019a,2019b;Dobs et al.,2019)和線性判別分析(linear discriminant analysis,LDA;Carlson et al.,2011,2013;Kaiser,Azzalini,&Peelen,2016;Kaiser,Oosterhof,&Peelen,2016;Wardle et al.,2016;Fahrenfort,Grubert,et al.,2017;Fahrenfort,van Leeuwen,et al.,2017;Alilovi? et al.,2019;Linde-Domingo et al.,2019;Barchiesi et al.,2020;Blom et al.,2020)。在具體研究中,單純地追求更高的解碼正確率并非是解碼分析在認知神經(jīng)科學中的主要目標,研究者更重視的是對認知加工過程的神經(jīng)機制進行合理的闡述(Hebart &Baker,2018;Teichmann et al.,2020),所以在非必要的情況下,線性分類器是最佳的選擇。

3.2.4 模型檢驗

在訓練好分類器之后,需要用測試集數(shù)據(jù)對其進行泛化測試,以評估分類器對于特定認知加工過程的識別能力。泛化測試得到的結(jié)果一般是分類器的解碼正確率;在前人的研究中,有許多方法被用于在群體水平上對分類器的解碼正確率和隨機水平之間的差異進行統(tǒng)計檢驗,如t檢驗(t-test;Carlson et al.,2011;Allefeld et al.,2016;Bode et al.,2019;Fahrenfort,Grubert,et al.,2017;Fahrenfort,van Leeuwen,et al.,2017;Fahrenfort et al.,2018;Hubbard et al.,2019;Sandhaeger et al.,2019)、貝葉斯因子(Bayes Factors;Wagenmakers,2007;Rouder et al.,2009;Dienes,2016;Grootswagers et al.,2019;Robinson et al.,2019)、Wilcoxon 符號秩檢驗(Wilcoxon signed-rank test;Charles et al.,2014;Correia et al.,2015;Redcay &Carlson,2015;Sankaran et al.,2018;Linde-Domingo et al.,2019)、置換檢驗(permutation test;Cichy et al.,2014;Isik et al.,2014;Tucciarelli et al.,2015;Pantazis et al.,2018)等方法。由于以上方法在每個時間點上都對正確率進行了檢驗,大量的檢驗會造成多重比較的問題,所以還需要對檢驗后的結(jié)果進行校正。常用的多重比較校正方法有FDR (false discovery rate;Benjamini &Yekutieli,2001;Correia et al.,2015;Redcay &Carlson,2015;Fahrenfort et al.,2018;Heikel et al.,2018;Pantazis et al.,2018)、基于簇的置換檢驗(cluster-based permutation test;Maris &Oostenveld,2007;Oosterhof et al.,2016;Fahrenfort,Grubert,et al.,2017;Fahrenfort,van Leeuwen,et al.,2017;Kia et al.,2017;Bae &Luck,2019a,2019b;Teichmann et al.,2020)以及Bonferroni校正(Bonferroni;Cichy et al.,2014;Kaiser,Oosterhof,&Peelen,2016;Guggenmos et al.,2018;Sankaran et al.,2018)。以上評估和校正方法都取得了不錯的效果,但是它們同樣有著各自最適合使用的場景,因此需要結(jié)合實際的研究內(nèi)容來選擇具體的方法(Allefeld et al.,2016;Hebart &Baker,2018;Carlson et al.,2019)。

已有的ERPs/ERMFs 研究主要是在關注的通道上(全部通道或者由部分通道組成的通道簇)利用數(shù)據(jù)空間結(jié)構(gòu)特征逐時間點開展解碼分析,但不同研究之間對于數(shù)據(jù)處理方法的選擇并不一致(如預處理采用哪些步驟、怎樣對數(shù)據(jù)進行劃分、如何構(gòu)建模型并對其進行統(tǒng)計檢驗等),目前還沒有一套可供參考的標準化規(guī)范,因此研究者在實際分析的時候需要根據(jù)自身的數(shù)據(jù)特點進行綜合考量,盡可能選擇最合適的方法組合,以保持解碼精度和操作步驟數(shù)量之間的平衡(Grootswagers et al.,2017;Carlson et al.,2019)。

3.3 基于解碼分析的衍生方法

3.3.1 時間泛化方法

時間泛化方法(the temporal generalization method)能夠?qū)ι窠?jīng)表征隨時間變化的穩(wěn)定性進行描述(Fahrenfort et al.,2018),根據(jù)關注的問題類型可具體細分為跨時域解碼(cross-temporal decoding)和跨任務/狀態(tài)解碼(cross-task/state decoding)兩種方法。其中,跨時域解碼通過在特定的時間點上對分類器進行訓練,并在所關注時間進程內(nèi)部的所有時間點上進行泛化測試,利用時間泛化矩陣來揭示不同認知狀態(tài)下的大腦活動模式是怎樣隨著時間變化的,使人們對大腦活動模式在時間跨度上的泛化性可以有更為直觀的認識(Carlson et al.,2011,2013;Cichy et al.,2014;King &Dehaene,2014;Teichmann et al.,2018;Dobs et al.,2019)。如圖6A 所示,矩陣對角線上的結(jié)果與常規(guī)逐時間點解碼分析得到的結(jié)果一致,而非對角線上的結(jié)果則代表了神經(jīng)表征隨時間變化的情況：如果在某個時間點上訓練好的分類器能夠很好的對其它時間點上的數(shù)據(jù)進行預測,說明在這些時間點上大腦對信息的編碼模式是類似的;反之,則說明在這些時間點上大腦對信息的編碼模式發(fā)生了變化,導致該分類器的決策邊界不再適用于其它時間點(Carlson et al.,2011;Grootswagers et al.,2017)。

圖6 基于解碼分析的衍生方法示意圖。(A)利用時間泛化方法能夠直觀地在時間跨度上對刺激呈現(xiàn)后相應的神經(jīng)表征穩(wěn)定性進行觀察。其中,對角線為常規(guī)逐時間點解碼分析的結(jié)果,非對角線為信息編碼模式隨時間變化的情況。(B)原始權重投影如左圖,由于直接使用各個通道的原始權重值不利于對解碼信息的來源做出合理的解釋,因此需要使用Haufe 等人(2014)提供的方法對原始特征權重進行變換。如右圖所示,變換后的權重投影解釋性更強,體現(xiàn)為枕區(qū)對于區(qū)分不同條件的貢獻最大。(C)采用探照燈分析能夠在時間、頻率、通道維度上對感興趣的多變量效應進行研究。如左圖、中圖所示,當以某一時間點、頻率或者通道為中心,聯(lián)合該中心鄰域內(nèi)的其它信息共同構(gòu)建分類特征,可以幫助人們從時間、功率、空間上探索特定頻率下在不同時刻每個通道對分類結(jié)果的貢獻情況,其結(jié)果如右圖所示。

跨時域解碼用于解釋神經(jīng)表征是如何隨著時間動態(tài)變化的,跨任務/狀態(tài)解碼則用于揭示不同類型刺激之間的神經(jīng)表征差異在不同任務狀態(tài)下的泛化情況(King &Dehaene,2014;Contini et al.,2017)：使用任務A 下的ERPs/ERMFs 數(shù)據(jù)對分類器進行訓練,并對任務B 的ERPs/ERMFs 數(shù)據(jù)進行泛化測試,可以揭示不同任務狀態(tài)下大腦對信息編碼過程中神經(jīng)表征的相似性,以及這種相似性是如何隨著時間變化的(Isik et al.,2014;Kaiser,Azzalini,&Peelen,2016;Kaiser,Oosterhof,&Peelen,2016;Dijkstra et al.,2018;Blom et al.,2020;Xie et al.,2020)?？鐣r域解碼與跨任務/狀態(tài)解碼的分析流程基本相似,不同之處在于,用于跨時域解碼的訓練集和測試集是從同一個任務下不同條件的數(shù)據(jù)中采用交叉驗證的方法進行劃分所得;用于跨任務/狀態(tài)解碼的訓練集和測試集則來自兩個不同實驗任務下的數(shù)據(jù),兩個實驗任務的數(shù)據(jù)需要分別作為訓練集和測試集來分別完成一次解碼,且任務之間的刺激條件要彼此對應(即任務A 的條件M 要與任務B 的條件M 對應,任務A 的條件N 要與任務B 的條件N 對應)。

3.3.2 權重投影

使用考慮特征協(xié)方差的線性分類器(如支持向量機、線性判別分析)對多個通道的數(shù)據(jù)進行解碼分析時,除了解碼正確率外,還能獲取到分類器在各個通道上用于預測的特征權重。根據(jù)不同通道的權重信息進行特定的數(shù)學變換,可以估計某一通道在分類過程中對于有效信息的貢獻情況,進而定位解碼信息的主要來源,這便是權重投影(weight projection)方法。

當使用權重投影的方法來說明解碼信息的潛在來源時,必須只考慮用于區(qū)分不同類別條件之間差異的信號,使得權重只反映每個特征在分類過程中的重要性(Haufe et al.,2014;Fahrenfort,van Leeuwen,et al.,2017;Hebart &Baker,2018;Carlson et al.,2019)。由于來自線性分類器解碼之后每個通道的權重不能可靠地被直接解釋為神經(jīng)活動信號的強弱(Haufe et al.,2014),我們可以使用Haufe 等人(2014)描述的一種數(shù)學方法,可以提升權重信息的可解釋性(圖 6B)。以線性分類器LDA 的權重變換為例,該方法將分類器的權重乘以數(shù)據(jù)協(xié)方差矩陣。由于從LDA 中獲得的權值包含由協(xié)方差矩陣歸一化的兩個比較集之間的差異,該方法重新生成的通道權重,可以解釋為神經(jīng)源信息。還需注意的是,權重投影法并不適用于滑動窗口這種將多個時間點的數(shù)據(jù)直接作為輸入特征來進行分類的方法(Haufe et al.,2014;Grootswagers et al.,2017;Kia et al.,2017)。

3.3.3 探照燈分析

探照燈分析(searchlight)也稱為信息映射(information mapping),主要用于識別局部信息區(qū)域特征,以支持在時間、頻率、通道上對關注的效應進行定位(Tucciarelli et al.,2015;Oosterhof et al.,2016;Ronconi et al.,2017;Sato et al.,2018)。探照燈分析的中心思想在于,以某一時間點、頻率或者通道為中心,聯(lián)合該中心鄰域(neighborhoods)內(nèi)的其它信息共同構(gòu)建特征向量來作為用于解碼分析的特征集(圖6C 左、中),并用計算得到的解碼正確率(在探照燈分析中亦被稱作度量,measures)作為評估該中心特征對于分類的貢獻指標(圖6C右)。其中,鄰域指的是在探照燈分析中具體使用的時間、頻率以及通道半徑范圍,它定義了實際分析中所使用的區(qū)間間隔大小(Oosterhof et al.,2016)。

為了直觀體現(xiàn)傳統(tǒng)解碼分析和探照燈分析的區(qū)別,下面以時域解碼為例,解碼分析的做法是將全部通道(或其子集)的ERPs/ERMFs 數(shù)據(jù)進行逐時間點分類,探照燈分析則是以每個時間點為中心,將它們分別與其鄰域內(nèi)的時間點進行整合,并對整合后全部通道(或其子集)的數(shù)據(jù)進行逐時間點分類。如利用64 通道的ERPs 數(shù)據(jù)進行逐時間點解碼,解碼分析在每個時間點上用于訓練模型的特征數(shù)為64×1=64 個,而鄰域為2 的探照燈分析還需要包含前后各2 個時間點的信息,因此在某一時間點上需要輸入的特征數(shù)為64×(2+1+2)=320 個。此時,探照燈分析可以視為盡可能地減少時域上的高頻噪音對數(shù)據(jù)造成的影響,在尋找效應來源的同時增加信噪比,以發(fā)掘更加精細的差異?；贓RPs/ERMFs 數(shù)據(jù)的探照燈分析具有多種形式,同理,當進行逐通道的分析時,則是將每個通道及其鄰域內(nèi)的通道整合為一個通道簇來作為分類器輸入特征,以提高空間維度上的信噪比。由于不同的鄰域之間可以相互組合,因此還可以使用時間-通道的探照燈分析,在時間、空間上對所關注的效應進行定位,直到獲得每個通道在不同時刻對分類結(jié)果貢獻的映射情況(Tucciarelli et al.,2015;Kaiser,Oosterhof,&Peelen,2016;Kietzmann et al.,2017;Ronconi et al.,2017;Collins et al.,2018;Robinson et al.,2019;Barchiesi et al.,2020;Giari et al.,2020;Teichmann et al.,2020)。以此類推,時間、頻率、通道之間也可以進行組合,并且在EEG/MEG 研究中,還可以將時間泛化方法與探照燈分析相結(jié)合,實現(xiàn)時間泛化-探照燈分析(Oosterhof et al.,2016)。作為解碼分析的衍生方法,利用探照燈分析同樣可以描述不同刺激條件下大腦活動模式的細微變化,從而提供新穎的見解(Collins et al.,2018)。

權重投影和逐通道的解碼分析/探照燈分析都可以作為對神經(jīng)活動信號源進行定位的方法,它們對于結(jié)果的解釋可以是相似的,比如不同神經(jīng)表征的差異體現(xiàn)在哪些時刻的哪些腦區(qū)或者通道上。需要注意的是,這些方法基于不同的算法原理,關注的分別是線性分類器賦予各通道的權重值和解碼正確率。因此,即便對于同一批數(shù)據(jù)而言,這些方法用于計算結(jié)果的信息來源并不完全相同。

解碼分析能夠在一定程度上對不同認知狀態(tài)下的神經(jīng)表征差異進行探索和預測,但是其依舊存在著些許不足。具體來說,在神經(jīng)表征空間中進行解碼分析時,主要依賴于分類器去尋找能夠?qū)⒉煌竽X活動模式進行分離的最佳決策邊界,從而判斷不同認知狀態(tài)下的大腦活動模式是否有明顯差異。對于具體是何種表征信息在分類過程中起到了決定性作用、不同的表征信息又是以何種形式在大腦中進行組織的,大腦是怎樣表征相同類別刺激中不同客體(例如動物類別中的“黑猩猩”和“狗”的表征)之間的共性與差異,往往難以從解碼分析的結(jié)果中得知(Haxby et al.,2014;Nili et al.,2014;Popal et al.,2019;Weaverdyck et al.,2020;Freund et al.,2021)。在下一章中,我們將介紹另一種用于彌補上述不足的神經(jīng)解碼方法——表征相似性分析。

4 表征相似性分析

4.1 基本概述

在認知神經(jīng)科學研究中,經(jīng)常需要將理論模型與來自不同被試的行為數(shù)據(jù)、腦影像數(shù)據(jù)進行比較,由于數(shù)據(jù)采集方式不同、各種分析方法的測量精度不一等因素,如何跨越不同來源數(shù)據(jù)之間的差異并將它們進行關聯(lián),是許多研究者關注的問題。Kriegeskorte,Mur 和Bandettini 等人(2008)提出了一種叫做 RSA 的模式信息分析(patterninformation analysis)方法用于研究腦活動測量、行為測量和計算建模之間的定量關系。RSA 主要關注的是刺激條件與神經(jīng)響應水平之間的二階同構(gòu)(second-order isomorphism)而非兩者之間的一階同構(gòu)(first-order isomorphism)：一階同構(gòu)直接比較由不同刺激條件所誘發(fā)的神經(jīng)響應水平,例如比較不同被試在分別看到動物刺激與植物刺激時所誘發(fā)出的ERPs/ERMFs 的極性、振幅強度、潛伏期等情況(這也體現(xiàn)出傳統(tǒng)EEG/MEG 分析對被試的一致性要求更高,當不同個體之間存在較大個體差異時可能難以對結(jié)果做出解釋);二階同構(gòu)則側(cè)重考慮不同刺激類別對應的神經(jīng)響應水平之間的差異,并且這種刺激屬性和神經(jīng)響應水平之間的關系在抽提后是穩(wěn)定存在于個體內(nèi)部的。具體而言,不同被試看到一組動物刺激和植物刺激時所誘發(fā)出的ERPs/ERMFs 的極性、振幅強度、潛伏期等情況可能會非常不同,但是每名被試內(nèi)部均可以表現(xiàn)出在不同刺激類別之間的神經(jīng)響應水平有較大差異,同時在相同刺激類別內(nèi)部表現(xiàn)出相似的神經(jīng)響應水平(Weaverdyck et al.,2020)。RSA 在二階同構(gòu)的基礎上來表征一組刺激條件之間神經(jīng)響應水平的相似程度,它更加關注不同刺激條件之間的差異而非具體的表現(xiàn)形式,例如EEG/MEG 的振幅、fMRI 的BOLD 響應信號、行為成績等數(shù)據(jù)之間的性質(zhì)差別非常大(即一階同構(gòu)差異很大),但是它們都能對不同的刺激條件進行區(qū)分,并且經(jīng)過抽提后的RDM 可能是類似的(即二階同構(gòu)是相似的,如圖 4A)。因此,RSA 在具備了足夠的統(tǒng)計不變性的情況下為不同個體、不同來源和形式的數(shù)據(jù)提供了一個標準化的公共表征空間(Kriegeskorte &Wei,2021)。

RSA 通過計算所有可能的兩個刺激(包括相同/不同類別之間)組合之間的可區(qū)分性或者相似性,來編碼不同神經(jīng)表征之間的相似性結(jié)構(gòu),并利用RDM 來描述一組刺激條件與其對應的神經(jīng)響應水平之間的關系。在實際研究中,不同的刺激條件在神經(jīng)表征空間中會存在著與之對應的響應向量,RDM 記錄了所有兩兩成對的響應向量間距離,這些響應向量對間的距離共同定義了表征幾何(representational geometry),它可以在一定程度上反映不同刺激條件的表征性質(zhì)(Kriegeskorte&Kievit,2013;Kriegeskorte et al.&Diedrichsen,2019;Freund et al.,2021;Kriegeskorte &Wei,2021)。如圖4A 所示,RDM 的基本類型是由相同順序的水平和垂直刺激進行索引的方形對稱矩陣,其中對角線表示的是相同刺激條件之間的比較(根據(jù)定義,對角線的數(shù)值一般為0),非對角線的數(shù)值表示的是對應行和列中兩個不同刺激條件對之間的差異(該差異可以解釋為在表征空間中對應的響應向量間的距離)。原則上根據(jù)不同來源數(shù)據(jù)建立的RDM 都可以用來預測每個刺激對的大腦活動模式相對相似性/差異性(圖4、圖7),如行為結(jié)果(Mur et al.,2013;Redcay &Carlson,2015;Cichy,Kriegeskorte,et al.,2017;Furl et al.,2017;Wang et al.,2018;Dobs et al.,2019)、計算模型(Cichy et al.,2016,Cichy,Khosla,et al.,2017;Wardle et al.,2016;Kietzmann et al.,2017;Pantazis et al.,2018;Kong et al.,2020)、刺激屬性(Carlson et al.,2013;Wardle et al.,2016;Furl et al.,2017;Sankaran et al.,2018)、不同類型的神經(jīng)成像數(shù)據(jù)(Cichy et al.,2014;Cichy,Pantazis,&Oliva,2016;Cichy &Pantazis,2017)、不同物種(Kriegeskorte et al.,2008;Mur et al.,2013;Cichy et al.,2014;Sandhaeger et al.,2019)等,使得將各個刺激條件之間的差異量化后直接比較不同數(shù)據(jù)模態(tài)之間的差異成為可能(Kriegeskorte,Mur,&Bandettini,2008;Kriegeskorte,2011;Kriegeskorte &Kievit,2013)。由于RDM 本身是一個復雜、高維的結(jié)構(gòu),為了在低維空間清晰地展現(xiàn)出RDM 包含的表征性質(zhì),通?？梢圆捎枚嗑S尺度變換(multidimensional scaling,MDS;Torgerson,1958;Kriegeskorte et al.,2008;Carlson et al.,2013;Kietzmann et al.,2017;Pantazis et al.,2018;Sankaran et al.,2018)、t-分布隨機鄰域嵌入(t-distributed stochastic neighbor embedding,t-SNE;van der Maaten &Hinton,2008;Grootswagers et al.,2019)以及層次聚類(hierarchical clustering;Johnson,1967;Mur et al.,2013;Cichy et al.,2014)來對RDM 進行可視化。

圖7 (A)RDM 的來源廣泛,它可以在一個公共的表征空間內(nèi)橋接不同類型的數(shù)據(jù),如,跨類別的數(shù)據(jù)(左上)：根據(jù)數(shù)據(jù)來源的不同,可以從腦活動記錄、行為測量、計算建模甚至人工神經(jīng)網(wǎng)絡(artificial neural networks,ANN)中獲得的數(shù)據(jù)來構(gòu)建對應的神經(jīng)RDM、行為RDM、模型RDM;跨模態(tài)的數(shù)據(jù)(右上)：根據(jù)神經(jīng)活動記錄方式(如fMRI、fNIRS、EEG 和MEG 等)的不同,可以構(gòu)建不同特點的神經(jīng)RDM;跨群體的數(shù)據(jù)(左下)：構(gòu)建RDM 的數(shù)據(jù)可以從正常人群(年輕人、嬰幼兒、老年人)、疾病人群(孤獨癥、阿爾茲海默癥等)甚至非人類物種(小白鼠、猴子等)這些不同類別的群體中獲取;跨腦區(qū)的數(shù)據(jù)(右下)：還可以根據(jù)研究者所關注的問題來構(gòu)建不同腦區(qū)所對應的神經(jīng)RDM。(B)將逐時間點構(gòu)建的EEG/MEG n-RDMs 與其它來源的RDM 進行比較,可以根據(jù)RDM 的來源在時程上從不同的角度對刺激條件之間的神經(jīng)表征相似性進行探討。例如,將不同刺激條件下根據(jù)人類EEG 活動構(gòu)建的逐時間點n-RDMs分別與根據(jù)行為表現(xiàn)和猴子特定腦區(qū)BOLD 響應信號構(gòu)建的b-RDM、fMRI n-RDM 進行比較,能夠得到(C)所示的相似度曲線,可以直觀地展現(xiàn)神經(jīng)活動與行為表現(xiàn)之間的一致性,以及不同物種之間對于相同刺激信息編碼的一致性。

4.2 具體算法及實現(xiàn)

4.2.1 構(gòu)建RDM

在基于RSA 的EEG/MEG 研究中,最重要的一步是構(gòu)建神經(jīng)RDM (簡稱n-RDM)。根據(jù)采集到的ERPs/ERMFs 數(shù)據(jù),計算不同刺激(同時包含了相同與不相同類別的刺激)的神經(jīng)響應信號間的相似性,我們可以得到一個n-RDM,它能夠表征所有刺激誘發(fā)的大腦活動模式差異?？紤]到EEG/MEG 包含了多個通道和時間點的數(shù)據(jù),以計算單個被試的n-RDM 為例,構(gòu)建n-RDM 時可以采取以下做法,這兩種方法都可以得到各個時間點(或時間窗)的n-RDM,并能夠用來觀察分析神經(jīng)表征隨時間的動態(tài)變化：

(1)逐時間的n-RDM。依次在每個時間點上,將同一刺激條件下的試次進行平均,利用通道信息來計算兩個刺激條件間的相似性;或者利用成對刺激條件之間的解碼正確率作為該刺激組合的相似性。該做法最后會得到與時間點數(shù)量相同的n-RDMs。

(2)逐通道-時間的n-RDM。依次在每個通道上,將同一刺激條件下的試次進行平均,再通過設置時間窗的方式,使得特定時間點的數(shù)據(jù)包含了對應時間窗內(nèi)的全部時間點信息(如100 ms 時的數(shù)據(jù)為以該時間點為中心、前后各20 ms 的全部時間點信息構(gòu)成的時間窗),再逐時間點計算兩個刺激條件間的相似性;或者依次在每個通道、每個時間點上,利用成對刺激條件之間的解碼正確率作為該刺激組合的相似性。該做法最后會得到通道數(shù)×時間點數(shù)個n-RDMs。

行為數(shù)據(jù)也是常用于構(gòu)建RDM 的來源之一。類似地,我們也可以根據(jù)被試的行為測量結(jié)果(正確率、反應時等)直接做兩個刺激之間的算術差值(即歐幾里得距離)來得到每個刺激對組合間的相似性,并得到用來度量行為任務中不同行為表現(xiàn)間差異的行為RDM (簡稱b-RDM)。

構(gòu)建n-RDM 與b-RDM 時相似性度量方法有以下兩種：(1)距離法(構(gòu)建n-RDM 與b-RDM 時均可以采用,例如根據(jù)相關距離對多維度的行為學數(shù)據(jù)構(gòu)建差異矩陣,對EEG/MEG 數(shù)據(jù)則可以使用通道或時間點信息作為相關樣本來衡量不同條件間的差異;也可以根據(jù)歐幾里得距離分別對一維的行為學數(shù)據(jù)、n 維的EEG/MEG 數(shù)據(jù)間測量值的差異進行衡量;Redcay &Carlson,2015;Furl et al.,2017;Kietzmann et al.,2017;Teichmann et al.,2018;Greene &Hansen,2018;Wang et al.,2018;Giari et al.,2020);(2)解碼正確率法(適用于構(gòu)建n-RDM;Carlson et al.,2013;Cichy et al.,2014,2016;Cichy,Pantazis,&Oliva,2016;Cichy,Khosla,et al.,2017;Redcay &Carlson,2015;Cichy &Pantazis,2017;Guggenmos et al.,2018;Sankaran et al.,2018;Dobs et al.,2019;Grootswagers et al.,2019;Kong et al.,2020;Xie et al.,2020)。無論是計算n-RDM 還是b-RDM,上述過程可以在所有被試上重復進行,并得到一個組平均水平的RDM (Kriegeskorte,Mur,&Bandettini,2008;Nili et al.,2014)。需要注意的是,在選擇相似性/差異性度量方式時,要根據(jù)原始數(shù)據(jù)的特點找到一個最合適的度量方式;同時建議在構(gòu)建RDM 前對矩陣內(nèi)部的所有數(shù)值均被進行歸一化處理,以降低數(shù)據(jù)中的噪聲帶來的影響(Walther et al.,2016;Guggenmos et al.,2018;Popal et al.,2019)。

除了n-RDM 與b-RDM 外,根據(jù)研究的需求有時還要建立包括計算模型和概念模型在內(nèi)的模型RDM (簡稱m-RDM),它是研究者根據(jù)圖像屬性、計算建?；蛘吒拍顚傩詣?chuàng)建的理論RDM,用于探索不同神經(jīng)表征對應的時程、腦區(qū)、加工模式等信息。m-RDM 可以來自計算模型,包括簡單計算模型和復雜計算模型。其中,簡單計算模型主要由實驗刺激圖片的各種物理屬性構(gòu)成,例如圖像的低通(low-pass)和高通(high-pass)濾波、色度(colour)、亮度(luminance)、客體的輪廓(silhouette)、Lab 色彩空間中的數(shù)字圖像以及圖像的Lab 聯(lián)合直方圖等,用于量化低水平視覺差異對神經(jīng)異質(zhì)性的貢獻。而復雜計算模型中RDM 的值是通過一些算法或者函數(shù)得到的,主要用于更有理論動機的計算,來模擬某些大腦信息加工過程,如視覺加工的 V1-HMAX 模型、視網(wǎng)膜包絡模型(retinal envelope model)等(Kriegeskorte,Mur,&Bandettini,2008;Wardle et al.,2016)。模型也可以是概念性的,概念模型主要強調(diào)了不同刺激之間基于某一特定屬性的差異,例如動物、植物、人造物品等類別屬性,或者有生命、無生命等語義屬性(見圖4A 根據(jù)動植物類別屬性構(gòu)建的概念模型RDM)。概念模型假設在給定的腦區(qū)和時程內(nèi)只能表征特定的信息(例如區(qū)分動植物的神經(jīng)活動),且可以從無關信息中抽取出來,同時不必說明該表征是如何計算得到的,所以可以基于刺激之間的假定關系來創(chuàng)建RDM。例如對面孔進行感知的過程中,大腦可能會對性別、年齡、熟悉性、身份、種族等不同的信息進行表征,此時對于面孔的表征是非特定于某一屬性的,但是我們依舊可以使用基于假設創(chuàng)建出的 m-RDM 與實際的n-RDM 或者b-RDM 進行比較,將特定的表征信息給抽提出來(Kriegeskorte,Mur,&Bandettini,2008;Popal et al.,2019)。因此,假設構(gòu)建的模型能夠真實反映出大腦是如何表征不同刺激信息的,那么模型生成的刺激間差異性就可以與實際刺激誘發(fā)出的不同大腦活動模式相匹配。

4.2.2 比較RDM

根據(jù)研究問題構(gòu)建完所需的RDM 后,下一步則是在每名被試內(nèi)部對上述不同來源的n-RDM、b-RDM、m-RDM 進行定量比較,常用的比較方法主要為相關距離,如Spearman 相關、Pearson 相關或 Kendall’s tau 相關(Kriegeskorte,Mur,&Bandettini,2008;Carlson et al.,2013;Cichy et al.,2014,2016;Cichy,Pantazis,&Oliva,2016;Cichy,Kriegeskorte,et al.,2017;Cichy,Khosla,et al.,2017;Nili et al.,2014;Cichy &Pantazis,2017;Kietzmann et al.,2017;Guggenmos et al.,2018;Sankaran et al.,2018;Teichmann et al.,2018;Dobs et al.,2019;Kong et al.,2020;Xie et al.,2020)。一般情況下,除非有非常充分的理由,否則假設不同的RDM 之間存在著線性匹配關系往往是不夠合理的,因為RDM 中存在的噪聲受到其來源影響,所以在實際研究中更建議研究者使用等級相關距離(例如Spearman 等級相關系數(shù)和Kendall等級相關系數(shù))的方式來量化不同RDM 之間的一致性(Kriegeskorte,Mur,&Bandettini,2008;Kriegeskorte et al.,2013;Nili et al.,2014;Popal et al.,2019)。還需注意的是,在比較不同的RDM 時,由于矩陣是按照對角線對稱的,為了防止錯誤地增加RDM 之間的相關性,一般要排除矩陣對角線上的數(shù)值,并且只選取對角線上(或下)半部分三角形內(nèi)的值進行分析(Ritchie et al.,2017;Lu &Ku,2020;Weaverdyck et al.,2020)。

對于高時間分辨率的EEG/MEG 數(shù)據(jù),可以根據(jù)每個時間點包含的信息或者用于區(qū)分兩種刺激類型之間差異的解碼正確率來構(gòu)建逐時間點的n-RDMs,并與其它來源的RDMs 進行比較,進而探究不同來源的RDMs 之間的相似性是如何隨著時間推移而變化的(圖4B、圖7B、圖7C),幫助人們在時間維度上更好地理解表征信息的編碼加工情況(Carlson et al.,2019)。比如,將不同的概念m-RDMs 與逐時間點構(gòu)建的EEG/MEG n-RDMs進行比較,可以探索大腦對于不同刺激之間某一特定屬性差異的表征時程(例如,動植物分類的神經(jīng)機制從何時開始;Sankaran et al.,2018;Dobs et al.,2019);將b-RDMs 與逐時間點構(gòu)建的EEG/MEG n-RDMs 進行比較,可以探索特定刺激條件下行為表現(xiàn)與神經(jīng)活動的一致性(例如,哪個時間段的ERPs/ERMFs 活動可以解釋行為上的動植物識別能力;Redcay &Carlson,2015;Cichy,Kriegeskorte,et al.,2017;Dobs et al.,2019);將基于不同感興趣區(qū)(region of interest,簡稱ROI)的BOLD 響應信號構(gòu)建的 fMRI-n-RDMs 與逐時間點構(gòu)建的EEG/MEG n-RDMs 進行比較,可以揭示某一持續(xù)神經(jīng)活動的皮層來源(例如,與動植物識別有關的ERPs/ERMFs 活動來自哪個大腦皮層區(qū)域;Cichy et al.,2014,2016;Cichy,Pantazis,&Oliva,2016;Cichy &Pantazis,2017)。

4.2.3 統(tǒng)計推斷和模型評估

檢驗兩個RDM 之間的相關性主要采用隨機化的方法：將RDM 矩陣的刺激條件標簽隨機化,根據(jù)隨機化的結(jié)果對兩個矩陣中的一個進行重新排序,得到一個新的RDM,并將其與未進行隨機排序的RDM 進行比較,計算新的差異性度量。大量重復該過程(例如5000 次),將生成一個置換分布,用于模擬兩個RDM 不相關的零假設;把實際相關性與生成的置換分布進行比較,找到其在該分布中的位置,并計算p值,從而比較兩個RDM之間是否顯著相關(Kriegeskorte,Mur,&Bandettini,2008;Kriegeskorte &Kievit,2013;Nili et al.,2014;Walther et al.,2016;Popal et al.,2019)。

進行群體水平的統(tǒng)計分析則是使用群體水平的相似度和相似度為0 的水平之間的差異進行顯著性檢驗,如果涉及到逐時間點的相似度檢驗,同樣需要對檢驗結(jié)果進行校正(具體的檢驗方法及校正方法可參照3.2.4 節(jié))。除了在統(tǒng)計水平上檢驗RSA 的結(jié)果是否顯著,還需要根據(jù)數(shù)據(jù)的噪聲水平計算每個時間點上相應的噪聲上限(noise ceiling,具體計算方法請參考Nili et al.,2014),并將其定義為真實模型可能獲得的最高相關性,以評估模型的好壞以及實驗的局限性(Wardle et al.,2016;Grootswagers et al.,2017;Kietzmann et al.,2017;Pantazis et al.,2018;Sankaran et al.,2018;Teichmann et al.,2018;Greene &Hansen,2018;Dobs et al.,2019;Kong et al.,2020)。

4.3 基于RSA 的衍生方法

時間泛化方法中跨時域解碼的思路同樣可以推廣到基于EEG/MEG 數(shù)據(jù)的RSA 方法中以進行跨時域比較,具體做法有如下兩種：

(1)跨時域RSA。同樣根據(jù)4.2.1 小節(jié)的計算方式直接使用EEG/MEG 數(shù)據(jù)計算不同條件在任意兩個時間點ti和tj上的神經(jīng)表征相似性,進行逐點比較后得到跨時域RSA 泛化矩陣;或者使用EEG/MEG 數(shù)據(jù)構(gòu)建逐時間點的n-RDM 后,將任意兩個時間點ti和tj對應的n-RDM 直接比較得到跨時域RSA 泛化矩陣(Lu &Ku,2020;Lu,2020)。該做法類似于跨時域解碼,可以對不同條件之間的模式差異進行比較。

(2)動態(tài)RSA。假設一共有Ntime個時間點,根據(jù)4.2.1 小節(jié)的計算方式對任意兩個時間點ti和tj的EEG/MEG 數(shù)據(jù)進行計算并得到跨時域RDMtij;通過對不同的時間點成對計算,最終將得到Ntime×Ntime個跨時域RDMs,再逐個與其它來源的RDMs進行比較,會得到跨時域動態(tài)比較后的RSA 泛化矩陣,進而說明不同來源RDMs 之間的相似性在時域上的泛化情況(Cichy et al.,2014;Lu,2020)。

5 應用場景

在認知神經(jīng)科學的研究中,利用解碼分析和RSA 方法,能夠使人們對神經(jīng)表征的模式與特點有更深入的理解。本章節(jié)將結(jié)合已有的EEG/MEG研究,對解碼分析和RSA 的應用場景進行簡單的介紹。

5.1 解析不同的認知加工過程

得益于解碼分析的高敏感性,研究者能夠?qū)Ω兄X(Wardle et al.,2016;Ronconi et al.,2017;Collins et al.,2018)、注意(Kaiser,Oosterhof,&Peelen,2016;Fahrenfort,Grubert,et al.,2017;Alilovi? et al.,2019)、語義(Correia et al.,2015;Heikel et al.,2018)、記憶(Bae &Luck,2018,2019a;Linde-Domingo et al.,2019)等內(nèi)容進行解析,探究不同刺激條件和認知狀態(tài)下的神經(jīng)表征差異。例如,在Bae 和Luck (2018)一項關于空間注意和工作記憶的研究中,成功地從ERPs 響應和alpha振蕩活動中解碼出了低級視皮層對16 個刺激朝向與16 個刺激位置組合的加工,獲得了傳統(tǒng)分析方法難以得到的精細結(jié)果。這也反應了解碼分析的部分場景：由于個體差異的存在,如皮層褶皺的差異會導致不同被試對于同一刺激表現(xiàn)的頭皮ERPs 活動模式不一樣,但是不同刺激誘發(fā)產(chǎn)生的ERPs 活動模式在個體內(nèi)穩(wěn)定,因此與早期視皮層相關的活動成分可以用解碼分析進行區(qū)分。解碼分析可以幫助我們對不同的大腦活動模式進行提取和學習,并對結(jié)果進行預測,從而對不同認知狀態(tài)下的神經(jīng)表征進行解析。

此外,由于RSA 的特點之一便是能夠?qū)Σ煌瑫r程、不同模態(tài)之間的數(shù)據(jù)進行計算和比較,借助RSA 我們可以對大腦的認知活動有更為深刻的認識。例如,在一項面孔的MEG 研究中,Dobs 等人(2019)將逐時間點構(gòu)建的n-RDMs 與根據(jù)不同概念(性別、年齡、身份、熟悉度)提出來的m-RDMs進行比較,探索了不同時程的n-RDMs 與不同的m-RDMs 之間的相似性,為不同面孔信息的加工順序提供了新的證據(jù)(Dobs et al.,2019)。在一項視知覺研究中,Greene 和Hansen (2018)提取了經(jīng)過預先訓練的深度卷積神經(jīng)網(wǎng)絡(deep convolutional neural network,簡稱DCNN)中,不同層次的網(wǎng)絡對于每張刺激圖片的激活情況,并創(chuàng)建了與每層網(wǎng)絡相對應的RDM;同時在每個時間點上根據(jù)人類被試特定通道的EEG 數(shù)據(jù)創(chuàng)建了n-RDM。研究者通過比較DCNN 每層網(wǎng)絡的RDM 與人類被試的n-RDM,發(fā)現(xiàn)在相同的視覺場景分類任務中,DCNN 的各個層次的網(wǎng)絡與人類視覺系統(tǒng)處理各個層級之間存在著對應關系,如淺層的DCNN 最能預測0～200 ms 的早期ERPs 活動,而深層的DCNN 最能預測225 ms 左右相對晚期的ERPs 活動,這也為深入理解計算機模型與人類視覺系統(tǒng)之間的關聯(lián)提供了一個新的角度(Greene &Hansen,2018)。作為一種原理簡單、學習成本低的分析方法,RSA 也為我們更深入地理解大腦認知加工過程提供了助力。

5.2 提供神經(jīng)活動的時間動態(tài)特征

EEG/MEG 的優(yōu)勢之一是可以對神經(jīng)活動進行實時測量,因此結(jié)合時間泛化方法能夠探究信息加工的動態(tài)表征過程。Dijkstra (2018)和 Xie(2020)等研究者利用時間泛化方法對視知覺與視覺想象的共享神經(jīng)機制進行了探索。研究者使用知覺任務下的信號進行訓練來測試想象任務下的信號,以及使用想象任務下的信息訓練來測試知覺任務下的信號,發(fā)現(xiàn)在特定時間、頻率上,知覺和想象之間確實存在著共享神經(jīng)表征的情況(Dijkstra et al.,2018;Xie et al.,2020)。Blom 等人(2020) 利用時間泛化方法對視覺的預期機制進行了研究,實驗人員發(fā)現(xiàn)預期機制能夠在外界視覺信息實際到達之前,預先激活通常由感官輸入信息驅(qū)動的神經(jīng)表征,表明大腦可以對外界信息在接收過程中造成的神經(jīng)傳遞延遲進行補償,使得刺激特異性神經(jīng)表征和現(xiàn)實事件在時間上盡可能保持同步。該研究通過巧妙的實驗設計和時間泛化方法,有力地闡明了特定的神經(jīng)表征是怎樣隨著時間的推移而發(fā)生改變的。憑借EEG/MEG 高時間分辨率的特點,能夠為研究提供神經(jīng)活動的時序特征,進而為大腦在對信息編碼加工過程中的變化情況給出一定的參照依據(jù)(Blom et al.,2020)。

基于時間泛化方法跨時域解碼的思路,RSA在此基礎上也可以采用跨時域比較的方法來探究神經(jīng)表征加工的動態(tài)過程。Cichy 等人(2014)在一項探索人腦對視覺客體加工的時空表征研究中,在相同的刺激條件下采集了MEG 信號和fMRI 信號,首先根據(jù)MEG 信號計算了不同刺激對的時間泛化矩陣,利用時間泛化矩陣上每對時間點組合的解碼正確率構(gòu)建了MEG n-RDMs,再分別基于初級視皮層(V1)和下顳葉皮層(interotemporal cortex,簡稱IT)的體素激活值構(gòu)建了不同ROI 的fMRI n-RDMs,并將不同時刻的MEG n-RDMs 與不同腦區(qū)的fMRI n-RDMs 進行比較,發(fā)現(xiàn)在～100 ms和～200-1000 ms 的MEG n-RDMs 與fMRI 的V1 n-RDM 顯著相關,在～250 ms 至～500 ms 的MEG n-RDMs 與fMRI 的IT n-RDM 顯著相關,這提示視覺系統(tǒng)的不同區(qū)域在視覺信息加工的不同階段提供了瞬時或者持久的神經(jīng)活動。研究者利用RSA 將高時間分辨率的MEG 信號與高空間分辨率的fMRI 信號結(jié)合起來,揭示了不同測量方法下共同的神經(jīng)表征,對特定神經(jīng)活動的持續(xù)時間和皮層來源進行了識別,在時間和空間上為人類視覺客體加工過程提供了一個完整的分辨視圖(Cichy et al.,2014)。將解碼分析及其衍生方法和RSA 引入對時間進程更加關注的EEG/MEG 研究之中,前景十分廣闊。

5.3 定位神經(jīng)表征的空間起源

追蹤神經(jīng)表征的時空特征一直是認知神經(jīng)科學研究中的熱點。經(jīng)典的EEG/MEG 研究中,常用的空間定位方法有利用算法進行源重建(Michel et al.,2004;Sato et al.,2004)或者結(jié)合高空間分辨率的fMRI 進行聯(lián)合記錄(Huster et al.,2012;Scrivener,2021),這些方法在實際研究中都取得了不錯的成效。隨著解碼分析的不斷普及,一些用于追蹤解碼信息來源的方法(如逐通道的解碼分析/探照燈分析、權重投影)也逐漸興起,使研究者在EEG/MEG 研究中定位認知活動的空間起源有了更多的選擇。利用逐通道的探照燈分析技術,Giari 等人(2020)利用MEG 對文字和圖片的神經(jīng)表征空間特性進行了研究,發(fā)現(xiàn)當表達的概念信息相似時,文字和圖片的表征涉及到了不同的腦區(qū)。在Fahrenfort 和van Leeuwen 等人(2017)一項關于知覺整合的研究中,實驗人員對分類器的特征權重進行變換并將重構(gòu)得到的激活模式映射到地形圖上,發(fā)現(xiàn)視皮層的知覺整合效應在枕區(qū)附近最強烈。許多研究也表明,EEG/MEG 信號中都包含了能夠解碼認知狀態(tài)的空間信息,因此解碼分析是可以利用不同水平上的空間編碼信息來定位神經(jīng)活動的空間起源(Cichy et al.,2016;Cichy,Pantazis,&Oliva,2016;Cichy,Khosla,et al.,2017;Cichy &Pantazis,2017),并且使用解碼分析技術得到的權重值和正確率具有統(tǒng)計學意義,它也為EEG/MEG信號的空間起源定位提供了一些新的視角。

由于RSA 可以將EEG/MEG 數(shù)據(jù)與其它來源的數(shù)據(jù)進行聯(lián)結(jié),因此RSA 也為EEG/MEG 研究提供了追蹤神經(jīng)表征空間特征的方法。Cichy 等人(2014)使用RSA 對視覺客體識別過程中人類大腦皮層的時空動力學進行了研究,研究人員假設對于不同時間、空間分辨率的MEG 和fMRI 數(shù)據(jù)來說,相同的刺激應具有同樣的神經(jīng)起源,因此會具有相似的神經(jīng)表征?；谏鲜黾僭O,研究者構(gòu)造了基于每個時間點的MEG n-RDMs 和基于不同ROI 的fMRI n-RDMs,并將其分別比較,以尋找客體識別過程中MEG 信號的皮層來源,在毫秒級和毫米級水平上揭示了人腦視覺客體識別過程中的神經(jīng)動力學(Cichy et al.,2014;Cichy,Pantazis,&Oliva,2016;Cichy &Pantazis,2017)。

6 小結(jié)與展望

相比于傳統(tǒng)的EEG/MEG 分析方法,解碼分析和RSA 能夠幫助研究者根據(jù)個體獨有的大腦活動模式來理解信息編碼加工的時程,在保留個體差異的同時對不同個體共有的一致性規(guī)律進行抽提,這種特點可以應用于很多涉及復雜場景的實驗研究中,為復雜刺激環(huán)境中的認知加工機制研究提供了一個新穎有意義的途徑。重要的是,解碼分析和 RSA 的出現(xiàn)并不是為了替代傳統(tǒng)的EEG/MEG 分析方法,而是對已有的方法進行補充,從多角度對不同心智活動下的神經(jīng)表征差異進行探討。

盡管解碼分析和RSA 兩種分析技術在fMRI研究中已經(jīng)相當?shù)某墒?甚至解碼分析都已經(jīng)在腦機接口(brain computer interface,BCI)領域中得到了廣泛的應用,但是直到最近幾年才在 EEG/MEG 領域用于研究認知加工活動。值得一提的是,從現(xiàn)有的成果來看,雖然起步時間相對較晚,但在利用EEG/MEG 開展的各類認知神經(jīng)科學研究中解碼分析和RSA 都有著不俗的表現(xiàn),并且隨著研究者們的不斷推動以及兩種技術在EEG/MEG研究中日益普及,目前也有許多非常成熟的開源工具箱供研究者們使用：在MATLAB 環(huán)境下,有CoSMoMVPA (Oosterhof et al.,2016)、the Decision Decoding Toolbox (Bode et al.,2019)、the Amsterdam Decoding &Modeling Toolbox (Fahrenfort et al.,2018)和MVPA-Light (Treder,2020)等;在Python環(huán)境下,有 the PyMVPA toolbox (Hanke et al.,2009)、MNE-Python (Gramfort et al.,2013)、NeuroRA (Lu &Ku,2020)和PyCTRSA (Lu,2020)等;其中CoSMoMVPA 和NeuroRA 具有豐富的模塊同時支持對EEG/MEG 與fMRI 開展基于分類的解碼和RSA 分析。這些工具箱功能強大,能夠在不同的開發(fā)環(huán)境下實現(xiàn)EEG/MEG 的各種解碼分析和RSA 方法,使用者可以根據(jù)自己的需求和編程習慣靈活選擇。

不可否認,作為EEG/MEG 領域的新興方法,解碼分析和RSA 在實際使用的過程中也存在一定的局限性,例如,解碼分析和RSA 很大程度上是數(shù)據(jù)驅(qū)動的計算建模方法,缺乏足夠的理論假設約束,要獲得穩(wěn)定可靠的結(jié)果對數(shù)據(jù)質(zhì)量的要求非常高;兩種方法的計算量都遠大于傳統(tǒng)的EEG/MEG 分析方法,要求較高的計算機硬件和更多的運算時間;RSA 需要足夠的條件數(shù)來獲取信服的相關性結(jié)果,因此并非所有的實驗設計都適合該方法;基于相關方法的RSA 在不同的模型上進行統(tǒng)計檢驗還有一定的限制,容易受到異常值帶來的影響,并且相關分析自身的缺陷對于RSA 的影響也是無法避免的(Popal et al.,2019);解碼分析需要大量的試次用于分類器的訓練,以學習不同條件之間細微的差別;與傳統(tǒng)的EEG/MEG 分析方法類似,隨著解碼過程中用于統(tǒng)計的通道數(shù)增多,也可能會導致更容易得到顯著的結(jié)果,從而難區(qū)分顯著的究竟是信號還是噪音;在解碼分析的各個階段,對數(shù)據(jù)進行哪些處理、選擇什么分類器和參數(shù)、怎樣對得到的結(jié)果進行檢驗和校正,不同的研究者往往會根據(jù)自己的經(jīng)驗和實驗目的進行具體方法的選擇,有時甚至通過反復篩選來得到最優(yōu)的效果,即便文中已經(jīng)對不同的方法進行了介紹,但是目前還無法提供一套可供不同研究重復參考的標準,因此解碼分析不僅對使用者的先驗知識提出了較高的要求,還有一定的可能導致得到的結(jié)果在可重復性和可靠性上無法令人信服。

解碼分析和RSA 作為目前EEG/MEG 領域分析方法中的后起之秀,為我們理解大腦的認知加工過程提供了一些新的方法與思路。雖然在目前的EEG/MEG 研究中這兩種技術還處于起步階段,但是隨著方法學的不斷發(fā)展,它們?nèi)匀挥兄薮蟮臐摿εc廣闊的應用場景。我們認為在今后的研究中,以下方向是值得探究的：

第一個方向是可供不同研究重復參考的分析流程。目前已有的研究中,研究者們更多的是依賴于主觀經(jīng)驗來使用解碼分析和RSA,而不像傳統(tǒng)的EEG/MEG 分析,按照一套標準的操作規(guī)范來處理數(shù)據(jù)。以解碼分析為例,數(shù)據(jù)預處理、歸一化、降維、分類器選擇、交叉驗證、性能評估等都提供了許多種行之有效的操作,對于同一批實驗數(shù)據(jù)而言有非常多的處理方法組合。這可能會導致研究人員受到主觀經(jīng)驗偏好的影響,在數(shù)據(jù)分析過程中選擇了不恰當?shù)奶幚矸椒?使得最終得到的結(jié)果解釋性不強。在未來的研究中,針對不同數(shù)據(jù)的特點以及各類方法最適宜的使用場景,制定一套完善、可供重復參考的數(shù)據(jù)分析流程,這對于解碼分析和RSA 的普及是有好處的。

第二個方向是不同分析方法之間的結(jié)合。目前已經(jīng)有研究者將解碼分析得到的解碼正確率來代替進行RSA 時使用到的度量指標,以在不同的時間點上構(gòu)建基于解碼正確率的RDM?？紤]到在EEG/MEG 研究中,解碼分析還存在著許多衍生方法,怎樣把這些方法與RSA 有機結(jié)合起來,實現(xiàn)跨時域、跨任務/狀態(tài)對不同時間、條件下的神經(jīng)表征模式相似程度進行比較,這些都是在未來的研究中值得去進一步思考的。此外,本文涉及的解碼分析所使用的模型是一種后向解碼模型(backward decoding model,BDM),它與RSA 并不關注EEG/MEG 信號是如何從大腦中生成的,更多地是為了區(qū)分不同條件下腦活動之間的神經(jīng)表征差異(用解碼正確率和不相似度來衡量)。近年來在 EEG/MEG 領域還發(fā)展了一些諸如群感受野(population receptive field,pRF;Dumoulin &Wandell,2008;Wandell &Winawer,2015)、時間響應函數(shù)(temporal response function,TRF;Crosse et al.,2016)、反向編碼模型(inverted encoding model,IEM;Sprague et al.,2015)等新方法,它們基于強理論假設,通過不同的建模方法從數(shù)據(jù)生成的角度來對神經(jīng)元的響應特性進行模擬,以此來解釋不同信號之間的異同(不同的模型對應不同信號的來源,用模型的異同來解釋信號來源的異同)。不同類型的方法有著各自的長處與短板,如何將這些方法有機的結(jié)合起來以實現(xiàn)更好的分析效果,也是值得探索的方向。