多感覺(jué)整合范式中潛在的跨通道轉(zhuǎn)換效應(yīng)*

管 蕾 羅文佩 韓佳慧

·研究前沿(Regular Articles)·

多感覺(jué)整合范式中潛在的跨通道轉(zhuǎn)換效應(yīng)*

管 蕾 羅文佩 韓佳慧

(遼寧師范大學(xué)腦與認(rèn)知神經(jīng)科學(xué)研究中心;遼寧省腦與認(rèn)知神經(jīng)科學(xué)重點(diǎn)實(shí)驗(yàn)室, 大連 116029)

大腦可以對(duì)來(lái)自不同感覺(jué)通道的信息進(jìn)行處理與整合。與單一感覺(jué)通道相比, 個(gè)體對(duì)同時(shí)呈現(xiàn)在不同感覺(jué)通道的目標(biāo)信號(hào)的響應(yīng)會(huì)更快。對(duì)于這種現(xiàn)象的一種主要理論解釋是共同激活模型, 該模型認(rèn)為來(lái)自不同通道的刺激在特定的腦區(qū)匯聚整合, 比如頂葉內(nèi)溝、顳上溝和前額葉皮層區(qū)域。整合后的信號(hào)強(qiáng)度更大, 可以更快地觸發(fā)反應(yīng), 但是信號(hào)的整合發(fā)生在認(rèn)知加工的哪一階段目前尚未有明確結(jié)論。當(dāng)個(gè)體對(duì)出現(xiàn)在不同感覺(jué)通道之間的任務(wù)轉(zhuǎn)換進(jìn)行加工時(shí), 產(chǎn)生與感覺(jué)通道相關(guān)的任務(wù)轉(zhuǎn)換的損失小于跨感覺(jué)通道轉(zhuǎn)換損失與任務(wù)轉(zhuǎn)換損失的總和, 這為與感覺(jué)通道相關(guān)的轉(zhuǎn)換代價(jià)來(lái)源于任務(wù)設(shè)置的慣性和干擾提供了證據(jù)。而在單通道和多通道之間發(fā)生轉(zhuǎn)換時(shí), 跨通道轉(zhuǎn)換代價(jià)會(huì)減小甚至消失, 這是由于同時(shí)發(fā)生的多感覺(jué)整合抵消了一部分損失, 這種現(xiàn)象支持了共同激活模型理論。然而, 多感覺(jué)信號(hào)整合對(duì)任務(wù)轉(zhuǎn)換的神經(jīng)加工過(guò)程產(chǎn)生怎樣的影響并不清楚, 在未來(lái)的研究中可以把多感覺(jué)整合范式同經(jīng)典的任務(wù)轉(zhuǎn)換范式結(jié)合改進(jìn), 進(jìn)而確定跨通道轉(zhuǎn)換的加工機(jī)制和多感覺(jué)信號(hào)整合的發(fā)生階段。

多感覺(jué)整合, 冗余信號(hào)效應(yīng), 跨通道轉(zhuǎn)換效應(yīng), 任務(wù)轉(zhuǎn)換

生活中我們身邊的場(chǎng)景和事物在不斷變化, 需要我們不斷地從一個(gè)場(chǎng)景轉(zhuǎn)換到另一個(gè)場(chǎng)景中, 而接收到的信息大多數(shù)都是來(lái)自于不同的感覺(jué)通道。從當(dāng)前執(zhí)行的任務(wù)轉(zhuǎn)移到新的任務(wù)中去就是任務(wù)轉(zhuǎn)換, 對(duì)接收到的多感覺(jué)通道信號(hào)進(jìn)行處理, 并予以響應(yīng)就是多感覺(jué)整合過(guò)程。當(dāng)目標(biāo)信號(hào)同時(shí)在不同的感覺(jué)通道呈現(xiàn)時(shí), 我們的響應(yīng)過(guò)程會(huì)加快, 而這種多感覺(jué)通道信號(hào)又被叫做冗余信號(hào)(redundant signals, Gondan & Minakata, 2016)。人們經(jīng)常使用冗余信號(hào)來(lái)確保信息能準(zhǔn)確傳遞給對(duì)象, 比如警車的警笛和閃燈, 相較于單一信號(hào), 冗余信號(hào)會(huì)讓對(duì)象產(chǎn)生更快更準(zhǔn)確的反應(yīng)。

1 多感覺(jué)整合和冗余信號(hào)效應(yīng)

1.1 多感覺(jué)整合范式

我們?cè)谏钪兴邮盏降亩鄶?shù)信息都是經(jīng)由不同的感覺(jué)通道進(jìn)入大腦。而大腦可以整合來(lái)自不同感官的刺激, 對(duì)這些信息進(jìn)行有機(jī)統(tǒng)一地處理, 這一加工過(guò)程被稱為多感覺(jué)整合。研究多感覺(jué)整合行為效應(yīng)的常用方法是使用簡(jiǎn)單的快速反應(yīng)時(shí)間任務(wù), 包括快速辨別任務(wù)和快速檢測(cè)任務(wù)。檢測(cè)任務(wù)要求參與者盡可能快地對(duì)接收到的所有刺激做出反應(yīng), 而快速辨別任務(wù)則要求參與者在接收到的刺激中分辨出預(yù)定的目標(biāo)刺激并快速做出反應(yīng)。在快速反應(yīng)時(shí)間范式中, 每次給參與者單獨(dú)呈現(xiàn)一種感覺(jué)通道刺激(比如單獨(dú)呈現(xiàn)視覺(jué)信號(hào)V或者聽(tīng)覺(jué)信號(hào)A), 或者同時(shí)呈現(xiàn)兩種或多種不同感覺(jué)通道刺激(比如視覺(jué)信號(hào)V和聽(tīng)覺(jué)信號(hào)A一起呈現(xiàn))。早在1962年, Hershenson就在他的一項(xiàng)經(jīng)典實(shí)驗(yàn)中分別給參與者呈現(xiàn)視覺(jué)刺激, 聽(tīng)覺(jué)刺激以及同步視聽(tīng)刺激, 命令參與者聽(tīng)到或看到目標(biāo)刺激就做出反應(yīng), 最終觀察到了視聽(tīng)刺激同時(shí)呈現(xiàn)條件下平均反應(yīng)速度的加快(Hershenson, 1962)。Innes和Otto (2019)同樣在實(shí)驗(yàn)中證實(shí)了參與者對(duì)雙通道視聽(tīng)信號(hào)的反應(yīng)要快于單獨(dú)的視覺(jué)信號(hào)和聽(tīng)覺(jué)信號(hào), 把同時(shí)呈現(xiàn)的視聽(tīng)信號(hào)刺激稱作冗余信號(hào)(redundant signals)。Shaw等(2020)在實(shí)驗(yàn)中利用快速檢測(cè)任務(wù)范式, 比較了參與者在響應(yīng)單感覺(jué)刺激和多感覺(jué)刺激時(shí)反應(yīng)時(shí)的差異, 結(jié)果表現(xiàn)出了多感覺(jué)刺激信號(hào)的反應(yīng)易化效應(yīng)。到目前為止, 已經(jīng)有大量的實(shí)驗(yàn)證據(jù)證明, 在利用多感覺(jué)通道刺激(冗余信號(hào))完成任務(wù)時(shí), 相較于單一通道刺激(單一信號(hào)), 參與者的反應(yīng)會(huì)更加準(zhǔn)確也更加快速, 這種反應(yīng)易化現(xiàn)象被稱為冗余信號(hào)效應(yīng), 即RSE (redundant signals effect, Gondan & Minakata, 2016)。冗余信號(hào)效應(yīng)是多感覺(jué)加工研究領(lǐng)域一個(gè)重要的研究主題。

最近, Barutchu和Spence (2021)在一項(xiàng)研究中分別利用快速檢測(cè)任務(wù)和辨別任務(wù)探討了多感覺(jué)整合加工和感覺(jué)刺激特異性的關(guān)系, 感覺(jué)刺激使用了聽(tīng)覺(jué)和視覺(jué)形式的字母b和字母d, 以單感覺(jué)或者雙感覺(jué)通道呈現(xiàn)。在檢測(cè)任務(wù)中, 參與者盡可能快地對(duì)所有的刺激做出反應(yīng), 而在辨別任務(wù)中, 參與者只在出現(xiàn)目標(biāo)字母(b或d)的情況下做出反應(yīng)。結(jié)果表明在檢測(cè)任務(wù)中, 在視覺(jué)和聽(tīng)覺(jué)刺激同時(shí)呈現(xiàn)的條件下, 參與者的反應(yīng)更快; 在辨別任務(wù)中, 只有在視覺(jué)和聽(tīng)覺(jué)刺激都與目標(biāo)字母一致時(shí)才會(huì)出現(xiàn)冗余信號(hào)效應(yīng), 當(dāng)刺激與目標(biāo)不一致時(shí)反應(yīng)卻變慢(Barutchu & Spence, 2021)。造成這種分離性結(jié)果的原因可能是由于Barutchu和Spence所使用的范式并沒(méi)有將快速反應(yīng)任務(wù)同轉(zhuǎn)換任務(wù)分離開(kāi), 冗余信號(hào)效應(yīng)受到轉(zhuǎn)換代價(jià)的影響。我們將在第3節(jié)更加詳細(xì)地描述兩種效應(yīng)的關(guān)系。

1.2 RSE的兩種解釋模型

長(zhǎng)期以來(lái), 研究者們提出了多種可能的理論模型來(lái)解釋這種多感覺(jué)信號(hào)反應(yīng)易化效應(yīng), 其中最廣泛被接受的兩種分別是“競(jìng)賽模型(race model)”和“共同激活模型(coactivation model)”。競(jìng)賽模型(Miller, 1982)認(rèn)為, 在加工多感覺(jué)通道刺激信息時(shí), 每個(gè)通道的信號(hào)都是被分別加工獨(dú)立處理的, 幾種通道信息形成競(jìng)爭(zhēng)模式, 對(duì)冗余信號(hào)的響應(yīng)是由競(jìng)賽的獲勝者決定的(圖1)。以兩種通道刺激組成的冗余信號(hào)為例, 對(duì)每一種刺激的反應(yīng)時(shí)間隨著試次的不同而變化, 而且兩種刺激的反應(yīng)時(shí)分布重疊, 兩種信號(hào)的競(jìng)爭(zhēng)會(huì)導(dǎo)致總體平均反應(yīng)時(shí)間的分布向著比每一種單獨(dú)通道感覺(jué)刺激的反應(yīng)時(shí)都要短的方向偏移, 這種變化是可以預(yù)測(cè)的, 因?yàn)檫@種冗余效應(yīng)是統(tǒng)計(jì)簡(jiǎn)化的結(jié)果(Raab, 1962)。共同激活模型(Blurton et al., 2014)認(rèn)為, 來(lái)自不同感覺(jué)通道的刺激在某個(gè)特定的加工階段匯聚整合, 之后的信號(hào)強(qiáng)度比任一單獨(dú)通道的分離信號(hào)的強(qiáng)度都強(qiáng), 也更快地達(dá)到感覺(jué)閾值從而觸發(fā)反應(yīng), 因此產(chǎn)生冗余信號(hào)效應(yīng)(圖2)。通常情況下, 共同激活模式下的對(duì)整合信號(hào)的反應(yīng)速度要明顯快于競(jìng)賽模型下的多感覺(jué)刺激反應(yīng)速度(Maslovat et al., 2018)。

為了區(qū)分競(jìng)賽模型和共同激活處理模型, Miller (1982)提出了競(jìng)賽模型不等式(race model inequality, RSI), 該不等式已成為冗余信號(hào)效應(yīng)相關(guān)實(shí)驗(yàn)中檢驗(yàn)行為數(shù)據(jù)的常規(guī)方法。公式如下:

圖1 競(jìng)賽模型(引自Raab, 1962)。來(lái)自不同通道的刺激S1, S2獨(dú)立行進(jìn), 響應(yīng)由最先到達(dá)的刺激激活, 競(jìng)賽導(dǎo)致了反應(yīng)時(shí)的統(tǒng)計(jì)易化。S1, S2分別指來(lái)自不同通道的刺激信號(hào); S (t), 刺激信號(hào)隨時(shí)間變化的函數(shù)

圖2 共同激活模型(引自Raab, 1962)。來(lái)自不同通道的刺激S1, S2在特定區(qū)域匯聚整合, 整合后的信號(hào)強(qiáng)度大于單一的S1和S2刺激, 能更快地觸發(fā)反應(yīng)

P(RT≤t|S1+S2)≤P(RT≤t|S1)+P(RT≤t|S2) (1)

注：不等式的左邊表示冗余信號(hào)條件下的反應(yīng)時(shí)概率累積密度分布函數(shù), 不等式的右邊分別是單一通道輸入信號(hào)對(duì)應(yīng)的反應(yīng)概率累積密度分布函數(shù)。S1和S2是指兩種來(lái)自不同通道的刺激。

根據(jù)這一公式, 在競(jìng)爭(zhēng)模型條件下, 對(duì)冗余信號(hào)的反應(yīng)時(shí)累積概率總是等于或低于單一信號(hào)的概率分布。當(dāng)反應(yīng)行為數(shù)據(jù)背離這一不等式的時(shí)候, 違反了競(jìng)爭(zhēng)模型, 認(rèn)為符合共同激活模型。在已有的驗(yàn)證實(shí)驗(yàn)中, 大部分實(shí)驗(yàn)結(jié)果都表現(xiàn)出對(duì)競(jìng)爭(zhēng)模型的背離, 從而支持共同激活模型假設(shè)。競(jìng)賽模型不等式成立的前提假設(shè)是兩個(gè)通道的刺激信號(hào)的環(huán)境獨(dú)立性, 即每一個(gè)刺激在單獨(dú)呈現(xiàn)時(shí)和與另一種刺激同時(shí)呈現(xiàn)(冗余信號(hào)中)時(shí), 反應(yīng)時(shí)分布是不變的。有研究者認(rèn)為, 當(dāng)違背不等式(1)時(shí), 可能符合共同激活模型, 也可能是因?yàn)檫`反了環(huán)境獨(dú)立性, 產(chǎn)生了環(huán)境依賴(Miller, 2016)。環(huán)境依賴性是指, 在冗余信號(hào)條件下, 對(duì)兩種刺激的加工會(huì)互相影響, 與刺激單獨(dú)呈現(xiàn)時(shí)有差異, 比如視覺(jué)信號(hào)的存在以某種方式影響了聽(tīng)覺(jué)信號(hào)的活動(dòng), 產(chǎn)生額外的激活, 從而影響對(duì)聽(tīng)覺(jué)信號(hào)的反應(yīng)時(shí)間。但是這種環(huán)境依賴的假設(shè)與共同激活模型并不矛盾, 是對(duì)共同激活模型的一個(gè)補(bǔ)充。所以當(dāng)反應(yīng)違背競(jìng)賽模型時(shí), 認(rèn)為符合共同激活模型假設(shè)。

共同激活模型支持冗余信號(hào)在認(rèn)知加工的過(guò)程中發(fā)生了整合, 加快了觸發(fā)反應(yīng)的時(shí)間。不同通道刺激的融合加強(qiáng)具體發(fā)生在加工過(guò)程的哪個(gè)階段仍然沒(méi)有一個(gè)統(tǒng)一的解釋, 有的研究者認(rèn)為整合發(fā)生在感覺(jué)階段, 有人認(rèn)為協(xié)同激活發(fā)生在反應(yīng)啟動(dòng)或者運(yùn)動(dòng)執(zhí)行等后期反應(yīng)階段(Maslovat et al., 2018)。也有人提出了交互模型, 認(rèn)為一部分加工階段涉及競(jìng)爭(zhēng)模型, 其他階段按照共同激活模型活動(dòng)(Miller, 2016), 確定多感覺(jué)整合交互模型的具體發(fā)生階段, 還需要之后的研究論證。

1.3 共同激活模型的有關(guān)神經(jīng)機(jī)制

目前已有的關(guān)于RSE大多數(shù)實(shí)驗(yàn)研究結(jié)果都違背了競(jìng)賽模型不等式, 雖然有少數(shù)幾項(xiàng)研究支持競(jìng)賽模型, 但是都因?yàn)閷?shí)驗(yàn)證據(jù)的不充分而受到爭(zhēng)議, 而有關(guān)認(rèn)知神經(jīng)影像學(xué)方面的證據(jù)更是少之又少(Otto & Mamassian, 2017; Shaw et al., 2020; van der Stoep et al., 2015)。為此, 在下文中將重點(diǎn)介紹有關(guān)共同激活模型的神經(jīng)機(jī)制。

研究者認(rèn)為, 如果符合共同激活模型, 那么存在專門加工多感覺(jué)信息的腦區(qū), 而且該區(qū)域只在多種感覺(jué)信息同時(shí)呈現(xiàn)時(shí)才被激活, 基于此假設(shè)已經(jīng)有神經(jīng)成像研究發(fā)現(xiàn)存在只對(duì)多種感覺(jué)通道信息響應(yīng)的腦區(qū)。以視聽(tīng)冗余信號(hào)輸入為例, 處理視覺(jué)刺激和聽(tīng)覺(jué)刺激的第一個(gè)皮層區(qū)域是初級(jí)視覺(jué)皮層V1和初級(jí)聽(tīng)覺(jué)皮層A1, 提取之后的信號(hào)進(jìn)入高級(jí)皮層區(qū)域進(jìn)行更加完整的表征, 特別是顳上溝(STS)、頂葉內(nèi)溝(IPS)和前額葉皮層區(qū)域(PFC) (van Atteveldt et al., 2014), 所以可以假設(shè)多感覺(jué)信息的整合會(huì)發(fā)生在這些高級(jí)皮層區(qū)域, 近期的一些研究結(jié)果也證實(shí)了這一假設(shè)。

Regenbogen等(2018)在一項(xiàng)刺激辨別實(shí)驗(yàn)中, 給參與者呈現(xiàn)事先準(zhǔn)備好的視覺(jué)刺激和聽(tīng)覺(jué)刺激(A, V和AV刺激隨機(jī)呈現(xiàn)), 參與者做出判斷響應(yīng)。本實(shí)驗(yàn)中研究者還控制了刺激的難度, 分為不同等級(jí)的清晰的和模糊的音視頻, 通過(guò)fMRI分析, 證實(shí)了頂葉內(nèi)溝(IPS)會(huì)對(duì)視覺(jué)和聽(tīng)覺(jué)感覺(jué)區(qū)域之間的信息交換進(jìn)行自上而下的控制(Regenbogen et al., 2018)。此外Stickel等在2019年的一項(xiàng)關(guān)于多感覺(jué)整合的實(shí)驗(yàn)中, 利用fMRI對(duì)自閉癥患者和健康參與者的嗅覺(jué)?視覺(jué)和聽(tīng)覺(jué)?視覺(jué)的感覺(jué)整合神經(jīng)網(wǎng)絡(luò)進(jìn)行了比較。嗅覺(jué)?視覺(jué)范式中給各參與者以單通道和多通道的方式隨機(jī)呈現(xiàn)匹配的愉快/不愉快的味道和圖片, 參與者做出評(píng)判響應(yīng)。聽(tīng)覺(jué)?視覺(jué)范式的刺激信號(hào)是匹配過(guò)的愉快/不愉快的聲音和圖片, 呈現(xiàn)方式同前者一樣。結(jié)果表明, 不管在嗅覺(jué)?視覺(jué)還是聽(tīng)覺(jué)?視覺(jué)范式中, 當(dāng)進(jìn)行多感覺(jué)整合時(shí), 頂葉內(nèi)溝, 內(nèi)側(cè)額葉皮層和下額葉皮層都會(huì)被額外激活, 證實(shí)了多感覺(jué)整合加工會(huì)發(fā)生在這些區(qū)域(Stickel et al., 2019)。但是有研究提供了證據(jù)表明不同通道信號(hào)之間的互動(dòng)可以發(fā)生得更早甚至是在初級(jí)皮層處理階段(Keil & Senkowski, 2018), 在這些區(qū)域中, 一種感覺(jué)通道的信號(hào)會(huì)影響另一個(gè)感覺(jué)通道的興奮性水平。此外, 在丘腦和上丘中也發(fā)現(xiàn)了多感覺(jué)信號(hào)整合的有關(guān)通路(Cappe et al., 2007)。這些腦區(qū)的發(fā)現(xiàn)也為之后研究多感覺(jué)模態(tài)轉(zhuǎn)換的相關(guān)神經(jīng)機(jī)制提供了證據(jù)支持。

上述提到的腦區(qū)在處理多感覺(jué)刺激時(shí)需要協(xié)同合作, 這一過(guò)程包括各個(gè)腦區(qū)的激活, 區(qū)域之間的功能連接以及各個(gè)皮層區(qū)域的神經(jīng)振蕩活動(dòng)。區(qū)域之間神經(jīng)振蕩活動(dòng)的同步性可以促進(jìn)聽(tīng)覺(jué), 視覺(jué)或觸覺(jué)之間的跨通道影響(Bauer et al., 2020)。Mercier等(2013)讓接受過(guò)癲癇手術(shù)的患者執(zhí)行檢測(cè)任務(wù), 結(jié)果表明聽(tīng)覺(jué)刺激會(huì)加強(qiáng)視覺(jué)皮層的神經(jīng)振蕩的相位重置, 影響視覺(jué)刺激的處理(Mercier et al., 2013)。在他們團(tuán)隊(duì)的另一項(xiàng)研究中,參與者接受單一或混合的視覺(jué)和聽(tīng)覺(jué)刺激, 同時(shí)記錄聽(tīng)覺(jué)處理區(qū)域的腦電數(shù)據(jù), 結(jié)果發(fā)現(xiàn)視覺(jué)刺激可以重置聽(tīng)覺(jué)皮層中δ (1～4 Hz)和θ (4～7 Hz)頻段波的振蕩活動(dòng)。同時(shí)也發(fā)現(xiàn)了多感覺(jué)條件下α (8～12 Hz)和β (12～30 Hz)頻段的振蕩相干性比單獨(dú)感覺(jué)條件下的總和更大(Mercier et al., 2015)。結(jié)合Bastos等(2015)對(duì)非人類靈長(zhǎng)類動(dòng)物的解剖追蹤得到的結(jié)果, 表明較慢的振蕩活動(dòng)支持更遠(yuǎn)距離的耦合, 所以低頻段振蕩(比如θ和α)的多感覺(jué)效應(yīng)與更高階的皮層處理區(qū)域?qū)Χ喔杏X(jué)整合自上而下的反饋有關(guān)。而在高頻段(如γ波)振蕩活動(dòng)中觀察到的相干性的增強(qiáng)則反映了對(duì)刺激的自下而上的處理過(guò)程。這些研究結(jié)果證明, 通道之間的相互影響在早期的初級(jí)皮層處理階段已經(jīng)發(fā)生, 而多感覺(jué)刺激會(huì)導(dǎo)致更大的局部和更快的腦區(qū)間的振蕩相位同步重置, 這種重置的強(qiáng)度與更快的反應(yīng)時(shí)間即冗余信號(hào)效應(yīng)(RSE)有關(guān)。

2 任務(wù)轉(zhuǎn)換

2.1 混合代價(jià), 切換代價(jià)和剩余代價(jià)

在日常生活中, 為了應(yīng)付隨時(shí)變換的任務(wù)場(chǎng)景, 人類需要高級(jí)復(fù)雜的認(rèn)知控制過(guò)程, 從而使得人類可以靈活地做出反應(yīng), 實(shí)現(xiàn)目標(biāo)。任務(wù)轉(zhuǎn)換便是一種常用的探索認(rèn)知控制機(jī)制的實(shí)驗(yàn)范式(Rogers & Monsell, 1995)。任務(wù)轉(zhuǎn)換通常包括任務(wù)表征, 任務(wù)準(zhǔn)備, 任務(wù)選擇, 任務(wù)執(zhí)行等過(guò)程。在任務(wù)轉(zhuǎn)換實(shí)驗(yàn)中的前后兩次試次中, 有時(shí)相比于上一次試次, 當(dāng)前試次的任務(wù)類型會(huì)發(fā)生改變(即轉(zhuǎn)換條件), 有時(shí)當(dāng)前試次的任務(wù)類型不會(huì)發(fā)生改變(即重復(fù)條件)。研究者將轉(zhuǎn)換條件和重復(fù)條件下參與者的表現(xiàn)做比較, 發(fā)現(xiàn)無(wú)論是反應(yīng)時(shí)還是正確率, 都存在一個(gè)非常穩(wěn)定的損失, 叫做“轉(zhuǎn)換代價(jià)”, 解釋這一現(xiàn)象的本質(zhì)以及討論相關(guān)的神經(jīng)機(jī)制一直是任務(wù)轉(zhuǎn)換研究的重點(diǎn)。

當(dāng)一個(gè)任務(wù)模塊中有兩種任務(wù)類型, 且包括重復(fù)試次和轉(zhuǎn)換試次, 將其稱為混合任務(wù)塊(例如AABBAA序列); 若在一個(gè)任務(wù)塊中, 實(shí)驗(yàn)參與者被要求只完成一種任務(wù)類型, 即只包括重復(fù)試次時(shí), 則是單一任務(wù)塊(如AAA或BBB序列)。比較這兩種不同的模塊中參與者在重復(fù)試次中的反應(yīng)差異, 發(fā)現(xiàn)混合任務(wù)塊中的參與者的反應(yīng)時(shí)比完成單一任務(wù)塊的時(shí)間要長(zhǎng), 正確率也更低, 這種損失叫做混合代價(jià)。

在線索提示任務(wù)轉(zhuǎn)換范式中, 改變提示刺激和目標(biāo)刺激之間的時(shí)間間隔(即準(zhǔn)備時(shí)間), 會(huì)對(duì)轉(zhuǎn)換代價(jià)產(chǎn)生影響, 延長(zhǎng)準(zhǔn)備時(shí)間, 轉(zhuǎn)換代價(jià)通常會(huì)降低, 被稱為準(zhǔn)備效應(yīng)。但是延長(zhǎng)準(zhǔn)備時(shí)間不會(huì)完全消除轉(zhuǎn)換代價(jià), 已有研究證明, 即使準(zhǔn)備時(shí)間為5 s或更長(zhǎng), 仍有大量剩余轉(zhuǎn)換代價(jià)存在,這就是剩余效應(yīng)(Sohn et al., 2000)。

2.2 任務(wù)轉(zhuǎn)換相關(guān)的激活腦區(qū)

大腦前額葉皮層區(qū)域(PFC)是參與任務(wù)轉(zhuǎn)換過(guò)程的一個(gè)重要腦區(qū)。Dove等(2000)利用功能磁共振技術(shù)對(duì)一項(xiàng)字母判斷轉(zhuǎn)換任務(wù)進(jìn)行探究, 發(fā)現(xiàn)在任務(wù)轉(zhuǎn)換條件下, 前額葉皮層區(qū)域被額外激活。前額葉皮層區(qū)域自上而下地參與有關(guān)任務(wù)的處理與控制, 是任務(wù)表征, 選擇, 準(zhǔn)備和切換的基礎(chǔ)。比如根據(jù)不同類型的任務(wù)線索, 能觀察到PFC的雙側(cè)背外側(cè)區(qū)域的激活, 而且與任務(wù)處理相關(guān)的顳葉下皮層活動(dòng)也受到PFC活動(dòng)的調(diào)節(jié)。而當(dāng)任務(wù)刺激是多價(jià)的, 需要參與者對(duì)反應(yīng)類型做出不同的選擇并且可能會(huì)犯錯(cuò)誤時(shí), 額葉內(nèi)側(cè)的前扣帶回(ACC)會(huì)被激活, 來(lái)解決由刺激引起的沖突(Dosenbach et al., 2007)。

此外, Sohn等(2000)利用fMRI證明任務(wù)轉(zhuǎn)換時(shí), 頂葉的有關(guān)區(qū)域被激活, 例如頂內(nèi)溝區(qū)域在轉(zhuǎn)換任務(wù)中更加活躍。他們的實(shí)驗(yàn)結(jié)果也證實(shí)了頂葉區(qū)域可能存在功能分離, 當(dāng)在與任務(wù)相關(guān)的維度之間轉(zhuǎn)換時(shí), 頂葉后部區(qū)域更活躍; 當(dāng)在刺激?響應(yīng)映射規(guī)則之間轉(zhuǎn)換時(shí), 頂葉前部更活躍(Sohn et al., 2000)。除了上述額葉和頂葉區(qū)域在任務(wù)轉(zhuǎn)換過(guò)程中的參與, 已經(jīng)有研究發(fā)現(xiàn)了許多其他大腦區(qū)域在任務(wù)轉(zhuǎn)換時(shí)比重復(fù)任務(wù)時(shí)更活躍, 例如小腦和顳枕皮層的各個(gè)區(qū)域(Proskovec et al., 2019)?？傊? 任務(wù)轉(zhuǎn)換需要整合各種感知、注意、記憶和運(yùn)動(dòng)過(guò)程, 所以現(xiàn)在研究者們?cè)絹?lái)越多地把焦點(diǎn)集中在識(shí)別和理解任務(wù)轉(zhuǎn)換過(guò)程的不同大腦區(qū)域之間的功能聯(lián)系上。

2.3 任務(wù)轉(zhuǎn)換中的神經(jīng)振蕩活動(dòng)

在一般性任務(wù)轉(zhuǎn)換范式(轉(zhuǎn)換只發(fā)生在單通道刺激之間)的研究過(guò)程中對(duì)任務(wù)轉(zhuǎn)換實(shí)驗(yàn)中的ERP結(jié)果進(jìn)行時(shí)頻轉(zhuǎn)換, 分析額頂葉區(qū)域不同頻段波的振蕩變化, 研究與轉(zhuǎn)換和混合代價(jià)有關(guān)的腦神經(jīng)振蕩活動(dòng), 從而探究任務(wù)轉(zhuǎn)換過(guò)程涉及到的神經(jīng)加工機(jī)制。許多相關(guān)的研究結(jié)果表明(Cooper et al., 2016; Wu et al., 2015), 相較于重復(fù)試次, 額頂葉區(qū)域的α頻帶振蕩在轉(zhuǎn)換條件下會(huì)有顯著的減小(轉(zhuǎn)換效應(yīng)), 同樣地, 和單一重復(fù)任務(wù)相比, 混合任務(wù)中的重復(fù)試次結(jié)果中的α頻帶波的振蕩強(qiáng)度顯著下降(混合效應(yīng)), 這也與上述提到的行為結(jié)果一致。此外, 混合效應(yīng)差異比轉(zhuǎn)換效應(yīng)造成的振蕩差異發(fā)生得更早且更加持久。這一現(xiàn)象也證實(shí)了轉(zhuǎn)換代價(jià)和混合代價(jià)分別同短暫的和持久的認(rèn)知控制機(jī)制有關(guān)(Capizzi et al., 2020)。一般認(rèn)為α頻帶的振蕩活動(dòng)在任務(wù)轉(zhuǎn)換中的功能意義是可以激活一種抑制性的自上而下的認(rèn)知機(jī)制, 具體來(lái)說(shuō), 當(dāng)一個(gè)新的任務(wù)設(shè)置與當(dāng)前任務(wù)設(shè)置發(fā)生競(jìng)爭(zhēng), α波的振蕩活動(dòng)可以抑制注意力的分散,促進(jìn)對(duì)當(dāng)前任務(wù)的反應(yīng)(Foxe et al., 2014)。

β頻段的振蕩變化模式同α波段一致, 也存在混合效應(yīng)和轉(zhuǎn)換效應(yīng)(Capizzi et al., 2020)。即在混合任務(wù)中, 轉(zhuǎn)換條件中β波的振蕩強(qiáng)度顯著降低; 混合任務(wù)中的重復(fù)試次和全重復(fù)任務(wù)中試次的結(jié)果對(duì)比, β波的振蕩強(qiáng)度呈現(xiàn)同樣的降低的結(jié)果, 而且混合效應(yīng)大于切換效應(yīng)。然而關(guān)于任務(wù)轉(zhuǎn)換中的β振蕩的功能還沒(méi)有得到徹底的解決, Cooper等(2019)認(rèn)為任務(wù)轉(zhuǎn)換期間的β振蕩主要與感覺(jué)運(yùn)動(dòng)功能(如運(yùn)動(dòng)執(zhí)行和準(zhǔn)備)有關(guān), 但是Capizzi等(2020)反駁了這一觀點(diǎn), 認(rèn)為在任務(wù)轉(zhuǎn)換中, β波的振蕩變化反映了非運(yùn)動(dòng)過(guò)程的參與, 因?yàn)棣抡袷幍哪X區(qū)分布并不局限于感覺(jué)運(yùn)動(dòng)皮層區(qū)域。這一結(jié)論也在最近的研究中找到了證據(jù)(Spitzer & Haegens, 2017), 非運(yùn)動(dòng)區(qū)的β振蕩與許多認(rèn)知過(guò)程有關(guān), 如工作記憶, 長(zhǎng)期記憶和決策等。由此我們認(rèn)為與α波類似, β波的神經(jīng)振蕩活動(dòng)同樣反映了大腦自上而下的加工機(jī)制。

θ頻段的波的振蕩變化與α和β頻段不同, 相對(duì)于重復(fù)試次, 切換條件中θ波的振蕩強(qiáng)度顯著增大, 存在明顯的轉(zhuǎn)換效應(yīng)。最近的一項(xiàng)研究也表明, 額頂葉的θ波活動(dòng)強(qiáng)度的增加與轉(zhuǎn)換代價(jià)成反比, 表示高效的認(rèn)知控制(Cooper et al., 2017)。這些研究結(jié)果表明θ波的振蕩活動(dòng)對(duì)轉(zhuǎn)換代價(jià)很敏感, 在任務(wù)轉(zhuǎn)換機(jī)制中發(fā)揮重要作用(Capizzi et al., 2020)。結(jié)合這些研究結(jié)果, 我們猜想θ頻段的振蕩活動(dòng)可能與注意的轉(zhuǎn)移有關(guān)。當(dāng)前要執(zhí)行的任務(wù)與之前的任務(wù)不同時(shí), 參與者需要將注意力轉(zhuǎn)移到新的相關(guān)刺激上, 建立新的任務(wù)設(shè)置, 所以更大的θ波的振蕩強(qiáng)度反映了更加靈活的注意轉(zhuǎn)移能力。而對(duì)于θ波的振蕩活動(dòng)與混合效應(yīng)的關(guān)系目前卻并沒(méi)有得到穩(wěn)定明確的證據(jù)支持, 它在任務(wù)轉(zhuǎn)換過(guò)程中具體的功能性意義也需要更多研究證據(jù)的支撐。

3 多感覺(jué)整合和轉(zhuǎn)換效應(yīng)的關(guān)系

3.1 跨通道轉(zhuǎn)換效應(yīng)

如上文所述, 在幾乎所有的多感覺(jué)整合研究中, 一個(gè)核心的實(shí)驗(yàn)設(shè)計(jì)是快速反應(yīng)時(shí)間任務(wù)。單通道感覺(jué)刺激和雙通道感覺(jué)刺激被以可變的刺激時(shí)間間隔隨機(jī)地混合在一起呈現(xiàn), 單通道刺激和多通道刺激可以分別單獨(dú)在一個(gè)任務(wù)塊中呈現(xiàn),也可以隨機(jī)地混合在一起呈現(xiàn), 這種實(shí)驗(yàn)設(shè)計(jì)類似于任務(wù)轉(zhuǎn)換范式中的混合塊設(shè)計(jì)。在多感覺(jué)混合任務(wù)塊中, 前后兩個(gè)刺激通道相同時(shí)(V-V, A-A或者AV-AV), 是通道重復(fù)條件; 前后兩個(gè)刺激通道不同時(shí)(A-V或者V-A), 即為通道轉(zhuǎn)換條件。除了對(duì)比AV和A, V條件下的反應(yīng)時(shí)會(huì)出現(xiàn)冗余信號(hào)效應(yīng)之外, 根據(jù)任務(wù)轉(zhuǎn)換中前后兩種任務(wù)不同時(shí)會(huì)產(chǎn)生轉(zhuǎn)換代價(jià), 在多感覺(jué)刺激混合任務(wù)中應(yīng)該也能觀察到類似的跨通道轉(zhuǎn)換代價(jià)和混合代價(jià)。

已經(jīng)有很多研究證實(shí)了這種猜想。例如Spence等(2001)給參與者隨機(jī)呈現(xiàn)一系列視覺(jué), 聽(tīng)覺(jué)和觸覺(jué)刺激, 前后刺激通道相同時(shí), 平均反應(yīng)時(shí)比通道不同時(shí)顯著減小, 產(chǎn)生了通道轉(zhuǎn)換代價(jià)。同樣地, Shaw等在實(shí)驗(yàn)中分別給出單一視覺(jué)刺激, 單一聽(tīng)覺(jué)刺激還有混合多感覺(jué)刺激, 要求參與者盡可能快地做出反應(yīng), 在結(jié)果中出現(xiàn)了跨通道轉(zhuǎn)換代價(jià)和混合代價(jià)(Shaw et al., 2020)。但是需要注意的結(jié)果是, 當(dāng)刺激是在單通道和雙通道之間轉(zhuǎn)換時(shí)(例如A-AV, V-AV等), 通常反應(yīng)損失會(huì)減小甚至消失。這種因?yàn)榍昂蟠碳ねǖ啦灰恢卤韧ǖ酪恢庐a(chǎn)生的反應(yīng)速度降低的現(xiàn)象被稱為跨通道轉(zhuǎn)換效應(yīng)(孫遠(yuǎn)路等, 2011)。

3.2 轉(zhuǎn)換代價(jià)與RSE的關(guān)系

由上可知, 當(dāng)轉(zhuǎn)換是發(fā)生在不同通道刺激之間時(shí), 依然存在轉(zhuǎn)換代價(jià), 損失來(lái)源是通道轉(zhuǎn)換效應(yīng)。這種跨通道轉(zhuǎn)換代價(jià)的存在對(duì)RSE中單純的多感覺(jué)協(xié)同激活的解釋模型產(chǎn)生質(zhì)疑(Shaw et al., 2020)。因?yàn)檗D(zhuǎn)換代價(jià)和混合代價(jià)的存在, 即使行為數(shù)據(jù)違背了競(jìng)賽模型, 雙感覺(jué)反應(yīng)時(shí)間的加速效應(yīng)也可能是因?yàn)榛旌辖M塊中的單通道感覺(jué)刺激之間存在轉(zhuǎn)換損失而導(dǎo)致單一感覺(jué)平均反應(yīng)時(shí)變長(zhǎng), 而不是雙通道感覺(jué)反應(yīng)時(shí)縮短(Shaw et al., 2020)。Barutchu和Spence (2021)在實(shí)驗(yàn)中證實(shí)跨通道轉(zhuǎn)換效應(yīng)會(huì)潛在地提高多感覺(jué)反應(yīng)易化效應(yīng), RSE使得多感覺(jué)通道條件下的反應(yīng)變快, 跨通道轉(zhuǎn)換效應(yīng)使得單一通道條件的反應(yīng)變慢, 總體反應(yīng)時(shí)更小。根據(jù)上述RSE有關(guān)的神經(jīng)加工機(jī)制, 在刺激驅(qū)動(dòng)和認(rèn)知的調(diào)控下多感覺(jué)整合會(huì)發(fā)生在信息加工的某一階段, 所以混合模塊中單一通道感覺(jué)的反應(yīng)減緩(通道轉(zhuǎn)換效應(yīng))和雙通道感覺(jué)的反應(yīng)加速(共同激活模型)之間并不是非此即彼的?？傊? 跨通道轉(zhuǎn)換效應(yīng)可以為RSE的來(lái)源提供一種新的解釋思路, 通道轉(zhuǎn)換促進(jìn)了多感覺(jué)反應(yīng)易化, 并且與共同激活模型不是完全對(duì)立的。

3.3 神經(jīng)機(jī)制

目前很少有實(shí)驗(yàn)使用腦電或功能磁共振等技術(shù)同時(shí)對(duì)跨通道轉(zhuǎn)換效應(yīng)和冗余信號(hào)效應(yīng)的神經(jīng)影像進(jìn)行對(duì)照研究。Elkhetali等(2019)利用功能磁共振研究了在多感覺(jué)通道刺激輸入的條件下, 任務(wù)類型在視覺(jué)和聽(tīng)覺(jué)任務(wù)之間轉(zhuǎn)換時(shí), 相關(guān)腦區(qū)功能連接的差異。結(jié)果顯示, 在處理當(dāng)前相關(guān)任務(wù)時(shí), 背外側(cè)前額葉皮層, 腹外側(cè)前額葉皮層和額下回區(qū)域與感覺(jué)皮層的功能連接增強(qiáng)且與刺激的通道類型無(wú)關(guān)(Elkhetali et al., 2019)。但是在這次實(shí)驗(yàn)中, Elkhetali等并沒(méi)有比較通道重復(fù)條件和通道轉(zhuǎn)換條件下的腦區(qū)連接差異, 研究跨通道轉(zhuǎn)換效應(yīng)相關(guān)的神經(jīng)加工機(jī)制。結(jié)合上文提到的任務(wù)轉(zhuǎn)換和RSE的神經(jīng)加工機(jī)制, 猜測(cè)當(dāng)刺激是多通道呈現(xiàn)時(shí), 跨通道轉(zhuǎn)換條件下額頂葉網(wǎng)絡(luò)包括前額葉皮層, 額葉內(nèi)側(cè)和頂葉皮層會(huì)有額外激活, 對(duì)比冗余信號(hào)和單通道信號(hào)條件時(shí), 初級(jí)感覺(jué)皮層, 顳葉和額頂葉區(qū)域的活動(dòng)強(qiáng)度可能會(huì)增強(qiáng)。相應(yīng)地, 跨通道轉(zhuǎn)換條件下的α和β波的神經(jīng)振蕩活動(dòng)也應(yīng)該會(huì)表現(xiàn)出轉(zhuǎn)換效應(yīng)和混合效應(yīng), 而RSE的存在會(huì)影響轉(zhuǎn)換條件下振蕩的相位同步性變化。

4 小結(jié)與展望

本文介紹了認(rèn)知加工過(guò)程中的兩種不同效應(yīng), 一種是多感覺(jué)整合過(guò)程中的冗余信號(hào)效應(yīng), 另一種是任務(wù)轉(zhuǎn)換中的反應(yīng)損失效應(yīng)。而在RSE有關(guān)的研究中, 我們發(fā)現(xiàn)了跨通道轉(zhuǎn)換效應(yīng)。這種跨通道轉(zhuǎn)換效應(yīng)將上述兩種不同的現(xiàn)象聯(lián)系在一起, 不但為多感覺(jué)整合中的冗余信號(hào)效應(yīng)提供了另一種可能的解釋, 也使得跨通道轉(zhuǎn)換效應(yīng)成為之后研究多感覺(jué)整合過(guò)程中不可忽視的一個(gè)因素。由于當(dāng)前有關(guān)任務(wù)轉(zhuǎn)換的研究很少?gòu)亩喔杏X(jué)通道任務(wù)轉(zhuǎn)換的角度研究轉(zhuǎn)換代價(jià), 尤其是神經(jīng)影像學(xué)方面的研究更加缺乏, 所以跨通道轉(zhuǎn)換效應(yīng)的發(fā)現(xiàn)可能為任務(wù)轉(zhuǎn)換代價(jià)來(lái)源的研究提供不同的方向。

4.1 跨通道轉(zhuǎn)換代價(jià)的來(lái)源

任務(wù)轉(zhuǎn)換過(guò)程中會(huì)產(chǎn)生反應(yīng)損失, 對(duì)于損失的來(lái)源主要有兩種觀點(diǎn), 任務(wù)重建和任務(wù)設(shè)置慣性(史藝荃, 周曉林, 2004)。雖然對(duì)于跨通道轉(zhuǎn)換效應(yīng)的具體來(lái)源還沒(méi)有足夠的實(shí)驗(yàn)證據(jù)的支撐, 但是我們可以根據(jù)經(jīng)典任務(wù)轉(zhuǎn)換損失的來(lái)源對(duì)跨通道轉(zhuǎn)換效應(yīng)的來(lái)源做出假設(shè)。也即是, 當(dāng)響應(yīng)從對(duì)一種通道刺激轉(zhuǎn)移到另一種通道刺激時(shí), 不但前后的注意資源分配會(huì)有所差異, 而且也會(huì)有自上而下的認(rèn)知加工對(duì)前一個(gè)試次處理的抑制作用, 所以會(huì)存在轉(zhuǎn)換損失。

當(dāng)發(fā)生轉(zhuǎn)換的兩種任務(wù)的刺激是通過(guò)不同通道呈現(xiàn)時(shí), 任務(wù)轉(zhuǎn)換和通道轉(zhuǎn)換會(huì)同時(shí)出現(xiàn), 那么任務(wù)轉(zhuǎn)換和感覺(jué)通道的轉(zhuǎn)換都會(huì)產(chǎn)生顯著的轉(zhuǎn)換代價(jià)(Sandhu & Dyson, 2013)。研究結(jié)果還發(fā)現(xiàn), 通道和任務(wù)同時(shí)發(fā)生轉(zhuǎn)換產(chǎn)生的代價(jià)分別大于單獨(dú)的跨通道轉(zhuǎn)換代價(jià)和任務(wù)轉(zhuǎn)換代價(jià), 但是小于兩種代價(jià)的總和, 即出現(xiàn)了次加性效應(yīng)(Peng et al., 2018)。研究者認(rèn)為這種次加性效應(yīng)表明了跨通道轉(zhuǎn)換和任務(wù)轉(zhuǎn)換過(guò)程既是相互依賴又是相互獨(dú)立的。一方面, 當(dāng)通道和任務(wù)都發(fā)生轉(zhuǎn)換時(shí), 通道的轉(zhuǎn)換(如視覺(jué)到聽(tīng)覺(jué))使得完成不同任務(wù)涉及到的神經(jīng)通路的重疊減少, 轉(zhuǎn)換后的任務(wù)受到之前任務(wù)設(shè)置的干擾小, 減少了反應(yīng)時(shí)損失, 進(jìn)而跨通道轉(zhuǎn)換和任務(wù)轉(zhuǎn)換過(guò)程得以分離, 在一定程度上相互獨(dú)立。盡管缺乏相關(guān)神經(jīng)基礎(chǔ)證據(jù)的證實(shí), 但是這一結(jié)果似乎為轉(zhuǎn)換代價(jià)來(lái)源于之前任務(wù)設(shè)置的慣性和干擾提供了支持, 未來(lái)的研究中可以進(jìn)一步探究。另一方面, 研究者認(rèn)為存在一個(gè)共同的認(rèn)知處理中樞對(duì)兩種轉(zhuǎn)換過(guò)程起作用, 這種認(rèn)知中樞體現(xiàn)在額頂葉網(wǎng)絡(luò)。然而, 額頂葉網(wǎng)絡(luò)的具體加工過(guò)程及神經(jīng)機(jī)制需要在以后的研究中繼續(xù)探索。

4.2 跨通道轉(zhuǎn)換效應(yīng)對(duì)RSE共同激活模型理論的補(bǔ)充

根據(jù)共同激活模型理論, 多感覺(jué)信號(hào)會(huì)在加工過(guò)程中進(jìn)行整合, 整合后的信號(hào)更快地觸發(fā)反應(yīng), 然而現(xiàn)在為止不同模態(tài)刺激的整合加強(qiáng)具體發(fā)生在加工過(guò)程的哪個(gè)階段這一問(wèn)題仍然沒(méi)有被證明。有研究者發(fā)現(xiàn), 當(dāng)轉(zhuǎn)換是發(fā)生在兩種不同的單通道之間, 信息處理會(huì)有顯著的時(shí)間損失; 但是當(dāng)反應(yīng)是在多通道和單通道之間轉(zhuǎn)換時(shí), 轉(zhuǎn)換效應(yīng)則不穩(wěn)定甚至不會(huì)觀察到轉(zhuǎn)換代價(jià)(Barutchu & Spence, 2021; Shaw et al., 2020)。我們認(rèn)為這種轉(zhuǎn)換代價(jià)的消失可能是由于同時(shí)發(fā)生的RSE抵消了轉(zhuǎn)換造成的損失, 從而支持共同激活模型理論, 并且多感覺(jué)信號(hào)的整合加工也可能對(duì)轉(zhuǎn)換過(guò)程中的神經(jīng)機(jī)制產(chǎn)生影響。當(dāng)任務(wù)轉(zhuǎn)換范式中的刺激是視聽(tīng)同時(shí)呈現(xiàn), RSE的存在可能會(huì)抵消轉(zhuǎn)換造成的反應(yīng)損失, 影響轉(zhuǎn)換過(guò)程中神經(jīng)振蕩的同步性變化和相關(guān)腦區(qū)的激活強(qiáng)度。在后續(xù)的實(shí)驗(yàn)中可以通過(guò)分離跨通道轉(zhuǎn)換和RSE這兩種效應(yīng)對(duì)反應(yīng)時(shí)的影響來(lái)驗(yàn)證這一假設(shè), 并結(jié)合腦神經(jīng)相關(guān)技術(shù), 比較兩種效應(yīng)的作用機(jī)制, 確定多感覺(jué)信號(hào)整合發(fā)生在認(rèn)知加工的哪一階段, 完善共同激活模型理論。

4.3 多感覺(jué)整合范式的改進(jìn)

為了解決上述提出的跨通道轉(zhuǎn)換代價(jià)來(lái)源以及共同激活發(fā)生階段等問(wèn)題, 對(duì)現(xiàn)有的任務(wù)轉(zhuǎn)換范式和多感覺(jué)反應(yīng)范式進(jìn)行改進(jìn)。首先, 把RSE研究范式和任務(wù)轉(zhuǎn)換經(jīng)典范式相結(jié)合, 比如兩種任務(wù)分別是判斷數(shù)字的奇偶或大小, 而每一個(gè)數(shù)字刺激的呈現(xiàn)形式包括圖片(V)和音頻(A), 刺激呈現(xiàn)的通道方式包括A-A-A…, V-V-V…, AV-AV- AV…, 每一種模塊中都會(huì)包含任務(wù)重復(fù)條件和轉(zhuǎn)換條件, 通過(guò)對(duì)比重復(fù)條件和轉(zhuǎn)換條件下RSE的大小, 分析轉(zhuǎn)換效應(yīng)對(duì)冗余信號(hào)效應(yīng)的影響。其次, 在單通道任務(wù)轉(zhuǎn)換范式中加入跨通道轉(zhuǎn)換條件, 比如數(shù)字刺激分別以視覺(jué)和聽(tīng)覺(jué)的形式隨機(jī)呈現(xiàn), 這樣轉(zhuǎn)換可以發(fā)生在通道間, 通道內(nèi)或同時(shí)出現(xiàn), 通過(guò)比較兩種轉(zhuǎn)換同時(shí)發(fā)生和單獨(dú)發(fā)生時(shí)腦區(qū)激活位置差異和強(qiáng)度差異, 進(jìn)一步定位兩種轉(zhuǎn)換過(guò)程共有的認(rèn)知處理中樞。

此外, 跨通道轉(zhuǎn)換代價(jià)是由于前后神經(jīng)回路的改變還是由于自上而下的認(rèn)知加工轉(zhuǎn)換導(dǎo)致的還無(wú)定論, 為了確定跨通道轉(zhuǎn)換代價(jià)的來(lái)源, 可以在實(shí)驗(yàn)中增加數(shù)字, 文字或者具有不同意義的圖片這些需要額外認(rèn)知加工的刺激信號(hào), 與經(jīng)典RSE研究中的無(wú)意義音頻或圖形進(jìn)行條件對(duì)比研究。最后, 目前對(duì)跨通道轉(zhuǎn)換的研究主要集中在聽(tīng)覺(jué)和視覺(jué)兩個(gè)通道, 然而當(dāng)冗余信號(hào)是聽(tīng)覺(jué)或視覺(jué)同其他感覺(jué)通道(如嗅覺(jué)或觸覺(jué))的組合時(shí), 是否還能觀察到同樣穩(wěn)定的跨通道轉(zhuǎn)換代價(jià)并促進(jìn)多感覺(jué)信號(hào)的反應(yīng)易化效應(yīng), 仍需在之后的研究中進(jìn)一步探究。

史藝荃, 周曉林. (2004). 執(zhí)行控制研究的重要范式——任務(wù)切換.,(5), 672–679.

孫遠(yuǎn)路, 胡中華, 張瑞玲, 尋茫茫, 劉強(qiáng), 張慶林. (2011). 多感覺(jué)整合測(cè)量范式中存在的影響因素探討.(11), 1239–1246.

Barutchu, A., & Spence, C. (2021). Top-down task-specific determinants of multisensory motor reaction time enhancements and sensory switch costs.(3), 1021–1034. https://doi.org/10. 1007/s00221-020-06014-3

Bastos, A. M., Vezoli, J., Bosman, C. A., Schoffelen, J. M., Oostenveld, R., Dowdall, J. R., ... Fries, P. (2015). Visual areas exert feedforward and feedback influences through distinct frequency channels.(2), 390–401. http://dx.doi.org/10.1016/j.neuron.2014.12.018

Bauer, A. R., Debener, S., & Nobre, A. C. (2020). Synchronisation of Neural Oscillations and Cross-modal Influences.(6), 481–495. https://doi.org/10.1016/j.tics.2020.03.003

Blurton, S. P., Greenlee, M. W., & Gondan, M. (2014). Multisensory processing of redundant information in go/no-go and choice responses.(4), 1212–1233. https://doi.org/10.3758/ s13414-014-0644-0

Capizzi, M., Ambrosini, E., Arbula, S., & Vallesi, A. (2020). Brain oscillatory activity associated with switch and mixing costs during reactive control.(11), Article e13642. https://doi.org/10.1111/psyp.13642

Cappe, C., Morel, A., & Rouiller, E. M. (2007). Thalamocortical and the dual pattern of corticothalamic projections of the posterior parietal cortex in macaque monkeys.(3), 1371–1387. https://doi. org/10.1016/j.neuroscience.2007.02.033

Cooper, P. S., Darriba, A., Karayanidis, F., & Barcelo, F. (2016). Contextually sensitive power changes across multiple frequency bands underpin cognitive control., 499–511. https://doi.org/10.1016/j.neuroimage.2016. 03.010

Cooper, P. S., Karayanidis, F., McKewen, M., McLellan-Hall, S., Wong, A. S. W., Skippen, P., & Cavanagh, J. F. (2019). Frontal theta predicts specific cognitive control-induced behavioural changes beyond general reaction time slowing., 130–140. https://doi.org/10.1016/j. neuroimage.2019.01.022

Cooper, P. S., Wong, A. S. W., McKewen, M., Michie, P. T., & Karayanidis, F. (2017). Frontoparietal theta oscillations during proactive control are associated with goal-updating and reduced behavioral variability., 253–264. http://dx.doi.org/10.1016/j.biopsycho.2017. 09.008

Dosenbach, N. U. F., Fair, D. A., Miezin, F. M., Cohen, A. L., & Wenger, K. K. (2007). Distinct brain networks for adaptive and stable task control in humans.(26), 11073–11078. https://doi.org/10.1073/ pnas.0704320104

Dove, A., Pollmann, S., Schubert, T., Wiggins, C. J., & von Cramon, D. Y. (2000). Prefrontal cortex activation in task switching: An event-related fMRI study.(1), 103–109. https://doi.org/10.1016/s0926- 6410(99)00029-4

Elkhetali, A. S., Fleming, L. L., Vaden, R. J., Nenert, R., Mendle, J. E., & Visscher, K. M. (2019). Background connectivity between frontal and sensory cortex depends on task state, independent of stimulus modality., 790–800. https://doi.org/10.1016/j.neuroimage.2018. 09.040

Foxe, J. J., Murphy, J. W., & de Sanctis, P. (2014). Throwing out the rules: Anticipatory alpha-band oscillatory attention mechanisms during task-set reconfigurations.(11), 1960–1972. https://doi. org/10.1111/ejn.12577

Gondan, M., & Minakata, K. (2016). A tutorial on testing the race model inequality.(3), 723–735. https://doi.org/10.3758/s13414-015-1018-y

Hershenson, M. (1962). Reaction time as a measure of intersensory facilitation.(3), 289–293. https://doi.org/10.1037/h0039516

Innes, B. R., & Otto, T. U. (2019). A comparative analysis of response times shows that multisensory benefits and interactions are not equivalent.(1), 2921. https://doi.org/10.1038/s41598-019-39924-6

Keil, J., & Senkowski, D. (2018). Neural Oscillations Orchestrate Multisensory Processing.(6), 609–626. https://doi.org/10.1177/1073858418755352

Maslovat, D., Hajj, J., & Carlsen, A. N. (2018). Coactivation of response initiation processes with redundant signals., 7–11. https://doi.org/10.1016/ j.neulet.2018.03.029

Mercier, M. R., Foxe, J. J., Fiebelkorn, I. C., Butler, J. S., Schwartz, T. H., & Molholm, S. (2013). Auditory-driven phase reset in visual cortex: Human electrocorticography reveals mechanisms of early multisensory integration., 19–29. https://doi.org/10.1016/j.neuroimage. 2013.04.060

Mercier, M. R., Molholm, S., Fiebelkorn, I. C., Butler, J. S., Schwartz, T. H., & Foxe, J. J. (2015). Neuro-oscillatory phase alignment drives speeded multisensory response times: An electro-corticographic investigation.(22), 8546–8557. https://doi.org/10. 1523/JNEUROSCI.4527-14.2015

Miller, J. (1982). Divided attention: Evidence for coactivation with redundant signals., 247– 279. https://doi.org/10.1016/0010-0285(82)90010-x

Miller, J. (2016). Statistical facilitation and the redundant signals effect: What are race and coactivation models?(2), 516–519. https://doi.org/10.3758/s13414-015-1017-z

Otto, T. U., & Mamassian, P. (2017). Multisensory Decisions: The Test of a Race Model, Its Logic, and Power.(1), 1–24. https://doi.org/10.1163/22134808- 00002541

Peng, A., Kirkham, N. Z., & Mareschal, D. (2018). Information processes of task-switching and modality-shifting across development.(6), Article e0198870. https:// doi.org/10.1371/journal.pone.0198870

Proskovec, A. L., Wiesman, A. I., & Wilson, T. W. (2019). The strength of alpha and gamma oscillations predicts behavioral switch costs., 274–281. https://doi.org/10.1016/j.neuroimage.2018.12.016

Raab, D. H. (1962). Statistical facilitation of simple reaction times., 574–590. https://doi.org/10.1111/j.2164-0947.1962. tb01433.x

Regenbogen, C., Seubert, J., Johansson, E., Finkelmeyer, A., Andersson, P., & Lundstrom, J. N. (2018). The intraparietal sulcus governs multisensory integration of audiovisual information based on task difficulty.(3), 1313–1326. https://doi.org/10.1002/hbm.23918

Rogers, R. D., & Monsell, S. (1995). Costs of a predictable switch between simple cognitive tasks.(2), 207–231. https:// doi.org/10.1037/0096-3445.124.2.207

Sandhu, R., & Dyson, B. J. (2013). Modality and task switchinginteractions using bi-modal and bivalent stimuli.(1), 90–99. http://dx.doi.org/10.1016/j.bandc. 2 013.02.011

Shaw, L. H., Freedman, E. G., Crosse, M. J., Nicholas, E., Chen, A. M., Braiman, M. S., ... Foxe, J. J. (2020). Operating in a multisensory context: Assessing the interplay between multisensory reaction time facilitation and inter-sensory task-switching effects., 122–135. https:// doi.org/10.1016/j.neuroscience.2020.04.013

Sohn, M.-H., Ursu, S., Anderson, J. R., Stenger, V. A., & Carter, C. S. (2000). The role of prefrontal cortex and posterior parietal cortex in task switching.(24), 13448–13453. https://doi.org/10.1073/ pnas.240460497

Spence, C., Nicholls, M. E. R., & Driver, J. (2001). The cost of expecting events in the wrong sensory modality.(2), 330–336. https://doi. org/10.3758/bf03194473

Spitzer, B., & Haegens, S. (2017). Beyond the Status Quo: A Role for Beta Oscillations in Endogenous Content (Re) Activation.(4), Article e0170-17. http://dx.doi. org/10.1523/ENEURO.0170-17.2017

Stickel, S., Weismann, P., Kellermann, T., Regenbogen, C., Habel, U., Freiherr, J., & Chechko, N. (2019). Audio-visual and olfactory-visual integration in healthy participants and subjects with autism spectrum disorder.(15), 4470–4486. https://doi.org/10.1002/hbm. 24715

van Atteveldt, N., Murray, M. M., Thut, G., & Schroeder, C. E. (2014). Multisensory integration: Flexible use of general operations.(6), 1240–1253. http://dx.doi.org/ 10.1016/j.neuron.2014.02.044

van der Stoep, N., Spence, C., Nijboer, T. C., & van der Stigchel, S. (2015). On the relative contributions of multisensory integration and crossmodal exogenous spatial attention to multisensory response enhancement., 20–28. http://dx.doi.org/10.1016/j.actpsy.2015.09.010

Wu, S., Hitchman, G., Tan, J., Zhao, Y., Tang, D., Wang, L., & Chen, A. (2015). The neural dynamic mechanisms of asymmetric switch costs in a combined Stroop-task- switching paradigm., 10240. https:// doi.org/10.1038/srep10240

The modality shifting effects in the multisensory integration paradigm

GUAN Lei, LUO Wenpei, HAN Jiahui

(Research Center of Brain and Cognitive Neuroscience, Liaoning Normal University; Key Laboratory of Brain and Cognitive Neuroscience, Liaoning Province, Dalian 116029, China)

The signals from different sensory channels could be integrated and processed in brain. Compared with stimulus from a single sensory modality, the individual responses was faster for the multisensory target signals. One theory explaining this phenomenon is the co-activation model. According to the co-activation model, the signals input through multiple sensory channels would be integrated in specialized brain regions, such as the intraparietal sulcus, superior temporal sulcus and prefrontal lobe regions. The strength of the integrated signal is stronger, which could trigger the reaction more quickly. However, the integration of the multisensory signals has not been concluded to occur in which phase of the cognitive processing. When the task is switched between different modalities, the cost of task switching associated with the cross-modal is less than the sum of the modality switching cost and the single task switching cost, which provides evidence for the hypothesis that the switching cost associated with different sensory channels are derived from inertia and interference of the task set. Moreover, when modality switching occurs between single-modal and multi- sensory, the modality switching cost will reduce even disappear, which is due to the multisensory integration offset a part of loss. This supports the co-activation model. However, it’s unknown how the multi-sensory integration affects the nerve processing of the task switch. We could try to solve it by combining the multisensory integration research paradigm with the classic task switching paradigm, further to determine the processing mechanism of the cross-modal shift and the processing phase of multisensory integration.

multisensory integration, redundant signal effect, modality shift effect, task switching

2021-07-12

* 國(guó)家自然科學(xué)基金青年項(xiàng)目(32100848), 遼寧省自然科學(xué)基金項(xiàng)目(2020-BS-186), 遼寧省教育廳項(xiàng)目(LQ2020029),遼寧省經(jīng)濟(jì)社會(huì)發(fā)展研究課題(2022lslwzzkt-025), 遼寧師范大學(xué)博士啟動(dòng)項(xiàng)目(BS2020L006)。

韓佳慧, E-mail: jiahui110509@163.com;jiahui666@lnnu.edu.cn

B842