跨通道遷移及其認(rèn)知神經(jīng)機(jī)制*

孫瑩 孫洵偉 王一帆 付秋芳**

（1）中國科學(xué)院心理研究所，腦與認(rèn)知科學(xué)國家重點(diǎn)實(shí)驗(yàn)室，北京 100101；2）中國科學(xué)院大學(xué)心理學(xué)系，北京 100049；3）北京大學(xué)心理與認(rèn)知科學(xué)學(xué)院，北京 100871）

當(dāng)根據(jù)言語描述在雜亂的箱子里翻找物品時(shí)，即使無法看見，也可以通過觸摸很輕松地找到。這種將一種感覺通道的知識或信息，應(yīng)用于另一種感覺通道的能力即為跨通道遷移。這一現(xiàn)象說明，輸入信息可能在大腦中具有獨(dú)立于感覺通道的表征形式，從而使得信息可以在不同感覺通道間發(fā)生遷移［1］?？缤ǖ肋w移不僅有助于個(gè)體避免重復(fù)學(xué)習(xí)，實(shí)現(xiàn)行為目標(biāo)，還會(huì)提高個(gè)體識別績效，增加知識技能的靈活性［2］。同時(shí)，洞悉跨通道遷移的表征類型和認(rèn)知機(jī)制，也有利于人工智能領(lǐng)域構(gòu)建更為靈活的遷移學(xué)習(xí)算法，并有助于設(shè)計(jì)更適用的感覺替代裝置，提高信息在不同通道間的遷移能力［3-4］?？缤ǖ肋w移的研究之間差異較大，研究目的和實(shí)驗(yàn)范式各不相同。為了較好地概括和闡釋跨通道遷移的特點(diǎn)和機(jī)制，本文首先介紹物體識別、類別學(xué)習(xí)和時(shí)間知覺等不同領(lǐng)域的跨通道遷移研究，闡述跨通道遷移的概念以及主要研究內(nèi)容、研究范式和研究結(jié)果，之后介紹支持跨通道遷移的表征類型和認(rèn)知機(jī)制，梳理了跨通道遷移產(chǎn)生的理論及神經(jīng)機(jī)制的研究進(jìn)展，并指出了影響跨通道遷移的因素。最后，對目前跨通道遷移的研究成果的潛在應(yīng)用進(jìn)行總結(jié)，并對這一領(lǐng)域未來的研究問題進(jìn)行展望。

1 跨通道遷移

跨通道遷移廣泛存在于各種知識、技能和社會(huì)規(guī)范的學(xué)習(xí)中。下面將通過介紹跨通道識別和類別學(xué)習(xí)中的跨通道遷移，闡述一種感覺通道獲得的物體識別和分類知識如何被應(yīng)用于另一感覺通道，并通過介紹時(shí)間知覺訓(xùn)練的跨通道遷移，闡釋感知訓(xùn)練等一般能力是否可以進(jìn)行跨通道遷移。

1.1 跨通道識別

跨通道識別指個(gè)體將物體識別知識在不同感覺通道間進(jìn)行遷移的能力［5］，主要表現(xiàn)為在某一感覺通道習(xí)得物體識別信息后，該信息可以增強(qiáng)或影響目標(biāo)通道刺激的判別和檢索績效。例如，研究發(fā)現(xiàn)，個(gè)體通過視覺通道識別新異物體后，所學(xué)知識可以遷移至觸覺通道，反之亦然［6-7］。個(gè)體還可以利用跨通道線索完成視覺搜索任務(wù)［8］，并且跨通道線索（聲音線索）的搜索績效優(yōu)于單通道條件（圖像、文字線索）。同時(shí)，在視-觸［9］和視-聽［10］通道間均發(fā)現(xiàn)了跨通道啟動(dòng)效應(yīng)。例如，采用經(jīng)典的S1-S2啟動(dòng)范式發(fā)現(xiàn)，相比于語義不一致的刺激對，人們對語義一致的跨通道刺激對的反應(yīng)時(shí)間會(huì)更短。這種促進(jìn)效應(yīng)說明，個(gè)體會(huì)將不同通道的刺激視作相同的對象，使得物體識別信息可以發(fā)生跨通道遷移［10］。

那么是否只有人類才具有跨通道識別能力呢？采用違反期望范式和優(yōu)先注意范式等動(dòng)物研究中經(jīng)典的跨通道識別任務(wù)范式，研究發(fā)現(xiàn)，多數(shù)動(dòng)物也具有跨通道識別能力［11］。其中，違反期望范式是指先給動(dòng)物被試提供關(guān)于某一熟悉身份的一種感覺線索（如實(shí)際看到一匹同伴馬［12］），移除線索后再向其提供另一熟悉身份的另一種感覺線索（如另一同伴馬的聲音），由于這兩種感覺線索不一致，違背了動(dòng)物被試的預(yù)期，不一致線索會(huì)導(dǎo)致比一致線索更長的關(guān)注時(shí)間。而優(yōu)先注意范式則是指先向如卷尾猴等動(dòng)物被試呈現(xiàn)獼猴、人類和其他卷尾猴的聲音和面孔［13］，使它們對這些刺激之間形成跨通道對應(yīng)，之后在測試中若發(fā)現(xiàn)動(dòng)物被試觀看匹配的面部刺激比不匹配的面部刺激更久，就證明動(dòng)物被試具有跨通道識別的能力。例如，研究發(fā)現(xiàn)，在學(xué)習(xí)階段訓(xùn)練黃蜂對視覺或觸覺的目標(biāo)物體進(jìn)行獎(jiǎng)賞學(xué)習(xí)，隨后在同通道和跨通道的4種遷移條件下分別考察黃蜂對測試物體的學(xué)習(xí)績效，實(shí)驗(yàn)流程如圖1所示。結(jié)果發(fā)現(xiàn)，兩種跨通道遷移條件下，黃蜂接觸在學(xué)習(xí)階段所習(xí)得物體的時(shí)間均顯著更長，表明黃蜂可以進(jìn)行跨通道識別［14］。此外，還發(fā)現(xiàn)章魚［15］和卷尾猴［16］均具有在視-觸通道間進(jìn)行跨通道識別的能力，弱電魚則可以在視覺和電感覺（electric senses）間進(jìn)行跨通道識別［17-18］。這些研究表明，無論是人類還是動(dòng)物均可以形成關(guān)于物體的多通道表征，跨通道識別能力可能并不依賴于語言加工過程。

Fig. 1 The procedure of crossmodal recognition task［14］圖1 跨通道識別任務(wù)實(shí)驗(yàn)圖示［14］

1.2 類別學(xué)習(xí)中的跨通道遷移

類別學(xué)習(xí)中的跨通道遷移是指個(gè)體將在一種感覺通道獲得的類別知識遷移到其他感覺通道的能力，具體表現(xiàn)為在一種通道習(xí)得的類別知識可以提高對另一通道刺激的分類績效。研究發(fā)現(xiàn)，單維度特征的類別知識可以在視-觸通道間進(jìn)行遷移［19-20］。例如，有研究使用3D打印技術(shù)，將計(jì)算機(jī)生成的形狀各異的新奇物體打印出來，學(xué)習(xí)者通過視覺或觸覺對這些物體進(jìn)行類別學(xué)習(xí)，結(jié)果發(fā)現(xiàn)，視覺訓(xùn)練不僅提高了視覺績效，還能提高觸覺績效，反之亦然［19］。使用異同辨別任務(wù)的動(dòng)物研究也發(fā)現(xiàn)，類別知識可以在視-聽通道發(fā)生遷移［21］。并且，學(xué)習(xí)者習(xí)得的分類邊界在度量空間中的位置也可以進(jìn)行跨通道遷移，提高邊界附近物體的可分辨性［19］。這些研究表明，通過視覺或觸覺通道獲得的表征，可能部分被抽象為具有通道通用性的多通道表征，從而促進(jìn)物體信息在通道間進(jìn)行遷移。

不過，在考察個(gè)體是否可以將習(xí)得的兩維度分類規(guī)則進(jìn)行跨通道遷移時(shí)，結(jié)果尚不一致。有研究發(fā)現(xiàn)，無論是學(xué)習(xí)視覺聯(lián)合規(guī)則還是信息整合，人們均未能將習(xí)得的視覺分類規(guī)則遷移至聽覺通道刺激［22］。也有研究發(fā)現(xiàn)，學(xué)習(xí)視聽聯(lián)合規(guī)則的被試可以將習(xí)得的類別知識進(jìn)行跨通道遷移，但學(xué)習(xí)視聽信息整合類別結(jié)構(gòu)的被試則不可以進(jìn)行跨通道遷移［23］。由于自然界中類別結(jié)構(gòu)通常并不是由單一維度界定的，更多時(shí)候需要人們整合不同維度的信息來形成類別表征，未來研究不僅需要進(jìn)一步明確可以發(fā)生跨通道遷移的類別結(jié)構(gòu)的特點(diǎn)，還需要深入探索影響不同類別結(jié)構(gòu)跨通道遷移的因素。

此外，研究還發(fā)現(xiàn)，對基本視覺特征的細(xì)微差異，如線條朝向或辨別點(diǎn)的運(yùn)動(dòng)方向等，進(jìn)行辨別學(xué)習(xí)時(shí)，知覺學(xué)習(xí)的績效無法進(jìn)行跨通道遷移［24-26］。這通常被認(rèn)為是由于知覺學(xué)習(xí)所形成的表征依賴于訓(xùn)練刺激，是通道特異的。不過，也有研究發(fā)現(xiàn)，通過新異的訓(xùn)練策略可以使得視知覺學(xué)習(xí)績效遷移至其他感覺通道，表明知覺學(xué)習(xí)也可能以一種知覺不變的方式形成抽象表征［27-28］。這些研究說明，抽象表征的習(xí)得可能是進(jìn)行跨通道遷移的重要條件，它使得個(gè)體可以靈活地做出適應(yīng)性行為，但目前尚不清楚抽象表征的產(chǎn)生是否是進(jìn)行跨通道遷移的必要條件。

1.3 時(shí)間知覺的跨通道遷移

目前，感知能力訓(xùn)練的跨通道遷移也得到研究者的重視。其中，因亞秒（sub-second）時(shí)間知覺對于語言感知、運(yùn)動(dòng)感知和運(yùn)動(dòng)協(xié)調(diào)等感知任務(wù)以及跨通道信息交互和整合十分重要［29］，因此得到了廣泛的關(guān)注。研究多采用如時(shí)長辨別任務(wù)［30］、生成任務(wù)［31］和時(shí)序判斷任務(wù)［32］等經(jīng)典范式，考察時(shí)間間隔感知能力的改善是否可以跨通道遷移。研究發(fā)現(xiàn)，跨通道（如聽覺和觸覺）的時(shí)長辨別訓(xùn)練有利于提高視覺通道的感知［33-35］，這種時(shí)間知覺的跨通道遷移效應(yīng)還包括從視覺到聽覺［36］，以及從聽覺到動(dòng)覺［31，37］等。除有明確學(xué)習(xí)指導(dǎo)語的外顯任務(wù)外，也有研究采用如視覺Ternus運(yùn)動(dòng)感知任務(wù)等內(nèi)隱范式，發(fā)現(xiàn)個(gè)體可以內(nèi)隱地提高目標(biāo)感覺通道的時(shí)間知覺績效并發(fā)生跨通道遷移［33］。不過，值得指出的是，部分研究未能重復(fù)驗(yàn)證時(shí)間辨別能力可以從聽覺跨通道遷移至視覺通道［38］，或者是僅觀察到單向的跨通道遷移效應(yīng)，即時(shí)間辨別能力的績效改善可以從聽覺遷移至視覺通道，反之則不可以［34］。

除時(shí)長知覺的遷移效應(yīng)外，有研究比較了音樂家和非音樂家視覺和聽覺時(shí)序判斷任務(wù)的最小可覺差和主觀相等點(diǎn)的差異［39］，發(fā)現(xiàn)長期的音樂訓(xùn)練有利于提高個(gè)體對于視覺和視聽組合的時(shí)間視敏銳度，提高個(gè)體區(qū)分感覺通道間的不同時(shí)序刺激差異的一般能力。不過，在考察時(shí)序知覺學(xué)習(xí)遷移效應(yīng)的一項(xiàng)研究中［40］，僅發(fā)現(xiàn)跨通道時(shí)序知覺的改善可以遷移到視覺而非聽覺，并且單通道時(shí)序知覺訓(xùn)練無法發(fā)生跨通道遷移。

一項(xiàng)感知能力的訓(xùn)練結(jié)果可以進(jìn)行跨通道遷移，意味著這種感知能力的訓(xùn)練所形成的特定能力會(huì)擴(kuò)展為一般能力，從而能夠影響和提高其他任務(wù)的績效。由于不同感覺通道刺激的信息存在著巨大的差異，感知能力之間的泛化和遷移背后所依賴的是何種機(jī)制尚不清楚，仍有待于未來進(jìn)一步的研究。

2 跨通道遷移依據(jù)的表征類型及相關(guān)理論

表征是指信息存儲在大腦中的方式，可分為通道特異性表征和通道通用性表征。通道特異性表征是指獲得的知識表征是具體的、對刺激特征敏感，并且依賴輸入通道；而通道通用性表征是指獲得的知識表征是抽象的、不受刺激的表面特征或輸入通道的影響，并且獨(dú)立于感覺通道［41］。有研究者認(rèn)為，跨通道遷移依賴的是抽象的、具有通道通用性的表征，而不是具體的、具有通道特異性的表征。但也有研究認(rèn)為，跨通道遷移并不依賴于抽象表征，而是依賴于不同通道的表征之間形成的聯(lián)結(jié)或者以多通道表象為中介。

2.1 多通道假說

多通道假說是解釋跨通道遷移的表征類型的主要理論［1，19］。該假說認(rèn)為，人們利用物體或事物的通道特異性（modality-specific）表征，提取或推斷物體或事件的內(nèi)在固有的、通道獨(dú)立（modalityindependent）的屬性［42］，以非通道特異性的（amodal）或多通道的形式來表征這些屬性，并且不同感覺通道的表征之間相互聯(lián)系，構(gòu)成跨通道遷移的基礎(chǔ)［43］。例如，人們在視覺通道內(nèi)習(xí)得的知識可以被應(yīng)用于觸覺測驗(yàn)，表明在視覺物體識別的過程中形成的表征并不依賴于視覺通道［1，19］。

也有研究者試圖從計(jì)算的角度，通過模態(tài)不變性假說來解釋多通道表征促進(jìn)跨通道遷移的現(xiàn)象［44］。模態(tài)不變性是指，人們對環(huán)境事件的神經(jīng)表征是模態(tài)不變的，當(dāng)事件具有相同的表征而不受限于感知它的感覺通道時(shí)，該事件就會(huì)更容易識別、推理和學(xué)習(xí)，并且通過任意一種感覺通道感知事件均會(huì)激活其多通道表征［43］。例如，運(yùn)動(dòng)后效被證實(shí)可以在視-觸通道間遷移，表明存在視-觸通道間共享的運(yùn)動(dòng)表征［45］。此外，無論物體被看見或是被觸摸，在外側(cè)枕葉復(fù)合區(qū)可以觀察到相似的激活模式［46］。

該假說得到很多認(rèn)知神經(jīng)成像研究的支持。例如，有研究發(fā)現(xiàn)，對新異三維物體的視覺和觸覺編碼，會(huì)引起側(cè)枕葉相似的神經(jīng)活動(dòng)模式，支持人腦是以多模態(tài)編碼的方式表征物體［44］。腦成像研究發(fā)現(xiàn)［47］，與未接觸過的物體相比，兩組熟悉物體無論是單通道條件（視覺-視覺組）還是跨通道條件（視覺-觸覺組）均表現(xiàn)出相似的習(xí)慣化水平，尤其是在外側(cè)枕葉表現(xiàn)出了較低的激活。類似地，視聽刺激短暫同步呈現(xiàn)后的習(xí)慣化，使得聽覺刺激在隨后的任務(wù)中自動(dòng)地激活初級視覺皮層［48］。同時(shí)，在一項(xiàng)考察紋理類別知識在視-觸通道間遷移的功能磁共振成像（functional magnetic resonance imaging，fMRⅠ）研究中［20］發(fā)現(xiàn)，除與學(xué)習(xí)相關(guān)腦區(qū)，如頂葉上回、背側(cè)前扣帶皮層和右側(cè)背外側(cè)前額葉皮層等腦區(qū)激活減少外，單通道訓(xùn)練組（視覺訓(xùn)練-視覺測驗(yàn)）負(fù)責(zé)視覺紋理加工的左內(nèi)側(cè)枕葉皮質(zhì)表現(xiàn)出更大的激活，但是跨通道訓(xùn)練組（視覺訓(xùn)練-觸覺測驗(yàn)）則表現(xiàn)為雙內(nèi)側(cè)側(cè)枕葉的激活。

此外，研究者在記錄內(nèi)側(cè)顳葉的神經(jīng)活動(dòng)時(shí)甚至發(fā)現(xiàn)，人們的大腦包含有“概念”細(xì)胞［49］，這些細(xì)胞涉及自然人或事物的表征，而這些表征與感知這些人或事物的感覺通道無關(guān)。例如，一個(gè)神經(jīng)元可以選擇性地對個(gè)體相關(guān)信息做出反應(yīng)，包括某一公眾人物的形象圖像、書面名稱或者其名字的語音［50］。由此研究者指出，內(nèi)側(cè)顳葉的一個(gè)功能是形成多通道信息間的聯(lián)結(jié)，該聯(lián)結(jié)網(wǎng)絡(luò)會(huì)加工來自多種感覺通道的信息。相比于元通道腦區(qū)具有加工特定功能或計(jì)算模式的先天結(jié)構(gòu)限制，多通道表征是在多通道整合的過程中逐漸形成的［51］。新形成的表征可能出現(xiàn)在單個(gè)神經(jīng)元水平上，也可能在神經(jīng)集群的水平上進(jìn)行編碼，不限于單感覺通道。

2.2 多通道心理表象

表象是對當(dāng)前不存在的物體或事件的一種表征形式。當(dāng)客觀事物不在眼前時(shí)，表象可使頭腦中栩栩如生地呈現(xiàn)事物的形象［52］。表象會(huì)影響或改變個(gè)體感知到的信息。例如，有研究發(fā)現(xiàn)想象可以與知覺刺激相結(jié)合，從而誘發(fā)交叉碰撞錯(cuò)覺、腹語術(shù)效應(yīng)和麥格克效應(yīng)等經(jīng)典的多感覺錯(cuò)覺［53］。在日常生活中，人們更多接觸的是多感覺事件或事物，很少以孤立的感覺通道進(jìn)行感知，甚至即使感知到的信息是單通道的，信息也會(huì)與其他感覺通道發(fā)生交互。例如，視覺通道感知到的信息可以誘發(fā)聽覺心理表象。因此，有研究者提出，可以用人類大腦高級中樞內(nèi)部表征的多通道心理表象（multimodal mental imagery）來解釋跨通道遷移現(xiàn)象［54］。多通道心理表象是指，由一種感覺通道的刺激所誘發(fā)的其他感覺通道的心理表象以及該通道對應(yīng)的早期感覺皮層激活［54-55］。例如，在不呈現(xiàn)聲音的情況下，僅觀察與語言相關(guān)的面部運(yùn)動(dòng)（如唇讀）時(shí)，視覺信息也會(huì)激活初級聽覺皮層和顳上回前部［56-57］。此時(shí)，多通道心理表象是涉及意識、非隨意的、伴隨著個(gè)體的真實(shí)存在感，并且可以將想象的對象定位在自我中心空間或抽象空間中。

這一理論認(rèn)為，觸覺誘發(fā)的視覺皮層激活是由于視覺表象的中介作用，而不是被軀體感覺輸入信息直接激活的［58］。相關(guān)的神經(jīng)科學(xué)證據(jù)發(fā)現(xiàn)，無論是先天盲人還是明眼人，聽覺線索均可以誘發(fā)對熟悉物體形狀的心理表象。同時(shí)，視覺表象的生動(dòng)性評分與觸覺形狀選擇性激活的右側(cè)側(cè)枕葉的個(gè)體差異水平存在顯著相關(guān)［59］。此外，在完成物體識別或朝向辨別等觸覺任務(wù)時(shí)，視覺區(qū)域的激活并非反映它具有元通道特性，而是可能反映了基于心理表象或是在觸覺探索中產(chǎn)生的自上而下的調(diào)節(jié)過程［58-59］。使用感官替代裝置后，盲人通過觸覺也可以“看到”信息并激活初級視覺皮層，這并非因?yàn)閷?shí)際“看到”信息，而是因?yàn)橛|覺信息激活了個(gè)體的視覺心理表象［55］。

但是這一理論也受到了研究者的質(zhì)疑。有研究發(fā)現(xiàn)，視覺表象引起的側(cè)枕葉激活顯著小于觸覺形狀感知，這表明視覺表象的作用相對次要［60-61］。并且，早期和晚期失明盲人均可以通過觸摸［60，62-65］或感官替代裝置［66-67］產(chǎn)生的聽覺信息引起形狀選擇相關(guān)的側(cè)枕葉激活，說明視覺表象可能無法解釋視覺皮層的跨通道激活。不過，由于視覺剝奪可能導(dǎo)致初級視覺皮層的跨通道可塑性，這一結(jié)果也無法排除視覺表象對視力正常者跨通道遷移的作用［62，65］。

2.3 小結(jié)

多通道假說和多通道心理表象的相關(guān)研究加深了對支持跨通道遷移的表征類型的理解。兩種理論均強(qiáng)調(diào)了表征在跨通道遷移過程中的重要作用。但是，兩者在何種表征類型支持跨通道遷移這一問題上存在不同觀點(diǎn)。多通道假說強(qiáng)調(diào)個(gè)體不僅具有整合不同物體或事物的通道特異性表征的能力，還具有生成通道通用性表征的能力，這種多通道表征是使得信息可以發(fā)生跨通道遷移的主要原因。而多通道心理表象理論則強(qiáng)調(diào)心理表象作為一種信息表征的方式，一方面可以直接影響個(gè)體對事物的感知，另一方面可以誘發(fā)與其相對應(yīng)的其他通道的心理表象，從而促進(jìn)了跨通道遷移的產(chǎn)生。目前已有研究者嘗試整合這兩種理論，提出一個(gè)概念模型，試圖根據(jù)對物體的熟悉程度來調(diào)節(jié)自上而下或自下而上的加工，以此來協(xié)調(diào)心理表象和多通道整合在多通道物體表征中的作用［68］。但是，這一理論模型還缺乏實(shí)證證據(jù)的支持，其所涉及的神經(jīng)機(jī)制也還有待于未來研究的進(jìn)一步證實(shí)。

3 跨通道遷移的神經(jīng)機(jī)制及相關(guān)理論

愛爾蘭哲學(xué)家William Molyneux在1688年曾提出一個(gè)經(jīng)典問題［69］：先天失明患者通過后天治療恢復(fù)視力后，是否能夠僅憑視覺區(qū)分先前通過觸覺習(xí)得的物體形狀？換句話說，僅通過觸覺與世界交互是否可以發(fā)展出適當(dāng)?shù)囊曈X物體識別的神經(jīng)基礎(chǔ)？這個(gè)問題是跨通道遷移領(lǐng)域爭論的一個(gè)焦點(diǎn)問題［70］，即跨通道遷移是先天存在的還是后天發(fā)展的？有研究者認(rèn)為，跨通道遷移依賴于大腦中存在非通道特異的腦區(qū)，這些腦區(qū)是產(chǎn)生抽象的、具有通道通用性表征的基礎(chǔ)，強(qiáng)調(diào)跨通道遷移是先天具有的能力。但也有研究者認(rèn)為，后天發(fā)展或經(jīng)驗(yàn)對跨通道遷移具有重要影響［71］，較為強(qiáng)調(diào)跨通道遷移能力是后天發(fā)展而來的。

3.1 元通道假說

為探索跨通道遷移產(chǎn)生的腦機(jī)制，借助腦成像技術(shù)，很多研究發(fā)現(xiàn)，大腦可能以元通道（metamodal）［70］或超通道（supramodal）［72］的組織方式表征事件，即依據(jù)加工物體的功能（如形狀識別）或計(jì)算方式（如計(jì)算不同感覺輸入的運(yùn)動(dòng)模式）激活特定腦區(qū)來表征信息［73-74］，具有任務(wù)通用性，且獨(dú)立于刺激的感覺通道［46，70］。這種非感覺特異性的加工特性和反應(yīng)方式［72，75-77］，意味著大腦處理和加工信息的關(guān)鍵并不在于刺激的感覺通道，而在于腦區(qū)的具體功能及從相關(guān)感覺通道中提取可用信息的方式［70，78］。

根據(jù)這一理論，大腦為了更好地完成特定加工任務(wù)，會(huì)在神經(jīng)網(wǎng)絡(luò)群間相互競爭，并根據(jù)不同的結(jié)構(gòu)特性形成大腦區(qū)域的功能特異化。以視覺為例，因某腦區(qū)具有分辨空間信息的功能，與視覺加工需求相契合，因此該區(qū)域被視作初級視覺皮層，負(fù)責(zé)加工視覺信息。但是，視覺信息作為主導(dǎo)輸入模式，掩蓋了該皮層可加工其他感覺通道信息的事實(shí)。例如，有關(guān)感覺障礙或缺陷的研究發(fā)現(xiàn)，從未有過視覺經(jīng)驗(yàn)或是記憶的先天性視障患者，在視覺區(qū)域表現(xiàn)出功能或任務(wù)特異性的跨通道激活模式［46，67，79-81］。而且，對視力正常個(gè)體進(jìn)行視覺剝奪后，視覺初級皮層將會(huì)發(fā)生神經(jīng)可塑性改變并進(jìn)行顯著的功能重組（recruited），枕葉皮層也將參與處理觸覺和聽覺等非視覺信息［78］，且加工視覺類別的大腦區(qū)域仍具有反應(yīng)選擇性［72］。

研究還發(fā)現(xiàn)，負(fù)責(zé)視覺物體識別的腹側(cè)通路［44，80］，表現(xiàn)出不依賴于感覺通道的任務(wù)特異性激活［46，63］。例如，側(cè)枕葉視-觸區(qū)是一個(gè)由形狀信息驅(qū)動(dòng)的多感覺選擇性功能網(wǎng)絡(luò)，該區(qū)域僅在識別形狀信息時(shí)有顯著激活［64］。腹側(cè)通路還參與不同概念的類別表征等抽象屬性的加工。例如，盲人在加工生命體與非生命體的聽覺類別信息時(shí)，在枕-顳皮層腹側(cè)通路中部至偏側(cè)的偏移性激活模式與明眼人一致［81］。而且，負(fù)責(zé)加工空間定位［74，80］和運(yùn)動(dòng)控制［79］的背側(cè)通路，也表現(xiàn)出了一定的通道獨(dú)立性。例如，右側(cè)楔葉和右側(cè)枕中回在加工聽覺空間信息時(shí)表現(xiàn)出顯著激活［74］，頂內(nèi)溝參與物體識別和物體定位［68］。空間關(guān)系的多種感覺輸入在頂葉后部皮層匯聚，并整合為用于指導(dǎo)連貫動(dòng)作的空間表征［82］。此外，言語區(qū)域也被認(rèn)為是面向任務(wù)且通道獨(dú)立的，且一些語言原則是抽象且具有元通道特性的［83］。對使用手語的聽障者的研究表明，盡管口語和手語由不同感覺通道調(diào)節(jié)，但是在加工特定語言信息時(shí)，聽障和正常人群間具有相似的激活模式［84-85］，且聽障者因左半球損傷而產(chǎn)生的手語失語與因韋尼克區(qū)和布洛卡區(qū)損傷導(dǎo)致的口語失語癥狀相似［84］。

為了探討元通道理論還是多通道心理表象理論更能解釋跨通道遷移現(xiàn)象，一項(xiàng)fMRⅠ研究發(fā)現(xiàn)［73］，觸覺感知任務(wù)激活了側(cè)枕葉中負(fù)責(zé)視覺物體加工的選擇性區(qū)域，而觸覺想象任務(wù)則在左側(cè)的視覺物體選擇性反應(yīng)區(qū)有微弱的激活，但是對右側(cè)的反應(yīng)區(qū)沒有影響。這說明跨通道刺激輸入可以激活傳統(tǒng)上被認(rèn)為具有特異性的視覺皮層，支持元通道腦區(qū)功能信息加工是大腦加工信息的一個(gè)基本原則。

但是，也有部分研究發(fā)現(xiàn)與元通道理論不一致。例如，有研究發(fā)現(xiàn)，視障者恢復(fù)視力后并不能立即將觸覺習(xí)得的物體分類知識遷移至視覺通道［86］，早期視障者并沒有表現(xiàn)出經(jīng)典的音高-形狀的跨通道對應(yīng)［87-88］，并且使用視覺表象會(huì)有助于表現(xiàn)出“Bouba-Kiki”效應(yīng)［87］。因此，需要清楚地認(rèn)識到，僅依靠大腦先天具有的元通道加工特性無法解釋全部的跨通道遷移現(xiàn)象，尤其是生物體所具有的跨通道整合信息的能力，會(huì)使得個(gè)體在生長發(fā)育過程中不斷形成新的跨通道聯(lián)結(jié)，未來研究應(yīng)更加關(guān)注后天學(xué)習(xí)和經(jīng)驗(yàn)如何與大腦先天具有的元通道加工特性相互作用，從而促進(jìn)了跨通道遷移的產(chǎn)生。

3.2 多通道逆層次理論

為了解釋知覺學(xué)習(xí)中有關(guān)跨通道遷移的一些相互矛盾的研究結(jié)果［77］。有研究者提出逆層次理論（the reverse hierarchy theory）。該理論認(rèn)為，任務(wù)的困難程度和特性決定了所需注意機(jī)制的皮層加工水平［89］。具體而言，對相對困難或是如類別等抽象信息進(jìn)行知覺學(xué)習(xí)時(shí)，通過自上而下的機(jī)制，注意資源將被分配到類似外側(cè)頂葉內(nèi)區(qū)等具有較大接受域的更高水平的皮層關(guān)聯(lián)區(qū)域，此時(shí)任務(wù)加工主要涉及較高層級區(qū)域；隨著加工的深入，與任務(wù)相關(guān)的信息（如朝向或是顏色）受到更為精細(xì)的加工，將信息加工和注意力資源分配到較低的、初級感覺區(qū)域，如接受域較小的初級視覺皮層（primary visual cortex，V1），較低水平區(qū)域的反饋聯(lián)結(jié)進(jìn)而參與加工。當(dāng)知覺學(xué)習(xí)涉及高階腦區(qū)，則學(xué)習(xí)可以泛化到其他感覺通道和特征；但是當(dāng)知覺學(xué)習(xí)發(fā)生在低級腦區(qū)，其學(xué)習(xí)效果將被局限在學(xué)習(xí)刺激的特定位置和感覺通道［90-91］。

隨后，研究者結(jié)合元通道理論對其進(jìn)行了擴(kuò)展并提出了多通道逆皮層理論［92］，認(rèn)為多通道知覺學(xué)習(xí)應(yīng)該根據(jù)任務(wù)所需的認(rèn)知水平和大腦處理信息的計(jì)算類型或特定功能進(jìn)行定義［93］。根據(jù)這一假說，復(fù)雜的多通道知覺加工任務(wù)將涉及高級和低級信息加工腦區(qū)，而相對容易的多通道加工任務(wù)則主要激活高級加工腦區(qū)［90］；相比于單通道任務(wù)，多通道加工會(huì)激活更廣泛的大腦區(qū)域，尤其是高級多通道腦區(qū)，因而會(huì)有利于學(xué)習(xí)的遷移和泛化［94］。

但是，統(tǒng)計(jì)學(xué)習(xí)的部分研究結(jié)果與這一預(yù)測相反。統(tǒng)計(jì)學(xué)習(xí)被認(rèn)為是信息加工理論的重要組成部分，主要考察個(gè)體提取時(shí)間和空間中刺激流內(nèi)在規(guī)律的能力［95］。采用經(jīng)典的人工語法學(xué)習(xí)（artificial grammar learning）任務(wù)發(fā)現(xiàn)，習(xí)得的序列規(guī)則可以從一個(gè)刺激集遷移至另一個(gè)刺激集，這支持了統(tǒng)計(jì)學(xué)習(xí)具有獨(dú)立于刺激的輸入通道或知覺特征的抽象表征。但是，也有研究發(fā)現(xiàn)，對于來自不同感知維度或通道的多個(gè)刺激流，個(gè)體可以獨(dú)立或并行地習(xí)得序列知識，這很大程度上支持統(tǒng)計(jì)學(xué)習(xí)具有刺激特異性且通道依賴的表征［96］。此外，采用多通道刺激的人工語法學(xué)習(xí)研究也發(fā)現(xiàn)，即使存在跨通道遷移，其遷移效果也是有限的［97］。例如，當(dāng)刺激來自不同的知覺維度（如顏色和形狀）時(shí)，被試能夠在視覺域中同時(shí)學(xué)習(xí)兩種不同的人工語法，而當(dāng)刺激來自相同的知覺維度時(shí)則不能，甚至學(xué)習(xí)會(huì)導(dǎo)致刺激特異性知識［97］。這些研究表明，在學(xué)習(xí)分布信息時(shí)存在獨(dú)立的通道約束，使得學(xué)習(xí)指向通道特異性甚至刺激特異性表征，這與視知覺學(xué)習(xí)的效果類似。因此，對于統(tǒng)計(jì)學(xué)習(xí)中所展示的泛化現(xiàn)象，有研究者認(rèn)為是由局部刺激屬性和整體相似性判斷驅(qū)動(dòng)，而不是抽象規(guī)則的提取。有關(guān)這一問題還有待于進(jìn)一步探討。

3.3 小結(jié)

元通道或超通道理論認(rèn)為，大腦中存在非通道特異性腦區(qū)，負(fù)責(zé)加工不同感覺信息所共同擁有的某種功能或概念，強(qiáng)調(diào)跨通道遷移的產(chǎn)生依賴于大腦固有的神經(jīng)結(jié)構(gòu)，它們是產(chǎn)生抽象的、具有通道通用性表征的基礎(chǔ)。其優(yōu)點(diǎn)在于明確了大腦可以進(jìn)行跨通道遷移的神經(jīng)基礎(chǔ)，認(rèn)為跨通道遷移能力是基于大腦結(jié)構(gòu)而先天存在的。但是，這一理論忽視了大腦的可塑性，即多通道表征會(huì)在個(gè)體發(fā)展發(fā)育過程中不斷更新和發(fā)展。而多通道逆層次理論則是在元通道理論的基礎(chǔ)上，強(qiáng)調(diào)后天發(fā)展或經(jīng)驗(yàn)對通道通用性表征形成的影響［71］，解釋說明了經(jīng)過跨通道整合后進(jìn)行跨通道遷移的一些特殊現(xiàn)象。不過，需要注意的是，雖然每種理論的提出依據(jù)和側(cè)重點(diǎn)有所不同，但是在跨通道遷移的產(chǎn)生和發(fā)展過程中，不同理論有時(shí)是相輔相成的，在未來的研究中，有必要整合現(xiàn)有的理論，提出更具解釋力的理論來闡釋跨通道遷移現(xiàn)象。

4 跨通道遷移的影響因素

研究發(fā)現(xiàn)，跨通道遷移的產(chǎn)生會(huì)受到通道優(yōu)勢、年齡或成熟發(fā)育和感官經(jīng)驗(yàn)等的制約，而學(xué)習(xí)任務(wù)和刺激材料的不同類型則會(huì)影響跨通道遷移的效應(yīng)大小?？疾炜缤ǖ肋w移的影響因素，不僅有助于闡明跨通道遷移在什么條件下發(fā)生，以及如何提高跨通道遷移的效果，還可以為跨通道遷移的產(chǎn)生機(jī)制和理論提供支持證據(jù)（表1）。例如，通道優(yōu)勢現(xiàn)象支持強(qiáng)調(diào)跨通道遷移基于先天存在的大腦結(jié)構(gòu)的元通道理論，而年齡等因素的影響則更支持跨通道遷移是后天發(fā)展的多通道假說等理論。

Table 1 The factors that influence crossmodal transfer and the theories they support表1 影響跨通道遷移的因素及支持理論

4.1 通道優(yōu)勢

通道優(yōu)勢是指信息可以從優(yōu)勢加工感覺通道遷移到非優(yōu)勢通道，但不能從非優(yōu)勢通道遷移到優(yōu)勢通道，即通道間信息的遷移存在不對稱性（asymmetry）［40，98-100］。例如，空間任務(wù)的績效改善可以從視覺通道遷移到聽覺通道，但不能從聽覺通道遷移到視覺通道；相反，時(shí)間任務(wù)績效的改善可以從聽覺通道遷移到視覺通道，但不能從視覺通道遷移到聽覺通道［34］。同時(shí)，單維度類別知識也被發(fā)現(xiàn)在視-聽通道間進(jìn)行遷移時(shí)存在不對稱性［100-101］。這種通道優(yōu)勢支持元通道假說，并對多通道加工模型和可塑性提出了重要的限制。

有研究者認(rèn)為，通道優(yōu)勢可能是受到感覺通道加工任務(wù)或信息準(zhǔn)確性的影響［102］。研究發(fā)現(xiàn)，閾上信息的多通道整合遵循貝葉斯加工模型［93］，即根據(jù)不同感覺通道的相對可靠性對輸入信息進(jìn)行加權(quán)后再進(jìn)行線性求和。這可能是由于大腦加工信息時(shí)存在跨通道的感覺校準(zhǔn)［103］，給定任務(wù)所涉及的最準(zhǔn)確的感覺通道可以校準(zhǔn)另一通道的信息。也就是說，優(yōu)勢通道的績效改善可以引起其他通道的連鎖反應(yīng)，但非優(yōu)勢通道的任務(wù)訓(xùn)練卻只會(huì)導(dǎo)致通道特異的學(xué)習(xí)效應(yīng)。

也有研究發(fā)現(xiàn)，即使視覺通道比聽覺通道在辨別運(yùn)動(dòng)方向時(shí)更為精準(zhǔn)，聲音運(yùn)動(dòng)信息仍然可以促進(jìn)視覺運(yùn)動(dòng)方向的知覺學(xué)習(xí)［104］，這一結(jié)果似乎對遷移效應(yīng)基于感覺通道加工精度的解釋提出了質(zhì)疑。因此，有研究者提出另一種解釋，認(rèn)為不論信息通過哪種通道表征，單通道輸入信息均由與任務(wù)相關(guān)的感覺系統(tǒng)加工［105］。例如，聽覺皮層可以對來自多種感覺通道的時(shí)間信息進(jìn)行編碼，大腦會(huì)將視覺輸入自動(dòng)轉(zhuǎn)換為聽覺表征［34，75］。據(jù)此，當(dāng)通過一種感覺通道訓(xùn)練某一概念的超通道表征時(shí)，其準(zhǔn)確度的提高也會(huì)改善其他通道的績效，即使訓(xùn)練通道的加工精度比遷移通道差。

4.2 感官經(jīng)驗(yàn)

跨模態(tài)遷移依賴感官經(jīng)驗(yàn)或跨感覺間校準(zhǔn)（cross-sensory calibration），跨通道遷移的失敗可能與來自多種感官的信息最初在格式上不匹配有關(guān)［15，105-106］。一項(xiàng)研究考察了5位成年先天視障患者單只眼睛手術(shù)恢復(fù)視力48 h后完成物體匹配任務(wù)的績效［86］。結(jié)果發(fā)現(xiàn)，經(jīng)過2 d的訓(xùn)練后，患者可以在單通道內(nèi)（視覺-視覺、觸覺-觸覺）完成匹配任務(wù)，但是不能在跨通道任務(wù)中將學(xué)習(xí)的觸覺物體與視覺物品匹配。不過，值得注意的是，即使未再進(jìn)行訓(xùn)練，在測試1周后其中3名患者成功完成對新異物體的跨通道匹配，說明跨通道遷移需要足夠時(shí)間以校準(zhǔn)視覺和觸覺兩種感覺系統(tǒng)。有研究者對此提出質(zhì)疑［107］，認(rèn)為未能成功跨通道遷移的原因可能是由于不同感覺通道內(nèi)感知的信息存在差異。如在觸覺條件下，允許患者用手觸摸物體，但是在視覺條件下卻未能從不同角度觀察物體。

此外，有研究發(fā)現(xiàn)，因患有雙側(cè)腦室周圍白質(zhì)軟化（bilateral periventricular leukomalacia）而導(dǎo)致運(yùn)動(dòng)和視覺障礙的兒童在單通道物體識別方面存在障礙，但是跨通道感覺校準(zhǔn)有利于其完成視覺-觸覺識別任務(wù)，使其將觸覺信息遷移至視覺并影響視覺信息判斷［108］。另有動(dòng)物研究也發(fā)現(xiàn)，黃蜂可以分別習(xí)得花朵的視覺和溫度模式（pattern），但是習(xí)得的視覺和溫度模式間無法發(fā)生跨通道遷移［109］，表明跨通道遷移的發(fā)生與先前的感知經(jīng)驗(yàn)相關(guān)，當(dāng)兩種感覺通道在先前加工未發(fā)生交互時(shí)，則跨通道遷移較難發(fā)生。

4.3 年齡或成熟

年齡或發(fā)育成熟也是影響跨通道遷移的重要因素［110］。雖然側(cè)枕葉已被證實(shí)參與早期視覺-觸覺識別，但是相比于單通道識別，跨通道識別的發(fā)展似乎需要更長時(shí)間［111］，且早期視覺經(jīng)驗(yàn)的缺乏將影響個(gè)體視-觸通道遷移能力［9］。研究發(fā)現(xiàn)，盡管8歲及以上的兒童與成人一樣以統(tǒng)計(jì)最優(yōu)的模式整合視覺和觸覺信息，但兒童在8歲以前的視覺-觸覺加工能力還沒有成熟，此時(shí)會(huì)根據(jù)任務(wù)性質(zhì)的不同，表現(xiàn)出一種感覺支配另一種感覺的加工模式［111］。例如，在大小識別任務(wù)中，觸覺信息在高度和閾值的判斷中起主導(dǎo)作用；但在方向識別任務(wù)中，視覺信息的作用則更為突出［103］。

此外，一項(xiàng)事件相關(guān)電位（event related potential，ERP）研究發(fā)現(xiàn)，雖然7個(gè)月大的嬰兒可以感覺到聽覺和視覺信息，但是卻無法整合視聽信息以表征人類行為［112］。并且，一項(xiàng)對典型發(fā)育學(xué)齡兒童的視覺-觸覺物體識別研究也發(fā)現(xiàn)，盡管4~5歲的兒童已經(jīng)發(fā)展出這種能力，但是物體識別所需要的視覺-觸覺加工通常會(huì)在整個(gè)小學(xué)階段持續(xù)發(fā)展［113］。一項(xiàng)研究考察雙側(cè)腦室周圍白質(zhì)軟化兒童和典型發(fā)育兒童在視覺、觸覺和視覺-觸覺3種條件下的物體識別能力的研究［108］發(fā)現(xiàn)，即使3種條件下雙側(cè)腦室周圍白質(zhì)軟化兒童的判斷績效均顯著差于對照組，但是在小學(xué)三年級前雙側(cè)腦室周圍白質(zhì)軟化兒童的跨通道物體識別能力表現(xiàn)出隨年齡而發(fā)展的趨勢，支持早期視覺-觸覺校準(zhǔn)和神經(jīng)發(fā)育成熟對整個(gè)生命周期內(nèi)物體識別的正常發(fā)展至關(guān)重要。

因此，有研究者認(rèn)為，多通道表征需要基于單通道表征間統(tǒng)計(jì)相關(guān)性建立且發(fā)展緩慢，這一假設(shè)也得到神經(jīng)科學(xué)證據(jù)的支持。例如，研究發(fā)現(xiàn)，上丘需要感覺經(jīng)驗(yàn)的參與才可以形成多通道整合的能力［114-116］，新生猴子和貓上丘的部分神經(jīng)元可以對多種感覺通道信號進(jìn)行反應(yīng)，但直到生命后期這些神經(jīng)元才可以整合并形成事件的多通道表征［117］，并且，當(dāng)缺乏跨通道組合經(jīng)驗(yàn)時(shí)，將無法整合多通道信息［118］。

4.4 學(xué)習(xí)任務(wù)設(shè)置

除個(gè)體因素外，學(xué)習(xí)任務(wù)的設(shè)置也是影響跨通道遷移的重要因素［119-120］。例如，問題解決的類比遷移訓(xùn)練［121-122］、基于比較的訓(xùn)練［123］、良好的提問策略［124］、足夠的知覺訓(xùn)練時(shí)程、較低的工作記憶負(fù)荷［8］以及間隔訓(xùn)練或雙任務(wù)訓(xùn)練方式［125-127］等都有助于學(xué)習(xí)者將習(xí)得的知識進(jìn)行跨通道遷移。

不過，關(guān)于知覺訓(xùn)練時(shí)程設(shè)置的研究結(jié)果并不一致。一方面，有研究發(fā)現(xiàn)必須進(jìn)行較長時(shí)間的知覺學(xué)習(xí)才能得到較好的遷移效果［128-129］。研究發(fā)現(xiàn)，雖然延長訓(xùn)練后的鞏固時(shí)間，無論較短還是較長均有助于更好的遷移效果，但是較長的鞏固時(shí)間或是慢波睡眠更有利于遷移［130-131］，如鞏固時(shí)間為24 h的被試聽對視的遷移好于鞏固時(shí)間為5 min的被試［35］。另一方面，有研究發(fā)現(xiàn)，相對較短的訓(xùn)練時(shí)間（15 min）也足以發(fā)生跨通道遷移。因此，有研究者提出，知覺學(xué)習(xí)的時(shí)間進(jìn)程可能分為兩個(gè)階段：一個(gè)是發(fā)生在訓(xùn)練過程內(nèi)的快速改善階段［33］；另一個(gè)則是發(fā)生在12 h以上的任務(wù)鞏固階段，知覺提升相對緩慢［132］。

雙任務(wù)訓(xùn)練要求學(xué)習(xí)者同時(shí)完成超過兩個(gè)刺激維度的任務(wù)，有利于提高知覺學(xué)習(xí)在不同刺激維度間的遷移效應(yīng)［30，133］。例如，盡管對比度的知覺學(xué)習(xí)改善通常局限于受訓(xùn)的視網(wǎng)膜區(qū)域，但是當(dāng)學(xué)習(xí)者在另一位置同時(shí)完成如朝向識別任務(wù)時(shí)，對比度識別績效的改善可以發(fā)生遷移［134］，并且，在未訓(xùn)練視野區(qū)進(jìn)行預(yù)實(shí)驗(yàn)也有利于學(xué)習(xí)績效的遷移［135］?？缤ǖ肋w移研究領(lǐng)域也發(fā)現(xiàn)了類似的現(xiàn)象。例如，要求被試同時(shí)完成觸覺朝向知覺學(xué)習(xí)和對比度辨別知覺學(xué)習(xí)任務(wù)，結(jié)果發(fā)現(xiàn)，被認(rèn)為具有刺激特異性的朝向知覺學(xué)習(xí)可以從觸覺遷移至視覺［102］。研究者認(rèn)為，觸覺朝向遷移特異于學(xué)習(xí)刺激的主要原因是，在進(jìn)行知覺學(xué)習(xí)的過程中視覺信息并沒有被激活。在雙任務(wù)知覺學(xué)習(xí)過程中，雖然個(gè)體沒有進(jìn)行視覺朝向訓(xùn)練，但是對比度辨別任務(wù)會(huì)將朝向信息的多通道表征與未訓(xùn)練的視覺通道聯(lián)系在一起，從而實(shí)現(xiàn)跨通道遷移。

4.5 刺激特征

在學(xué)習(xí)過程中所使用的刺激特征也會(huì)影響跨通道遷移效應(yīng)。例如，學(xué)習(xí)集與測試集之間的相似性較高［136］，將有利于在跨通道信息間進(jìn)行遷移。最為典型的例子是當(dāng)刺激材料間具有跨通道對應(yīng)時(shí)，個(gè)體更容易發(fā)生信息的跨通道遷移［137］?？缤ǖ缹?yīng)是用來形容看似不相關(guān)的感覺通道的刺激、屬性或維度之間所表現(xiàn)出的系統(tǒng)關(guān)聯(lián)現(xiàn)象［138］，例如，音調(diào)較高（低）的聽覺刺激更傾向于與明度較亮（暗）的［139］、空間位置較高（低）的［140］、尺寸較小（大）的［141］視覺刺激匹配。當(dāng)刺激具有跨通道對應(yīng)時(shí)，重復(fù)暴露某一通道信息，會(huì)使得個(gè)體對另一通道信息的感知判斷受到影響，發(fā)生信息的跨通道遷移。例如，有研究使用想象消費(fèi)范式［142］，發(fā)現(xiàn)食物或飲料的視覺和味覺特征間具有顏色-味道跨通道對應(yīng)，當(dāng)個(gè)體在短時(shí)間內(nèi)重復(fù)暴露于某種食物或飲料的某一通道信息時(shí)，會(huì)降低其對另一通道的評價(jià)（如要求被試重復(fù)接觸或想象飲料的顏色，會(huì)降低其對飲料口味的評價(jià)），這一現(xiàn)象被稱為感官特異性飽腹感（sensory-specific satiety）。

此外，學(xué)習(xí)集和測試集間共享某些特定的時(shí)空特征［143］、學(xué)習(xí)集的結(jié)構(gòu)或元素間具有重復(fù)模式［144］有利于信息的跨通道遷移。但也有研究發(fā)現(xiàn)，在學(xué)習(xí)過程中不斷呈現(xiàn)新異刺激以提高刺激的變異性時(shí)，雖然高變異性刺激影響了知覺學(xué)習(xí)績效，但是更有利于跨通道遷移［27］。這可能是因?yàn)閷W(xué)習(xí)刺激集的變異性越大或者說包含的樣例種類越豐富，將使得個(gè)體避免采用特異于學(xué)習(xí)刺激的策略，從而更有利于跨通道遷移。

4.6 獲得知識的意識性

研究者對于獲得知識的意識性對跨通道遷移效應(yīng)的影響持有不同的觀點(diǎn)。一方面，有研究者認(rèn)為，外顯的、陳述性知識是跨通道遷移的必要條件，只有給學(xué)習(xí)者提供明確指導(dǎo)語時(shí)［124］才能發(fā)生跨通道遷移。另一方面，有研究者則認(rèn)為，無意識習(xí)得的抽象結(jié)構(gòu)知識，即使在人們沒有意識到新問題與先前學(xué)習(xí)存在聯(lián)系時(shí)，仍可自發(fā)地進(jìn)行遷移，影響人們在新情境下的行為［144］。

針對以上爭議，在類別學(xué)習(xí)研究領(lǐng)域，有研究者提出言語和內(nèi)隱系統(tǒng)的競爭（competition between verbal and implicit systems，COVⅠS）理論［145-146］，對不同類別學(xué)習(xí)的遷移效果進(jìn)行預(yù)測認(rèn)為：基于規(guī)則（rule-based，RB）的外顯類別學(xué)習(xí)具有抽象性，個(gè)體很容易用語言表達(dá)其類別界限規(guī)則，雖在學(xué)習(xí)時(shí)需要大量使用工作記憶和執(zhí)行控制功能，但不依賴于學(xué)習(xí)背景，因而能夠較好地進(jìn)行遷移［147］；與之相反，內(nèi)隱的、基于信息整合（information-integration，ⅠⅠ）的類別學(xué)習(xí)則需要結(jié)合不同維度的信息來進(jìn)行，學(xué)習(xí)依賴于程序性加工，受限于原始的、學(xué)習(xí)過的刺激空間，因而遷移效果較差，甚至無法遷移［148］。已有研究為這一理論提供了支持證據(jù)，研究發(fā)現(xiàn)，在單維度的RB學(xué)習(xí)條件下可以發(fā)生遷移，但是ⅠⅠ條件下則存在不一致的研究發(fā)現(xiàn)?？紤]到兩種任務(wù)之間類別結(jié)構(gòu)的難度差異［149-150］可能對這一結(jié)果產(chǎn)生影響，有研究者采用了更復(fù)雜的雙維度RB類別規(guī)則，結(jié)果發(fā)現(xiàn)，無論是RB還是ⅠⅠ類別結(jié)構(gòu)，均沒有出現(xiàn)跨通道遷移效應(yīng)［22］。

除類別學(xué)習(xí)外，內(nèi)隱聽覺序列學(xué)習(xí)知識也被發(fā)現(xiàn)無法遷移至視覺通道［151］。此外，有研究考察了短學(xué)習(xí)時(shí)程如何影響內(nèi)隱和外顯時(shí)間知覺訓(xùn)練績效的跨通道遷移［33］，結(jié)果發(fā)現(xiàn)，外顯聽覺和觸覺時(shí)長辨別訓(xùn)練提高了視覺時(shí)間辨別精度，但是并沒有觀察到內(nèi)隱學(xué)習(xí)導(dǎo)致的跨通道遷移。由于在外顯訓(xùn)練任務(wù)中，被試需要對連續(xù)呈現(xiàn)的兩個(gè)刺激的呈現(xiàn)時(shí)長做出知覺判斷，而在內(nèi)隱訓(xùn)練任務(wù)中并不要求被試完成時(shí)間辨別，因此，有研究者認(rèn)為內(nèi)隱和外顯訓(xùn)練中不同的跨通道遷移效應(yīng)可能與注意相關(guān)。也有研究進(jìn)一步發(fā)現(xiàn)，增加訓(xùn)練量并沒有觀察到知覺績效改變，但是鞏固時(shí)間（24 h）有利于內(nèi)隱訓(xùn)練發(fā)生跨通道遷移［152］。一項(xiàng)元分析研究還發(fā)現(xiàn)，內(nèi)隱和外顯時(shí)間知覺激活的神經(jīng)環(huán)路存在差異［153］，這一結(jié)果表明不同的神經(jīng)基礎(chǔ)可能是制約內(nèi)隱時(shí)間知覺訓(xùn)練績效的原因。但是目前關(guān)于內(nèi)隱時(shí)間知覺訓(xùn)練的研究還較少，有待于進(jìn)一步探索。

除以上因素外，研究還發(fā)現(xiàn)自我效能［154］、學(xué)習(xí)策略（如個(gè)體進(jìn)行類別學(xué)習(xí)時(shí)，基于規(guī)則或基于樣例的不同傾向）［155］和任務(wù)預(yù)期［156］等個(gè)體差異也可能會(huì)影響遷移的效果。但這些個(gè)體差異對通道遷移的影響的研究還較少，相關(guān)研究發(fā)現(xiàn)和結(jié)論還是探索性的，需要未來研究的進(jìn)一步證實(shí)。

5 總結(jié)與展望

學(xué)習(xí)時(shí)間和精力的有限性決定了遷移的重要性，而人類具有的多通道信息加工能力則決定了跨通道遷移的重要性。目前，已有越來越多的研究在不同領(lǐng)域?qū)缤ǖ肋w移效應(yīng)進(jìn)行了深入探索，初步揭示了跨通道遷移的表征類型、神經(jīng)機(jī)制和影響因素，深化了人們對于跨物種和跨生命周期的跨通道遷移現(xiàn)象的理解。不過，需要指出的是，目前有關(guān)跨通道遷移的研究尚處于起步階段，對跨通道遷移所依賴的表征類型和神經(jīng)機(jī)制還存在著相互矛盾的理論觀點(diǎn)和研究發(fā)現(xiàn)，對促進(jìn)跨通道遷移的影響因素也還存在著不一致的理論解釋和研究結(jié)果。未來研究不僅要結(jié)合跨通道遷移的影響因素來進(jìn)一步揭示跨通道遷移的認(rèn)知神經(jīng)機(jī)制，還需要從應(yīng)用的角度闡述跨通道遷移的相關(guān)研究發(fā)現(xiàn)對人工智能領(lǐng)域的學(xué)習(xí)算法和感官障礙的康復(fù)訓(xùn)練的啟示及潛在應(yīng)用。

首先，未來需要擴(kuò)展跨通道遷移的研究范圍，進(jìn)一步考察不同研究領(lǐng)域跨通道遷移產(chǎn)生的認(rèn)知機(jī)制。例如，在時(shí)間知覺研究中存在的一個(gè)爭議問題，即對于事件的時(shí)間感知是否由一個(gè)中央集中的、通道通用的時(shí)間調(diào)節(jié)機(jī)制控制，還是存在多個(gè)通道特異性時(shí)間加工系統(tǒng)？目前尚存在相互矛盾的研究結(jié)果，分別支持不同的理論假說：有關(guān)時(shí)間知覺訓(xùn)練績效可以發(fā)生跨通道遷移的結(jié)果，支持存在一個(gè)統(tǒng)一的、超通道的“中央時(shí)鐘”機(jī)制［30］；但有關(guān)時(shí)間知覺訓(xùn)練僅局限于訓(xùn)練通道知覺改善的結(jié)果，則支持存在一個(gè)不同感覺通道特異的分布式時(shí)間加工系統(tǒng)。此外，目前對于跨通道遷移的研究多數(shù)集中于近遷移效應(yīng)。近遷移效應(yīng)指將所學(xué)的知識應(yīng)用到與獲得知識的表面特征不同，但是結(jié)構(gòu)特征相似的情景中。例如，將習(xí)得的物體識別或分類知識從聽覺通道遷移至視覺通道。雖然有研究使用聽覺任務(wù)轉(zhuǎn)換范式（task-switching paradigm）發(fā)現(xiàn)，在聽覺訓(xùn)練中提高的任務(wù)轉(zhuǎn)換能力，可以遷移至視覺通道［157］，并且這一遷移效應(yīng)不受年齡或認(rèn)知老化等因素的影響［158-159］。但是，關(guān)于知識是否可以在表面特征和結(jié)構(gòu)特征都不相似的情景間發(fā)生跨通道遷移，即跨通道遠(yuǎn)遷移效應(yīng)的探索研究還比較少。在未來的研究中，應(yīng)進(jìn)一步明確認(rèn)知訓(xùn)練是否可以改善因衰老或其他認(rèn)知障礙所帶來的執(zhí)行控制功能的衰退，以及認(rèn)知訓(xùn)練帶來的改善是否可以遷移至一般認(rèn)知能力［160-161］。畢竟遷移研究的最初期望是獲得更為一般性和普遍性的遷移效應(yīng)。

其次，未來的研究需要進(jìn)一步考察跨通道遷移的影響因素，以便更好地揭示產(chǎn)生跨通道遷移的原因和神經(jīng)機(jī)制。例如，跨通道對應(yīng)作為跨通道遷移的影響因素，不僅有助于個(gè)體將信息進(jìn)行跨通道遷移，同時(shí)感覺障礙或感覺剝奪被試的跨通道對應(yīng)傾向，也是研究跨通道遷移神經(jīng)機(jī)制的突破口。例如，有研究發(fā)現(xiàn)［162］，雖然視障者仍表現(xiàn)出音高-大小和音高-重量的跨通道對應(yīng)，甚至發(fā)展出區(qū)別于典型發(fā)展人群的音高-紋理對應(yīng)和音高-粗糙度對應(yīng)，但是并沒有表現(xiàn)出經(jīng)典的音高-形狀對應(yīng)。這一結(jié)果不僅說明了視覺表象和視覺經(jīng)驗(yàn)在跨通道遷移中的作用，還表明典型發(fā)展人群不是基于大腦的通道通用性表征發(fā)展出音高-形狀對應(yīng)。

最后，未來應(yīng)進(jìn)一步加強(qiáng)跨通道遷移的機(jī)制研究與人工智能的學(xué)習(xí)算法等的跨學(xué)科交叉與融合。人工智能領(lǐng)域中對遷移的考察重點(diǎn)在于，明確訓(xùn)練數(shù)據(jù)與方法中哪些知識具有通用性、可以跨領(lǐng)域或者跨任務(wù)進(jìn)行遷移，并利用通用性知識提升目標(biāo)任務(wù)的性能，這與人類遷移的研究目的相契合。未來研究一方面可通過人工智能領(lǐng)域的遷移學(xué)習(xí)進(jìn)行模型模擬，驗(yàn)證人類跨通道遷移的相關(guān)理論，另一方面也可將人類跨通道遷移的相關(guān)研究成果應(yīng)用于發(fā)展新的學(xué)習(xí)模型和算法，使人工智能的產(chǎn)品可以像人類一樣“舉一反三”和“觸類旁通”。同時(shí)，大腦跨通道遷移的神經(jīng)可塑性研究成果可以應(yīng)用于訓(xùn)練康復(fù)等實(shí)際問題［163］。例如，在考察視覺對聽覺感覺替代泛化的廣度時(shí)發(fā)現(xiàn)，視覺到聽覺的遷移訓(xùn)練在第一周就會(huì)發(fā)生泛化，并且會(huì)顯著受到刺激復(fù)雜性的影響［164］。同時(shí)研究還發(fā)現(xiàn)，使用觸覺反饋可以形成形狀的聽覺替代表征，且從接受訓(xùn)練的（觸覺或聽覺）通道中形成抽象信息，可以遷移到未經(jīng)過訓(xùn)練的視覺通道［165］。未來需要進(jìn)一步厘清跨通道遷移過程中不同腦區(qū)的可塑性變化模式，將其潛在結(jié)果應(yīng)用于感官替代裝置，或者為感官受損人群提供更好的技術(shù)以減輕感官障礙，并通過訓(xùn)練改善其感官受損情況。