獎賞預(yù)測誤差對時間順序記憶和來源記憶的影響*

張弘弛 成 旋 毛偉賓

獎賞預(yù)測誤差對時間順序記憶和來源記憶的影響*

張弘弛 成 旋 毛偉賓

(山東師范大學(xué)心理學(xué)院, 濟南 250358)

先前研究表明, 事件邊界會增強邊界處來源記憶、削弱跨邊界的時間順序記憶, 但對于兩者之間是否存在一種權(quán)衡關(guān)系, 以及內(nèi)在的、具有社會性意義的變化作為事件邊界是如何影響記憶的, 尚鮮有研究。本研究以獎賞預(yù)測誤差(reward prediction errors, RPE)作為事件邊界, 通過兩個行為實驗和一個ERP實驗, 探討RPE事件邊界對時間順序記憶和來源記憶的影響。結(jié)果發(fā)現(xiàn), RPE事件邊界增強了邊界處信息的來源記憶, 高RPE事件邊界引發(fā)了記憶權(quán)衡效應(yīng); 相對于事件內(nèi)/非邊界條件, 跨事件/邊界條件記憶的正確提取誘發(fā)出更大的N400波幅, 時間順序記憶的激活主要集中在頭皮中前部, 來源記憶的激活主要集中在頭皮中后部。本研究表明, 事件邊界的切分強度是影響記憶權(quán)衡效應(yīng)的重要因素, N400成分可能是反映事件邊界對情景記憶的整合與切分的重要指標(biāo)。

獎賞預(yù)測誤差, 事件邊界, 時間順序記憶, 來源記憶, 記憶權(quán)衡效應(yīng)

1 引言

日常生活中, 個體在回憶過去的連續(xù)經(jīng)驗時通常記住的是單獨、離散的事件, 這些事件是構(gòu)成情景記憶的基本單元(Tulving, 1983)。比如, 當(dāng)回憶早上的情形時, 我們能夠回想起在家里吃早餐這一完整的事件, 而當(dāng)走出家門去上班時, 周圍環(huán)境發(fā)生變化, 此時又構(gòu)成了另一個事件。Zacks等人(2001)將人腦中把連續(xù)的外界信息切分成若干個有意義且互相關(guān)聯(lián)的事件的過程稱作事件切分(event segmentation), 連續(xù)信息被切分成不同事件的時間點就是事件邊界(event boundary), 它標(biāo)志著前一事件的結(jié)束和后一事件的開始(Radvansky & Zacks, 2017; Zacks et al., 2007)。大量研究表明, 事件邊界對情景記憶的時間和非時間層面產(chǎn)生了不同的影響(Clewett et al., 2019), 具體表現(xiàn)為事件邊界削弱了記憶的時間層面, 而增強了記憶的非時間層面(Davis et al., 2021; DuBrow & Davachi, 2013; Ezzyat & Davachi, 2011, 2014; Horner et al., 2016; Lin et al., 2010; Siefke et al., 2019)。

事件邊界影響記憶時間層面的研究主要集中在時間順序記憶和時間距離判斷上(DuBrow & Davachi, 2013; Ezzyat & Davachi, 2011, 2014; Horner et al., 2016)。時間順序記憶是指對已經(jīng)歷的事件時間發(fā)生順序的記憶, 通常采用新近性判斷(recency judgment)來測量, 具體操作是要求被試在測驗階段判斷兩個待測項中的哪一個相對更早呈現(xiàn)。結(jié)果發(fā)現(xiàn), 相比較事件內(nèi)的項目, 當(dāng)項目分別位于事件邊界兩側(cè)時, 其順序捆綁會受到削弱, 即跨事件邊界的項目間的時間順序記憶會變差。Ezzyat和Davachi (2011)在敘事文本中逐句呈現(xiàn)句子材料, 以敘事文本中的時空情境變化作為事件邊界, 如“A while later…”表示跨事件邊界條件, “A moment later…”表示事件內(nèi)條件。隨后呈現(xiàn)前一語句作為線索, 要求被試回憶緊隨的下一語句。結(jié)果發(fā)現(xiàn), 相對于事件內(nèi)條件, 跨事件邊界條件下的句子記憶準(zhǔn)確性明顯更差。DuBrow和Davachi (2013)讓被試學(xué)習(xí)一系列客體圖片, 以中間插入面孔圖片作為事件邊界, 即連續(xù)的幾張客體圖片構(gòu)成一個事件, 面孔圖片將其切分成不同的事件。結(jié)果也發(fā)現(xiàn), 與事件內(nèi)的項目對相比, 跨事件邊界的項目對的時間順序記憶明顯更差。Horner等人(2016)采用虛擬現(xiàn)實技術(shù), 通過操縱房間位置的變化以形成空間事件邊界, 穿過房間意味著存在事件邊界, 結(jié)果和先前研究完全一致。采用個體主觀評估項目間時間距離的研究也發(fā)現(xiàn), 事件邊界擴大了個體對項目間時間距離的判斷(Ezzyat & Davachi, 2014)。Ezzyat和Davachi (2014)首次以場景圖片轉(zhuǎn)換作為事件邊界, 探討了與作為背景的場景圖片同時呈現(xiàn)的項目圖片的時間距離判斷。連續(xù)呈現(xiàn)幾張相同的場景圖片為事件內(nèi)條件, 場景圖片發(fā)生變化時則為跨事件邊界條件。結(jié)果發(fā)現(xiàn), 盡管兩項目間的實際距離相同, 被試在事件內(nèi)條件下更傾向于反應(yīng)為“近”, 而在跨事件邊界條件下更傾向于反應(yīng)為“遠”。事件邊界使個體主觀上認為信息間的時間距離變遠。這說明, 無論是客觀的時間順序記憶, 還是主觀的時間距離判斷, 均受事件邊界的影響。而且上述研究可以看出, 事件邊界的種類繁多, 泛指一切將不同事件區(qū)分開的特征變化, 個體在感知到信息的特征發(fā)生變化后, 會進一步對類別改變做出判斷, 此時就形成了事件邊界。顯然, 事件邊界把過去的連續(xù)經(jīng)驗分離成不同的要素, 干擾了記憶的時間層面, 割裂了相鄰事件之間的聯(lián)系, 從而削弱了跨事件信息間的整合加工(Clewett & Davachi, 2017; Clewett et al., 2019; Ezzyat & Davachi, 2021)。

研究表明, 事件邊界在記憶的非時間層面表現(xiàn)出一定的記憶優(yōu)勢, 具體為能提高邊界處信息的項目以及來源記憶(Lin et al., 2010; Siefke et al., 2019)。來源記憶是指對項目及其情境(context)信息的記憶, 如對項目及其所屬背景顏色的記憶等(Tulving, 2002)。Lin等人(2010)讓被試學(xué)習(xí)一系列與字母配對呈現(xiàn)的場景圖片, 以字母顏色的變化作為事件邊界。結(jié)果發(fā)現(xiàn), 字母顏色變化時的場景圖片的再認準(zhǔn)確性顯著好于其他場景圖片, 事件邊界提高了對邊界處圖片的項目再認。Siefke等人(2019)則以單詞列表作為實驗材料, 以單詞的背景顏色變化作為事件邊界來研究來源記憶。結(jié)果發(fā)現(xiàn), 邊界處項目的單詞?顏色來源記憶顯著優(yōu)于非邊界項目。該研究進一步表明, 事件邊界增強了邊界處信息與其情境之間的聯(lián)結(jié)捆綁。

如前所述, 事件邊界削弱了記憶的時間層面, 卻增強了記憶的非時間層面, 那么這種增強和削弱之間是否存在某種權(quán)衡關(guān)系呢？Heusser等人(2018)首次在3個實驗中系統(tǒng)地探討了事件邊界中時間順序記憶和來源記憶的關(guān)系。該研究采用背景顏色的變化來構(gòu)成事件邊界, 進行了時間順序記憶和項目?背景顏色來源記憶測驗。結(jié)果發(fā)現(xiàn), 邊界條件的項目?背景顏色來源記憶顯著優(yōu)于非邊界條件, 而跨事件條件下的時間順序記憶則顯著差于事件內(nèi)條件。也就是事件邊界增強了邊界處的來源記憶, 卻削弱了跨邊界的時間順序記憶。據(jù)此, 他們認為, 事件邊界對來源記憶和時間順序記憶的影響可能存在權(quán)衡效應(yīng)。Clewett等人(2020)以聽覺聲道和音調(diào)轉(zhuǎn)換作為事件邊界, 即被試在學(xué)習(xí)每張客體圖片時單側(cè)耳會聽到某一音調(diào)的純音, 事件轉(zhuǎn)換時在對側(cè)耳聽到另一音調(diào)的純音。也發(fā)現(xiàn)聽覺事件邊界能同時增強邊界處信息的來源記憶、削弱跨事件信息的時間順序記憶以及增加時間距離估計。然而, 最近的研究發(fā)現(xiàn), 事件邊界對時間順序記憶的削弱并不總會導(dǎo)致來源記憶的增強。van de Ven等人(2022)以序列學(xué)習(xí)過程中刺激間隔(Inter-stimulus interval, ISI)的時間變化作為事件邊界, 即連續(xù)的幾張客體圖片擁有相同的ISI以形成一個事件。結(jié)果發(fā)現(xiàn), 跨事件條件的時間順序記憶顯著差于事件內(nèi)條件, 但邊界與非邊界項目的來源記憶并未存在顯著差異?？赡躀SI事件邊界是一種不同類型的事件邊界, 不同于以往研究中所采用的視覺或聽覺變化等知覺邊界, 才導(dǎo)致沒有提高邊界處項目的來源記憶, 進而沒有產(chǎn)生記憶權(quán)衡效應(yīng)。因此, 不同類型的事件邊界是否均能產(chǎn)生記憶權(quán)衡效應(yīng), 以及事件邊界產(chǎn)生記憶權(quán)衡效應(yīng)是否受到其他因素的影響有待于進一步探究。

此外, 先前研究大多采用空間、知覺、類別特征等外部環(huán)境變化導(dǎo)致的事件邊界, 很少研究內(nèi)在的、具有社會性意義的變化能否作為事件邊界及如何影響記憶。Rouhani等人(2020)通過4個實驗首次證明了獎賞預(yù)測誤差(reward prediction errors, RPE)可以作為事件邊界對記憶產(chǎn)生影響。所謂獎賞預(yù)測誤差, 是指預(yù)期與實際獲得獎賞間的差異。由于個體的動機源自大腦的獎賞機制, 因此會關(guān)注各種獎賞, 并依據(jù)以往經(jīng)驗對即將到來的獎賞進行預(yù)期, 如果與預(yù)測不一致, 則產(chǎn)生獎賞預(yù)測誤差(Schultz et al., 1997)。與先前研究不同, 人腦對獎賞信息十分敏感, RPE更多體現(xiàn)的是個體內(nèi)部心理體驗的變化, 通常伴隨著激素水平的上升。研究表明, 中腦獎賞系統(tǒng)的腹側(cè)被蓋區(qū)(VTA)產(chǎn)生的多巴胺會投射至海馬, 從而導(dǎo)致對非預(yù)期事件的記憶增強(Jang et al., 2019; Lisman et al., 2011)。由此, 探討RPE能否形成事件邊界并對記憶的時間和非時間層面產(chǎn)生影響不僅有助于豐富事件邊界的類型, 進一步考察內(nèi)在和外在的事件邊界對記憶的影響是否不同, 而且對于厘清事件邊界的加工機制也具有重要的意義。據(jù)此, Rouhani等人(2020)給被試呈現(xiàn)一系列中性場景圖片, 每張圖片都與一個價值數(shù)值配對, 事件邊界被設(shè)置為價值數(shù)值發(fā)生很大變化。連續(xù)幾張場景圖片所匹配的價值數(shù)值圍繞某一個平均值上下波動, 即事件內(nèi); 而在事件邊界處, 與場景圖片配對的價值數(shù)值的平均值會發(fā)生較大轉(zhuǎn)換。測驗采用啟動范式, 先后呈現(xiàn)兩張圖片, 第一張為啟動項, 第二張為目標(biāo)項, 要求被試對兩張圖片做“新/舊”再認。結(jié)果發(fā)現(xiàn), 在啟動項呈現(xiàn)后, 相比較事件內(nèi)條件, 對事件邊界處的目標(biāo)項做“新/舊”再認的速度明顯減慢, 這表明RPE切斷了啟動項和目標(biāo)項之間的關(guān)聯(lián), 形成了事件邊界。在證明了RPE可以作為事件邊界之后, 他們又在實驗4中進一步檢驗了RPE事件邊界如何影響記憶的時間層面, 這是因為事件邊界在記憶中存在的一個重要證據(jù)就是表現(xiàn)為跨事件時間順序記憶的削弱(Davachi & DuBrow, 2015)。測驗階段給被試呈現(xiàn)兩張場景圖片, 兩張圖片所屬價值數(shù)值的平均值要么是相同的, 要么是不同的。首先要求被試判斷兩張圖片中的哪一張最先呈現(xiàn), 然后指出其在學(xué)習(xí)階段間隔多少張圖片。結(jié)果發(fā)現(xiàn), 跨事件條件下的時間順序記憶顯著低于事件內(nèi)條件, 而時間距離判斷并未存在顯著差異。進一步表明RPE事件邊界削弱了跨事件信息的時間順序記憶, 時間距離判斷和時間順序記憶分別作為記憶時間層面的主客觀測量可能分屬不同的記憶系統(tǒng)。但在該研究中, 只探討了事件邊界對記憶時間層面的影響, 并未探討事件邊界對記憶非時間層面同時產(chǎn)生何種影響。因此, 考察RPE事件邊界在削弱跨事件時間順序記憶的同時能否增強邊界處的來源記憶, 對于進一步檢驗記憶權(quán)衡效應(yīng)是否適用于不同類型的事件邊界是十分重要的。

另外, 采用ERP技術(shù)探討事件邊界影響記憶的神經(jīng)生理機制的研究較為鮮見, 且有不同發(fā)現(xiàn)。研究表明, N400成分與預(yù)期違背密切相關(guān)(DeLong et al., 2005; Kutas & Hillyard, 1980, 1984; Sitnikova et al., 2003; West & Holcomb, 2002)。即如果隨后輸入的信息是非預(yù)期的、不可預(yù)測的, 此時就會產(chǎn)生較大的N400波幅。因此, Zacks等人(2007)認為事件邊界處個體無法對隨后輸入的信息進行準(zhǔn)確預(yù)測, 和預(yù)期違背有關(guān)的N400成分在事件邊界中可能具有重要的作用。Delogu等人(2018)對此也進一步推論, N400成分與詞在句子或語篇語境中的預(yù)期程度有關(guān), 相比較于事件邊界處的信息, 事件內(nèi)的信息會誘發(fā)出更低的N400波幅, 體現(xiàn)了更容易的提取過程。此外, Delogu等人(2018)還認為P600成分意味著建立了新的表征, 可以視為邊界處事件模型更新的標(biāo)志。在該研究中, 要求被試逐句閱讀簡單或詳細描述日?；顒拥恼Z篇故事, 通過呈現(xiàn)不可預(yù)測的目標(biāo)詞來探討事件邊界中的N400和P600效應(yīng)。其中詳細描述意味著講述了一個完整的故事或事件, 隨后呈現(xiàn)的信息是對其他事件的描述, 即跨事件; 而簡單描述則體現(xiàn)在同一事件之中, 即事件內(nèi)。結(jié)果發(fā)現(xiàn), 無論是事件內(nèi)還是跨事件條件, 被試閱讀到不可預(yù)測的目標(biāo)詞時便產(chǎn)生更大的N400波幅; 而僅在跨事件條件下才產(chǎn)生更大的P600波幅。他們認為與N400成分相比, P600成分反映了正在維持和整合的心理表征的修正, 體現(xiàn)了事件邊界處的全局性(global)更新過程。那么, RPE作為一種內(nèi)在的、具有社會性意義的事件邊界是否也會誘發(fā)N400和P600波幅呢？因此, 探討RPE事件邊界影響記憶的神經(jīng)生理機制是十分有必要的。

綜上所述, 本研究擬采用行為和ERP技術(shù), 通過中性場景圖片和價值數(shù)值相配對的形式, 在3個實驗中深入探討RPE事件邊界對不同條件的時間順序記憶和來源記憶的影響。實驗1提出一種用于檢驗RPE事件邊界的來源記憶的操作, 探討RPE事件邊界能否產(chǎn)生時間順序記憶和來源記憶的記憶權(quán)衡效應(yīng); 實驗2在實驗1的基礎(chǔ)上, 區(qū)分高、低RPE轉(zhuǎn)換強度, 探討了不同強度的RPE事件邊界對時間順序記憶和來源記憶的影響是否存在差異; 實驗3以高轉(zhuǎn)換強度RPE為事件邊界, 以N400和P600成分為指標(biāo), 進一步探討了RPE事件邊界對時間順序記憶和來源記憶影響的神經(jīng)生理機制。

2 實驗1: RPE事件邊界對時間順序記憶和來源記憶的影響

本實驗旨在考察RPE作為事件邊界時, 對跨事件/邊界和事件內(nèi)/非邊界信息的時間順序記憶和來源記憶的影響。

2.1 方法

2.1.1 被試

采用G*power 3.1, 設(shè)置統(tǒng)計檢驗力為0.8, α水平為0.05, 效應(yīng)量為中等水平(= 0.25), 計算出的被試量為24人。選取山東師范大學(xué)在校學(xué)生30名(男生12名, 女生18名, 年齡20.2 ± 1.85歲)。所有被試視力或矯正視力正常, 均為右利手, 自愿參加本次實驗, 并且此前從未參加過類似實驗, 結(jié)束后獲得一定的報酬。

2.1.2 實驗材料

實驗1～3由300張中性場景圖片和價值數(shù)值(平均值范圍從￥10～￥90)配對組成, 價值數(shù)值位于中性場景圖片的上方。其中中性場景圖片是從中國情緒圖片系統(tǒng)(CAPS) (白露等, 2005)和國際情緒圖片系統(tǒng)(IAPS) (Lang et al., 2008)以及網(wǎng)絡(luò)圖片庫中選取的。價值數(shù)值采用人民幣為單位的錢幣數(shù)值, 這些數(shù)值均是圍繞某一個平均值上下波動的, 平均值范圍從￥10到￥90, 并且每￥10為一單位。根據(jù)Heusser等人(2018)的研究, 圖片大小統(tǒng)一為350 × 350 (像素)。實驗材料示例見圖1。

2.1.3 實驗設(shè)計

采用2 (條件: 跨事件/邊界、事件內(nèi)/非邊界) × 2 (測驗類型: 時間順序記憶、來源記憶)的被試內(nèi)實驗設(shè)計, 因變量為時間順序記憶和來源記憶的正確率。

2.1.4 實驗程序

實驗程序的編制以及實驗的運行均通過E-Prime 3.0軟件完成。實驗分為學(xué)習(xí)階段和測驗階段, 共分為6個block。

學(xué)習(xí)階段: 首先在屏幕中央呈現(xiàn)注視點“+”為0.5 s, 隨后呈現(xiàn)中性場景圖片和與之配對的價值數(shù)值3 s, 之后是下一個試次, 直至一個block循環(huán)結(jié)束。本研究參照Rouhani等人(2020)的做法, 以RPE作為事件邊界。每個block共包含36個試次, 由5～6個事件組成。每個事件為5～9個試次, 事件內(nèi)各試次的價值數(shù)值圍繞某一平均值上下浮動、保持相對穩(wěn)定, 如事件內(nèi)價值數(shù)值為“￥44 ～ ￥37 ～ ￥40 ～ ￥39......”, 這些價值數(shù)值均圍繞平均值“￥40”波動。當(dāng)事件轉(zhuǎn)換時, 即出現(xiàn)事件邊界、進入一個新的事件時, 圍繞平均值波動的價值數(shù)值發(fā)生較大改變, 如“￥42 ～ ￥36 ～ ￥72 ～ ￥71......”, 這時, 價值數(shù)值從平均值“￥40”轉(zhuǎn)換到了平均值“￥70”便發(fā)生了事件轉(zhuǎn)換。不同事件之間的RPE轉(zhuǎn)換的平均值是在￥20 ～ ￥80之間, 每￥10為一單位, 即每次發(fā)生事件轉(zhuǎn)換時, RPE的平均值都是￥10的整數(shù)倍。

測驗階段: 學(xué)習(xí)完一個block之后, 被試需要完成時間順序記憶和來源記憶兩項記憶測驗, 這兩種測驗的先后順序進行了被試間平衡。時間順序記憶測驗是要求被試對兩張學(xué)習(xí)過的場景圖片中的哪一張在學(xué)習(xí)階段相對較早呈現(xiàn)做按鍵反應(yīng)判斷。其中跨事件和事件內(nèi)條件各6個試次, 跨事件條件指兩張場景圖片在學(xué)習(xí)階段分屬同一block的兩個不同的事件, 而事件內(nèi)條件的兩張圖片則在同一事件之中, 無論是跨事件還是事件內(nèi)條件, 圖片對之間的間隔均為3個試次, 即lag-3 (Heusser et al., 2018; Rouhani et al., 2020)。來源記憶測驗則是給被試呈現(xiàn)一張學(xué)習(xí)過的場景圖片, 在其下方有兩個價值數(shù)值, 其中一個數(shù)值是學(xué)習(xí)階段該圖片所屬事件的價值區(qū)間, 另一個數(shù)值是同一block中其他事件的價值數(shù)值, 要求被試從這兩個數(shù)值中選出學(xué)習(xí)階段與該圖片一起呈現(xiàn)過的較為接近的那個數(shù)值, 并在電腦上做按鍵反應(yīng)。其中邊界項和非邊界項條件各4個試次, 邊界項條件指新事件的第一項, 其余試次為非邊界項條件。此外, 時間順序記憶測驗和來源記憶測驗的先后順序、時間順序記憶測驗中兩項目的位置以及來源記憶測驗中兩數(shù)值的位置也都進行了被試間平衡。實驗流程見圖2。

圖1 實驗材料示例

圖2 實驗流程(左側(cè)為學(xué)習(xí)階段, 右側(cè)為測驗階段)

2.2 實驗結(jié)果

對時間順序記憶和來源記憶正確率進行2 (條件: 跨事件/邊界、事件內(nèi)/非邊界) × 2 (測驗類型: 時間順序記憶、來源記憶)的重復(fù)測量方差分析。結(jié)果發(fā)現(xiàn), 測驗類型主效應(yīng)顯著, 來源記憶的正確率顯著高于時間順序記憶,(1, 29) = 39.71,< 0.001, ηp2= 0.58, 95% CI = [0.07, 0.14]。條件主效應(yīng)不顯著,(1, 29) = 3.81,= 0.06。測驗類型和條件交互作用顯著,(1, 29) = 21.51,< 0.001, ηp2= 0.43, 進一步的簡單效應(yīng)分析發(fā)現(xiàn), 跨事件條件的時間順序記憶正確率與事件內(nèi)條件無顯著差異((29) = ?1.17,= 0.25); 邊界條件的來源記憶正確率顯著高于非邊界條件,(29) = 4.00,< 0.001, Cohen’s= 0.73, 95% CI = [0.05, 0.15]。具體結(jié)果見表1和圖3。

表1 跨事件/邊界和事件內(nèi)/非邊界的時間順序記憶和來源記憶正確率(M ± SD)

2.3 討論

首先, 本研究拓展了Rouhani等人(2020)的研究, 提出了一種用于檢驗來源記憶的操作, 結(jié)果RPE事件邊界的確提高了邊界處場景圖片?價值數(shù)值來源記憶, 與先前大多數(shù)研究結(jié)果一致(Ben-Yakov et al., 2022; Braun et al., 2018; Siefke et al., 2019), 進一步驗證了RPE事件邊界能夠增強邊界處信息的來源記憶。Siefke等人(2019)通過采用高、低頻率背景顏色變化的單詞列表考察單詞?背景顏色來源記憶的研究也表明, 預(yù)期誤差造成的事件邊界本身是邊界處來源記憶增強的原因。

圖3 跨事件/邊界和事件內(nèi)/非邊界的時間順序記憶和來源記憶正確率

注: 誤差線為標(biāo)準(zhǔn)誤, *< 0.05, **< 0.01, ***< 0.001。下同

其次, 對于時間順序記憶來說, RPE事件邊界沒有削弱跨事件信息的時間順序記憶, 與Rouhani等人(2020)的研究結(jié)果不一致, 而且我們的結(jié)果也沒發(fā)現(xiàn)Heusser等人(2018)發(fā)現(xiàn)的記憶權(quán)衡效應(yīng), 這說明事件邊界對記憶的影響是存在邊界條件的。我們對實驗1的結(jié)果進行了分析, 發(fā)現(xiàn)盡管不同事件之間的RPE轉(zhuǎn)換平均值是從￥20～￥80, 但是會存在從平均值￥20到￥40或￥50這種轉(zhuǎn)換變化比較小的試次, 也會出現(xiàn)從平均值￥20到￥70或￥80這種轉(zhuǎn)換變化比較大的試次, 這樣就導(dǎo)致了RPE的強度高低出現(xiàn)差異。而RPE的低強度轉(zhuǎn)換可能不能很好地發(fā)揮出事件邊界的作用, 這也可能是實驗中沒有發(fā)現(xiàn)事件邊界對時間順序記憶的削弱作用和沒有表現(xiàn)出記憶權(quán)衡效應(yīng)的原因。因此, 在實驗2中, 通過操縱RPE高、低強度, 進一步探討不同強度的RPE事件邊界對時間順序記憶和來源記憶的影響是否存在差異。

3 實驗2: 不同轉(zhuǎn)換強度的RPE事件邊界對時間順序記憶和來源記憶的影響

本實驗旨在考察不同轉(zhuǎn)換強度的RPE事件邊界對跨事件/邊界和事件內(nèi)/非邊界信息的時間順序記憶和來源記憶的影響。

3.1 方法

3.1.1 被試

同實驗1。其中男生7名, 女生23名, 年齡20.7 ± 2.04歲。

3.1.2 實驗材料

見實驗1。

3.1.3 實驗設(shè)計

采用2 (RPE轉(zhuǎn)換強度: 高轉(zhuǎn)換強度、低轉(zhuǎn)換強度) × 2 (條件: 跨事件/邊界、事件內(nèi)/非邊界) × 2 (測驗類型: 時間順序記憶、來源記憶)的被試內(nèi)實驗設(shè)計, 因變量為時間順序記憶和來源記憶的正確率。

3.1.4 實驗程序

實驗開始之前, 隨機選取15名不參與正式實驗的被試對RPE邊界的轉(zhuǎn)換強度在9點量表上進行主觀評定, 從1 (完全感知不到變化)到9 (完全能感知到變化), 轉(zhuǎn)換強度就是兩個相鄰事件之間平均值的差值大小。根據(jù)評定的結(jié)果, 最終選擇評分小于5的￥20和￥30 (3.73 ± 1.33; 4.24 ± 0.88)作為低RPE轉(zhuǎn)換強度條件; 評分大于6的￥50和￥60 (7.07 ± 1.44; 6.33 ± 1.23)作為高RPE轉(zhuǎn)換強度條件。

實驗共10個block, 其中5個block為低轉(zhuǎn)換強度條件, 5個block為高轉(zhuǎn)換強度條件。每個block分為學(xué)習(xí)階段和測驗階段。

學(xué)習(xí)階段: 和實驗1的區(qū)別在于, 每個block共包含30個試次, 由5個事件組成, 每個事件為5～7個試次。不同事件之間的RPE轉(zhuǎn)換范圍區(qū)分為高、低強度, 其中低轉(zhuǎn)換強度為￥20和￥30, 高轉(zhuǎn)換強度為￥50和￥60。也就是說, 兩個相鄰事件之間平均值的轉(zhuǎn)換大小包括低轉(zhuǎn)換強度, 如從平均值“￥10”轉(zhuǎn)換成平均值“￥30”, 以及高轉(zhuǎn)換強度, 如從平均值“￥10”轉(zhuǎn)換成平均值“￥70”。其他設(shè)置均同實驗1。學(xué)習(xí)階段實驗流程如圖4所示。

測驗階段: 同實驗1。

3.2 實驗結(jié)果

對時間順序記憶和來源記憶正確率進行2 (RPE轉(zhuǎn)換強度: 高強度、低強度) × 2 (條件: 跨事件/邊界、事件內(nèi)/非邊界) × 2 (測驗類型: 時間順序記憶、來源記憶)的重復(fù)測量方差分析。結(jié)果發(fā)現(xiàn), RPE轉(zhuǎn)換強度主效應(yīng)顯著, 低轉(zhuǎn)換強度的記憶正確率顯著高于高轉(zhuǎn)換強度,(1, 29) = 4.10,0.05, ηp2= 0.12, 95% CI = [0.00, 0.07]。測驗類型主效應(yīng)顯著, 來源記憶的正確率顯著高于時間順序記憶,(1, 29) = 30.10,< 0.001, ηp2= 0.51, 95% CI = [0.07, 0.16]。測驗類型和條件交互作用顯著,(1, 29) = 9.47,= 0.005, ηp2= 0.25, 進一步的簡單效應(yīng)分析發(fā)現(xiàn), 跨事件條件的時間順序記憶正確率顯著低于事件內(nèi)條件,(29) = ?2.83,= 0.008, Cohen’s= ?0.52, 95% CI = [?0.11, ?0.02]; 邊界條件的來源記憶正確率與非邊界條件無顯著差異((29) = 1.61,= 0.12)。其他主效應(yīng)和二因素交互作用均不顯著,s < 1.67,s > 0.21。

圖4 學(xué)習(xí)階段實驗流程

特別是, 三因素交互作用顯著,(1, 29) = 8.99,= 0.006, ηp2= 0.24。進一步對高、低轉(zhuǎn)換強度條件下的記憶正確率分別進行2 (條件: 跨事件/邊界、事件內(nèi)/非邊界) × 2 (測驗類型: 時間順序記憶、來源記憶)的重復(fù)測量方差分析。結(jié)果發(fā)現(xiàn), 在高轉(zhuǎn)換強度條件下, 測驗類型主效應(yīng)顯著, 來源記憶的正確率顯著高于時間順序記憶,(1, 29) = 24.15,< 0.001, ηp2= 0.45, 95% CI = [0.07, 0.16]。條件主效應(yīng)不顯著,(1, 29) = 0.72,= 0.40。測驗類型和條件交互作用顯著,(1, 29) = 16.15,< 0.001, ηp2= 0.36, 進一步的簡單效應(yīng)分析發(fā)現(xiàn), 跨事件條件的時間順序記憶正確率顯著低于事件內(nèi)條件,(29) = ?3.07,= 0.005, Cohen’s= ?0.56, 95% CI = [?0.16, ?0.03]; 邊界條件的來源記憶正確率顯著高于非邊界條件,(29) = 2.87,= 0.008, Cohen’s= 0.52, 95% CI = [0.02, 0.11]。在低轉(zhuǎn)換強度條件下, 測驗類型主效應(yīng)顯著, 來源記憶的正確率顯著高于時間順序記憶,(1, 29) = 21.74,< 0.001, ηp2= 0.43, 95% CI = [0.07, 0.17]。條件主效應(yīng)和交互作用均不顯著,s < 1.01,s > 0.32。具體結(jié)果見表2和圖5。

表2 不同RPE轉(zhuǎn)換強度的跨事件/邊界和事件內(nèi)/非邊界的時間順序記憶和來源記憶正確率(M ± SD)

3.3 討論

實驗結(jié)果表明, 僅在高轉(zhuǎn)換強度條件下出現(xiàn)了時間順序記憶和來源記憶的權(quán)衡效應(yīng)。具體表現(xiàn)為, 高RPE事件邊界增強了邊界處試次的場景圖片?價值數(shù)值來源記憶, 同時削弱了跨事件圖片對的時間順序記憶, 與先前的研究結(jié)果完全一致(Clewett et al., 2020; Heusser et al., 2018)。實驗2進一步驗證了之前的推測, 即實驗1中未表現(xiàn)出記憶權(quán)衡效應(yīng)的確是由于低強度切分混淆了高強度切分的效果造成的, 這與Gurguryan等人(2020)的研究也是一致的。我們將在總討論部分對此進行詳細論述。

圖5 不同RPE轉(zhuǎn)換強度下跨事件/邊界和事件內(nèi)/非邊界的時間順序記憶和來源記憶正確率

因此, 事件邊界的切分強度是影響記憶權(quán)衡效應(yīng)出現(xiàn)的重要因素, 也就是說, 只有當(dāng)事件之間的表征差異足夠大或事件邊界的強度足夠強時, 事件邊界對時間順序記憶和來源記憶的權(quán)衡效應(yīng)才會出現(xiàn)。如果事件邊界的切分效果較弱, 此時事件邊界并不會產(chǎn)生關(guān)于時間順序記憶和來源記憶此消彼長的制約作用。

4 實驗3: 高RPE事件邊界對時間順序記憶和來源記憶影響機制: ERP研究

本實驗采用腦電技術(shù), 選取N400和P600兩個ERP成分, 通過分析記憶提取階段的ERP波幅, 探討高RPE事件邊界影響時間順序記憶和來源記憶的神經(jīng)生理機制。

4.1 方法

4.1.1 被試

選取山東師范大學(xué)在校學(xué)生24名, 所有被試視力或矯正視力正常, 均為右利手, 自愿參加本次實驗, 并且此前從未參加過類似實驗, 結(jié)束后獲得一定的報酬。其中2名被試在實驗過程中因偽跡過多、數(shù)據(jù)不完整被剔除。最終保留被試22名, 其中男生5名, 女生17名, 年齡21.0 ± 1.88歲。

4.1.2 實驗材料

同實驗2。

4.1.3 實驗設(shè)計

采用2 (條件: 跨事件/邊界、事件內(nèi)/非邊界) × 2 (測驗類型: 時間順序記憶、來源記憶)的被試內(nèi)實驗設(shè)計, 因變量為時間順序記憶和來源記憶的正確率和腦電數(shù)據(jù)。

4.1.4 實驗程序

本實驗在學(xué)習(xí)階段不同事件之間的RPE轉(zhuǎn)換范圍僅采用實驗2中的高轉(zhuǎn)換強度條件, 即轉(zhuǎn)換范圍為￥50～￥80。實驗共20個block。為疊加出穩(wěn)定的ERP波形, 在學(xué)習(xí)和測驗階段, 每張圖片均會重復(fù)出現(xiàn)兩次。圖片在第一次全部呈現(xiàn)完之后才會以隨機的順序再次重復(fù)出現(xiàn), 并且重復(fù)呈現(xiàn)的場景圖片與價值數(shù)值的配對也會和之前的block有所不同。

4.1.5 EEG數(shù)據(jù)記錄和分析

采用BP腦電設(shè)備, 根據(jù)國際10～20系統(tǒng)采集和記錄64個電極點相應(yīng)的EEG數(shù)據(jù)。數(shù)據(jù)采集時, 在線參考點位于Fz電極, 接地點位于FPz和Fz連線的中點。采樣頻率為500 Hz, 帶通濾波為0.1～40 Hz。所有電極頭皮電阻均在10 kΩ以下。利用MATLAB 2013軟件中的EEGLAB工作箱進行離線數(shù)據(jù)分析, 重新參考雙側(cè)乳突(TP9和TP10)的平均電壓進行校正, 通過獨立成分分析(ICA)后去除所有電極點上的眼電、肌電等偽跡, 偽跡剔除標(biāo)準(zhǔn)為 ± 100 μV。ERP分段時程為?200～1000 ms, 測驗階段刺激呈現(xiàn)前200 ms的平均波幅作為基線, 只對每種條件正確的試次進行疊加平均?？缡录r間順序記憶、事件內(nèi)時間順序記憶、邊界來源記憶以及非邊界來源記憶條件下的平均疊加試次數(shù)量分別為46、49、58、54。

參照Delogu等人(2018)的研究以及對ERP波形圖的分析, 我們最終選定350～550 ms和600～ 1000 ms兩個時間窗, 根據(jù)區(qū)域合并電極點形成頭皮中前部(F3、Fz、F4), 中部(C3、Cz、C4)和中后部(P3、Pz、P4)3個腦區(qū)。在疊加出各電極點的平均波幅后, 分別對每個腦區(qū)的3個電極點的波幅取平均值代表該腦區(qū)的平均波幅。采用SPSS 26.0軟件對不同條件下的ERP平均波幅進行重復(fù)測量方差分析, 并使用Greenhouse-Geisser方法對值進行校正。

4.2 實驗結(jié)果

4.2.1 行為結(jié)果

對時間順序記憶和來源記憶正確率進行2(條件: 跨事件/邊界、事件內(nèi)/非邊界) × 2(測驗類型: 時間順序記憶、來源記憶)的重復(fù)測量方差分析。結(jié)果發(fā)現(xiàn), 測驗類型主效應(yīng)顯著, 來源記憶的正確率顯著高于時間順序記憶,(1, 21) = 45.59,< 0.001, ηp2= 0.69, 95% CI = [0.07, 0.13]。條件主效應(yīng)不顯著,(1, 21) = 0.11,= 0.74。測驗類型和條件交互作用顯著,(1, 21) = 33.60,< 0.001, ηp2= 0.62, 進一步的簡單效應(yīng)分析發(fā)現(xiàn), 跨事件條件的時間順序記憶正確率顯著低于事件內(nèi)條件,(21) = ?2.94,= 0.008, Cohen’s= ?0.63, 95% CI = [?0.06, ?0.01]; 邊界條件的來源記憶正確率顯著高于非邊界條件,(21) = 3.31,= 0.003, Cohen’s= 0.71, 95% CI = [0.02, 0.07]。具體結(jié)果見表3和圖6。

表3 跨事件/邊界和事件內(nèi)/非邊界的時間順序記憶和來源記憶正確率(M ± SD)

圖6 跨事件/邊界和事件內(nèi)/非邊界的時間順序記憶和來源記憶正確率

4.2.2 ERP結(jié)果

N400 (350～550 ms)

對不同條件下的ERP平均波幅進行2 (條件: 跨事件/邊界、事件內(nèi)/非邊界) × 2 (測驗類型: 時間順序記憶、來源記憶) × 3 (腦區(qū): 中前部、中部、中后部)的重復(fù)測量方差分析。結(jié)果發(fā)現(xiàn), 測驗類型主效應(yīng)不顯著,(1, 21) = 0.15,= 0.70。條件主效應(yīng)顯著, 跨事件/邊界條件相比事件內(nèi)/非邊界條件誘發(fā)更大的N400波幅,(1, 21) = 6.94,= 0.02, ηp2= 0.25, 95% CI = [?1.50, ?0.18]。腦區(qū)主效應(yīng)顯著, 頭皮中前部依次比中部和中后部誘發(fā)更大的N400波幅,(1, 21) = 40.38,< 0.001, ηp2= 0.80, 95% CI (頭皮中前部vs.頭皮中部) = [?3.60, ?1.97]; 95% CI (頭皮中前部vs.頭皮中后部) = [?14.26, ?9.01]; 95% CI (頭皮中部vs.頭皮中后部) = [?10.91, ?6.79]。測驗類型和腦區(qū)交互作用顯著,(1, 21) = 13.92,< 0.001, ηp2= 0.58, 進一步的簡單效應(yīng)分析發(fā)現(xiàn), 在頭皮中前部, 時間順序記憶比來源記憶誘發(fā)了更大的N400波幅,(21) = ?2.17,= 0.04, Cohen’s= ?0.46, 95% CI = [?1.82, ?0.04]; 在頭皮中后部, 來源記憶則比時間順序記憶誘發(fā)了更大的N400波幅,(21) = ?2.96,= 0.008, Cohen’s= ?0.63, 95% CI = [?1.97, ?0.34]。其他二因素交互作用均不顯著,s < 3.10,s > 0.07。最重要的是, 三因素交互作用顯著,(1, 21) = 11.09,= 0.001, ηp2= 0.53, 進一步的簡單效應(yīng)分析發(fā)現(xiàn), 在時間順序記憶測驗中, 頭皮中前部跨事件條件比事件內(nèi)條件誘發(fā)更大的N400波幅,(21) = ?2.60,= 0.02, Cohen’s= ?0.55, 95% CI = [?4.24, ?0.47]; 而在來源記憶測驗中, 頭皮中后部邊界條件比非邊界條件誘發(fā)更大的N400波幅,(21) = ?3.89,= 0.001, Cohen’s= ?0.83, 95% CI = [?2.68, ?0.81]。具體結(jié)果見圖7。

P600 (600～1000 ms)

對不同條件下的ERP平均波幅進行2 (條件: 跨事件/邊界、事件內(nèi)/非邊界) × 2 (測驗類型: 時間順序記憶、來源記憶) × 3 (腦區(qū): 中前部、中部、中后部)的重復(fù)測量方差分析。結(jié)果發(fā)現(xiàn), 腦區(qū)主效應(yīng)顯著, 頭皮中后部依次比中部和中前部誘發(fā)更大的P600波幅,(1, 21) = 32.00,< 0.001, ηp2= 0.76, 95% CI (頭皮中后部vs.頭皮中部) = [3.36, 5.76]; 95% CI (頭皮中后部vs.頭皮中前部) = [5.07, 8.53]; 95% CI (頭皮中部vs.頭皮中前部) = [1.53, 2.96]。測驗類型和腦區(qū)交互作用顯著,(1, 21) = 31.09,< 0.001, ηp2= 0.76, 進一步的簡單效應(yīng)分析發(fā)現(xiàn), 在頭皮中前部, 來源記憶比時間順序記憶誘發(fā)了更大的P600波幅,(21) = 3.13,= 0.005, Cohen’s= 0.67, 95% CI = [0.48, 2.37]; 在頭皮中后部, 來源記憶則比時間順序記憶誘發(fā)了更小的P600波幅,(21) = ?5.07,< 0.001, Cohen’s= ?1.08, 95% CI = [?3.28, ?1.37]。條件和腦區(qū)交互作用顯著,(1, 21) = 4.54,= 0.02, ηp2= 0.31, 進一步的簡單效應(yīng)分析發(fā)現(xiàn), 在頭皮中后部, 跨事件/邊界條件比事件內(nèi)/非邊界條件誘發(fā)了更小的P600波幅,(21) = ?2.82,= 0.01, Cohen’s= ?0.60, 95% CI = [?1.80, ?0.27]。其他主效應(yīng)和交互作用均不顯著,s < 1.68,s > 0.21。具體結(jié)果見圖7。

圖7 時間順序記憶和來源記憶中各條件下的N400和P600波形(上圖對應(yīng)時間順序記憶, 下圖對應(yīng)來源記憶)

4.3 討論

實驗3的行為結(jié)果與實驗2一致, 高RPE事件邊界增強了邊界處圖片的來源記憶, 同時削弱了跨事件圖片對的時間順序記憶, 表現(xiàn)出了記憶權(quán)衡效應(yīng)。ERP結(jié)果表明, 與事件內(nèi)/非邊界條件相比, 跨事件/邊界條件在進行記憶提取時誘發(fā)出更大的N400效應(yīng), 并且兩種記憶誘發(fā)出更大N400效應(yīng)的部位不同, 時間順序記憶主要集中在頭皮中前部, 而來源記憶主要集中在頭皮中后部, 表明其激活的腦區(qū)在某種程度上存在差異。但是, 跨事件/邊界條件并未誘發(fā)出更大的P600效應(yīng), 這與Delogu等人(2018)的研究結(jié)果不一致。

5 總討論

本研究通過3個實驗, 分別從行為和神經(jīng)生理機制層面, 探討了RPE事件邊界對時間順序記憶和來源記憶權(quán)衡效應(yīng)的影響。本研究有三個主要結(jié)果: 第一, 內(nèi)在的、具有社會性意義的RPE事件邊界能夠增強邊界處信息的來源記憶; 第二, 不同的RPE強度對時間順序記憶和來源記憶權(quán)衡效應(yīng)的影響存在差異, 僅高RPE強度條件能夠產(chǎn)生記憶權(quán)衡效應(yīng); 第三, 相對于事件內(nèi)/非邊界條件, 跨事件/邊界條件的時間順序記憶和來源記憶測驗中誘發(fā)出更大N400效應(yīng), 而且激活的腦區(qū)不同, 前者主要集中在頭皮中前部, 后者主要集中在頭皮中后部。

5.1 RPE事件邊界增強了邊界處信息的來源記憶, 卻削弱了跨事件信息的時間順序記憶

本研究拓展了Rouhani等人(2020)的研究發(fā)現(xiàn), 首次對RPE事件邊界的來源記憶進行了測量, 發(fā)現(xiàn)RPE事件邊界能夠增強邊界處信息的來源記憶。當(dāng)個體面對連續(xù)輸入的信息時, 對情境發(fā)生轉(zhuǎn)換時的信息記憶的更加準(zhǔn)確, 這一結(jié)果支持了事件切割理論(event segmentation theory, EST) (Zacks et al., 2007)。該理論認為, 個體在加工連續(xù)經(jīng)驗時, 當(dāng)前工作記憶激活的知覺表征存儲在一個事件模型中保持相對穩(wěn)定, 免受其他信息的干擾, 個體的行為受當(dāng)前事件模型的指導(dǎo)并對隨后輸入的信息進行預(yù)測, 如果隨后輸入的信息仍與當(dāng)前事件模型匹配或一致, 則感知預(yù)測是準(zhǔn)確的, 產(chǎn)生的預(yù)測誤差較小; 如果隨后輸入的信息是非預(yù)期、不可預(yù)測的, 那么信息與當(dāng)前事件模型就不再相關(guān), 此時預(yù)測誤差瞬間增加, 穩(wěn)定的事件模型就會在此處被更新, 從而產(chǎn)生了事件邊界, 創(chuàng)建了新的事件模型。事件模型更新時, 個體能敏銳迅速地感知出其變化, 并對事件模型更新時的信息投入更多的注意資源, 從而增強了邊界處信息與新情境之間的聯(lián)結(jié)捆綁(Bladon et al., 2019; Howard et al., 2005; Zacks et al., 2007; Zacks et al., 2009)。此外, 關(guān)于獎賞預(yù)測誤差的神經(jīng)生理機制研究表明, 當(dāng)非預(yù)期的獎賞信息出現(xiàn)時, 中腦獎賞系統(tǒng)的腹側(cè)被蓋區(qū)產(chǎn)生大量多巴胺并投射至海馬, 海馬回溯性地影響編碼過的信息, 導(dǎo)致長時程增強作用放大。因此, 在時空上最接近非預(yù)期獎賞本身的那些信息在記憶中具有較高的優(yōu)先級, 從而產(chǎn)生較深的記憶痕跡(Braun et al., 2018; Carr et al., 2011; O’ Neill et al., 2010; Roumis & Frank, 2015)。實驗2中, 高RPE事件邊界增強了邊界處信息的來源記憶, 削弱了跨事件信息的時間順序記憶, 表現(xiàn)出記憶權(quán)衡效應(yīng), 這不僅與先前研究結(jié)果相一致(Clewett et al., 2020; Heusser et al., 2018), 而且也進一步支持了EST。即在事件邊界處, 為了維持事件模型的更新, 存儲在前一事件模型中的信息會被自動地清除, 個體很難對其進行回憶。因此, 當(dāng)RPE發(fā)生較大轉(zhuǎn)換時, 事件內(nèi)的場景圖片不再共享穩(wěn)定的情境表征, 正在進行的維持或整合過程遭到中斷, 如果提取信息分別位于不同的事件模型之中, 就會導(dǎo)致跨事件模型的時間順序記憶受損。

此外, 不同于知覺、空間、目標(biāo)、類別特征等外部環(huán)境變化導(dǎo)致的事件邊界, 個體很容易感知或覺察出事件之間的差異(DuBrow & Davachi, 2013; Heusser et al., 2018; Horner et al., 2016; Siefke et al., 2019)。個體內(nèi)在心理狀態(tài), 如情緒性、喚醒水平、生理狀態(tài)等也被證明可以為事件切分提供額外的線索(Clewett et al., 2019, 2020; Dunsmoor et al., 2018)。RPE是一種由當(dāng)前的實際獎賞不符合預(yù)期所帶來的內(nèi)部心理體驗, RPE事件邊界將個體先前與隨后的經(jīng)驗分離, 并在記憶中創(chuàng)建新的內(nèi)在情境, 體現(xiàn)的是情境中更深層次的變化(Rouhani et al., 2020), 我們推測RPE可能是一種內(nèi)在的、具有社會性意義的事件邊界。我們的研究表明, RPE帶來的內(nèi)在心理狀態(tài)的變化也會使得隨后輸入的信息不可預(yù)測, 從而更新事件模型、形成事件邊界來分離序列信息(Zacks et al., 2007), 并進一步對記憶的時間和非時間層面產(chǎn)生不同的影響。

5.2 事件邊界的切分強度是影響時間順序記憶和來源記憶權(quán)衡效應(yīng)的重要因素

本研究首次對事件邊界的切分強度進行了操作, 研究發(fā)現(xiàn), 相對于低RPE強度條件, 僅高RPE強度條件出現(xiàn)了記憶權(quán)衡效應(yīng), 即高RPE事件邊界增強了邊界處信息的來源記憶, 同時削弱了跨事件信息的時間順序記憶。盡管前人研究沒有直接研究事件邊界的切分強度對記憶的影響, 但是許多研究的結(jié)果也側(cè)面證明了這點。Gurguryan等人(2020)在研究中, 以相鄰事件之間有無重疊特征來操作邊界轉(zhuǎn)換, 分為相似轉(zhuǎn)換和不同轉(zhuǎn)換。具體來說, 如果兩個相鄰事件的特征十分相似, 個體不太容易區(qū)分出事件之間的差異, 這時意味著存在重疊特征即相似轉(zhuǎn)換; 反之, 如果兩個相鄰事件的特征差異很大, 則表示無重疊特征即不同轉(zhuǎn)換。測驗階段比較事件內(nèi)、相似轉(zhuǎn)換和不同轉(zhuǎn)換條件下的時間順序記憶, 結(jié)果發(fā)現(xiàn), 不同轉(zhuǎn)換條件下的時間順序記憶顯著低于事件內(nèi)和相似轉(zhuǎn)換條件, 但事件內(nèi)和相似轉(zhuǎn)換條件之間的時間順序記憶并不存在顯著差異。這說明, 當(dāng)兩個相鄰事件模型之間具有相似或重疊表征時, 并不能表現(xiàn)出強有力的切分效果, 會降低對跨事件時間順序記憶的削弱作用; 而只有那些較大的轉(zhuǎn)換, 才能在邊界處對事件進行切分, 并對事件內(nèi)的信息進行有效的整合(Polyn et al., 2009; Zacks et al., 2007)。同樣地, 在Heusser等人(2018)的研究中, 也強調(diào)學(xué)習(xí)階段每一個序列中所選取的顏色都是獨特的、有區(qū)分度的。即同一序列中兩個相鄰事件的背景邊框顏色的區(qū)分度較大, 例如前一個事件的邊框顏色是紅色, 則下一個事件的邊框顏色可以是藍色或綠色而不是橙色、黃色等, 以盡量避免兩個相鄰事件的背景邊框顏色在感知上出現(xiàn)相似的情況。此外, 我們的結(jié)果也可以用事件視界模型(event horizon model) (Radvansky, 2012; Radvansky & Zacks, 2014)來解釋。該模型認為, 當(dāng)事件之間具有相似性時, 很難對某一個特定的事件進行提取。這是因為, 有效的事件切分將具有相似特征的信息捆綁在一起, 并在情境特征發(fā)生明顯變化的時間點處建立事件邊界(Newtson et al., 1977; Zacks et al., 2009), 從而減少記憶提取過程中信息間的競爭; 而無效的事件切分則導(dǎo)致邊界兩側(cè)的特征十分相似, 加劇了記憶提取過程中信息間的競爭。我們的結(jié)果進一步說明, 并非只要情境發(fā)生變化就能作為事件邊界來影響時間順序記憶和來源記憶, 從而出現(xiàn)記憶權(quán)衡效應(yīng), 只有當(dāng)不同事件之間的差異表征足夠大、事件邊界的切分強度足夠強時, 這種此消彼長的記憶權(quán)衡效應(yīng)才有可能會發(fā)生。

5.3 N400成分可能反映了事件邊界對情景記憶的整合與切分

先前關(guān)于事件邊界的ERP研究相對較少, 本研究深入探討了高RPE事件邊界對來源記憶與時間順序記憶影響的神經(jīng)生理機制。結(jié)果發(fā)現(xiàn), 與事件內(nèi)/非邊界條件相比, 跨事件/邊界條件誘發(fā)出更大的N400效應(yīng), 該結(jié)果與Zacks等人(2007)關(guān)于事件邊界的N400效應(yīng)的推論相一致。他們認為, 事件邊界使得個體無法準(zhǔn)確預(yù)測隨后輸入的信息, 當(dāng)語義信息與當(dāng)前情境不匹配時, 信息和事件模型的整合就比較困難, 從而誘發(fā)出更大的N400效應(yīng), 所以N400成分與事件邊界密切相關(guān)。先前研究大多使用關(guān)鍵詞失匹配范式探討言語閱讀過程中語義加工的N400成分(Kutas & Hillyard, 1980, 1984; van Berkum et al., 2003)。具體來說, 當(dāng)閱讀過程中語境未變時, 個體維持當(dāng)前語境以理解句子的含義, 當(dāng)語境變化時, 個體應(yīng)用即時更新的語境來理解當(dāng)前的句子, 此時誘發(fā)出較大的N400效應(yīng)。而本研究所采用的是序列學(xué)習(xí)中的事件邊界范式, 事件邊界的作用就是對連續(xù)的信息進行切分。事件邊界在切分連續(xù)信息時, 事件內(nèi)的信息會形成相對穩(wěn)定的情境并存儲在一個事件模型之中。位于事件邊界兩側(cè)的信息分別存儲在不同的事件模型之中, 在提取過程中比較不同事件模型中的信息時, 可能導(dǎo)致對情境關(guān)系的重構(gòu), 因而產(chǎn)生較大的N400效應(yīng)(Zacks et al., 2007)。顯然, N400成分并非僅限于言語閱讀過程中的語義加工, 而且還和長時記憶中語義信息的提取有關(guān), 體現(xiàn)的是一種更加廣泛的語義關(guān)系提取加工(Federmeier & Kutas, 1999; Kutas & Federmeier, 2011)。跨事件/邊界條件下的時間順序記憶和來源記憶誘發(fā)出更大N400效應(yīng)的腦區(qū)不同, 前者主要集中在頭皮中前部, 后者主要集中在頭皮中后部。此前, 研究者針對時間順序記憶和來源記憶開展了不同研究。Milner等人(1991)發(fā)現(xiàn)當(dāng)個體的額葉受損時, 時間順序記憶受到不同程度的削弱。Pouthas等人(2000)通過使用ERP和PET技術(shù)相結(jié)合探究了時間感知中的腦成像問題, 結(jié)果發(fā)現(xiàn), 右側(cè)前額葉區(qū)域在時間判斷中起著特定作用。所以, 額葉對于時間信息的感知和編碼過程具有重要意義。此外, 關(guān)于來源記憶的fMRI研究表明, 當(dāng)正確地提取情景記憶中的來源信息時, 大腦頂葉的活動會增強(Donaldson et al., 2010; Hayama et al., 2012; King & Miller, 2014)?？梢哉f, 頂葉區(qū)域的激活標(biāo)志著來源記憶的成功提取。因此, 在本研究中, 時間順序記憶和來源記憶分別作為記憶的時間和非時間層面的測量, 當(dāng)跨事件/邊界條件下的信息提取較為困難時, 分別伴隨著頭皮額葉和頂葉區(qū)域的激活, 誘發(fā)了更大的N400效應(yīng)。

然而, 本研究與Delogu等人(2018)出現(xiàn)了不一致的結(jié)果, 本研究中并未發(fā)現(xiàn)跨事件/邊界條件誘發(fā)出較大的P600效應(yīng)。Delogu等人(2018)探討的是言語閱讀過程中非預(yù)期詞誘發(fā)的P600效應(yīng), 側(cè)重于探討在語篇記憶中信息整合至新情境的過程, 把P600成分看作是事件模型更新的標(biāo)志。而本研究選取中性場景圖片和價值數(shù)值作為記憶材料, 以高RPE事件邊界作為情境更新的操作, 考察的是事件邊界對記憶提取的影響。這說明, 由情境變化導(dǎo)致的P600波幅的增加可能對言語的信息整合加工更敏感。而且, 言語的信息整合加工與長時記憶的語義提取加工可能是兩個完全平行獨立的過程, 由不同的系統(tǒng)加以控制。當(dāng)然, 這有待于在未來研究中進一步探討。

6 結(jié)論

(1) 內(nèi)在的、具有社會性意義的RPE可以作為事件邊界, 而且增強了邊界處信息的來源記憶;

(2) 事件邊界的切分強度是影響時間順序記憶和來源記憶權(quán)衡效應(yīng)出現(xiàn)的重要因素;

(3) N400成分可能是反映事件邊界對情景記憶的整合與切分的重要指標(biāo)。

Bai, L., Ma, H., Huang, Y. X., & Luo, Y. J. (2005). The development of native Chinese affective picture system--A pretest in 46 college students.,(11), 719?722.

[白露, 馬慧, 黃宇霞, 羅躍嘉. (2005). 中國情緒圖片系統(tǒng)的編制——在46名中國大學(xué)生中的試用.,(11), 719?722.]

Ben-Yakov, A., Smith, V., & Henson, R. (2022). The limited reach of surprise: Evidence against effects of surprise on memory for preceding elements of an event.,(3), 1053?1064.

Bladon, J. H., Sheehan, D. J., de Freitas, C. S., & Howard, M. W. (2019). In a temporally segmented experience hippocampal neurons represent temporally drifting context but not discrete segments.,(35), 6936? 6952.

Braun, E. K., Wimmer, G. E., & Shohamy, D. (2018). Retroactive and graded prioritization of memory by reward.,(1), 1?12.

Carr, M. F., Jadhav, S. P., & Frank, L. M. (2011). Hippocampal replay in the awake state: A potential substrate for memory consolidation and retrieval.,(2), 147?153.

Clewett, D., & Davachi, L. (2017). The ebb and flow of experience determines the temporal structure of memory.,, 186?193.

Clewett, D., DuBrow, S., & Davachi, L. (2019). Transcending time in the brain: How event memories are constructed from experience.,(3), 162?183.

Clewett, D., Gasser, C., & Davachi, L. (2020). Pupil-linked arousal signals track the temporal organization of events in memory.,(1), 4007.

Davachi, L., & DuBrow, S. (2015). How the hippocampus preserves order: The role of prediction and context.,(2), 92?99.

Davis, E. E., Chemnitz, E., Collins, T. K., Geerligs, L., & Campbell, K. L. (2021). Looking the same, but remembering differently: Preserved eye-movement synchrony with age during movie watching.,(5), 604? 615.

Delogu, F., Drenhaus, H., & Crocker, M. W. (2018). On the predictability of event boundaries in discourse: An ERP investigation.,(2), 315?325.

DeLong, K. A., Urbach, T. P., & Kutas, M. (2005). Probabilistic word pre-activation during language comprehension inferred from electrical brain activity.,(8), 1117?1121.

Donaldson, D. I., Wheeler, M. E., & Petersen, S. E. (2010). Remember the source: Dissociating frontal and parietal contributions to episodic memory.,(2), 377?391.

DuBrow, S., & Davachi, L. (2013). The influence of context boundaries on memory for the sequential order of events.,(4), 1277?1286.

Dunsmoor, J. E., Kroes, M. C., Moscatelli, C. M., Evans, M. D., Davachi, L., & Phelps, E. A. (2018). Event segmentation protects emotional memories from competing experiences encoded close in time.,(4), 291?299.

Ezzyat, Y., & Davachi, L. (2011). What constitutes an episode in episodic memory?(2), 243?252.

Ezzyat, Y., & Davachi, L. (2014). Similarity breeds proximity: Pattern similarity within and across contexts is related to later mnemonic judgments of temporal proximity.,(5), 1179?1189.

Ezzyat, Y., & Davachi, L. (2021). Neural evidence for representational persistence within events.(37), 7909?7920.

Federmeier, K. D., & Kutas, M. (1999). A rose by any other name: Long-term memory structure and sentence processing.,(4), 469?495.

Gurguryan, L., Dutemple, E., & Sheldon, S. (2020). Conceptual similarity alters the impact of context shifts on temporal memory.,(1), 11?20.

Hayama, H. R., Vilberg, K. L., & Rugg, M. D. (2012). Overlap between the neural correlates of cued recall and source memory: Evidence for a generic recollection network?,(5), 1127?1137.

Heusser, A. C., Ezzyat, Y., Shiff, I., & Davachi, L. (2018). Perceptual boundaries cause mnemonic trade-offs between local boundary processing and across-trial associative binding.,(7), 1075?1090.

Horner, A. J., Bisby, J. A., Wang, A., Bogus, K., & Burgess, N. (2016). The role of spatial boundaries in shaping long-term event representations.,, 151?164.

Howard, M. W., Fotedar, M. S., Datey, A. V., & Hasselmo, M. E. (2005). The temporal context model in spatial navigation and relational learning: Toward a common explanation of medial temporal lobe function across domains.,(1), 75?116.

Jang, A. I., Nassar, M. R., Dillon, D. G., & Frank, M. J. (2019). Positive reward prediction errors during decision-making strengthen memory encoding.,(7), 719?732.

King, D. R., & Miller, M. B. (2014). Lateral posterior parietal activity during source memory judgments of perceived and imagined events.,, 122?136.

Kutas, M., & Federmeier, K. D. (2011). Thirty years and counting: Finding meaning in the N400 component of the event-related brain potential (ERP).,(1), 621?647.

Kutas, M., & Hillyard, S. A. (1980). Reading senseless sentences: Brain potentials reflect semantic incongruity.,(4427), 203?205.

Kutas, M., & Hillyard, S. A. (1984). Brain potentials during reading reflect word expectancy and semantic association.,(5947), 161?163.

Lang, P. J., Bradley, M. M., & Cuthbert, B. N. (2008).. University of Florida, Gainesville. In.: Tech Rep A-8.

Lin, J., Pype, A., Murray, S., & Boynton, G. (2010). Encoding of a scene into memory is enhanced at behaviorally relevant points in time.,(7), 754?754.

Lisman, J., Grace, A. A., & Duzel, E. (2011). A neoHebbian framework for episodic memory; role of dopamine- dependent late LTP.,(10), 536?547.

Milner, B., Corsi, P., & Leonard, G. (1991). Frontal-lobe contribution to recency judgements.,(6), 601?618.

Newtson, D., Engquist, G. A., & Bois, J. (1977). The objective basis of behavior units.,(12), 847?862.

O’ Neill, J., Pleydell-Bouverie, B., Dupret, D., & Csicsvari, J. (2010). Play it again: Reactivation of waking experience and memory.,(5), 220?229.

Polyn, S. M., Norman, K. A., & Kahana, M. J. (2009). A context maintenance and retrieval model of organizational processes in free recall.,(1), 129?156.

Pouthas, V., Garnero, L., Ferrandez, A. M., & Renault, B. (2000). ERPs and PET analysis of time perception: Spatial and temporal brain mapping during visual discrimination tasks.,(2), 49?60.

Radvansky, G. A. (2012). Across the event horizon.,(4), 269?272.

Radvansky, G. A., & Zacks, J. M. (2014).. New York: Oxford University Press.

Radvansky, G. A., & Zacks, J. M. (2017). Event boundaries in memory and cognition.,, 133?140.

Rouhani, N., Norman, K. A., Niv, Y., & Bornstein, A. M. (2020). Reward prediction errors create event boundaries in memory.,, 104269.

Roumis, D. K., & Frank, L. M. (2015). Hippocampal sharp- wave ripples in waking and sleeping states.,, 6?12.

Schultz, W., Dayan, P., & Montague, P. R. (1997). A neural substrate of prediction and reward.,(5306), 1593?1599.

Siefke, B. M., Smith, T. A., & Sederberg, P. B. (2019). A context-change account of temporal distinctiveness.,(6), 1158?1172.

Sitnikova, T., Kuperberg, G., & Holcomb, P. J. (2003). Semantic integration in videos of real-world events: An electrophysiological investigation.,(1), 160?164.

Tulving, E. (1983).London: Oxford University Press.

Tulving, E. (2002). Episodic memory: From mind to brain.,(1), 1?25.

van Berkum, J. J., Zwitserlood, P., Hagoort, P., & Brown, C. M. (2003). When and how do listeners relate a sentence to the wider discourse? Evidence from the N400 effect.,(3), 701?718.

van de Ven, V., J?ckels, M., & de Weerd, P. (2022). Time changes: Timing contexts support event segmentation in associative memory.,(2), 568?580.

West, W. C., & Holcomb, P. J. (2002). Event-related potentials during discourse-level semantic integration of complex pictures.,(3), 363?375.

Zacks, J. M., Speer, N. K., & Reynolds, J. R. (2009). Segmentation in reading and film comprehension.,(2), 307?327.

Zacks, J. M., Speer, N. K., Swallow, K. M., Braver, T. S., & Reynolds, J. R. (2007). Event perception: A mind-brain perspective.,(2), 273?293.

Zacks, J. M., Tversky, B., & Iyer, G. (2001). Perceiving, remembering, and communicating structure in events.,(1), 29?58.

The effect of reward prediction errors on temporal order and source memory

ZHANG Hongchi, CHENG Xuan, MAO Weibin

(School of Psychology, Shandong Normal University, Jinan 250358, China)

The human brain automatically segments continuous experiences into discrete events to better remember ongoing experiences in daily life. This automatic process is known as event segmentation. The time points between different events are called event boundaries—they indicate when one event ends, and another begins. Studies have shown that the event boundaries may enhance the item-context source memory of information at the boundaries but impair temporal order memory in across-event information. Notably, previous studies mainly focused on the boundaries caused by changes in the external environment and rarely paid attention to the subjective boundaries caused by changes in an individual’s internal psychological context. Moreover, Rouhani et al. (2020) first confirmed that reward prediction errors (RPE) could be used as event boundaries to influence memory. Additionally, it has been demonstrated that the RPE event boundary reduces the temporal order memory in across-event information. However, the effects of the RPE event boundary on temporal order and source memory and whether the mnemonic trade-off effect exists are not clear. The neurophysiological mechanisms underlying the effects of event boundaries on memory require further examination.

This study used behavioral and event-related potentials (ERP) technology in three experiments to explore the effect of RPE event boundaries on temporal order and source memory, respectively, based on behavioral and neurophysiological mechanisms. Experiment 1 used a neutral scene picture matching value as materials. The value of successive pictures fluctuates around an average value to form an event, and event boundaries denote when there is a significant shift in the value, which is the reward prediction error. The participants were required to complete two memory tests: a temporal order memory test and a source memory test. The source memory test was presented with a neutral scene picture, and participants were asked to choose a value that matched the learning stage from the two alternatives. We aimed to explore the effect of the RPE event boundary on temporal order and source memory. However, no mnemonic trade-off effect was observed. Therefore, whether other factors might influence the mnemonic trade-off effect that exists is not clear. In Experiment 2, RPE was divided into high and low strength. We aimed to explore the effects of different RPE strengths on temporal order and source memory. After we obtained stable results, in Experiment 3, we used ERP technology to explore the N400 and P600 effects under different conditions at the memory retrieval stage in the high RPE condition to examine the detailed mechanism of the effect of event boundary on memory.

The behavioral results showed that the RPE event boundary enhanced only the neutral scene picture-value source memory of information at the boundaries in Experiment 1. High and low RPE event boundaries affect temporal order and source memory differently. The high RPE event boundary enhanced the neutral scene picture-value source memory of information at the boundaries. Further it reduced the temporal order memory of information across-events, which caused the mnemonic trade-off effect between temporal order and source memory in Experiment 2. The ERP results showed that compared to the within-event/non-boundary condition, correctly retrieving information of temporal order and source memory in the across-event/boundary condition induced a larger N400 (350?550ms) effect but did not induce a larger P600 (600?1000ms) effect in Experiment 3. These two memory tests were activated in different brain regions. The temporal order memory in the across-events condition was mainly activated in the anterior region, while the source memory boundary condition was mainly activated in the parietal region.

This study can be summarized as follows. The segmentation strength of the event boundary is an important factor affecting the mnemonic trade-off effect between temporal order and source memory. The mnemonic trade-off effect only occurs when the representation difference between events is sufficiently vast, and the segmentation strength of the boundary is sufficiently high. Furthermore, the N400 component is an important index that reflects the integration and segmentation of episodic memory using event boundaries.

reward prediction errors, event boundaries, temporal order memory, source memory, mnemonic trade-off effect

2022-09-15

* 山東省自然科學(xué)基金項目(ZR2021MC081)和山東師范大學(xué)“工作記憶的認知及腦機制”科研創(chuàng)新團隊資助。

毛偉賓, E-mail: wb_mao@163.com

B842