視覺(jué)加工負(fù)荷對(duì)工作記憶中時(shí)間序列線索效應(yīng)的影響

郭 婷,金蓉蓉,沈晨杰,徐之涵

(寧波工程學(xué)院外國(guó)語(yǔ)學(xué)院,浙江 寧波 315211)

引言

工作記憶是指在進(jìn)行認(rèn)知任務(wù)時(shí),用于臨時(shí)儲(chǔ)存和加工信息的一種資源有限的認(rèn)知處理系統(tǒng)。在日常生活中,諸如語(yǔ)言理解、決策以及學(xué)習(xí)等高級(jí)認(rèn)知過(guò)程普遍需要工作記憶的參與[1]。然而,盡管工作記憶在高級(jí)認(rèn)知過(guò)程中發(fā)揮著核心作用,工作記憶能夠存儲(chǔ)的信息容量卻非常有限[2-3]。為了突破工作記憶的容量限制,一些研究嘗試通過(guò)回溯線索引導(dǎo)選擇性注意,主動(dòng)維護(hù)已存儲(chǔ)在工作記憶中的視覺(jué)表征,以提升工作記憶的效能[4]。

多數(shù)研究將回溯線索范式與工作記憶中的變化檢測(cè)任務(wù)相結(jié)合。在記憶陣列呈現(xiàn)之后,為被試提供一個(gè)視覺(jué)線索,將被試的注意力引導(dǎo)至與線索相關(guān)的記憶項(xiàng)目[5]。一些不同類型的視覺(jué)線索,如方向,顏色,形狀等與記憶項(xiàng)目關(guān)聯(lián)的視覺(jué)特征均可以被用于檢索并提取視覺(jué)記憶表征,證實(shí)了回溯線索在操縱記憶表征過(guò)程中的有效性。另一方面,近期研究開(kāi)始關(guān)注時(shí)間序列信息在工作記憶中的作用機(jī)制[6-7]。Heuer(2021)對(duì)比了時(shí)間和空間線索在視覺(jué)工作記憶表征提取中的作用,并指出工作記憶中的時(shí)間信息與空間信息具有相似的作用,可以靈活地存儲(chǔ)或提取視覺(jué)記憶表征[8]。時(shí)間與空間信息被認(rèn)為是工作記憶的語(yǔ)境信息,它們作為一個(gè)類似于上下文的情境存在,而其他非時(shí)空信息,比如顏色,形狀,或者紋理等視覺(jué)信息則是以離散特征的形式綁定在空間與時(shí)間所構(gòu)成的參考框架上[9]。在連續(xù)呈現(xiàn)的視覺(jué)記憶任務(wù)中,時(shí)間信息的處理流程是不可缺少的。但時(shí)間序列線索在調(diào)動(dòng)視覺(jué)工作記憶表征過(guò)程中所發(fā)揮的作用依然有待澄清。

記憶負(fù)荷對(duì)記憶效能的限制,一直是工作記憶相關(guān)研究中廣受關(guān)注的話題之一。前人研究指出,視覺(jué)工作記憶最多只能存儲(chǔ)4個(gè)項(xiàng)目,無(wú)論這些項(xiàng)目的構(gòu)成要素是否復(fù)雜[10]。另一方面,在線索提取范式中,回溯線索效應(yīng)也可能會(huì)受到記憶容量的影響。Astle 等人(2012)使用空間位置信息作為回溯線索,考察了工作記憶負(fù)荷與回溯線索效應(yīng)之間的交互作用。研究結(jié)果表明,在記憶陣列中的項(xiàng)目數(shù)量位于容量范圍內(nèi)(即小于或等于4個(gè)項(xiàng)目)時(shí),被試能夠根據(jù)線索提示有選擇地記憶項(xiàng)目,從而在任務(wù)執(zhí)行過(guò)程中降低記憶負(fù)荷。然而,當(dāng)項(xiàng)目數(shù)量超過(guò)記憶容量限制時(shí),被試卻難以從線索中獲得同樣的益處[11]。這可能表明在記憶表征提取過(guò)程中,超負(fù)荷的記憶項(xiàng)目數(shù)量會(huì)減弱空間線索引導(dǎo)選擇性注意對(duì)記憶項(xiàng)目?jī)?yōu)化的效果。

在時(shí)間序列線索提取記憶表征的實(shí)驗(yàn)任務(wù)中,記憶負(fù)荷的形式與傳統(tǒng)的空間線索范式不同。在空間線索中,定向注意通常從同時(shí)呈現(xiàn)的多個(gè)記憶項(xiàng)目中提取一部分項(xiàng)目。然而,在時(shí)間序列線索相關(guān)任務(wù)中,涉及多個(gè)記憶陣列,而每個(gè)陣列中的項(xiàng)目數(shù)量并不代表整個(gè)試次中需要維持的項(xiàng)目總量。例如,考慮一個(gè)包含兩個(gè)記憶陣列的試次,陣列1和陣列2各自有4個(gè)記憶項(xiàng)目。在這種情況下,試次中的記憶負(fù)荷為8個(gè)項(xiàng)目。實(shí)驗(yàn)任務(wù)要求被試從連續(xù)畫面中提取一個(gè)記憶陣列,這些記憶項(xiàng)目分別存儲(chǔ)在不同的時(shí)間序列位置,并通過(guò)它們所綁定的時(shí)間序列信息進(jìn)行提取。與以空間線索為主的記憶表征提取不同,這種處理機(jī)制呈現(xiàn)出明顯的差異。然而,目前為止,記憶負(fù)荷與時(shí)間序列線索之間的交互作用依然有待澄清。

本研究提出了兩個(gè)假設(shè)。首先,本研究所采用的實(shí)驗(yàn)任務(wù)涉及連續(xù)呈現(xiàn)的多個(gè)記憶陣列,這些陣列的呈現(xiàn)次序可能會(huì)影響工作記憶效能。其次,記憶項(xiàng)目被分隔在不同的時(shí)間點(diǎn)呈現(xiàn),而記憶負(fù)荷也被分布在不同的記憶陣列之中。與前人研究中使用單一記憶陣列獲得的實(shí)驗(yàn)結(jié)果相比,記憶項(xiàng)目負(fù)荷對(duì)工作記憶效能的影響可能呈現(xiàn)不同的模式。為了驗(yàn)證研究假設(shè),本研究將工作記憶中的變化檢測(cè)任務(wù)與回溯線索范式相結(jié)合。實(shí)驗(yàn)中,我們連續(xù)呈現(xiàn)兩個(gè)記憶陣列,并限制每個(gè)陣列中的記憶項(xiàng)目負(fù)荷在1～5個(gè)之間。通過(guò)利用時(shí)間序列信息作為回溯線索,要求被試檢測(cè)特定的記憶陣列并評(píng)估線索效應(yīng),以考察工作記憶負(fù)荷對(duì)時(shí)間序列線索效應(yīng)的影響。在此基礎(chǔ)之上,進(jìn)一步探討了時(shí)間序列線索在工作記憶任務(wù)中的作用機(jī)制。

一、研究方法

本研究將從實(shí)驗(yàn)被試、實(shí)驗(yàn)儀器與材料、實(shí)驗(yàn)設(shè)計(jì)與流程以及數(shù)據(jù)分析四個(gè)方面介紹本研究中涉及的研究方法。

(一)被試

本研究依據(jù)實(shí)驗(yàn)設(shè)計(jì)(2×2×5被試內(nèi)實(shí)驗(yàn)設(shè)計(jì)),使用G*Power 3.1(f= 0.25,α= 0.05, 1-β= 0.80)估算需要至少21名被試[12]。在此基礎(chǔ)之上,招募22名本科生參與了實(shí)驗(yàn)。其中男性6人,女性16人,年齡為18歲至21歲,平均年齡19.7歲(標(biāo)準(zhǔn)差0.92)。所有被試均未參加過(guò)類似的實(shí)驗(yàn),且都是右利手,無(wú)精神病史,無(wú)腦部損傷歷史,視力或矯正視力正常,聽(tīng)力正常。所有被試均在實(shí)驗(yàn)前簽署了說(shuō)明實(shí)驗(yàn)內(nèi)容的知情同意書,寧波工程學(xué)院倫理委員會(huì)批準(zhǔn)了本研究涉及的全部實(shí)驗(yàn)。

(二)實(shí)驗(yàn)儀器與材料

實(shí)驗(yàn)在隔音環(huán)境下的暗室中進(jìn)行。使用24英寸液晶顯示器(ProLite GB2488HSU;120Hz刷新率;1920×1080分辨率)呈現(xiàn)實(shí)驗(yàn)刺激。被試坐在距離顯示器75厘米的位置,使用下巴支架、額頭支架和太陽(yáng)穴穩(wěn)定器固定頭部。視覺(jué)刺激及實(shí)驗(yàn)程序使用MATLAB Psychophysics Toolbox編寫[13]。

所有實(shí)驗(yàn)刺激都是在灰色背景(RGB: 180 180 180)下呈現(xiàn)的。記憶陣列由一個(gè)到五個(gè)不同色塊組成,每個(gè)色塊面積為0.8°視野角。記憶項(xiàng)目的顏色是從十種高度可辨別的顏色中隨機(jī)選擇而來(lái):紅色(255 0 0)、綠色(0 255 0)、黃色(255 255 0)、橙色(255 165 0)、深藍(lán)色(0 0 139)、淺藍(lán)色(0 255 255)、青色(0 139 139)、酒紅色(139 34 82)、粉紅色(255 20 147)和紫色(155 48 255),同一個(gè)試次中不會(huì)出現(xiàn)重復(fù)色塊。從一個(gè)半徑為3.0°的虛擬圓周上,等距離分配十個(gè)固定位置從中隨機(jī)選取記憶項(xiàng)目呈現(xiàn)位置?；厮菥€索以視覺(jué)方式呈現(xiàn)單詞(視野角為0.65°,顏色為13.8 cd/m2),線索要求被試從兩個(gè)記憶陣列中關(guān)注指定的記憶陣列(“First”或“Second”)或同時(shí)關(guān)注兩個(gè)陣列(“Both”)。探針刺激是從記憶陣列中選取的色塊,視野角與記憶陣列相同 (0.8°),出現(xiàn)在同一試次記憶陣列中色塊已經(jīng)出現(xiàn)過(guò)的位置。

(三)實(shí)驗(yàn)設(shè)計(jì)與流程

本實(shí)驗(yàn)采取被試內(nèi)設(shè)計(jì),操縱了三個(gè)實(shí)驗(yàn)自變量:線索類型2(有效線索,無(wú)效線索)、記憶陣列2(記憶陣列1,記憶陣列2)和記憶負(fù)荷5(1,2,3,4,5)。實(shí)驗(yàn)流程如圖1所示。每個(gè)試次開(kāi)始前會(huì)出現(xiàn)一個(gè)十字注視點(diǎn),呈現(xiàn)時(shí)間為200毫秒;500毫秒間隔之后,會(huì)連續(xù)呈現(xiàn)兩個(gè)記憶陣列,記憶陣列呈現(xiàn)時(shí)間為300毫秒,間隔時(shí)間為1500毫秒;記憶陣列消失1500毫秒之后,出現(xiàn)回溯線索,呈現(xiàn)時(shí)間為300毫秒;回溯線索消失之后,間隔1500毫秒出現(xiàn)探測(cè)刺激,直到被試做出判斷之后,探測(cè)刺激消失?；厮菥€索可以是有效線索 (“First”,“Second”)或無(wú)效線索 (“Both”)。如果回溯線索為“First”,則探測(cè)刺激將從第一個(gè)記憶陣列中選擇;如果回溯線索為“Second”,則探測(cè)刺激將從第二個(gè)記憶陣列中選擇。因此,“First”和“Second”都與記憶陣列對(duì)應(yīng),并且100%以有效線索的形式出現(xiàn)。在無(wú)效線索(“Both”)的條件下,探測(cè)刺激有50%可能從記憶陣列1中選擇,50%可能從記憶陣列2中選擇。

圖1 實(shí)驗(yàn)流程示意圖

實(shí)驗(yàn)被試被要求記住記憶陣列中顏色-位置的組合作為記憶項(xiàng)目,并通過(guò)按鍵盤上的F或J鍵來(lái)回答探測(cè)刺激是否與呈現(xiàn)在記憶陣列中的記憶項(xiàng)目一致。探測(cè)刺激有50%的概率與記憶陣列中呈現(xiàn)過(guò)的記憶項(xiàng)目完全一致。所有條件在實(shí)驗(yàn)中隨機(jī)呈現(xiàn)。被試做出判斷按鍵反應(yīng)之后,按任意鍵開(kāi)始新的試次。

回溯線索和記憶負(fù)荷條件在實(shí)驗(yàn)中隨機(jī)混合進(jìn)行測(cè)試。實(shí)驗(yàn)包括600個(gè)試次:“First”“Second”“both”各自200個(gè)試次。五種不同的記憶負(fù)荷條件各自在總試次數(shù)中占據(jù)20%比例。實(shí)驗(yàn)分兩次執(zhí)行,每次實(shí)驗(yàn)時(shí)長(zhǎng)大約一小時(shí)左右。實(shí)驗(yàn)被試在每次實(shí)驗(yàn)開(kāi)始之前都進(jìn)行24個(gè)試次的練習(xí),并且,在練習(xí)過(guò)程中,如果回答錯(cuò)誤會(huì)有反饋,確保被試?yán)斫鈱?shí)驗(yàn)任務(wù)內(nèi)容。正式實(shí)驗(yàn)執(zhí)行期間,錯(cuò)誤試次將不再反饋。

(四)數(shù)據(jù)分析

本研究采用信號(hào)檢測(cè)論中的感受性指標(biāo)d' = z (擊中率)- z (誤報(bào)率)來(lái)評(píng)估并對(duì)比有效線索與無(wú)效線索之間的差異,d' 數(shù)值越高,代表被試對(duì)刺激的反應(yīng)靈敏度越高。主要統(tǒng)計(jì)分析均使用使用R-studio (2023.06.0+421)執(zhí)行重復(fù)測(cè)量方差分析,并參照前人研究,以p<0.05作為顯著性差異標(biāo)準(zhǔn)進(jìn)行簡(jiǎn)單效應(yīng)分析。

二、實(shí)驗(yàn)結(jié)果

本研究統(tǒng)計(jì)了不同條件下的反應(yīng)時(shí),d' 數(shù)值,以及與反應(yīng)準(zhǔn)確性相關(guān)的正確率及擊中率,虛報(bào)率數(shù)據(jù)。描述統(tǒng)計(jì)結(jié)果如表1所示。

表1 不同條件下的反應(yīng)時(shí)和準(zhǔn)確率數(shù)據(jù)

(一)感知敏感度(Perceptual sensitivity:d')

線索類型2(有效線索,無(wú)效線索)× 記憶陣列2(記憶陣列1,記憶陣列2)× 記憶負(fù)荷5(1,2,3,4,5)重復(fù)測(cè)量方差分析結(jié)果表明:線索類型主效應(yīng)顯著:[F(1, 21)= 16.06,p<0.001,ηp2= 0.18];記憶陣列主效應(yīng)顯著:[F(1, 21)= 38.14,p<0.001,ηp2= 0.03];記憶負(fù)荷主效應(yīng)顯著:[F(1, 21)= 143.4,p<0.001,ηp2= 0.12];另外,記憶陣列與記憶負(fù)荷之間的交互作用顯著:[F(1, 21)= 6.03,p<0.001,ηp2= 0.01],簡(jiǎn)單效應(yīng)分析結(jié)果表明,在記憶負(fù)荷為1的條件下,記憶陣列1和記憶陣列2的d' 沒(méi)有差異(p= 0.9),在記憶負(fù)荷為2～4個(gè)項(xiàng)目的條件下,記憶陣列1與記憶陣列2的d' 有顯著性差異(p<0.001)。這些結(jié)果表明,時(shí)間序列線索在不同記憶陣列和記憶負(fù)荷條件下均有效提高了工作記憶效能,為時(shí)間序列線索在工作記憶提取過(guò)程中的作用提供了有力的證據(jù);另外,記憶陣列呈現(xiàn)次序?qū)τ洃浶艿挠绊?在不同負(fù)荷條件下呈現(xiàn)出了不同的模式(見(jiàn)圖2,誤差線表示±SEM)。

圖2 不同條件下d' 的均值結(jié)果

(二)線索收益(d' benefit)

為了進(jìn)一步考察記憶陣列以及記憶負(fù)荷對(duì)線索收益的影響,本研究采用d'benefit執(zhí)行了記憶陣列2(記憶陣列1,記憶陣列2)× 記憶負(fù)荷5(1,2,3,4,5)重復(fù)測(cè)量方差分析。結(jié)果表明,記憶陣列主效應(yīng)不顯著(p= 0.41),記憶負(fù)荷主效應(yīng)顯著[F(1, 21)= 6.03,p= 0.04,ηp2= 0.05],另外,在本研究中沒(méi)有觀察到記憶陣列與記憶負(fù)荷之間的交互作用(p= 0.84)。這些結(jié)果表明,盡管記憶陣列1和記憶陣列2因?yàn)槌尸F(xiàn)次序先后導(dǎo)致記憶效能不同,記憶陣列2比記憶陣列1的記憶成績(jī)要更好一些。但是時(shí)間序列線索對(duì)這些呈現(xiàn)于不同時(shí)間點(diǎn)的記憶陣列的提取效應(yīng)是沒(méi)有差異的,即便是出現(xiàn)較早的記憶陣列1,也可以從線索效應(yīng)中得到同樣的增強(qiáng)。另一方面,記憶負(fù)荷,也就是記憶項(xiàng)目總量會(huì)對(duì)線索收益造成影響。事實(shí)上,隨著記憶項(xiàng)目的增加,線索收益也會(huì)隨之降低。

三、討論

本研究結(jié)合變化檢測(cè)任務(wù)與回溯線索范式,操縱三個(gè)自變量:線索類型(有效線索,無(wú)效線索),記憶陣列(記憶陣列1,記憶陣列2)和記憶負(fù)荷(1,2,3,4,5),分別考察了記憶陣列呈現(xiàn)次序以及視覺(jué)工作記憶項(xiàng)目負(fù)荷對(duì)時(shí)間序列線索效應(yīng)的影響。結(jié)果表明,工作記憶效能會(huì)受到記憶呈現(xiàn)序列位置的影響,記憶陣列2的記憶成績(jī)高于記憶陣列1;然而,當(dāng)時(shí)間序列線索介入到工作記憶提取過(guò)程之后,線索收益卻不會(huì)受到記憶序列呈現(xiàn)位置的影響,記憶陣列1與記憶陣列2都可以從時(shí)間序列線索效應(yīng)中獲益。此外,記憶項(xiàng)目負(fù)荷對(duì)工作記憶效能和線索收益造成了類似的影響,項(xiàng)目負(fù)荷越高,記憶成績(jī)?cè)降?從時(shí)間序列線索中獲取的收益也會(huì)隨著記憶項(xiàng)目負(fù)荷的上升而降低。

本研究提供了明確的證據(jù)支持時(shí)間序列線索可以從多個(gè)連續(xù)的記憶陣列中提取指定陣列,并且,這種選擇性注意有助于提高工作記憶效能?；厮菥€索引導(dǎo)的定向注意對(duì)工作記憶的增強(qiáng)在前人研究中已經(jīng)得到驗(yàn)證[4, 14-15]。但是,以往研究中采用的回溯線索范式,多數(shù)是從一個(gè)特定的畫面提取制定的記憶項(xiàng)目,未曾涉及到記憶陣列的更新對(duì)線索效應(yīng)的影響。本研究結(jié)果證實(shí)了被記憶陣列2覆蓋的記憶陣列1也能夠從線索提取過(guò)程中獲取收益。另一方面,線索并不僅僅能夠提取單個(gè)記憶項(xiàng)目,而且可以將注意指向不同時(shí)間位置所綁定的記憶表征,以整體的形式提取記憶陣列。這些不同時(shí)間位置呈現(xiàn)的記憶項(xiàng)目,是以時(shí)間標(biāo)記分組存儲(chǔ)在工作記憶中的。這些結(jié)果進(jìn)一步證實(shí)了時(shí)間序列信息與視覺(jué)工作記憶表征之間的關(guān)聯(lián)[9],也就是說(shuō),記憶項(xiàng)目的時(shí)間信息也與顏色以及位置信息一起存儲(chǔ)在工作記憶中,并可以被與之綁定的時(shí)間序列信息檢索提取。

在記憶負(fù)荷對(duì)線索效應(yīng)的影響方面,本研究發(fā)現(xiàn)時(shí)間序列線索效應(yīng)與空間線索效應(yīng)中的一些不同之處。具體而言,多數(shù)研究認(rèn)為工作記憶容量上限為4個(gè)項(xiàng)目左右[16-17]。在同時(shí)呈現(xiàn)記憶項(xiàng)目的條件下,當(dāng)項(xiàng)目數(shù)量超過(guò)工作記憶容量(8個(gè)項(xiàng)目)時(shí),空間線索對(duì)工作記憶效能的增強(qiáng)作用會(huì)消失[11],表明記憶項(xiàng)目負(fù)荷的上升會(huì)對(duì)線索效應(yīng)造成負(fù)面影響。Souza and Oberauer[18]提出,回溯線索的作用機(jī)制可能是通過(guò)將部分記憶項(xiàng)目置于優(yōu)先狀態(tài),而放棄另一些未受到線索提示的記憶項(xiàng)目,進(jìn)而減少記憶負(fù)荷對(duì)記憶效能所造成的負(fù)面影響。空間選擇性注意進(jìn)行重分配的過(guò)程與視覺(jué)工作記憶負(fù)荷共享有限的認(rèn)知資源[19],因此記憶項(xiàng)目負(fù)荷的超載會(huì)導(dǎo)致回溯線索失效。而在本研究中觀察到了不同的結(jié)果,即便是記憶負(fù)荷超過(guò)負(fù)載的情況下(10個(gè)項(xiàng)目),時(shí)間序列線索依然發(fā)揮了對(duì)記憶表征的增強(qiáng)作用。首先這種特殊的效應(yīng)可能與記憶項(xiàng)目的呈現(xiàn)方式有關(guān),雖然一個(gè)試次中需要保持的記憶項(xiàng)目總量較多,但單一記憶陣列中呈現(xiàn)的記憶項(xiàng)目卻不超過(guò)五個(gè)。我們推測(cè),時(shí)間序列線索采用了不同的方式在工作記憶中提取視覺(jué)表征,即選擇性的記住某一個(gè)記憶陣列,而記憶陣列是以整體的形式被提取的。基于時(shí)間序列信息的注意分配指向于記憶陣列1或者記憶陣列2,而不是特定的某個(gè)記憶項(xiàng)目。因此受記憶負(fù)荷的影響較少,并保留了一些認(rèn)知資源用于完成注意的再分配。另外,我們發(fā)現(xiàn)線索效應(yīng)會(huì)隨著記憶負(fù)荷的上升而下降。這些結(jié)果進(jìn)一步證明了序列線索提取過(guò)程可能與視覺(jué)工作記憶處理共用認(rèn)知資源,在記憶負(fù)荷較高的情況下,對(duì)認(rèn)知資源的占用導(dǎo)致線索收益降低。

四、結(jié)論

本研究采用變化檢測(cè)任務(wù)與回溯線索范式相結(jié)合的方式,探討了記憶陣列呈現(xiàn)的時(shí)間序列位置以及記憶負(fù)荷對(duì)時(shí)間線索效應(yīng)的影響。研究結(jié)果表明,盡管記憶陣列的序列位置會(huì)影響記憶成績(jī),但時(shí)間序列線索的效應(yīng)在不同記憶陣列間保持一致,表明序列線索能夠有效地從處于優(yōu)勢(shì)的“陣列2”以及已被更新且處于劣勢(shì)狀態(tài)的“陣列1”中提取信息,并產(chǎn)生同等的線索收益。此外,記憶負(fù)荷對(duì)時(shí)間序列線索的影響相對(duì)較小,即使在認(rèn)知超負(fù)荷的情況下線索效應(yīng)仍然存在,表明認(rèn)知資源的分配受到了序列中記憶項(xiàng)目呈現(xiàn)模式的影響。這些發(fā)現(xiàn)有助于更深入地理解視覺(jué)工作記憶中時(shí)間序列信息的機(jī)制,并為如何通過(guò)重新分配注意資源來(lái)克服工作記憶容量限制提供了新的思路。