句子理解中顏色信息的心理表征*

張 盼 魯忠義

(1河北師范大學(xué)教育學(xué)院,石家莊 050024) (2中國科學(xué)院心理研究所,北京 100101)

1 引言

隨著體驗(yàn)認(rèn)知(embodied cognition)的發(fā)展,Barsalou(1999)提出了知覺符號系統(tǒng)(Perceptual Symbols System)。該理論認(rèn)為語言理解必然會激活相應(yīng)的知覺符號。在此基礎(chǔ)之上,Zwaan(2003)提出了閱讀的身臨其境框架(The Immersed Experiencer Frame,簡稱IEF)理論,認(rèn)為閱讀理解的實(shí)質(zhì)就是讀者對所描述的情境進(jìn)行身臨其境的體驗(yàn)。這些理論得到了大量的實(shí)證研究的證實(shí)(Yaxley&Zwaan,2007;Zwaan&Taylor,2006;王瑞明,莫雷,李利,王穗蘋,吳俊,2005;Zwaan,Stanfield,&Yaxley,2002;Glenberg&Kaschak,2002;Stanfield&Zwaan,2001)。

顏色作為一種知覺信息,也受到了認(rèn)知心理學(xué),特別是第二代認(rèn)知科學(xué)的關(guān)注。

首先,語言理解中顏色加工的體驗(yàn)觀得到了神經(jīng)影像和行為實(shí)驗(yàn)的支持。按照體驗(yàn)認(rèn)知理論,在語言的表達(dá)中提起一種特定的顏色(例如,紅)或具有特定顏色的物體(例如,鮮血)都會激活相應(yīng)的顏色表征。Simmons等人 (2007)利用fMRI技術(shù)發(fā)現(xiàn),相對于加工動作概念,被試在加工顏色概念和完成顏色知覺任務(wù)時,左側(cè)梭狀回都高度激活。實(shí)驗(yàn)結(jié)果直接證明了顏色知覺和顏色概念加工具有相同的神經(jīng)機(jī)制,為知覺符號理論提供了強(qiáng)有力的證據(jù)。在行為研究方面,Richter和Zwaan(2009)的研究排除了被試對色塊采用詞匯表征策略的可能性,探索了顏色詞加工的過程中是否自動激活顏色信息。結(jié)果顯示,無論實(shí)驗(yàn)是否要求被試對顏色詞進(jìn)行真假詞判斷,只要當(dāng)先前的色塊和顏色詞所表達(dá)的顏色信息相匹配時,被試對于探測色塊的判斷反應(yīng)都快于不匹配條件,即出現(xiàn)匹配易化或不匹配抑制現(xiàn)象。實(shí)驗(yàn)結(jié)果支持了語言理解的體驗(yàn)觀,即聽到或讀到一個顏色詞時,被試會進(jìn)行一種心理表征,這種表征包含的內(nèi)容和知覺顏色時的表征具有同一性。

其次,一些研究雖然也支持語言理解中顏色加工的體驗(yàn)觀,但實(shí)驗(yàn)結(jié)果卻出現(xiàn)了顏色信息不匹配條件下被試的反應(yīng)速度快于匹配條件現(xiàn)象,即不匹配易化或匹配抑制現(xiàn)象。Connell(2007)最早在句子水平上對語言理解中顏色信息的心理表征進(jìn)行了研究。他們用句子作為實(shí)驗(yàn)材料,句子中關(guān)于物體顏色的信息都是隱含的。例如,句子John look at the steak on his plate,隱含的肉的顏色信息是棕色的;而句子John look at the steak on the butcher’s window,隱含的肉的顏色信息是紅色的。實(shí)驗(yàn)要求被試自定步速閱讀句子,讀完后間隔500ms出現(xiàn)探測圖片,被試需要判斷圖片中的物體是否在前面的句子中提到過。研究發(fā)現(xiàn),句-圖不匹配條件下被試對圖片的判斷反應(yīng)快于匹配條件。

另外,其它研究則進(jìn)一步探索了語言理解中物體的典型和非典型顏色是如何表征的。典型顏色,指當(dāng)人們提到某物體時最先想起的或最常見的該物體的顏色,反之則是非典型顏色。例如,番茄的典型顏色是紅色,非典型顏色是綠色。Connell和Lynott(2009)采用Stroop范式的變式探討了語言理解中物體顏色的典型性對心理表征的影響。實(shí)驗(yàn)中被試先自定步速閱讀隱含物體顏色信息的句子(典型或非典型顏色),間隔500ms后對目標(biāo)詞的墨色(典型或非典型顏色)進(jìn)行口頭命名。結(jié)果在匹配條件下被試對非典型顏色墨塊的命名反應(yīng)快于不匹配條件。Therriault,Yaxley和Zwaan(2009)的研究發(fā)現(xiàn),當(dāng)探測圖片中物體顏色和現(xiàn)實(shí)中物體的典型顏色匹配時,被試的命名任務(wù)、分類任務(wù)和閱讀任務(wù)的反應(yīng)時都最短。曹靜 (2010)使用句-圖范式探討了圖式(物體顏色的典型性)和閱讀廣度對句子中隱含顏色信息心理表征的影響。結(jié)果發(fā)現(xiàn),被試在閱讀理解的過程中對物體的顏色進(jìn)行了心理表征,支持了語言理解的體驗(yàn)觀,并且日常生活中積累的有關(guān)物體典型顏色的圖式和閱讀廣度在顏色信息表征過程中起作用。

綜合上述可以看出,語言理解過程中隱含的物體顏色信息確實(shí)能被心理表征,而且物體顏色的典型性對心理表征過程有重要影響。但我們也發(fā)現(xiàn),在對句子理解中的顏色信息進(jìn)行心理表征的研究中,有一些值得進(jìn)一步探討的問題。

首先,以往的研究中,相同或相似的實(shí)驗(yàn)范式得到的結(jié)果卻完全相異,即有的實(shí)驗(yàn)得到的是匹配條件下的易化反應(yīng)和不匹配條件下的抑制反應(yīng),而有的實(shí)驗(yàn)則完全相反,得到的是匹配條件下的抑制反應(yīng)和不匹配條件下的易化反應(yīng)。例如,Connell(2007)和曹靜(2010)使用了相同的實(shí)驗(yàn)范式和實(shí)驗(yàn)程序,但是Connell(2007)得出的結(jié)果是句-圖匹配的條件下被試的判斷反應(yīng)慢,而曹靜(2010)得出的結(jié)果是句-圖匹配的條件下被試的判斷反應(yīng)快。Connell和Lynott(2009)采用的Stroop范式其實(shí)是Connell(2007)中句-圖范式的變式,唯一的區(qū)別是前者判斷任務(wù)是命名墨色,后者反應(yīng)任務(wù)是判斷圖片,但是前者得出的結(jié)果是匹配條件下被試的反應(yīng)快,而后者得出的結(jié)果是匹配條件下被試的反應(yīng)慢。

那么,相同或相似的實(shí)驗(yàn)范式得到的結(jié)果為什么卻完全相異呢？一個可能的原因是不同實(shí)驗(yàn)使用的實(shí)驗(yàn)材料和實(shí)驗(yàn)任務(wù)不同;另一個原因是句子和圖片之間的時間間隔問題?？疾炀渥诱现笾X信息的心理表征的研究當(dāng)中,句子和圖片的時間間隔是一個很重要的自變量。在上述的這些研究中,設(shè)置的句-圖間隔都是500 ms。而這個時間間隔一般來說是心理表征的中期,這個時間間隔往往是某種心理狀態(tài)出現(xiàn)與否的轉(zhuǎn)折點(diǎn),這樣就有可能因不同的實(shí)驗(yàn)條件而導(dǎo)致匹配易化和匹配抑制的出現(xiàn)。本實(shí)驗(yàn)的一個主要目的是考察句子理解中顏色信息心理表征的即時性,同時找到導(dǎo)致匹配易化和匹配抑制的原因,因此我們試圖在同樣的實(shí)驗(yàn)條件下,設(shè)置兩個差異較大的時間間隔(早期和晚期)來解決這些問題。根據(jù)以往的研究,這樣來設(shè)計實(shí)驗(yàn),預(yù)期可能會出現(xiàn)長時間間隔條件下匹配易化和短時間間隔條件下不匹配易化的結(jié)果。

假如在同一個實(shí)驗(yàn)中利用相同實(shí)驗(yàn)材料和實(shí)驗(yàn)范式,從而證實(shí)了我們的預(yù)測：顏色信息加工的早期出現(xiàn)的是不匹配易化,而后期則是匹配易化,那么早期的不匹配易化是不是反映的是顏色信息加工的即時性呢？如果是,其背后的認(rèn)知機(jī)制是什么呢？這是本研究要探討的第一個問題。

其次,以往的研究考察的是句子整合之后顏色信息的心理表征,對句子閱讀過程中顏色信息加工的即時性和局部性目前尚無研究。不過,以往句子理解過程中動作信息表征的即時性和局部性的研究范式,對本實(shí)驗(yàn)是有啟發(fā)的。Zwaan和Taylor(2006)考察了句子理解過程中動作信息的激活特性。結(jié)果發(fā)現(xiàn)閱讀動詞時出現(xiàn)了匹配效應(yīng),即動詞指稱的動作旋轉(zhuǎn)方向和把手旋轉(zhuǎn)方向一致時被試對動詞的閱讀時間更短。這表明,句子閱讀過程中動作信息的心理表征是一種立即的短時效應(yīng),它的產(chǎn)生具有即時性與局部性。而且這種匹配效應(yīng)在其他區(qū)域,即使在緊跟動詞之后的賓語區(qū),也沒有出現(xiàn)。借鑒Zwaan和Taylor(2006)的研究思路,在句子閱讀過程中顏色信息的心理表征是否也像動作信息那樣具有即時性和局部性呢？而且物體顏色的典型性會對它造成什么影響呢？這是本研究要探討的第二個問題。

第三,語言理解中顏色信息發(fā)生動態(tài)變化時的心理表征是什么樣的,目前這方面的研究尚是空白。先前的研究只涉及靜態(tài)語境下單一的顏色信息,即一個句子中只涉及某物體的一種顏色。實(shí)驗(yàn)三則是要研究動態(tài)語境條件下的顏色信息的心理表征。這里所謂的動態(tài)性是指在一個句子中隱含的物體的顏色從一種顏色變成了另一種顏色。例如,“我扔掉了課本里那片枯葉,又從樹上摘下了一片嫩葉”,句子中隱含的樹葉顏色從黃色變成了綠色。那么,在語境中顏色信息發(fā)生動態(tài)變化的情況下大腦還能對其進(jìn)行即時地心理表征嗎？這和靜態(tài)顏色信息的心理表征有什么相同和不同之處呢？物體顏色的典型性又會對動態(tài)顏色信息的心理表征有什么影響呢？這是本研究要探討的第三個方面的問題。

根據(jù)上述分析,我們試圖通過三個實(shí)驗(yàn)對語言理解中顏色信息的心理表征的特點(diǎn)和機(jī)制進(jìn)行深入的探討。實(shí)驗(yàn)一考察句子整合后顏色信息的心理表征的特點(diǎn)和機(jī)制。由于本實(shí)驗(yàn)關(guān)注的不是這兩種狀態(tài)間的轉(zhuǎn)折點(diǎn),而只是這兩種狀態(tài)的存在性及其背后的反應(yīng)機(jī)制,所以我們在句-圖范式中只把句-圖之間的時間間隔設(shè)置為0 ms(句子理解早期)和1500 ms(句子理解晚期)兩種情況。實(shí)驗(yàn)二在實(shí)驗(yàn)一的基礎(chǔ)上,進(jìn)一步考察句子閱讀過程中顏色信息的心理表征的即時性和局部性問題。實(shí)驗(yàn)三考察當(dāng)語境中的顏色信息發(fā)生動態(tài)變化時大腦是如何對其進(jìn)行心理表征的。

2 實(shí)驗(yàn)一 句子整合后顏色信息的心理表征

2.1 被試

38名大學(xué)生,視力或矯正視力正常,無閱讀障礙且色覺正常。

2.2 實(shí)驗(yàn)材料及其評定

采用曹靜(2010)的實(shí)驗(yàn)材料。實(shí)驗(yàn)材料總共4個版本,每個版本都包括10個實(shí)驗(yàn)句、6個練習(xí)句和10個填充句。實(shí)驗(yàn)材料舉例見表1。

20名沒有參加正式實(shí)驗(yàn)的被試對三個實(shí)驗(yàn)的全部實(shí)驗(yàn)材料進(jìn)行了評定。給被試呈現(xiàn)一個句子和一個圖片,讓被試判斷句子所表達(dá)的意義與圖片是否搭配。例如,呈現(xiàn)給被試“珍妮嘗了一口成熟的番茄”和一張紅色番茄圖片,或“珍妮嘗了一口沒成熟的番茄”和一張綠色番茄的圖片,讓被試判斷兩者是否匹配。這相當(dāng)于對每個目標(biāo)物體要進(jìn)行兩次判斷,一次句子與典型顏色匹配與否的判斷,一次句子與非典型顏色匹配與否的判斷。評定的結(jié)果是,除了關(guān)于“肉”的這一句與其圖的匹配被試認(rèn)為是90%,對其他所有材料,100%的被試認(rèn)為句子和圖片是匹配的。

2.3 實(shí)驗(yàn)設(shè)計

本實(shí)驗(yàn)為2(句子版本：典型顏色版本與非典型顏色版本)×2(匹配狀態(tài)：匹配與不匹配)×2(句-圖間隔：0 ms與1500 ms)的混合實(shí)驗(yàn)設(shè)計。前兩個因素是被試內(nèi)設(shè)計,第三個因素是被試間設(shè)計。因變量為被試對圖片判斷的反應(yīng)時。本研究包含四個實(shí)驗(yàn)序列,目的是控制實(shí)驗(yàn)材料和實(shí)驗(yàn)條件的順序效應(yīng)。涉及同一物體的兩個實(shí)驗(yàn)句子(A1、A2)和兩幅探測圖片(B1、B2)可以搭配成4種版本,分別是A1B1、A1B2、A2B1、A2B2。其中,A1B1和A2B2為匹配條件,A1B2和A2B1為不匹配條件。對于某一種物體,每個實(shí)驗(yàn)序列只包含其一種版本。另外,練習(xí)句和填充句在每個實(shí)驗(yàn)序列中都相同。20個實(shí)驗(yàn)句子在4個實(shí)驗(yàn)序列中總共出現(xiàn)兩次,10個填充句和6個練習(xí)句在4個實(shí)驗(yàn)序列中總共出現(xiàn)4次。被試被隨機(jī)分配到其中一個序列。

表1 句子版本、圖片刺激材料

2.4 實(shí)驗(yàn)程序

首先在屏幕中央呈現(xiàn)一個“+”1000 ms,接下來呈現(xiàn)句子。被試?yán)斫馔昃渥雍蟀纯崭矜I,句子消失,屏幕中央再次呈現(xiàn)一個“+”(0 ms或1500ms)。然后呈現(xiàn)圖片,被試需要判斷圖片中的物體在剛才的句子中是否提到過。提到過按“J”鍵;沒有提到過按“F”鍵。為保證被試認(rèn)真閱讀句子,在填充句后面出現(xiàn)基于句子理解的問題,一半問題與呈現(xiàn)過的句子的意義相符,其正確答案為“是”反應(yīng),按“J”鍵;另一半不相符,被試做“否”反應(yīng),按“F”鍵。

2.5 實(shí)驗(yàn)結(jié)果

首先,剔除圖片判斷任務(wù)或理解問題任務(wù)的錯誤率高于20%被試2名,占總數(shù)的5.26%。再刪除2.5個標(biāo)準(zhǔn)差之外的極端值,最后得到36個被試的有效數(shù)據(jù)。各種條件下被試對圖片判斷的反應(yīng)時和標(biāo)準(zhǔn)差見表2。

由于本研究關(guān)注的只是被試在不同時間進(jìn)程上的反應(yīng)趨勢,并且句-圖間隔為被試間因素,所以為了便于討論,我們把兩種句-圖間隔下的數(shù)據(jù)分開分析,其中0 ms間隔下19名被試數(shù)據(jù),1500ms間隔下17名被試數(shù)據(jù)。分別以被試和項(xiàng)目為隨機(jī)變量,對圖片判斷反應(yīng)時(因變量)進(jìn)行重復(fù)測量方差分析(即F和F)。統(tǒng)計結(jié)果表明：0 ms間隔下,句子版本主效應(yīng)不顯著,

F

(1,18)=0.267,

p

=0.612,

F

(1,18)=0.134,

p

=0.719;匹配狀態(tài)主效應(yīng)顯著,

F

(1,18)=15.312,

p

=0.001,

F

(1,18)=5.838,

p

=0.027,被試對與句子版本相匹配的圖片的反應(yīng)(1593 ms)顯著慢于與句子版本不匹配的圖片的反應(yīng)(1379 ms);句子版本和匹配狀態(tài)交互作用不顯著,

F

(1,18)=0.793,

p

=0.401,

F

(1,18)=0.270,

p

=0.870。1500 ms間隔下,句子版本主效應(yīng)不顯著,

F

(1,16)=0.940,

p

=0.347,

F

(1,18)=1.501,

p

=0.236;匹配狀態(tài)主效應(yīng)顯著,

F

(1,16)=14.372,

p

=0.002,

F

(1,18)=9.767,

p

=0.006,被試對與句子版本相匹配的圖片的反應(yīng)(1283 ms)顯著快于與句子版本不匹配的圖片的反應(yīng)(1494 ms);句子版本和匹配狀態(tài)交互作用不顯著,

F

(1,16)=0.064,

p

=0.803,

F

(1,18)=0.502,

p

=0.488。

2.6 討論

由于實(shí)驗(yàn)一考察的是句子整合后顏色信息的心理表征的特點(diǎn),所以我們采用了句-圖匹配與否的研究范式。結(jié)果表明,在句子理解早期,句-圖不匹配條件下促進(jìn)圖片的判斷;相反,在句子理解晚期,句-圖匹配條件下促進(jìn)圖片的判斷。句子理解早期的不匹配易化現(xiàn)象跟Connell(2007)的研究結(jié)果一致,而句子理解晚期的匹配易化現(xiàn)象跟Connell和Lynott(2009)以及曹靜(2010)的研究結(jié)果一致。匹配易化和不匹配易化,看起來是一種矛盾的現(xiàn)象,其實(shí)不然。以往的研究并沒有把句-圖間隔作為自變量,而僅僅設(shè)置了單一的時間點(diǎn)(例如,500 ms),以至于采用相同或相似的實(shí)驗(yàn)范式得到了不同的研究結(jié)果。具體來說,有可能Connell(2007)的實(shí)驗(yàn)材料對于參與該實(shí)驗(yàn)的被試來說相對困難,因此500 ms句-圖時間間隔對于被試來說屬于句子閱讀早期,以至出現(xiàn)不匹配易化現(xiàn)象;而曹靜(2010)的實(shí)驗(yàn)材料對于參與該實(shí)驗(yàn)的被試來說相對容易,因此500 ms句-圖時間間隔對于被試來說屬于句子閱讀晚期,以至出現(xiàn)匹配易化現(xiàn)象。本實(shí)驗(yàn)設(shè)計兩個時間點(diǎn),得出了不同時間間隔條件下的匹配易化和不匹配易化的結(jié)果,說明這種看似矛盾的現(xiàn)象,只是在不同時間進(jìn)程上的表現(xiàn)。至于這種現(xiàn)象背后的機(jī)制,我們在綜合討論中再進(jìn)行詳細(xì)探討。

實(shí)驗(yàn)一探討了句子整合后顏色信息心理表征的特點(diǎn),但是句子閱讀過程中顏色信息的心理表征是怎樣的呢？是否像以往關(guān)于動作表征的研究結(jié)果那樣,也具有即時性和局部性呢？物體顏色的典型性會對顏色信息的心理表征有什么影響呢？為研究這些問題,實(shí)驗(yàn)二采用實(shí)時(on-line)測量的句-圖窗口范式進(jìn)行探討。因?yàn)閷?shí)驗(yàn)二考察的是句子閱讀過程中顏色信息的心理表征的特點(diǎn),此時被試正處于句子理解早期,所以我們預(yù)期實(shí)驗(yàn)二出現(xiàn)不匹配易化現(xiàn)象。

表2 各種條件下被試對圖片判斷的反應(yīng)時和標(biāo)準(zhǔn)差(ms)

3 實(shí)驗(yàn)二 句子閱讀過程中顏色信息心理表征

3.1 被試

21名大學(xué)生,視力或矯正視力正常,無閱讀障礙且色覺正常。

3.2 實(shí)驗(yàn)材料

由于實(shí)驗(yàn)設(shè)計的需要,句子將以詞(或字)和圖的混合方式組成,其中目標(biāo)詞會被圖片代替,就是說在目標(biāo)詞的位置出現(xiàn)的不是那個詞,而是與那個詞相對應(yīng)的圖片。例如 “媽媽︳用︳成熟︳的︳番茄︳做成︳一鍋︳湯”,例句中的“番茄”一詞被一張畫有番茄的圖片代替。實(shí)驗(yàn)圖片分為匹配版本和不匹配版本。以上面這個材料為例,匹配版本是紅色的番茄圖片,不匹配版本是綠色的番茄圖片。填充材料句中的圖片都是無關(guān)物體,與語境毫不相關(guān)。先前的研究表明詞和圖片都能在普遍概念系統(tǒng)(general-purpose conceptual system)中激活相應(yīng)的表征,所以這種圖片代替詞匯的呈現(xiàn)方式相當(dāng)于正常的閱讀理解(Potter,Kroll,Yachzel,Carpenter,&Sherman,1986)。實(shí)驗(yàn)材料總共包括16個實(shí)驗(yàn)句、6個練習(xí)句和8個填充句,事先均經(jīng)過評定。

3.3 實(shí)驗(yàn)設(shè)計

本實(shí)驗(yàn)為2(句子版本：典型顏色版本與非典型顏色版本)×2(匹配狀態(tài)：匹配與不匹配)被試內(nèi)設(shè)計。因變量是被試對圖片、圖片后第一個詞、圖片后第二個詞的閱讀時間。實(shí)驗(yàn)序列及被試分配方法同實(shí)驗(yàn)一。

3.4 實(shí)驗(yàn)程序

首先屏幕中央會出現(xiàn)一個“+”1000 ms,然后實(shí)驗(yàn)材料以詞(圖)為單位依次呈現(xiàn)。被試需要按空格鍵自定步速進(jìn)行閱讀,按一下空格當(dāng)前的這個詞就被下一個詞替換。其中目標(biāo)詞會被圖片所代替,并不影響閱讀。句子呈現(xiàn)完之后屏幕上會出現(xiàn)一個“這句話有意義嗎？”的問題,這時被試需要判斷整句話有無意義。有意義按F鍵,無意義按J鍵。接著會出現(xiàn)一個提示“******”500 ms,然后出現(xiàn)一個再認(rèn)詞。被試需要判斷這個詞在先前的句子中有沒有出現(xiàn)過,出現(xiàn)過按F鍵,沒出現(xiàn)按J鍵。對于實(shí)驗(yàn)句,有無意義判斷的正確答案均為F鍵;對于填充句,有無意義判斷的正確答案均為J鍵;對于練習(xí)句,F鍵和J鍵反應(yīng)各占一半。對于再認(rèn)詞判斷任務(wù),F鍵和J鍵反應(yīng)在每種類型的句子中都各占一半。

3.5 實(shí)驗(yàn)結(jié)果

首先,剔除句子意義判斷任務(wù)或詞匯再認(rèn)任務(wù)的錯誤率高于20%的被試3名,占總數(shù)的14.2%。再刪除2.5個標(biāo)準(zhǔn)差之外的極端數(shù)據(jù),最后得到18個被試的有效數(shù)據(jù)。各種條件下句子閱讀反應(yīng)時和標(biāo)準(zhǔn)差見表3。

分別以被試和項(xiàng)目為隨機(jī)變量,對各探測窗口的閱讀時間(因變量)進(jìn)行重復(fù)測量方差分析(即F和F)。統(tǒng)計結(jié)果表明,對于圖片的閱讀時間：句子版本主效應(yīng)不顯著,

F

(1,17)=0.486,

p

=0.495,

F

(1,14)=0.247,

p

=0.627;匹配狀態(tài)主效應(yīng)顯著,

F

(1,17)=6.212,

p

=0.023,

F

(1,14)=5.264,

p=

0.038,不匹配條件(780 ms)快于匹配條件(909 ms);交互作用不顯著,

F

(1,17)=1.473,

p

=0.241,

F

(1,14)=1.086,

p

=0.315。對于圖后第一個詞的閱讀時間：句子版本主效應(yīng)不顯著,

F

(1,17)=0.02,

p

=0.890,

F

(1,14)=0.619,

p

=0.445;匹配狀態(tài)主效應(yīng)顯著,

F

(1,17)=4.96,

p

=0.040,

F

(1,14)=4.741,

p

=0.047,不匹配條件(501 ms)快于匹配條件(561 ms);交互作用顯著,

F

(1,17)=6.409,

p

=0.022,

F

(1,14)=2.214,

p

=0.159。進(jìn)一步簡單效應(yīng)分析表明,匹配狀態(tài)在典型顏色版本上差異不顯著,

F

(1,17)=0.35,

p

=0.562;匹配狀態(tài)在非典型顏色版本上差異顯著,

F

(1,17)=8.363,

p

=0.01,在句子語境支持非典型顏色的情況下,不匹配條件(477 ms)快于匹配條件(580 ms)。

表3 各種條件下句子閱讀的反應(yīng)時和標(biāo)準(zhǔn)差(ms)

對于圖后第二個詞的閱讀時間：句子版本主效應(yīng)不顯著,

F

(1,17)=0.378,

p

=0.547,

F

(1,14)=1.132,

p

=0.305;匹配狀態(tài)主效應(yīng)不顯著,

F

(1,17)=2.169,

p

=0.159,

F

(1,14)=1.782,

p

=0.203;交互作用不顯著,

F

(1,17)=0.146,

p

=0.708,

F

(1,14)=0.168,

p

=0.688。

3.6 討論

在解決匹配易化和不匹配易化問題的基礎(chǔ)上,實(shí)驗(yàn)二進(jìn)一步考察了句子理解過程中顏色信息的心理表征的即時性和局部性。結(jié)果顯示,對于圖片窗口,不匹配條件下被試的閱讀時間顯著短于匹配條件。這表明,被試在語言理解過程中可以迅速表征顏色信息,顏色信息的心理表征具有即時性。對于圖后第一個詞的閱讀時間,匹配狀態(tài)主效應(yīng)顯著,不匹配條件顯著短于匹配條件。這表明,顏色信息的心理表征延續(xù)到了圖片后第一個詞,句子閱讀過程中顏色信息的心理表征是非局部的。不過這種非局部性特點(diǎn)是有條件的,從句子版本和匹配狀態(tài)的交互作用看,在句子語境支持非典型顏色的情況下,不匹配條件顯著短于匹配條件;而在句子語境支持典型顏色的情況下,匹配條件與不匹配條件無顯著差異。這表明,句子閱讀中,只有非典型顏色的心理表征是非局部性的,而典型顏色的心理表征是局部性的。對于圖片后第二個詞的閱讀時間,所有條件下均無顯著差異。這表明,在句子閱讀過程中,顏色信息心理表征的非局部特點(diǎn)不僅是在非典型顏色的語境下才出現(xiàn),而且它也只能延續(xù)到圖片后第一個詞。值得注意的是,實(shí)驗(yàn)二是一種自定步速的閱讀過程,相鄰刺激(詞與詞,或詞與圖)之間的時間間隔為0 ms。這種句子實(shí)時閱讀可以看成句子理解早期,它和實(shí)驗(yàn)一中的0 ms句-圖時間間隔屬于同一種情況,所以出現(xiàn)的都是不匹配易化現(xiàn)象。同樣,其背后的機(jī)制在綜合討論部分再詳細(xì)解釋。

實(shí)驗(yàn)一和實(shí)驗(yàn)二分別探討了句子整合后和句子閱讀過程中顏色信息的心理表征,但它們和先前的研究一樣都只涉及靜態(tài)語境下單一的顏色信息,即一個句子中只涉及某物體的一種顏色。如果語境中顏色信息發(fā)生動態(tài)變化,大腦還能對其進(jìn)行心理表征嗎？這和靜態(tài)顏色信息的心理表征又有什么不同呢？由于動態(tài)顏色信息的心理表征是一個很復(fù)雜的問題,因此,我們需要先考察句子整合后的心理表征的過程。如果在句子整合后的理解初期大腦就能對發(fā)生變化的顏色信息進(jìn)行心理表征,我們再在后續(xù)的實(shí)驗(yàn)中考察句子實(shí)時閱讀過程中動態(tài)變化顏色信息的心理表征過程。如果句子整合后的理解初期大腦還不能對發(fā)生變化的顏色信息進(jìn)行心理表征,那么在句子實(shí)時閱讀過程中也就不可能對其進(jìn)行心理表征,因此也就無需對其進(jìn)行研究了。

4 實(shí)驗(yàn)三 動態(tài)變化語境下顏色信息的心理表征

4.1 被試

44名大學(xué)生,視力或矯正視力正常,無閱讀障礙且色覺正常。

4.2 實(shí)驗(yàn)材料

實(shí)驗(yàn)材料是在實(shí)驗(yàn)一的基礎(chǔ)上改編而成的,每個實(shí)驗(yàn)句都包含一種物體的兩種顏色信息。例如“我扔掉了夾在課本里的那片枯葉,又從樹上摘下了一片嫩葉?！?表達(dá)的是樹葉從黃色到綠色的轉(zhuǎn)換,這種情況的句子的版本為典型顏色版本。綠色的樹葉的圖片與此句構(gòu)成匹配狀態(tài),黃色的樹葉的圖片與此句構(gòu)成不匹配狀態(tài)。實(shí)驗(yàn)材料總共4套版本,每套材料都包括10個實(shí)驗(yàn)句、6個練習(xí)句和10個填充句,事先均經(jīng)過評定。填充材料句中的圖片都是與它無關(guān)的物體,與語境毫不相關(guān)。

4.3 實(shí)驗(yàn)設(shè)計

本實(shí)驗(yàn)為2(句子版本：典型顏色版本與非典型顏色版本)×2(匹配狀態(tài)：匹配與不匹配)×2(句-圖間隔：0 ms與1500 ms)的混合實(shí)驗(yàn)設(shè)計。前兩個因素是被試內(nèi)設(shè)計,第三個因素是被試間設(shè)計。因變量為被試對圖片的判斷反應(yīng)時。實(shí)驗(yàn)序列及被試分配方法同實(shí)驗(yàn)一。

4.4 實(shí)驗(yàn)程序

實(shí)驗(yàn)程序與實(shí)驗(yàn)一相同。

4.5 實(shí)驗(yàn)結(jié)果

首先,剔除圖片判斷任務(wù)或理解問題任務(wù)的錯誤率高于20%的被試4名,占總數(shù)的9%。再刪除2.5個標(biāo)準(zhǔn)差之外的極端數(shù)據(jù),最后得到40個被試的有效數(shù)據(jù)。各種條件下被試對圖片判斷的反應(yīng)時和標(biāo)準(zhǔn)差見表4。

由于本研究關(guān)注的只是被試在不同時間進(jìn)程上的反應(yīng)趨勢,并且時間間隔為被試間因素,所以為了便于討論,我們把兩種句-圖間隔下的數(shù)據(jù)分開分析,0 ms句-圖間隔下22名被試數(shù)據(jù),1500 ms句-圖間隔下18名被試數(shù)據(jù)。分別以被試和項(xiàng)目為隨機(jī)變量,對圖片判斷反應(yīng)時(因變量)進(jìn)行被試和項(xiàng)目的重復(fù)測量方差分析(即F和F)。統(tǒng)計結(jié)果表明：0 ms間隔下,句子版本主效應(yīng)不顯著,

F

(1,21)=0.026,

p

=0.874,

F

(1,18)=0.147,

p

=0.706;匹配狀態(tài)主效應(yīng)不顯著,

F

(1,21)=0.734,

p

=0.401,

F

(1,18)=0.923,

p

=0.349;句子版本和匹配狀態(tài)交互作用不顯著,

F

(1,21)=0.444,

p

=0.512,

F

(1,18)=0.202,

p

=0.659。1500 ms間隔下,句子版本主效應(yīng)不顯著,

F

(1,17)=0.365,

p

=0.554,

F

(1,18)=0.033,

p

=0.857;匹配狀態(tài)主效應(yīng)不顯著,

F

(1,17)=1.707,

p

=0.209,

F

(1,18)=1.558,

p

=0.228;句子版本和匹配狀態(tài)交互作用顯著,

F

(1,17)=5.266,

p

=0.035,

F

(1,18)=2.387,

p

=0.140。進(jìn)一步簡單效應(yīng)分析表明,匹配狀態(tài)在典型顏色版本上作用顯著,

F

(1,17)=6.342,

p

=0.022,即被試對與典型顏色句子相匹配的圖片判斷速度(1581 ms)顯著快于與其不匹配的圖片(1958 ms);匹配狀態(tài)在非典型顏色版本上的作用不顯著,

F

(1,17)=0.463,

p

=0.508。

表4 被試對圖片判斷的描述性統(tǒng)計

4.6 討論

由于實(shí)驗(yàn)三考察的是句子整合后動態(tài)變化顏色信息的心理表征過程,所以我們采用了事后測量的句-圖范式。結(jié)果在0 ms句-圖間隔下,所有主效應(yīng)和交互作用均不顯著,表明被試在句子理解早期還不能對發(fā)生轉(zhuǎn)換的顏色信息進(jìn)行心理表征。而在1500 ms句-圖間隔下,句子版本和匹配狀態(tài)交互作用顯著。簡單效應(yīng)分析發(fā)現(xiàn),在典型顏色版本下,被試對與句子匹配的圖片的判斷速度顯著快于與句子不匹配的圖片的判斷速度;而在非典型顏色版本下,匹配與不匹配條件差異不顯著。這表明,被試在句子理解后期才能夠?qū)φZ境中動態(tài)變化的顏色信息進(jìn)行心理表征,即動態(tài)顏色信息的心理表征具有非即時性,而且物體顏色的典型性對心理表征有重要影響。同樣,對于實(shí)驗(yàn)三中出現(xiàn)的匹配易化現(xiàn)象的背后的機(jī)制將在綜合討論中再詳做解釋。

由于句子的實(shí)時閱讀過程屬于句子理解早期,而本實(shí)驗(yàn)發(fā)現(xiàn)在句子理解早期大腦還不能對發(fā)生動態(tài)變化的顏色信息進(jìn)行心理表征,所以我們推測在句子實(shí)時閱讀過程中大腦也就不能對其進(jìn)行心理表征。因此,本研究沒有必要繼續(xù)考察句子實(shí)時閱讀過程中動態(tài)顏色信息的心理表征過程。

5 綜合討論

5.1 句子理解中匹配易化和不匹配易化的反應(yīng)機(jī)制

如上所述,為了避免以往研究中顏色信息心理表征不一致的結(jié)果,本研究不再設(shè)置500 ms這一不同心理表征的轉(zhuǎn)折點(diǎn),而是在統(tǒng)一實(shí)驗(yàn)材料和實(shí)驗(yàn)任務(wù)的條件下,設(shè)置了加工早期和晚期(0 ms和1500 ms)兩個時間點(diǎn)。實(shí)驗(yàn)結(jié)果發(fā)現(xiàn),在句子理解早期,實(shí)驗(yàn)一和實(shí)驗(yàn)二都出現(xiàn)了不匹配易化,即不匹配條件下被試對圖片的判斷速度顯著快于匹配條件。需要指出的是,因?yàn)閷?shí)驗(yàn)二研究的是句子實(shí)時閱讀過程中顏色信息的心理表征,因此更可以視作是句子理解的早期。在句子理解晚期,實(shí)驗(yàn)一和實(shí)驗(yàn)三的結(jié)果也是一致的,出現(xiàn)了匹配易化,即匹配條件下被試對圖片的判斷速度顯著快于不匹配條件?？偟膩碇v,本研究發(fā)現(xiàn)在句子理解早期出現(xiàn)了不匹配易化效應(yīng),而句子理解晚期出現(xiàn)了匹配易化效應(yīng)。

可以從兩種加工任務(wù)是否競爭同一神經(jīng)元來解釋這種現(xiàn)象的產(chǎn)生機(jī)制。在體驗(yàn)認(rèn)知的研究中會經(jīng)常出現(xiàn)兩種不同的效應(yīng)：一種是匹配易化;一種是不匹配易化。例如,在Kaschak等人(2005)的研究中,被試在觀察視覺刺激運(yùn)動的同時對聽到的含有動作信息的句子進(jìn)行意義性判斷。實(shí)驗(yàn)結(jié)果發(fā)現(xiàn)當(dāng)兩種運(yùn)動方向匹配時,被試的反應(yīng)時較長。研究者認(rèn)為產(chǎn)生這一現(xiàn)象的原因是當(dāng)表征某一運(yùn)動方向的神經(jīng)元被視覺刺激運(yùn)動任務(wù)激活時就較難被理解句子的心理表征過程獲得;而在不匹配條件下,神經(jīng)元就容易被理解句子的心理表征過程獲得。Boulenger等人(2006)的研究也發(fā)現(xiàn)產(chǎn)生兩種效應(yīng)的原因是兩種加工任務(wù)是否競爭同一神經(jīng)元。當(dāng)動詞呈現(xiàn)和真實(shí)運(yùn)動同時進(jìn)行時產(chǎn)生不匹配易化現(xiàn)象,而當(dāng)加工完動詞后再進(jìn)行真實(shí)運(yùn)動時出現(xiàn)匹配易化現(xiàn)象。本研究中,在句子理解早期就讓被試判斷圖片,那么,這兩個任務(wù)間就可能產(chǎn)生相互干擾。按照體驗(yàn)認(rèn)知的相關(guān)理論,人類理解語言的過程就是對其進(jìn)行心理模擬的過程,這一過程必然會激活顏色信息表征的神經(jīng)元。在句子理解早期,由于表征這一顏色的神經(jīng)元正在加工句子中的顏色信息,所以當(dāng)判斷圖片中物體的顏色時,因其形成相同的表征(如句子理解中模擬的“番茄”一詞的“紅色”表征與判斷圖片中“番茄”的“紅色”表征相一致),這就形成了兩個任務(wù)競爭相同的認(rèn)知資源。因此,在顏色神經(jīng)元處在加工句子的任務(wù)上時,判斷圖片任務(wù)就不能即刻獲得該神經(jīng)元,此時就產(chǎn)生了干擾,即出現(xiàn)匹配的抑制反應(yīng)。相反,如果這兩個心理表征不同,一個是句子理解中模擬出的“番茄”一詞的“紅色”,另一個是圖片判斷中的“番茄”一詞的“綠色”,由于它們不是在共同的神經(jīng)元上進(jìn)行競爭,這樣反而出現(xiàn)不匹配易化效應(yīng)。到了句子理解晚期,由于對句子加工有了充分的時間,這時它不再占用表征句子中隱含顏色信息的神經(jīng)元,所以當(dāng)判斷圖片中物體的顏色正好與之一致時,可以促進(jìn)圖片判斷,產(chǎn)生匹配易化效應(yīng)。

另外,無論認(rèn)知資源充足時的匹配易化,還是認(rèn)知資源不足時的不匹配易化,都表明被試讀完句子后激活了隱含的顏色知覺信息,對句子所描述的情境進(jìn)行了心理表征,支持了語言理解的體驗(yàn)觀,即對含有顏色信息的語言的理解和顏色知覺具有同一性(Connell,2007;Richter&Zwaan,2009)。

5.2 句子閱讀中靜態(tài)顏色信息心理表征的即時性和局部性

實(shí)驗(yàn)一探討的是句子整合后顏色信息心理表征的特點(diǎn)。實(shí)驗(yàn)結(jié)果發(fā)現(xiàn),在句子理解早期是不匹配易化現(xiàn)象,而在句子理解晚期是匹配易化現(xiàn)象。這表明,心理表征在句子整合后0ms就可以發(fā)生,即大腦對靜態(tài)顏色信息的心理表征具有即時性的特點(diǎn)。實(shí)驗(yàn)二對句子閱讀過程中顏色信息的心理表征過程進(jìn)行了探索。結(jié)果發(fā)現(xiàn),不匹配條件下被試對圖片的閱讀時間顯著短于匹配條件。匹配主效應(yīng)在圖片窗口就能出現(xiàn),說明了心理表征過程是迅速發(fā)生的,即顏色信息的心理表征是具有即時性的。Zwaan和Taylor(2006)的研究表明句子閱讀過程中動作信息的表征是即時的、迅速的,而本研究將這種動作信息表征的即時性擴(kuò)展到了顏色視覺信息。并且此時不匹配條件下的閱讀時間顯著短于匹配條件,這和實(shí)驗(yàn)一中句子理解早期的結(jié)果相一致,因?yàn)榫渥蛹磿r閱讀和句子整合后的理解早期都屬于認(rèn)知資源相對不充足的情況。Therriault等人(2009)利用圖片探測中也考察了句子閱讀過程的心理表征,但其實(shí)驗(yàn)結(jié)果沒有出現(xiàn)不匹配易化現(xiàn)象?？赡艿脑蚴?該研究的實(shí)驗(yàn)材料包含物體的典型顏色(紅色的番茄)、灰色(番茄的簡筆畫)和不規(guī)范顏色(藍(lán)色的番茄),但并不涉及物體的非典型顏色(綠色的番茄)。因此,該研究結(jié)果和我們實(shí)驗(yàn)二的實(shí)驗(yàn)結(jié)果不存在可比性?？傊?在句子閱讀理解的中,句子所隱含的靜態(tài)顏色信息的心理表征具有即時性。

在實(shí)驗(yàn)二中,對于圖片后第一個詞的閱讀時間,當(dāng)句子語境支持非典型顏色時,不匹配條件顯著短于匹配條件;而當(dāng)句子語境支持典型顏色時,不匹配條件和匹配條件無顯著差異。就是說,典型顏色版本下被試對顏色信息的心理表征在圖片窗口就可以完成,而非典型顏色版本下被試對顏色信息的心理表征還會延續(xù)到圖片后第一個詞。這說明,句子閱讀過程中典型顏色信息的心理表征是不僅具有即時特點(diǎn),還具有局部性特點(diǎn)。而句子閱讀中非典型顏色信息的心理表征出現(xiàn)了一種非局部現(xiàn)象,即在圖片窗口顏色信息的表征就立即開始,并延長到圖片后第一個詞結(jié)束。相對于典型顏色,非典型顏色的心理表征持續(xù)了更長的時間,這說明非典型顏色的心理表征需要消耗更多的加工資源。這從另一個角度反映了物體的非典型顏色相對于典型顏色更難以表征,而人們在日常生活中積累的關(guān)于物體典型顏色的圖式對認(rèn)知有重要作用。

綜上所述,句子閱讀理解中,句子隱含的靜態(tài)的顏色信息具有即時性和局部性的特點(diǎn),而且,靜態(tài)的非典型顏色信息的心理表征還具有非局部性。

5.3 句子閱讀中動態(tài)顏色信息的心理表征的特點(diǎn)

根據(jù)IEF理論,理解是以語言輸入為線索,通過整合和序列追蹤現(xiàn)實(shí)經(jīng)驗(yàn)痕跡,對所描述的事件的身臨其境的經(jīng)歷。大腦是否對靜態(tài)和動態(tài)的顏色信息都能進(jìn)行身臨其境的體驗(yàn),體驗(yàn)過程有何異同,是一個值得研究的問題。實(shí)驗(yàn)一和實(shí)驗(yàn)二考察的都是靜態(tài)顏色信息的心理表征。實(shí)驗(yàn)一發(fā)現(xiàn),無論是在句子整合后的理解早期,還是在句子整合后的理解晚期,被試都能對句子中隱含的顏色信息進(jìn)行身臨其境的體驗(yàn)。實(shí)驗(yàn)二發(fā)現(xiàn),句子閱讀過程中顏色信息的心理表征是一種即時的現(xiàn)象,即在圖片窗口就能立即開始表征。因此,總的來講,無論在句子理解早期還是在句子理解晚期,大腦都能對靜態(tài)顏色信息進(jìn)行心理表征。

而動態(tài)語境下顏色信息的心理表征就有所不同。在實(shí)驗(yàn)三中,在句子理解早期,所有效應(yīng)均不顯著,表明大腦還不能對發(fā)生變化的顏色信息進(jìn)行心理表征;而在句子理解晚期,被試對與典型顏色版本句子匹配的圖片的判斷速度快于與其不匹配的圖片,并且匹配狀態(tài)在非典型顏色版本上差異不顯著。這表明在句子理解晚期,大腦能夠?qū)Πl(fā)生變化的物體顏色信息進(jìn)行心理表征,但這種表征僅限于物體的典型顏色信息。句子實(shí)時閱讀過程中和句子整合后的0 ms都屬于語言理解早期,甚至前者所處的加工階段比后者還要早。因此,既然大腦在句子理解早期還不能對動態(tài)顏色信息進(jìn)行心理表征,也就不能在句子閱讀過程中對顏色信息進(jìn)行心理表征?？傮w來講,大腦在句子閱讀早期不能對動態(tài)顏色信息進(jìn)行即時地心理表征,只有在句子理解晚期才能對動態(tài)的典型顏色信息進(jìn)行心理表征。

6 結(jié)論

本研究以大學(xué)生為被試,探討了語言理解中顏色信息的心理表征,得出以下結(jié)論：

(1)在加工時間有限的情況下,兩個加工任務(wù)是否競爭相同的認(rèn)知資源是造成句-圖范式下匹配易化和不匹配易化的關(guān)鍵因素。

(2)對于句子隱含的靜態(tài)顏色信息,大腦對典型顏色信息的心理表征具有即時性和局部性,而對非典型顏色信息的心理表征還具有非局部性的特點(diǎn)。

(3)對于句子隱含的動態(tài)顏色信息,大腦不能對其進(jìn)行即時的心理表征,這種動態(tài)顏色信息的心理表征是在在句子閱讀晚期發(fā)生的。

Barsalou,L.W.(1999).Perceptual symbol systems.

Behavioral&Brain Sciences,22

(4),577–660.Boulenger,V.,Roy,A.C.,Paulignan,Y.,Deprez,V.,Jeannerod,M.,&Nazir,T.A.(2006).Cross-talk between language processes and overt motor behavior in the first 200 msec of processing.

Journal of Cognitive Neuroscience,18

(10),1607–1615.Cao,J.(2010).

Mental representations of color information in language comprehension.

Unpublished master’sthesis,Hebei Normal university.[曹靜.(2010).

語言理解中隱含的物體顏色的心理表征.

碩士學(xué)位論文,河北師范大學(xué).]Connell,L.(2007).Representing object colour in language comprehension.

Cognition,102

(3),476–485.Connell,L.,&Lynott,D.(2009).Is a bear white in the woods?Parallelrepresentation ofimplied objectcolorduring language comprehension.

Psychonomic Bulletin&Review,16

(3),573–577.Glenberg,A.M.,& Kaschak,M.P.(2002).Grounding language in action.

Psychonomic Bulletin&Review,9

(3),558–565.Kaschak,M.P.,Madden,C.J.,Therriault,D.J.,Yaxley,R.H.,Aveyard,M.,Blanchard,A.A.,&Zwaan,R.A.(2005).Perception of motion affects language processing.

Cognition,94

(3),B79–B89.Potter,M.C.,Kroll,J.F.,Yachzel,B.,Carpenter,E.,&Sherman,J.(1986).Pictures in sentences:Understanding without words.

Journal of Experimental Psychology:General,115

(3),281–294Richter,T.,&Zwaan,R.A.(2009).Processing of color words activates color representations.

Cognition,111

(3),383–389.Simmons,W.K.,Ramjee,V.,Beauchamp,M.S.,McRae,K.,Martin,A.,&Barsalou,L.W.(2007).A common neural substrate for perceiving and knowing about color.

Neuropsychologia,45

(12),2802–2810.Stanfield,R.A.,&Zwaan,R.A.(2001).The effect of implied orientation derived from verbal context on picture recognition.

Psychological Science,12

(2),153–156.Therriault,D.J.,Yaxley,R.H.,&Zwaan,R.A.(2009).The role ofcolordiagnosticity in objectrecognition and representation.

Cognitive Processing,10

(4),335–342.Wang,R.M.,Mo,L.,Li,L.,Wang,S.P.,&Wu,J.(2005).Perceptual symbol representation and propositional symbol representation in language comprehension.

Acta Psychologica Sinica,37

(2),143–150.[王瑞明,莫雷,李利,王穗蘋,吳俊.(2005).言語理解中的知覺符號表征與命題符號表征.

心理學(xué)報,37

(2),143–150.]Yaxley,R.H.,&Zwaan,R.A.(2007).Simulating visibility during language comprehension.

Cognition,105

(1),229–236.Zwaan,R.A.(2003).The immersed experiencer:Toward an embodied theory of language comprehension.In H.R.Brian(Ed.),

Psychology of Learning and Motivation

(Vol.44,pp.35–62).New York:Academic Press.Zwaan,R.A.,Stanfield,R.A.,&Yaxley,R.H.(2002).Language comprehenders mentally represent the shapes of objects.

Psychological Science,13

(2),168–171.Zwaan,R.A.,& Taylor,L.J.(2006).Seeing,acting,understanding: Motor resonance in language comprehension.

JournalofExperimentalPsychology:General,135

(1),1–11.