鄰近效應(yīng)對(duì)多媒體學(xué)習(xí)中圖文整合的影響：線索的作用*

(青少年網(wǎng)絡(luò)心理與行為教育部重點(diǎn)實(shí)驗(yàn)室;華中師范大學(xué)心理學(xué)院,武漢 430079)

1 問題提出

多媒體學(xué)習(xí)(multimedia learning)是指對(duì)言語(yǔ)(口頭語(yǔ)言和文字)和圖片表征材料(圖片、聲音、視頻等)的心理建構(gòu)和加工(Mayer,2005)。隨著科技的不斷發(fā)展,多媒體學(xué)習(xí)材料在教學(xué)及其他領(lǐng)域也得到了普及。但是豐富多樣的多媒體學(xué)習(xí)材料也同時(shí)存在信息量過大,學(xué)習(xí)者注意力被任務(wù)無關(guān)的信息捕獲而不利于學(xué)習(xí)效果的情況(Lowe,1999,2003),所以如何正確地引導(dǎo)學(xué)習(xí)者的注意力分配,以更好地促進(jìn)多媒體學(xué)習(xí)中的圖文整合效果是研究關(guān)心的重點(diǎn)。

1.1 鄰近效應(yīng)對(duì)圖文整合的影響

已有研究發(fā)現(xiàn),良好的圖文編排方式能夠有效地引導(dǎo)學(xué)習(xí)者的注意,并提高學(xué)習(xí)者的學(xué)習(xí)效果(Schnotz,2005)。為了防止圖文結(jié)合呈現(xiàn)時(shí)學(xué)習(xí)過程中的注意分離(split-attention),研究者將圖片信息和文本信息鄰近排列而提高學(xué)習(xí)成績(jī)的現(xiàn)象稱為鄰近效應(yīng)(contiguity effect)(Ayres &Sweller,2005;Mayer &Moreno,1998;Sweller,Van Merrienboer,&Paas,1998)。根據(jù)具體操作因素的不同,它又分為兩大類：一種是在空間位置上,圖片信息和文本信息鄰近排列而促進(jìn)學(xué)習(xí)的現(xiàn)象,稱為空間鄰近效應(yīng)(spatial contiguity effect);另一種是在時(shí)間因素上,圖片信息和文本信息同步編排而促進(jìn)學(xué)習(xí)的現(xiàn)象,稱為時(shí)間臨近效應(yīng)(temporal contiguity principle)(Mayer,2001)。在本研究中僅探討空間鄰近效應(yīng)。

空間鄰近效應(yīng)最先由Tarmizi和Sweller(1988)提出,他們發(fā)現(xiàn)在數(shù)學(xué)問題解決的過程中,將材料信息結(jié)合呈現(xiàn)能減少加工材料的認(rèn)知負(fù)荷,并提高學(xué)習(xí)的正確率。在Mayer(2001)的多媒體學(xué)習(xí)原則中,稱其為空間鄰近原則(spatial contiguity principle),認(rèn)為文本與圖片空間鄰近呈現(xiàn)時(shí),學(xué)習(xí)者可以減少搜索相關(guān)信息的時(shí)間,同時(shí)也能將搜索到的信息更多地保存在短時(shí)記憶中,這樣的呈現(xiàn)效果比隔開呈現(xiàn)更能促進(jìn)學(xué)生的學(xué)習(xí)(Ayres &Sweller,2005;Cierniak,Scheiter,&Gerjets,2009;Mayer &Moreno,1998)。Ginns(2006)對(duì)50項(xiàng)有關(guān)多媒體學(xué)習(xí)鄰近原則研究的元分析發(fā)現(xiàn),鄰近效應(yīng)確實(shí)有利于學(xué)習(xí)成績(jī)的提高或改進(jìn)學(xué)習(xí)的效果(

d

=0.85)?？臻g鄰近效應(yīng)在動(dòng)畫教學(xué)(Kester,Kirschner,&Merri?nboer,2005)、書本閱讀(Mayer,Steinhoff,Bower,&Mars,1995)和報(bào)紙閱讀(Holsanova,Holmberg,&Holmqvist,2009)等研究領(lǐng)域中證明了其獨(dú)特的優(yōu)勢(shì)。

在多媒體學(xué)習(xí)中,圖文的空間位置變化確實(shí)會(huì)影響學(xué)習(xí)者的學(xué)習(xí)效果,但是其具體的加工過程是什么,卻較少被研究所探討。以往的一些研究中,研究者更多從認(rèn)知負(fù)荷角度解釋鄰近效應(yīng)。認(rèn)為鄰近排列的文字和圖示減輕了學(xué)習(xí)者的認(rèn)知負(fù)荷,從而有利于學(xué)習(xí)(Cierniak et al.,2009;Moreno &Mayer,1999)。Schmidt-Weigand,Kohnert和 Glowalla(2010)采用眼動(dòng)技術(shù)探討了通道效應(yīng)和鄰近效應(yīng)的認(rèn)知加工過程,眼動(dòng)數(shù)據(jù)發(fā)現(xiàn)被試在學(xué)習(xí)有圖-文內(nèi)容的閃電原理時(shí)注視文字內(nèi)容更多;對(duì)圖片的注視時(shí)間在圖文鄰近情況下長(zhǎng)于圖文遠(yuǎn)離;注視圖片時(shí)間與學(xué)習(xí)結(jié)果呈現(xiàn)正相關(guān)。Johnson和 Mayer(2012)研究發(fā)現(xiàn),圖文鄰近呈現(xiàn)組在圖片和文字間的注視點(diǎn)轉(zhuǎn)換比圖文遠(yuǎn)離時(shí)更加頻繁?；谶@些研究,本研究推測(cè)也許是圖-文位置的鄰近促進(jìn)了學(xué)習(xí)者的視覺搜索,進(jìn)而促進(jìn)了圖片知識(shí)和文本知識(shí)的整合,促進(jìn)了學(xué)習(xí)的結(jié)果。這就需要記錄學(xué)習(xí)者學(xué)習(xí)過程中的眼動(dòng)數(shù)據(jù),進(jìn)一步驗(yàn)證是否圖-文鄰近有利于學(xué)習(xí)者的注意加工過程。

1.2 線索對(duì)圖文整合的影響

在多媒體學(xué)習(xí)中,除了調(diào)整圖文位置來加強(qiáng)圖文整合外,在學(xué)習(xí)材料中適當(dāng)?shù)丶尤刖€索(cueing)也是引導(dǎo)注意力分配的一個(gè)常用方法。這里的線索是指通過操作指導(dǎo)材料視覺空間上的特征,從而達(dá)到幫助學(xué)習(xí)者注意相關(guān)信息以更好地把新知識(shí)與已有知識(shí)組織和整合成統(tǒng)一圖式的目的(綜述見：De Koning,Tabbers,Rikers,&Paas,2009)。線索的類型繁多,包括列舉大綱(topic shifts)、寫標(biāo)題(outlines or headings )、箭頭(arrows)、顏色(color)等(中文綜述見：王福興,段朝輝,周宗奎,2013)。綜述以往研究發(fā)現(xiàn),對(duì)多媒體學(xué)習(xí)注意引導(dǎo)最有效的線索是顏色(Kalyuga,Chandler,&Sweller,1999;Ozcelik,Arslan-Ari,&Cagiltay,2010;Ozcelik,Karakus,Kursun,&Cagiltay,2009)和對(duì)比度變化(De Koning,Tabbers,Rikers,&Paas,2007,2010)。并且考慮到教學(xué)設(shè)置的操作性和實(shí)用性,本研究采用顏色作為線索,通過對(duì)學(xué)習(xí)材料中的關(guān)鍵信息進(jìn)行顏色凸顯以區(qū)別于其他信息的方式來引導(dǎo)注意加工、促進(jìn)學(xué)習(xí)(不同類型線索有效性評(píng)價(jià)見：王福興 等,2013.p1431)。

綜述以往研究發(fā)現(xiàn),線索影響多媒體學(xué)習(xí)效果主要是通過三步進(jìn)行。首先是引導(dǎo)學(xué)習(xí)者注意到線索區(qū),從而引導(dǎo)學(xué)習(xí)者對(duì)知識(shí)的組織,最后幫助學(xué)習(xí)者進(jìn)行新舊知識(shí)的整合(De Koning et al.,2009;Mautone &Mayer,2001)。在對(duì)多媒體學(xué)習(xí)的研究中,顏色線索在學(xué)習(xí)鋼琴運(yùn)行原理(Boucheix &Lowe,2010)、飛機(jī)引擎的工作原理(Ozcelik et al.,2010)、飛機(jī)的起飛原理(Mautone &Mayer,2001)、心血管循環(huán)系統(tǒng)(De Koning et al.,2007)和齒輪結(jié)構(gòu)(Boucheix &Guignard,2005)等知識(shí)學(xué)習(xí)上已經(jīng)得到正面的驗(yàn)證,發(fā)現(xiàn)顏色線索確實(shí)能提高學(xué)習(xí)者對(duì)知識(shí)的理解,從而在理解或保持測(cè)驗(yàn)上得分更高。研究進(jìn)一步采用眼動(dòng)技術(shù)探討顏色線索和空間鄰近對(duì)多媒體學(xué)習(xí)注意引導(dǎo)和學(xué)習(xí)效果的影響。

在多媒體學(xué)習(xí)中,線索即便有引導(dǎo)學(xué)習(xí)者注意分配的作用,但是能否有效地改善對(duì)知識(shí)的識(shí)記和理解卻存在分歧。對(duì)線索研究的回顧發(fā)現(xiàn)當(dāng)文本信息不與圖片同時(shí)出現(xiàn)時(shí),無論其作為啟動(dòng)信號(hào)出現(xiàn)在動(dòng)畫或圖片信息的前面(Crooks,Cheon,Inan,Ari,&Flores,2012;De Koning et al.,2010;Fischer &Schwan,2010;Kriz &Hegarty,2007),還是作為補(bǔ)充信息出現(xiàn)在動(dòng)畫或圖片信息的后面(Fischer &Schwan,2010),圖片上設(shè)置的視覺線索都沒有達(dá)到線索預(yù)期的效果。這也許是因?yàn)槲谋拘畔⑴c圖片信息的時(shí)間不同步影響了知識(shí)的組織和加工,使得線索即使達(dá)到了引導(dǎo)注意的目的,但是引導(dǎo)知識(shí)組織和整合的作用卻沒有顯現(xiàn)(參見：De Koning et al.,2009)。相反的,當(dāng)文本線索與圖片信息同步出現(xiàn)時(shí),文本線索和視覺線索引導(dǎo)注意、組織和整合知識(shí)的功能都能很好地實(shí)現(xiàn),學(xué)習(xí)者的學(xué)習(xí)成績(jī)也得到了提升(Boucheix &Guignard,2005;Boucheix &Lowe,2010;Mautone &Mayer,2001;Ozcelik et al.,2010)。由此推測(cè),線索對(duì)多媒體學(xué)習(xí)效果的影響很大程度上與圖文位置的呈現(xiàn)有很大關(guān)系。因此,本研究以顏色作為線索進(jìn)一步探討線索是否在圖文鄰近效應(yīng)的加工中起到調(diào)節(jié)作用。此外,將線索效應(yīng)與鄰近效應(yīng)結(jié)合也有助于探索線索在什么條件下發(fā)揮作用,為有效使用線索提供依據(jù)。

基于以上論述,研究以多媒體學(xué)習(xí)中經(jīng)典的“閃電的形成原理”作為學(xué)習(xí)材料(Mayer,2005;Mayer &Moreno,1998;Moreno &Mayer,1999),采用文字與圖片同時(shí)呈現(xiàn)的動(dòng)畫作為呈現(xiàn)形式,同時(shí)在文本和圖形中加入顏色線索,來考查顏色線索和鄰近效應(yīng)在多媒體學(xué)習(xí)中對(duì)圖文知識(shí)識(shí)記及其理解的影響。此外,借助于即時(shí)(moment to moment)記錄和反應(yīng)個(gè)體視覺認(rèn)知加工和注意分配的眼動(dòng)技術(shù)(多媒體學(xué)習(xí)眼動(dòng)研究評(píng)述見：Hy?n?,2010;Mayer,2010;Scheiter &Van Gog,2009;Van Gog &Scheiter,2010),探討鄰近效應(yīng)和線索效應(yīng)在圖文整合中學(xué)習(xí)者的注意分配問題。以往關(guān)于空間鄰近效應(yīng)研究大部分都證明了空間鄰近要好于空間遠(yuǎn)離(Cierniak et al.,2009;Ginns,2006;Kester,Kirschner,&van Merri?nboer,2005;Mayer &Moreno,1998),所以研究預(yù)期假設(shè)認(rèn)為：圖文位置鄰近排列更有利于學(xué)習(xí),并且會(huì)促進(jìn)學(xué)習(xí)者對(duì)學(xué)習(xí)材料的視覺搜索,即鄰近排列的圖文會(huì)讓被試更多注視線索信息或文字信息。對(duì)線索綜述也可以發(fā)現(xiàn),顏色線索在很多研究中都能有效引導(dǎo)注意、促進(jìn)知識(shí)整合(Kalyuga et al.,1999;Ozcelik et al.,2010;Ozcelik et al.,2009),研究預(yù)期學(xué)習(xí)材料中加入線索會(huì)促進(jìn)學(xué)習(xí)效果,有線索的測(cè)驗(yàn)成績(jī)要好于無線索。根據(jù)線索可以引導(dǎo)注意假設(shè)(De Koning et al.,2009;Mautone&Mayer,2001),線索加入會(huì)凸顯關(guān)鍵信息,被試對(duì)有顏色線索的信息注視會(huì)更多。對(duì)于線索和圖文的物理排列位置相互作用,根據(jù)相關(guān)的眼動(dòng)研究結(jié)果(Johnson &Mayer,2012;Schmidt-Weigand et al.,2010),研究推測(cè)線索會(huì)更加凸顯鄰近效應(yīng),即位置鄰近且有線索時(shí)最有利于學(xué)習(xí)者視覺搜索,從而促進(jìn)學(xué)習(xí)的效果。

2 方法

實(shí)驗(yàn)設(shè)計(jì)為線索(無線索、有線索)和圖文位置(遠(yuǎn)離、鄰近)的兩因素被試間設(shè)計(jì),具體設(shè)計(jì)參見圖1。

2.1 被試

被試為華中師范大學(xué)在校大學(xué)生,所有被試都經(jīng)過經(jīng)驗(yàn)水平前測(cè)問卷進(jìn)行篩選。實(shí)驗(yàn)共招募符合要求被試57人,刪除眼動(dòng)數(shù)據(jù)異常的6人,最后有效被試51人。被試被隨機(jī)分配到4種條件下：其中遠(yuǎn)離無線索組13人,遠(yuǎn)離有線索組12人,鄰近無線索組14人,鄰近有線索組12人。男生14人,女生37人,平均年齡22歲(

SD

=2.4)。所有被試的視力或者矯正視力正常,無色弱或者色盲。在實(shí)驗(yàn)結(jié)束后,每個(gè)被試得到一份小禮品或者課堂學(xué)分作為回饋。

因變量包括：(1)測(cè)驗(yàn)成績(jī)：學(xué)習(xí)后的保持測(cè)驗(yàn)和遷移測(cè)驗(yàn)。(2)主觀評(píng)定：動(dòng)畫難度評(píng)定和問卷難度評(píng)定。(3)眼動(dòng)：興趣區(qū)眼動(dòng)注視指標(biāo)。

2.2 材料

2.2.1 學(xué)習(xí)材料

實(shí)驗(yàn)學(xué)習(xí)材料來自 Mayer在多媒體學(xué)習(xí)中使用的經(jīng)典材料“閃電的形成原理”(Mayer,2005;Mayer &Moreno,1998;Moreno &Mayer,1999),具體刺激材料樣式見圖1。動(dòng)畫文字部分內(nèi)容從英文翻譯成中文,為了確保文字翻譯的準(zhǔn)確性,研究者又請(qǐng)母語(yǔ)為英語(yǔ)、第二語(yǔ)言為漢語(yǔ)的美國(guó)留學(xué)生翻譯回英文,翻譯后的一致率為85%。研究者將翻譯不一致的地方與翻譯者探討后最終確定文字材料部分的中文內(nèi)容。研究將學(xué)習(xí)材料制作成一段動(dòng)態(tài)的動(dòng)畫呈現(xiàn),動(dòng)畫素材格式為800×600像素的AVI,由16幅圖片素材和16段文字內(nèi)容構(gòu)成,整個(gè)動(dòng)畫持續(xù)時(shí)間為155秒。其中圖片與文本描述在動(dòng)畫中一一對(duì)應(yīng),由電腦控制使圖文同步呈現(xiàn)。線索設(shè)置采用紅色作為標(biāo)記(Ozcelik et al.,2010)。其中線索組按照任務(wù)相關(guān)與任務(wù)無關(guān)(Canham &Hegarty,2010;Hegarty,Canham,&Fabrikant,2010)的劃分標(biāo)準(zhǔn),把文字區(qū)和圖片區(qū)的相關(guān)興趣區(qū)劃為線索區(qū),經(jīng)評(píng)定,線索區(qū)的信息與保持測(cè)驗(yàn)的答案一致率達(dá)到95%以上。

2.2.2 前測(cè)問卷

氣象知識(shí)前測(cè)問卷參照 Mayer等人的研究編制(Mayer &Moreno,1998;Moreno &Mayer,1999),用來控制被試的經(jīng)驗(yàn)水平,共 8題：1)我定期閱覽報(bào)紙或者網(wǎng)上的天氣預(yù)報(bào);2)我知道氣象中冷鋒的含義;3)我能區(qū)分積云與雨云的不同;4)我知道低氣壓系統(tǒng)是如何運(yùn)行的;5)我知道刮風(fēng)是如何形成的;6)我知道這個(gè)符號(hào)(冷鋒標(biāo)志)的含義;7)我知道這個(gè)符號(hào)(暖鋒標(biāo)志)的含義。其中每題按自己對(duì)知識(shí)的了解情況分“很少、較少、一般、較多、很多”五個(gè)維度計(jì)分,共5分。

2.2.3 保持測(cè)驗(yàn)和遷移測(cè)驗(yàn)

保持測(cè)驗(yàn)和遷移測(cè)驗(yàn)參照已有研究,并參照刺激材料文字部分對(duì)問題表述和評(píng)分點(diǎn)進(jìn)行了翻譯和回翻,確保準(zhǔn)確性和一致性(Mayer,2005;Moreno &Mayer,1999)。保持測(cè)驗(yàn)要求學(xué)生寫出閃電的形成過程,評(píng)分點(diǎn)共19個(gè),滿分19分。保持測(cè)驗(yàn)?zāi)康脑谟诳疾鞂W(xué)習(xí)者對(duì)知識(shí)的識(shí)記能力。遷移測(cè)驗(yàn)由 4個(gè)問題組成,包括“如何才能降低閃電的強(qiáng)度？”;“假設(shè)你看見天空中的云層卻沒有出現(xiàn)閃電,這是為什么？”;“氣溫和閃電是什么關(guān)系？”;“什么導(dǎo)致了閃電？”。其中每個(gè)問題有兩個(gè)知識(shí)點(diǎn),滿分8分,遷移測(cè)驗(yàn)?zāi)康氖菧y(cè)查把知識(shí)遷移并應(yīng)用到新的情景中解決問題的能力。兩個(gè)測(cè)驗(yàn)評(píng)分由2名經(jīng)過培訓(xùn)的評(píng)分者完成,最后得分取2人的平均分。計(jì)算兩個(gè)獨(dú)立評(píng)分者的 Pearson積差相關(guān),保持測(cè)驗(yàn)為0.94,遷移測(cè)驗(yàn)為0.92(

p

<0.001)。

圖1 實(shí)驗(yàn)用動(dòng)畫材料截圖

2.2.4 主觀評(píng)定量表

動(dòng)畫主觀難度(1表示非常簡(jiǎn)單,9表示非常難)和測(cè)驗(yàn)難度(1表示最簡(jiǎn)單,9表示最難)評(píng)定均采用利克特9點(diǎn)評(píng)定。

2.3 儀器與程序

眼動(dòng)數(shù)據(jù)采集為EyeLink 1000 Desktop型眼動(dòng)儀(SR Research,Canada),采樣率250 Hz,瞳孔-角膜反射記錄,19英寸顯示器(1024×768分辨率,屏幕比例 5:4,眼睛距屏幕75 cm)。刺激材料可視區(qū)域的水平視角28.7度,垂直視角22.9度。

實(shí)驗(yàn)開始前,對(duì)所有被試進(jìn)行氣象學(xué)知識(shí)前測(cè)篩選。篩選結(jié)束后向被試呈現(xiàn)指導(dǎo)語(yǔ),告知實(shí)驗(yàn)內(nèi)容及要求。被試明白后進(jìn)行眼睛校準(zhǔn),然后進(jìn)入正式實(shí)驗(yàn)并學(xué)習(xí)動(dòng)畫視頻材料。實(shí)驗(yàn)結(jié)束后分別在規(guī)定時(shí)間內(nèi)完成兩份問卷：第一份問卷包括動(dòng)畫難度評(píng)定和保持測(cè)驗(yàn),規(guī)定時(shí)間為6分鐘;隨后呈現(xiàn)第二份問卷,包括遷移測(cè)驗(yàn)和問卷難度評(píng)定,共10分鐘。

3 結(jié)果

3.1 保持測(cè)驗(yàn)和遷移測(cè)驗(yàn)得分

為了檢驗(yàn)學(xué)生在不同的材料呈現(xiàn)形式及線索有無條件下對(duì)學(xué)習(xí)材料的識(shí)記、理解和應(yīng)用,研究采用了保持測(cè)驗(yàn)和遷移測(cè)驗(yàn),并以動(dòng)畫感知難度評(píng)定量表和問卷感知難度量表為補(bǔ)充,較為全面地對(duì)學(xué)習(xí)效果進(jìn)行了檢測(cè)(見表1)。

表1 各實(shí)驗(yàn)條件的問卷得分和線索區(qū)眼動(dòng)數(shù)據(jù)

3.2 圖片和文字興趣區(qū)的注視

由于學(xué)習(xí)材料為動(dòng)態(tài)視頻,所以眼動(dòng)數(shù)據(jù)處理時(shí)根據(jù)16幅圖片素材將動(dòng)畫視頻切分為16個(gè)片段,在每個(gè)片段上劃興趣區(qū)(圖片、文字、線索),使用EyeLink自帶的數(shù)據(jù)分析軟件 DataViewer導(dǎo)出 16個(gè)片段的眼動(dòng)數(shù)據(jù),最后再將 16個(gè)片段平均后注視數(shù)據(jù)作為每個(gè)被試對(duì)興趣區(qū)注視數(shù)據(jù)進(jìn)入統(tǒng)計(jì)分析。為了探討不同的線索及圖文空間位置是否會(huì)影響學(xué)習(xí)者對(duì)學(xué)習(xí)材料中圖片和文本的注意分配,及其相應(yīng)的認(rèn)知加工過程,本研究對(duì)四組動(dòng)畫材料進(jìn)行了圖片興趣區(qū)和文字興趣區(qū)的劃分,并確保不同圖文位置材料的文字區(qū)面積大小和圖片區(qū)面積大小差異不顯著。選取的眼動(dòng)指標(biāo)有興趣區(qū)停留時(shí)間百分比(Dwell Time Percent of AOI,簡(jiǎn)稱 DTP,指注視停留在圖片或文字區(qū)的時(shí)間與停留在整個(gè)動(dòng)畫上時(shí)間的比值,數(shù)值越大說明對(duì)圖或文的加工越長(zhǎng))、興趣區(qū)注視點(diǎn)個(gè)數(shù)(Fixation Count of AOI,簡(jiǎn)稱 FC,是指被試注視圖片或文字區(qū)域的注視點(diǎn)數(shù)量,數(shù)值越大說明注視次數(shù)越多)以及在興趣區(qū)的首次注視時(shí)間(First Fixation Time of AOI,簡(jiǎn)稱FFT,指的是對(duì)圖片區(qū)或文字區(qū)第一次注視加工的時(shí)間,反映了被試對(duì)圖或文字的第一次加工時(shí)間)(有關(guān)眼動(dòng)指標(biāo)含義參見：閆國(guó)利 等,2013)。這三個(gè)指標(biāo)都可以說明學(xué)習(xí)者對(duì)興趣區(qū)(圖或文字)的關(guān)注程度,一般而言,值越大就代表對(duì)興趣區(qū)的注意加工越多。由于100 ms是作為區(qū)分注視與其他眼動(dòng)活動(dòng)的界限(Manor &Gordon,2003),所以研究把注視時(shí)間100 ms及以上的注視點(diǎn)納入結(jié)果分析。對(duì)這些眼動(dòng)數(shù)據(jù)進(jìn)行了 2(線索：無線索、有線索)×2(圖文位置：遠(yuǎn)離、鄰近)×2(興趣區(qū)：圖片區(qū)、文字區(qū))三因素混合重復(fù)測(cè)量方差分析(數(shù)據(jù)見表2)。

表2 各實(shí)驗(yàn)條件下對(duì)圖片-文字區(qū)的注視

3.3 線索區(qū)的注視

由上述結(jié)果看到,圖文位置會(huì)影響學(xué)習(xí)者對(duì)圖文信息的加工,并且線索也會(huì)在一定程度上影響這種圖文整合。所以為了進(jìn)一步探討線索的影響機(jī)制,研究把材料中的線索區(qū)域作為興趣區(qū),對(duì)比分析鄰近和遠(yuǎn)離情況下,有線索組和無線索組的眼動(dòng)差異。選取的眼動(dòng)指標(biāo)有興趣區(qū)停留時(shí)間百分比(DTP,含義同前)、興趣區(qū)注視點(diǎn)個(gè)數(shù)百分比(Fixation Count Percent of AOI,簡(jiǎn)稱FCP,是指對(duì)線索注視點(diǎn)個(gè)數(shù)占對(duì)整個(gè)動(dòng)畫注視點(diǎn)個(gè)數(shù)比例,值越大說明對(duì)線索注視和加工越多)和進(jìn)出興趣區(qū)次數(shù)(Run Count of AOI,簡(jiǎn)寫為RC,是指被試頻繁地在線索和其他區(qū)域間來回注視的次數(shù),值越大說明對(duì)興趣區(qū)關(guān)注越多)共3個(gè)指標(biāo),并進(jìn)行2(線索：有線索、無線索)×2(圖文位置：遠(yuǎn)離、鄰近)被試間分析(結(jié)果見表1)。

在線索區(qū)停留時(shí)間百分比(DTP)上：線索的主效應(yīng)不顯著,

F

<1,

p

>0.05;圖文位置的主效應(yīng)不顯著,

F

<1,

p

>0.05;圖文位置和線索的交互作用不顯著,

F

<1,

p

>0.05。在線索區(qū)注視點(diǎn)個(gè)數(shù)百分比(FCP)上：線索的主效應(yīng)不顯著,

F

<1,

p

>0.05;圖文位置的主效應(yīng)不顯著,

F

<1,

p

>0.05;圖文位置和線索的交互作用不顯著,

F

<1,

p

>0.05。

4 討論

本研究旨在探討圖文的空間鄰近效應(yīng)和線索對(duì)多媒體學(xué)習(xí)圖文加工的影響,并探索顏色線索在空間鄰近效應(yīng)中所具有的作用。結(jié)果發(fā)現(xiàn)：圖文位置會(huì)影響學(xué)習(xí)者對(duì)學(xué)習(xí)材料注意,圖文鄰近比圖文遠(yuǎn)離在材料上的停留時(shí)間更長(zhǎng)且注視次數(shù)更多,在學(xué)習(xí)后的保持測(cè)驗(yàn)和遷移測(cè)驗(yàn)上的學(xué)習(xí)成績(jī)也更好,這個(gè)結(jié)果與研究的預(yù)期假設(shè)一致。對(duì)圖片和文字的眼動(dòng)分析發(fā)現(xiàn),線索只是影響了早期的注意引導(dǎo),有線索的興趣區(qū)注視點(diǎn)個(gè)數(shù)比無線索時(shí)更多,但線索條件在保持和遷移測(cè)驗(yàn)上卻沒有差異,沒有驗(yàn)證預(yù)期的假設(shè)。當(dāng)把圖片不同位置進(jìn)行線索標(biāo)記后,結(jié)果發(fā)現(xiàn)圖文鄰近在有線索時(shí)得到更多的注視次數(shù)和更長(zhǎng)的首次停留時(shí)間,在關(guān)鍵興趣區(qū)的進(jìn)出次數(shù)也更多,但是這種差異卻沒有體現(xiàn)在測(cè)驗(yàn)成績(jī)上。

研究發(fā)現(xiàn)圖片和文本鄰近呈現(xiàn)的測(cè)驗(yàn)成績(jī)要高于圖文遠(yuǎn)離,這與前人的研究一致(Ayres &Sweller,2005;Mayer &Moreno,1998;Moreno &Mayer,1999;Tarmizi &Sweller,1988),即圖片、文本在視覺空間和時(shí)間空間上的鄰近呈現(xiàn)會(huì)有利于圖-文信息加工,從而促進(jìn)對(duì)知識(shí)理解和記憶。對(duì)眼動(dòng)分析僅發(fā)現(xiàn)圖文鄰近排列的首次注視時(shí)長(zhǎng)更長(zhǎng)。僅對(duì)圖文位置主效應(yīng)分析看似與預(yù)期假設(shè)以及空間鄰近效應(yīng)解釋不一致。但是,當(dāng)把圖片和文字興趣區(qū)分析納入后發(fā)現(xiàn),圖文位置排列影響到了對(duì)文字和圖片注視分配,即當(dāng)圖文鄰近排列時(shí)學(xué)習(xí)者對(duì)文字注視時(shí)間比例更高、注視點(diǎn)個(gè)數(shù)更多,而圖文遠(yuǎn)離排列時(shí)對(duì)圖片注視時(shí)間和次數(shù)更高?？臻g鄰近經(jīng)典假設(shè)認(rèn)為鄰近排列的圖-文將會(huì)減少學(xué)習(xí)者在圖片和文本之間進(jìn)行信息搜尋的時(shí)間,減少額外信息的干擾、節(jié)省認(rèn)知資源,利于在圖片和文本之間建立聯(lián)結(jié),從而提高學(xué)習(xí)效果(Johnson &Mayer,2012;Mayer,2001;Tarmizi &Sweller,1988)。從本研究結(jié)果看,圖文的空間位置鄰近效應(yīng)主要是影響了對(duì)文字和圖片注意分配,從而導(dǎo)致其學(xué)習(xí)結(jié)果的提高。

這種在圖文呈現(xiàn)方式的閱讀模式中,對(duì)文本的更多關(guān)注被稱為以文本為導(dǎo)向的閱讀(Holsanova et al.,2009)。多媒體學(xué)習(xí)中圖文整合的文字導(dǎo)向的加工在Schmidt-Weigand等人(2010)研究中得到證實(shí)。這說明以文本為導(dǎo)向的閱讀模式不僅在報(bào)紙閱讀(Holsanova et al.,2009)上,兒童科學(xué)文本閱讀(Hannus &Hy?n?,1999)以及圖文廣告(Rayner,Rotello,Stewart,Keir,&Duffy,2001)中被證實(shí),也出現(xiàn)在動(dòng)態(tài)呈現(xiàn)的多媒體學(xué)習(xí)中,所以圖文整合中的文本閱讀模式對(duì)今后多媒體教學(xué)材料的個(gè)性化設(shè)計(jì)可能會(huì)有所啟發(fā)。

此外,研究還發(fā)現(xiàn)圖文鄰近時(shí),學(xué)習(xí)者首次停留在關(guān)鍵興趣區(qū)的時(shí)間不僅更長(zhǎng),而且注意轉(zhuǎn)換(進(jìn)出興趣區(qū)次數(shù))也更多,這個(gè)結(jié)果與已有研究一致(Johnson &Mayer,2012)。進(jìn)一步證實(shí)了圖片和文本位置鄰近確實(shí)影響學(xué)習(xí)者對(duì)信息的搜索和注意的分配,鄰近呈現(xiàn)會(huì)減少信息之間的干擾,節(jié)省認(rèn)知資源(Johnson &Mayer,2012)。Schmidt-Weigand等人(2010)雖然發(fā)現(xiàn)被試對(duì)圖片和文字注視會(huì)存在權(quán)衡,卻沒有發(fā)現(xiàn)對(duì)文本注視時(shí)間在圖文鄰近上有差異。本研究中不僅發(fā)現(xiàn)了保持和遷移測(cè)驗(yàn)上的空間鄰近效應(yīng),而且在眼動(dòng)數(shù)據(jù)上,也為空間鄰近的假設(shè)(圖-文鄰近可能有利于學(xué)習(xí)者視覺搜索過程,進(jìn)而提高了學(xué)習(xí)成績(jī))提供了直接數(shù)據(jù)支持。

研究并沒有發(fā)現(xiàn)預(yù)期顯著的線索作用,既沒有發(fā)現(xiàn)學(xué)習(xí)測(cè)驗(yàn)上顯著線索主效應(yīng),也沒有發(fā)現(xiàn)在眼動(dòng)指標(biāo)上有顯著主效應(yīng),僅在興趣區(qū)注視點(diǎn)個(gè)數(shù)上發(fā)現(xiàn)有線索時(shí)候注視圖文更多。De Koning等人(2009)認(rèn)為線索只有在實(shí)現(xiàn)注意導(dǎo)向(guiding attention)功能后,才能進(jìn)一步實(shí)現(xiàn)它結(jié)構(gòu)組織(organization of instruction)和知識(shí)元素整合(integrating elements into a functional model)的功能。線索這種自下而上影響認(rèn)知加工的方式在本研究中沒有被驗(yàn)證。綜述以往研究可以發(fā)現(xiàn),對(duì)于線索是否有效確實(shí)存在一定爭(zhēng)議(參見：王福興,段朝輝,周宗奎,2013),一部分研究確實(shí)沒有發(fā)現(xiàn)線索有效引導(dǎo)注意并促進(jìn)學(xué)習(xí)(e.g.De Koning,Tabbers,Rikers,&Paas,2011);但是,也有一部分研究發(fā)現(xiàn)線索能夠引導(dǎo)注意(e.g.Boucheix &Lowe,2010;De Koning et al.,2010;Ozcelik et al.,2010)。

意外的是,如果把圖文位置和圖片、文字興趣區(qū)納入后分析,發(fā)現(xiàn)線索可以使鄰近效應(yīng)更加凸顯。即有線索時(shí),學(xué)習(xí)者進(jìn)出關(guān)鍵信息區(qū)的次數(shù)在位置鄰近時(shí)會(huì)更多,對(duì)整個(gè)學(xué)習(xí)材料的注視次數(shù)也更多;有線索的圖文鄰近對(duì)文字注視要多于遠(yuǎn)離,圖文遠(yuǎn)離時(shí)有線索對(duì)圖片的注視也多于無線索。雖然線索對(duì)鄰近的突顯作用不是在所有眼動(dòng)指標(biāo)上都有體現(xiàn),但是,可以推測(cè)線索可能加速了學(xué)習(xí)者對(duì)關(guān)鍵信息的搜索,減少了額外的認(rèn)知負(fù)荷,凸顯了鄰近效應(yīng)。當(dāng)然,這種促進(jìn)作用并沒有在學(xué)習(xí)測(cè)驗(yàn)上體現(xiàn)出差異,所以,仍然需要進(jìn)一步實(shí)驗(yàn)來研究鄰近效應(yīng)對(duì)學(xué)習(xí)者的注意引導(dǎo)通過哪些因素起到調(diào)節(jié)作用。

對(duì)于線索在空間鄰近上的作用,也需要再思考線索起作用的邊界條件(boundary condition)(Mayer,2010)。線索可能只有在學(xué)習(xí)材料結(jié)構(gòu)非常復(fù)雜,學(xué)習(xí)者空間感知能力很低,并且先驗(yàn)知識(shí)經(jīng)驗(yàn)很少的情況下才會(huì)發(fā)揮其積極作用(De Koning et al.,2009)。本實(shí)驗(yàn)中線索之所以在學(xué)習(xí)效果上主效應(yīng)不顯著在眼動(dòng)上部分交互顯著,可能受到學(xué)習(xí)材料限制,因而使得線索的加入沒有必要,也就沒有起到幫助學(xué)習(xí)者對(duì)知識(shí)進(jìn)行心理表征的作用(Hegarty&Just,1993)。另一個(gè)原因可能是學(xué)習(xí)者沒有注意到動(dòng)畫材料中線索與關(guān)鍵信息的因果關(guān)系,因而對(duì)線索沒有進(jìn)行過多的關(guān)注,也就是說學(xué)習(xí)者即使知覺到了線索的外在表征,但是其內(nèi)在的知識(shí)組織和整合的作用卻沒有體現(xiàn)出來。今后探討線索的作用時(shí),應(yīng)該設(shè)法讓學(xué)習(xí)者知覺到線索的存在,以及線索在認(rèn)知加工上的深層次功能。

本研究通過對(duì)圖文鄰近效應(yīng)和線索的探討,發(fā)現(xiàn)了線索作為材料設(shè)計(jì)的方式之一,對(duì)材料的結(jié)構(gòu)及其復(fù)雜性有一定的要求。并且要想有效地實(shí)現(xiàn)線索的注意導(dǎo)向、結(jié)構(gòu)組織、知識(shí)元素整合的功能,對(duì)學(xué)習(xí)者的空間整合能力及其先前知識(shí)經(jīng)驗(yàn)也是有特定范圍約束的。鄰近效應(yīng)作為圖文空間變量,也具有注意導(dǎo)向和知識(shí)整合的功能。并且兩者之間在特定情況下會(huì)共同對(duì)學(xué)習(xí)者進(jìn)行影響。所以,未來研究可能需要考察學(xué)習(xí)者本身的知識(shí)經(jīng)驗(yàn)等特征的影響;或在被試的選取上遵循以往研究范式,對(duì)被試經(jīng)驗(yàn)進(jìn)行控制(e.g.Boucheix &Lowe,2010;Fischer &Schwan,2010)。所以,未來研究需要特別關(guān)注被試已經(jīng)具備的經(jīng)驗(yàn)知識(shí)。

5 結(jié)論

最后,研究得出以下結(jié)論：(1)多媒體中的圖文鄰近呈現(xiàn)有助于圖片和文本信息的注意聯(lián)結(jié)和知識(shí)整合,從而促進(jìn)基于多媒體的知識(shí)學(xué)習(xí)。(2)在圖文整合的多媒體學(xué)習(xí)中,雖然圖片占的面積更大,但是學(xué)習(xí)者表現(xiàn)出了文字導(dǎo)向的閱讀。(3)當(dāng)空間鄰近中加入線索后,線索可能使圖-文鄰近的排列得到凸顯從而促進(jìn)圖-文信息的搜索。

致謝：

感謝心理學(xué)院謝和平完成了補(bǔ)充實(shí)驗(yàn)的數(shù)據(jù)采集和分析工作,感謝錢瑩瑩、謝和平對(duì)文章進(jìn)行了多次挑剔閱讀和校對(duì)工作！Ayres,P.,&Sweller,J.(2005).The split-attention principle in multimedia learning.In R.E.Mayer(Ed.),

The Cambridge handbook of multimedia learning

(pp.135–146).New York:Cambridge University Press.Boucheix,J.-M.,&Guignard,H.(2005).What animated illustrations conditions can improve technical document comprehension in young students? Format,signaling and control of the presentation.

European Journal of Psychology of Education,20

(4),369–388.Boucheix,J.-M.,&Lowe,R.K.(2010).An eye tracking comparison of external pointing cues and internal continuous cues in learning with complex animations.

Learning and Instruction,20

(2),123–135.Canham,M.,&Hegarty,M.(2010).Effects of knowledge and display design on comprehension of complex graphics.

Learning and Instruction,20

(2),155–166.Cierniak,G.,Scheiter,K.,&Gerjets,P.(2009).Explaining the split-attention effect:Is the reduction of extraneous cognitive load accompanied by an increase in germane cognitive load?

Computers in Human Behavior,25

(2),315–324.Crooks,S.M.,Cheon,J.,Inan,F.,Ari,F.,&Flores,R.(2012).Modality and cueing in multimedia learning:Examining cognitive and perceptual explanations for the modality effect.

Computers in Human Behavior,28

(3),1063–1071.De Koning,B.B.,Tabbers,H.K.,Rikers,R.M.J.P.,&Paas,F.(2007).Attention cueing as a means to enhance learning from an animation.

Applied Cognitive Psychology,21

(6),731–746.De Koning,B.B.,Tabbers,H.K.,Rikers,R.M.J.P.,&Paas,F.(2009).Towards a framework for attention cueing in instructional animations:Guidelines for research and design.

Educational Psychology Review,21

(2),113–140.De Koning,B.B.,Tabbers,H.K.,Rikers,R.M.J.P.,&Paas,F.(2010).Attention guidance in learning from a complex animation:Seeing is understanding?

Learning and Instruction,20

(2),111–122.De Koning,B.B.,Tabbers,H.K.,Rikers,R.M.J.P.,&Paas,F.(2011).Attention cueing in an instructional animation:The role of presentation speed.

Computers in Human Behavior,27

(1),41–45.Fischer,S.,&Schwan,S.(2010).Comprehending animations:Effects of spatial cueing versus temporal scaling.

Learning and Instruction,20

(6),465–475.Ginns,P.(2006).Integrating information:A meta-analysis of the spatial contiguity and temporal contiguity effects.

Learning and Instruction,16

(6),511–525.Hannus,M.,&Hy?n?,J.(1999).Utilization of illustrations during learning of science textbook passages among low-and high-ability children.

Contemporary Educational Psychology,24

(2),95–123.Hegarty,M.,Canham,M.S.,&Fabrikant,S.I.(2010).Thinking about the weather:How display salience and knowledge affect performance in a graphic inference task.

Journal of Experimental Psychology:Learning,Memory,and Cognition,36

(1),37–53.Hegarty,M.,&Just,M.A.(1993).Constructing mental models of machines from text and diagrams.

Journal of Memory and Language,32

(6),717–742.Holsanova,J.,Holmberg,N.,&Holmqvist,K.(2009).Reading information graphics:The role of spatial contiguity and dual attentional guidance.

Applied Cognitive Psychology,23

(9),1215–1226.Hy?n?,J.(2010).The use of eye movements in the study of multimedia learning.

Learning and Instruction,20

(2),172–176.Johnson,C.I.,&Mayer,R.E.(2012).An eye movement analysis of the spatial contiguity effect in multimedia learning.

Journal of Experimental Psychology:Applied,18

(2),178–191.Kalyuga,S.,Chandler,P.,&Sweller,J.(1999).Managing split-attention and redundancy in multimedia instruction.

Applied Cognitive Psychology,13

(4),351–371.Kester,L.,Kirschner,P.A.,&Van Merri?nboer,J.J.G.(2005).The management of cognitive load during complex cognitive skill acquisition by means of computer-simulated problem solving.

British Journal of Educational Psychology,75

(1),71–85.Kriz,S.,&Hegarty,M.(2007).Top-down and bottom-up influences on learning from animations.

International Journal of Human-Computer Studies,65

(11),911–930.Lowe,R.K.(1999).Extracting information from an animation during complex visual learning.

European Journal of Psychology of Education,14

(2),225–244.Lowe,R.K.(2003).Animation and learning:Selective processing of information in dynamic graphics.

Learning and Instruction,13

(2),157–176.Manor,B.R.,&Gordon,E.(2003).Defining the temporal threshold for ocular fixation in free-viewing visuocognitive tasks.

Journal of Neuroscience Methods,128

(1–2),85–93.Mautone,P.D.,&Mayer,R.E.(2001).Signaling as a cognitive guide in multimedia learning.

Journal of Educational Psychology,93

(2),377–389.Mayer,R.E.(2001).

Multimedia learning

.New York:Cambridge University Press.Mayer,R.E.(2010).Unique contributions of eye-tracking research to the study of learning with graphics.

Learning and Instruction,20

(2),167–171.Mayer,R.E.(Ed.).(2005).

The Cambridge handbook of multimedia learning

.Cambridge:Cambridge University Press.Mayer,R.E.,&Moreno,R.(1998).A split-attention effect in multimedia learning:Evidence for dual processing systems in working memory.

Journal of Educational Psychology,90

(2),312–320.Mayer,R.E.,Steinhoff,K.,Bower,G.,&Mars,R.(1995).A generative theory of textbook design:Using annotated illustrations to foster meaningful learning of science text.

Educational Technology Research and Development,43

(1),31–41.Moreno,R.,&Mayer,R.E.(1999).Cognitive principles of multimedia learning:The role of modality and contiguity.

Journal of Educational Psychology,91

(2),358–368.Ozcelik,E.,Arslan-Ari,I.,&Cagiltay,K.(2010).Why does signaling enhance multimedia learning? Evidence from eye movements.

Computers in Human Behavior,26

(1),110–117.Ozcelik,E.,Karakus,T.,Kursun,E.,&Cagiltay,K.(2009).An eye-tracking study of how color coding affects multimedia learning.

Computers &Education,53

(2),445–453.Rayner,K.,Rotello,C.M.,Stewart,A.J.,Keir,J.,&Duffy,S.A.(2001).Integrating text and pictorial information:Eye movements when looking at print advertisements.

Journal of Experimental Psychology:Applied,7

(3),219–226.Scheiter,K.,&Van Gog,T.(2009).Using eye tracking in applied research to study and stimulate the processing of information from multi-representational sources.

Applied Cognitive Psychology,23

(9),1209–1214.Schmidt-Weigand,F.,Kohnert,A.,&Glowalla,U.(2010).Explaining the modality and contiguity effects:New insights from investigating students' viewing behaviour.

Applied Cognitive Psychology,24

(2),226–237.Schnotz,W.(2005).An integrated model of text and picture comprehension.In R.E.Mayer(Ed.),

The Cambridge handbook of multimedia learning

(pp.49–69).New York:Cambridge University Press.Sweller,J.,Van Merrienboer,J.,&Paas,F.(1998).Cognitive architecture and instructional design.

Educational Psychology Review,10

(3),251–296.Tarmizi,R.A.,&Sweller,J.(1988).Guidance during mathematical problem solving.

Journal of Educational Psychology,80

(4),424–436.Van Gog,T.,&Scheiter,K.(2010).Eye tracking as a tool to study and enhance multimedia learning.

Learning and Instruction,20

(2),95–99.Wang,F.X.,Duan,Z.H.,&Zhou,Z.K.(2013).Attention guidance in multimedia learning:The role of cueing.

Advances in Psychological Science,21

(8),1430–1440.[王福興,段朝輝,周宗奎.(2013).線索在多媒體學(xué)習(xí)中的作用.

心理科學(xué)進(jìn)展,21

(8),1430–1440.]Yan,G.L.,Xiong,J.P.,Zang,C.L.,Yu,L.L.,Cui,L.,&Bai,X.J.(2013).Review of eye-movement measures in reading research.

Advances in Psychological Science,21

(4),589–605.[閆國(guó)利,熊建萍,臧傳麗,余莉莉,崔磊,白學(xué)軍.(2013).閱讀研究中的主要眼動(dòng)指標(biāo)評(píng)述.

心理科學(xué)進(jìn)展,21

(4),589–605.]