多模態(tài)視角下用戶注意偏向與記憶的影響機(jī)制
——基于電影字幕的眼動(dòng)研究

喻國(guó)明 陳雪嬌 修利超

[提要]從插圖、字幕、彈幕再到現(xiàn)在的AR/VR、H5，單一模態(tài)的媒介表達(dá)形式越來(lái)越難以滿足當(dāng)下社會(huì)對(duì)信息傳達(dá)的需求，因此媒介載體不斷升級(jí)，從更高的維度來(lái)塑造表意資源的保真度。在這個(gè)過(guò)程中，“注意”愈發(fā)成為一種稀缺資源。本研究從“字幕”這個(gè)細(xì)小點(diǎn)切入，立足于交叉學(xué)科思維，結(jié)合眼動(dòng)實(shí)驗(yàn)和行為實(shí)驗(yàn)，探究母語(yǔ)電影中的字幕對(duì)用戶注意分配以及記憶效果的影響。結(jié)果顯示，在字幕組別(有字幕組、無(wú)字幕組和安慰劑對(duì)照組)之間，用戶對(duì)沒(méi)有加工困難的母語(yǔ)字幕表現(xiàn)出高度關(guān)注，但是這種字幕偏好性并沒(méi)有提高記憶效果；在畫面和文本之間，用戶會(huì)優(yōu)先加工畫面信息，但是記憶測(cè)試結(jié)果顯示用戶對(duì)文字的記憶效果更好。

媒介作為信息傳達(dá)的載體，在技術(shù)發(fā)展的過(guò)程中不斷實(shí)現(xiàn)組織化、結(jié)構(gòu)化升級(jí)。從單媒體、多媒體再到融媒體、智媒體，過(guò)去單一模態(tài)的媒介表達(dá)形式已難以滿足傳播者對(duì)意義傳達(dá)的需求，因此產(chǎn)業(yè)不斷升級(jí)，發(fā)展出更高維度的媒介載體來(lái)補(bǔ)充、協(xié)同、強(qiáng)化信息傳輸過(guò)程中表意資源的豐富性以及保真度。在此背景下，由言語(yǔ)以及非言語(yǔ)等表意系統(tǒng)所建構(gòu)的多模態(tài)話語(yǔ)成為當(dāng)下社會(huì)實(shí)踐的重要形式。[1]

多模態(tài)話語(yǔ)系統(tǒng)的發(fā)展勢(shì)必會(huì)帶來(lái)用戶信息接受方式的變化。技術(shù)變革了媒介內(nèi)容的呈現(xiàn)形式，用戶的感官系統(tǒng)適應(yīng)性地得到“延伸”。在加工如報(bào)紙、廣播等單一模態(tài)的媒介內(nèi)容過(guò)程中，用戶主要依靠視覺(jué)模態(tài)或者聽(tīng)覺(jué)模態(tài)等單一感官通道來(lái)與外界進(jìn)行信息交換；而在看集聲音、文字、圖像等多模態(tài)信息于一體的電視、電影等視頻媒介時(shí)，用戶往往需要調(diào)用視覺(jué)、聽(tīng)覺(jué)兩種或兩種以上的感知通道進(jìn)行信息加工。在媒介深度融合的大趨勢(shì)下，多模態(tài)話語(yǔ)成為社會(huì)文化表征中的重要符號(hào)資源，多通道感知越來(lái)越成為用戶與信息交互時(shí)不可分割的一部分。在這個(gè)過(guò)程中，信息的無(wú)窮性與注意資源的有限性成為一種無(wú)法調(diào)和的矛盾，“注意”在當(dāng)下社會(huì)愈成為一種稀缺且重要的資源。[2]

從歷史發(fā)展進(jìn)程上看，人們對(duì)媒介內(nèi)容的形式產(chǎn)生注意偏向最早可追溯到中世紀(jì)由歐洲開(kāi)始興起的插圖繪本，[3]圖片作為對(duì)文字的補(bǔ)充，目的是讓讀者明確清晰內(nèi)容的含義；后來(lái)字幕開(kāi)始普遍應(yīng)用于電視、電影等媒體，文本、畫面和聲音這三種模態(tài)同時(shí)作用于內(nèi)容呈現(xiàn)；到了新媒體社會(huì)，彈幕成為線上視頻平臺(tái)不可或缺的一部分，這種介入性信息讓觀眾可以自由地在屏幕上交流意見(jiàn)，構(gòu)建出獨(dú)立于影片內(nèi)容之外的第三方社交空間；再到當(dāng)下的數(shù)據(jù)新聞、VR/AR以及H5，這些多模態(tài)話語(yǔ)相交叉的呈現(xiàn)手段與內(nèi)容相互鋪陳參照。由此展開(kāi)，本研究想要探討的是，面對(duì)多種介入性信息，用戶的多種感官通道同時(shí)工作，這種背景下應(yīng)該如何把握用戶的注意偏向并量化記憶效果。因此，本文以電影材料為載體，從“字幕”這個(gè)細(xì)小點(diǎn)切入，立足于傳播學(xué)、心理學(xué)以及認(rèn)知神經(jīng)科學(xué)的交叉思維，采用眼動(dòng)實(shí)驗(yàn)的方法，從生理層以及行為層探究母語(yǔ)電影中的字幕對(duì)用戶注意分配以及記憶效果的影響。

一、文獻(xiàn)綜述

(一)多模態(tài)傳播過(guò)程中認(rèn)知機(jī)制的建構(gòu)

人的耳朵、眼睛、皮膚、鼻子以及舌頭等五官分別對(duì)應(yīng)著聽(tīng)覺(jué)模態(tài)、視覺(jué)模態(tài)以及觸覺(jué)模態(tài)等五種符號(hào)交際系統(tǒng)?！岸嗄B(tài)話語(yǔ)”(Multimodal Discourse)是指“運(yùn)用聽(tīng)覺(jué)、視覺(jué)、觸覺(jué)等多種感覺(jué)，并通過(guò)語(yǔ)言、圖像、聲音、動(dòng)作等多種手段和符號(hào)資源進(jìn)行交際的現(xiàn)象”。[4]不同通道的信息呈現(xiàn)會(huì)給用戶帶來(lái)不同的感知效果并塑造復(fù)雜化的意義表達(dá)系統(tǒng)，但是多種模態(tài)的交疊并不總是會(huì)帶來(lái)高效的傳播效果，當(dāng)疊加的模態(tài)沒(méi)有對(duì)第一種模態(tài)做出補(bǔ)充或者強(qiáng)化時(shí)，就會(huì)產(chǎn)生冗余現(xiàn)象，也就是說(shuō)處于交疊下的多模態(tài)信息有可能相互排斥以及相互抵消，在此背景下，有可能出現(xiàn)認(rèn)知負(fù)荷的現(xiàn)象。

1.字幕呈現(xiàn)與認(rèn)知負(fù)荷

認(rèn)知負(fù)荷指的是信息數(shù)量與大腦工作記憶容量之間相匹配的相關(guān)關(guān)系，如果人們?cè)诩庸ば畔⒌倪^(guò)程中所需要調(diào)配的資源大于個(gè)體所具備的認(rèn)知資源總量，會(huì)導(dǎo)致較高的認(rèn)知負(fù)荷。該理論的主要研究目的是通過(guò)“合理配置”人腦中的工作記憶，來(lái)使學(xué)習(xí)效率達(dá)到最優(yōu)化。在國(guó)內(nèi)，即使是母語(yǔ)電影也會(huì)在屏幕中搭配中文字幕，其中畫面和聲音是必要信息，背景音樂(lè)是非必要信息，針對(duì)字幕是否是一種冗余信息這一問(wèn)題，國(guó)內(nèi)外不同學(xué)者對(duì)此展開(kāi)了實(shí)證探討。研究發(fā)現(xiàn)，盡管對(duì)視頻中的母語(yǔ)不存在加工困難，但是不同年齡段的用戶還是花費(fèi)相當(dāng)多的時(shí)間去關(guān)注字幕區(qū)，也就是說(shuō)用戶對(duì)字幕的關(guān)注是一種自動(dòng)化的過(guò)程，[5]后來(lái)還有研究表明，字幕呈現(xiàn)容易分散用戶對(duì)畫面的注意并加重認(rèn)知負(fù)擔(dān)，[6]而當(dāng)視頻中沒(méi)有字幕時(shí)，被試對(duì)畫面的注意更加集中。[7]但是以往的研究尚未系統(tǒng)地驗(yàn)證用戶對(duì)視頻中不同呈現(xiàn)形式的偏向與記憶機(jī)制之間的關(guān)系。

2.基于雙重編碼理論的字幕加工

在雙重編碼理論(Dual Coding Theory)中，言語(yǔ)系統(tǒng)的編碼對(duì)應(yīng)著文字、聲音等信息；非言語(yǔ)編碼對(duì)應(yīng)圖片、視頻等言語(yǔ)之外的信息。該理論認(rèn)為人的大腦可以同時(shí)使用視覺(jué)和言語(yǔ)兩種方式來(lái)呈現(xiàn)信息。雙重編碼理論最早用來(lái)解釋人們?cè)谡J(rèn)知過(guò)程的圖片優(yōu)勢(shì)效果(Picture-Superiority Effect)，指的是相較于文字信息，被試對(duì)圖片的辨識(shí)度和記憶效果會(huì)更好，[8]后來(lái)有學(xué)者通過(guò)實(shí)驗(yàn)進(jìn)一步得出圖文并茂的信息比單一文字更容易被辨識(shí)和記憶的結(jié)論。[9]在多模態(tài)話語(yǔ)體系下，持雙重編碼理論的學(xué)者認(rèn)為多感知通道的同時(shí)加工并不會(huì)對(duì)用戶造成認(rèn)知冗余，相反，多通道的配合使用很可能會(huì)提高用戶編碼以及學(xué)習(xí)的效率。在字幕相關(guān)研究中，實(shí)驗(yàn)發(fā)現(xiàn)，個(gè)體對(duì)字幕的處理是一種半自動(dòng)化的加工機(jī)制，[10]不管是觀看字幕或是無(wú)字幕(配音版本)的視頻，個(gè)體的生理情緒反應(yīng)都沒(méi)有顯著差異。[11]同語(yǔ)言的字幕會(huì)幫助語(yǔ)言學(xué)習(xí)者更快地將聲音和文本聯(lián)系起來(lái)，從而提高他們的記憶效果。[12]也有學(xué)者通過(guò)比較有無(wú)字幕圖片的對(duì)照組發(fā)現(xiàn)，在帶有字幕的情況下，被試的記憶成績(jī)比無(wú)字幕組的高出了一倍以上。[13]還有研究證實(shí)了聲音和文本的同時(shí)呈現(xiàn)更有助于受眾對(duì)新詞匯的學(xué)習(xí)和記憶這一結(jié)論。[14]

(二)多感知通道下的注意偏向以及測(cè)量指標(biāo)

“注意”一直是傳播學(xué)研究的焦點(diǎn)，在認(rèn)知和決策的過(guò)程中，個(gè)體無(wú)時(shí)無(wú)刻不在注意著某個(gè)對(duì)象，這涉及到人們心理活動(dòng)過(guò)程中的選擇性和容量性這兩個(gè)層面。人們接收到的信息大部分來(lái)自于視覺(jué)和聽(tīng)覺(jué)這兩個(gè)感覺(jué)通道，但是在日常生活中并不會(huì)注意到所有接觸到的信息，而是有選擇性地注意到其中可利用或者自己感興趣的那部分，這就涉及到在不同感官資源同時(shí)作用的過(guò)程中個(gè)體對(duì)注意偏好的選擇。

1.多感知通道下的注意偏向

隨著媒介融合的發(fā)展，目前關(guān)于感知通道的選擇性注意研究已經(jīng)從單一通道發(fā)展到跨通道注意轉(zhuǎn)移的研究上，即探索注意資源在人體的各個(gè)感覺(jué)通道間是否能夠共享，當(dāng)多種不同形式的內(nèi)容同時(shí)呈現(xiàn)，觀看者選擇性地以某個(gè)通道進(jìn)行工作時(shí)是否會(huì)忽略其它通道，或者說(shuō)這些通道是否能夠?qū)崿F(xiàn)獨(dú)立的加工并且不相互受影響。有研究認(rèn)為，當(dāng)某個(gè)感官通道正在進(jìn)行注意任務(wù)時(shí)，同時(shí)進(jìn)行任務(wù)的另一個(gè)感覺(jué)通道的認(rèn)知能力會(huì)受到影響，也就是說(shuō)人們的兩個(gè)通道在同時(shí)工作時(shí)很難保持和單一通道一樣高的效率，因?yàn)橥ǖ郎系淖⒁赓Y源是有限的，[15]有學(xué)者通過(guò)fMRI研究也證實(shí)了這一點(diǎn)。[16]而在關(guān)于加工通道的順序上，已有研究發(fā)現(xiàn)，視覺(jué)通道在信息獲取和加工過(guò)程中發(fā)揮著重要作用并且具有一定的優(yōu)先性，[17]也就是說(shuō)，在視覺(jué)以及聽(tīng)覺(jué)材料同時(shí)出現(xiàn)時(shí)，被試會(huì)自動(dòng)地先關(guān)注視覺(jué)刺激，并且將聽(tīng)覺(jué)信息當(dāng)做視覺(jué)信息。[18]

2.注意的測(cè)量方式與測(cè)量指標(biāo)

個(gè)體在進(jìn)行通道注意分配的過(guò)程也是認(rèn)知加工的過(guò)程，人們的認(rèn)知決策包括自主過(guò)程和自為過(guò)程兩方面，前者屬于人們可以感知并控制的信息處理范疇，傳統(tǒng)的問(wèn)卷調(diào)查法、觀察法可以在一定程度上反應(yīng)并總結(jié)事物發(fā)展的規(guī)律；而后者是處于人腦“意識(shí)黑箱”中的無(wú)意識(shí)加工過(guò)程，這部分信息獲取則需要運(yùn)用認(rèn)知神經(jīng)科學(xué)的測(cè)量范式來(lái)研究人腦信息的處理機(jī)制以及個(gè)體實(shí)踐中的潛在驅(qū)動(dòng)要素。

在注意層面，眼睛可以說(shuō)是一種重要的接受外界刺激并且及時(shí)將信息傳送給大腦加工的器官。人在注意某個(gè)對(duì)象的過(guò)程中，視線一般會(huì)對(duì)焦到對(duì)象的某一點(diǎn)上，并且會(huì)根據(jù)自身的心理、生理狀態(tài)以及對(duì)象的移動(dòng)轉(zhuǎn)換注意的目標(biāo)。有學(xué)者曾經(jīng)提出“眼-心假設(shè)”(Eye-Mind Assumption)[19](P.178-179)，認(rèn)為人的視線注意對(duì)象和心中所想之事具有強(qiáng)烈的聯(lián)結(jié)，比如可以通過(guò)用戶凝視一排文字的時(shí)間長(zhǎng)短來(lái)判斷文字內(nèi)容的難度。眼動(dòng)儀就是用來(lái)研究個(gè)體在注視某個(gè)對(duì)象時(shí)眼球注視焦點(diǎn)以及運(yùn)動(dòng)軌跡的專業(yè)儀器，通過(guò)測(cè)量個(gè)體的眼跳、注視次數(shù)以及注視時(shí)長(zhǎng)等指標(biāo)，可以間接推測(cè)出用戶的內(nèi)部注意加工過(guò)程以及行為效果。[20]例如，有學(xué)者通過(guò)眼動(dòng)實(shí)驗(yàn)，總結(jié)出了用戶在閱讀網(wǎng)頁(yè)時(shí)的“F”型視線運(yùn)動(dòng)規(guī)律，[21]并證實(shí)了用戶的眼球運(yùn)動(dòng)軌跡和注意之間的關(guān)系[22]。

在本研究中，眼動(dòng)儀將記錄被試在觀看電影過(guò)程中視線移動(dòng)軌跡，根據(jù)眼動(dòng)數(shù)據(jù)分析出來(lái)的相關(guān)結(jié)果，可以了解到被試對(duì)字幕區(qū)以及畫面區(qū)的注意分配情況?；谝酝墨I(xiàn)支持，本研究主要采用以下三個(gè)指標(biāo)的組合[23]：

(1)注視時(shí)長(zhǎng)(Fixation Time)，單位為秒(s)。是指實(shí)驗(yàn)對(duì)象對(duì)屏幕某一區(qū)域內(nèi)所有注視點(diǎn)持續(xù)時(shí)間的總和，注視時(shí)間意味著對(duì)信息加工的深度以及注意分配情況。[24]

(2)注視次數(shù)(Fixation Count)，單位是次(Count)。是指實(shí)驗(yàn)對(duì)象對(duì)屏幕中某一區(qū)域里的注視點(diǎn)個(gè)數(shù)總和，主要受實(shí)驗(yàn)材料難度、用戶既有經(jīng)驗(yàn)和認(rèn)知等因素影響。通常認(rèn)為，在用戶視線移動(dòng)過(guò)程中，注視次數(shù)與實(shí)驗(yàn)被試所需要處理信息的數(shù)量有關(guān)系，而與信息的加工深度無(wú)關(guān)，[23]即注視次數(shù)越頻繁意味著用戶對(duì)該區(qū)域的認(rèn)知加工負(fù)荷越高。

(3)平均注視時(shí)間(Average Fixation Duration)，單位為毫秒(ms)。是指在興趣區(qū)內(nèi)個(gè)體對(duì)每個(gè)注視點(diǎn)的平均停留時(shí)間。這一指標(biāo)通常反應(yīng)的是用戶對(duì)該興趣區(qū)的感興趣程度，也可以間接反映所接受信息的難易程度和用戶認(rèn)知的復(fù)雜性，注視點(diǎn)的平均注視時(shí)間越長(zhǎng)意味著用戶處理信息的過(guò)程更深入且精密，這可能是被試認(rèn)知困難或者是注視內(nèi)容對(duì)被試來(lái)說(shuō)非常有趣的表現(xiàn)。[20]

(三)記憶分類以及效果測(cè)量的范式

記憶是傳播效果的一個(gè)重要維度，也是衡量人類認(rèn)知能力的重要標(biāo)尺，在近百年受到過(guò)不同程度的關(guān)注，學(xué)者們也對(duì)此展開(kāi)過(guò)不同的實(shí)證研究。早在19世紀(jì)，德國(guó)心理學(xué)家艾賓浩斯就對(duì)記憶這一現(xiàn)象展開(kāi)實(shí)證研究，他通過(guò)實(shí)驗(yàn)法來(lái)量化人們學(xué)習(xí)與遺忘的基本現(xiàn)象，由此得出了“遺忘曲線”的研究成果。后來(lái)隨著研究進(jìn)一步發(fā)展，不同的記憶類型相繼被提出。

根據(jù)內(nèi)容信息在大腦中的存在時(shí)間長(zhǎng)短，心理學(xué)家將記憶劃分為長(zhǎng)時(shí)記憶、瞬時(shí)記憶和短時(shí)記憶這三類，這個(gè)系統(tǒng)也被稱為記憶的多儲(chǔ)存模型。瞬時(shí)記憶作用時(shí)間極其短暫，只能持續(xù)0.5-3秒；短時(shí)記憶指的是人們可以輕松回憶起幾秒前發(fā)生的事情；長(zhǎng)時(shí)記憶則可以在人腦中停留幾小時(shí)，甚至幾年。

根據(jù)記憶的功能，學(xué)者將其區(qū)分為內(nèi)隱記憶以及外顯記憶，前者指的是個(gè)體有意識(shí)地提取大腦中先前儲(chǔ)存的相關(guān)信息的記憶，后者指的是一種難以被個(gè)體意識(shí)到并且不用意識(shí)來(lái)提取大腦中相關(guān)信息的記憶，這兩種記憶類型都屬于長(zhǎng)時(shí)記憶的范疇。本研究主要測(cè)量的記憶類型是長(zhǎng)時(shí)記憶中的外顯記憶。

關(guān)于記憶的測(cè)量，目前學(xué)界采用的大多是“學(xué)習(xí)—測(cè)驗(yàn)”范式，即讓被試先學(xué)習(xí)完一段材料，再進(jìn)行測(cè)試的過(guò)程。在學(xué)習(xí)階段，研究者會(huì)讓被試學(xué)習(xí)一些與研究問(wèn)題相關(guān)的任務(wù)，然后在隨后的再認(rèn)測(cè)驗(yàn)階段給被試呈現(xiàn)一組辨認(rèn)材料(一半是學(xué)習(xí)過(guò)的，一半是沒(méi)有學(xué)習(xí)過(guò)的)，要求被試進(jìn)行新舊判斷，以此來(lái)量化被試的長(zhǎng)時(shí)記憶效果。在某些情況下，根據(jù)研究需要，研究者還會(huì)在學(xué)習(xí)和測(cè)試這兩個(gè)階段之間添加分心任務(wù)，防止被試復(fù)述前面的學(xué)習(xí)內(nèi)容。

基于以上綜述，本研究以注意偏向以及記憶效果這兩個(gè)變量為研究重點(diǎn)，其中注意偏向指的是用戶在觀看電影時(shí)對(duì)畫面區(qū)和字幕區(qū)這兩個(gè)區(qū)域之間的眼動(dòng)軌跡，記憶測(cè)試則是為了量化個(gè)體在多通道感知過(guò)程中的認(rèn)知效果。除此之外，在社會(huì)心理實(shí)驗(yàn)場(chǎng)景下，安慰劑效應(yīng)很可能會(huì)出現(xiàn)，并且十分常見(jiàn)。[25]在本實(shí)驗(yàn)中，有字幕和無(wú)字幕電影之間的差異并不僅僅只是字幕，它們的本質(zhì)區(qū)別有兩個(gè)方面：第一，屏幕的下方位置有障礙物；第二，該障礙物是文字。如果只比較有無(wú)字幕對(duì)受眾注意的分配以及記憶影響，這就混淆了上面兩個(gè)條件，因?yàn)橛绊懕辉嚨囊灿锌赡苁窍路降臈l形障礙物，而不一定是字幕。為了消除安慰劑效應(yīng)對(duì)被試的影響，證實(shí)究竟是電影下方的文字還是其他因素對(duì)被試造成影響，因此增加了“打碼字幕”，即“安慰劑組”這一實(shí)驗(yàn)條件。安慰劑效應(yīng)僅僅是本研究要控制的一種額外變量，并不是本研究重點(diǎn)?；诖耍狙芯刻岢鲆韵录僭O(shè)：

H1：在多模態(tài)信息呈現(xiàn)過(guò)程中，電影字幕會(huì)讓個(gè)體對(duì)字幕區(qū)以及畫面區(qū)的眼動(dòng)信號(hào)產(chǎn)生差異，在字幕條件下，個(gè)體會(huì)對(duì)畫面更關(guān)注；

H2：在字幕區(qū)是文字而不是其他障礙物(如馬賽克)吸引了用戶的注意，因此無(wú)字幕組和安慰劑組的眼動(dòng)信號(hào)不存在差異；

H3：字幕的呈現(xiàn)會(huì)影響到個(gè)體對(duì)畫面區(qū)以及字幕區(qū)的記憶效果，其中無(wú)字幕組對(duì)畫面信息的記憶效果更好，有字幕組對(duì)字幕信息的記憶效果更好；

H4：在多感知通道同時(shí)作用的情況下，用戶的眼動(dòng)信號(hào)與注意效果之間存在相關(guān)關(guān)系。

二、電影字幕對(duì)用戶注意偏向的影響——來(lái)自眼動(dòng)實(shí)驗(yàn)的證據(jù)

該部分主要探討電影片段中字幕呈現(xiàn)對(duì)用戶注意分配的影響，采用眼動(dòng)設(shè)備進(jìn)行測(cè)量。為了避免單段觀看電影材料所造成結(jié)果的隨機(jī)性，本研究選取了四段電影片段，最終采用這四段眼動(dòng)數(shù)據(jù)的平均值，讓不同組別的被試按順序觀看同樣內(nèi)容、不同字幕條件的材料，以增強(qiáng)實(shí)驗(yàn)結(jié)果的準(zhǔn)確性。須驗(yàn)證的研究假設(shè)如下：

H1：在多模態(tài)信息呈現(xiàn)過(guò)程中，電影字幕會(huì)讓個(gè)體對(duì)字幕區(qū)以及畫面區(qū)的眼動(dòng)信號(hào)存在差異；

H2：在字幕區(qū)是文字而不是其他障礙物(如馬賽克)吸引了用戶的注意，因此無(wú)字幕組和安慰劑組的眼動(dòng)信號(hào)不存在差異。

(一)研究方法

1.實(shí)驗(yàn)被試

本實(shí)驗(yàn)開(kāi)展時(shí)間為2019年12月15日至2020年1月10日。期間隨機(jī)選取了66位北京市在校學(xué)生參與本次研究，其中男生33名，女生33名，年齡在18歲至26歲之間(22.09±2.55)。為了保證實(shí)驗(yàn)測(cè)量結(jié)果的準(zhǔn)確性，在被試的選擇上，本實(shí)驗(yàn)不邀請(qǐng)心理學(xué)專業(yè)的學(xué)生，要求被試裸眼或者矯正視力正常，無(wú)色盲色弱，無(wú)嚴(yán)重酒癮或者煙癮等不良嗜好，無(wú)精神病史或者家族遺傳病史，平時(shí)無(wú)服用興奮劑等精神活性藥物。實(shí)驗(yàn)開(kāi)始后，將66位被試隨機(jī)分配到3個(gè)組別(有字幕組、無(wú)字幕組和安慰劑組)中完成實(shí)驗(yàn)，并保證每個(gè)實(shí)驗(yàn)組的被試男女性別均等。安慰劑組所看到的字幕為打碼字幕，即字幕區(qū)域被馬賽克所遮擋，以控制字幕文本所可能產(chǎn)生的潛在的安慰劑效應(yīng)。

2.實(shí)驗(yàn)材料

實(shí)驗(yàn)材料為四段電影視頻片段，每段時(shí)長(zhǎng)2分鐘左右。實(shí)驗(yàn)材料的選擇標(biāo)準(zhǔn)如下：

(1)電影片段的字幕類型以及位置。為增強(qiáng)實(shí)驗(yàn)結(jié)果的準(zhǔn)確性，在選取材料過(guò)程中，保證了四部影片的字幕大小、字體一致，統(tǒng)一選擇字幕在畫面框之外的電影片段，避免這些額外變量對(duì)被試造成影響。

(2)電影片段的語(yǔ)言。為了避免被試外語(yǔ)水平不一致對(duì)實(shí)驗(yàn)結(jié)果造成干擾，本實(shí)驗(yàn)的四段視頻均選擇國(guó)產(chǎn)中文電影。

(3)電影片段的信息量。電影片段的信息量不同也會(huì)對(duì)實(shí)驗(yàn)結(jié)果造成影響，因此在選擇時(shí)，選取了四段字幕數(shù)量、鏡頭數(shù)量以及片段時(shí)長(zhǎng)相當(dāng)?shù)碾娪耙曨l。

(4)電影片段的熟悉度。電影熟悉度會(huì)影響被試的記憶效果，它反映了被試在參加實(shí)驗(yàn)之前的已有經(jīng)驗(yàn)和記憶積累。為了消除電影熟悉度對(duì)實(shí)驗(yàn)被試的注意水平以及記憶測(cè)試的影響，本研究采用被試熟悉度較低的電影。在確定正式實(shí)驗(yàn)的電影材料之前，邀請(qǐng)了20位本科生和研究生對(duì)材料熟悉度進(jìn)行評(píng)定。評(píng)定量表根據(jù)過(guò)去學(xué)者采用過(guò)的《品牌熟悉度量表》改編，[26]根據(jù)得分確定最終采用的實(shí)驗(yàn)材料，結(jié)果如表1所示。

表1 電影熟悉度評(píng)定

3.實(shí)驗(yàn)程序

在實(shí)驗(yàn)開(kāi)始前，先進(jìn)行眼動(dòng)儀校準(zhǔn)，再進(jìn)行眼球定標(biāo)，即讓被試認(rèn)真盯著刺激電腦屏幕上出現(xiàn)的紅點(diǎn)，并讓被試視線隨之移動(dòng)。如果眼球定標(biāo)精準(zhǔn)度達(dá)到基線要求，則可以按任意鍵開(kāi)始眼動(dòng)實(shí)驗(yàn)。若達(dá)不到，則需要重新定標(biāo)。

在眼球定標(biāo)成功后，按照分組讓被試在Experiment Center軟件上觀看三種字幕(有字幕、無(wú)字幕和安慰劑對(duì)照)電影視頻，每段時(shí)長(zhǎng)兩分鐘左右，眼動(dòng)儀自動(dòng)記錄被試各項(xiàng)數(shù)據(jù)。看完每段電影視頻之后要求被試進(jìn)行2分鐘的計(jì)算題測(cè)試(數(shù)值在100以內(nèi))，防止在后續(xù)的記憶測(cè)試中復(fù)述電影內(nèi)容。

4.數(shù)據(jù)收集和處理

眼動(dòng)實(shí)驗(yàn)選擇在安靜、無(wú)干擾的實(shí)驗(yàn)室場(chǎng)所進(jìn)行。實(shí)驗(yàn)操作所需的硬件設(shè)備包括：來(lái)自德國(guó)SMI公司生產(chǎn)的RED固定式視線追蹤眼動(dòng)儀(采樣頻率120 Hz)，一臺(tái)用于向被試呈現(xiàn)實(shí)驗(yàn)刺激的液晶顯示器；相關(guān)的應(yīng)用軟件系統(tǒng)有：iView-RED眼動(dòng)儀操作軟件，Experiment Center實(shí)驗(yàn)設(shè)計(jì)軟件以及BeGaze3.0眼動(dòng)數(shù)據(jù)分析軟件。其中IView RED以及Experiment Center軟件主要進(jìn)行眼動(dòng)數(shù)據(jù)采集；Begaze3.0軟件主要用于數(shù)據(jù)分析與興趣區(qū)劃分。

興趣區(qū)簡(jiǎn)稱AOI(Area of Interest)，指的是在屏幕上定義相關(guān)區(qū)域，也就是研究者擬研究區(qū)域。本研究利用Begaze3.0軟件自帶的Dataview模塊功能，將字幕區(qū)和畫面區(qū)選定為興趣區(qū)，最終結(jié)果統(tǒng)計(jì)時(shí)對(duì)這兩部分的興趣區(qū)分別進(jìn)行眼動(dòng)指標(biāo)的定量匯總和分析。

(二)研究結(jié)果

采用單因素方差分析(One-way ANOVA)的統(tǒng)計(jì)方法對(duì)眼動(dòng)的三個(gè)指標(biāo)：注視時(shí)間、注視次數(shù)和平均注視時(shí)間分別進(jìn)行統(tǒng)計(jì)分析，其中三種字幕組別是自變量，眼動(dòng)指標(biāo)是因變量。各組的平均數(shù)和標(biāo)準(zhǔn)差如表2所示。

表2 三種字幕條件下各興趣區(qū)的眼動(dòng)指標(biāo)(M± SD)

結(jié)果發(fā)現(xiàn)，在注視時(shí)間上，畫面區(qū)組別的主效應(yīng)(F(2，65)=23.468，p=0.000，η2=3.85)和字幕區(qū)組別的主效應(yīng)(F(2，65)=42.967，p<0.001，η2=0.58)均顯著，進(jìn)一步進(jìn)行事后分析，多重比較結(jié)果顯示：有字幕組，無(wú)字幕組和安慰劑組之間存在顯著差異(p<0.05)，和無(wú)字幕組以及安慰劑組相比，有字幕組在畫面區(qū)的注視時(shí)間更短，而在字幕區(qū)的注視時(shí)間更長(zhǎng)。安慰劑組和無(wú)字幕組之間沒(méi)有顯著差異。

在注視次數(shù)上，畫面區(qū)組別的主效應(yīng)(F(2，65)=4.389，p=0.016，η2=0.122)和字幕區(qū)組別的主效應(yīng)(F(2，65)=77.278，p<0.001，η2=0.71)均顯著。進(jìn)一步進(jìn)行事后分析，多重比較結(jié)果顯示：有字幕組、無(wú)字幕組和安慰劑組之間存在顯著差異(p<0.05)。其中，有字幕組在畫面區(qū)的注視次數(shù)要比無(wú)字幕組和安慰劑組少，而在字幕區(qū)域的注視次數(shù)要比其他兩個(gè)組更多。在畫面區(qū)和字幕區(qū)上，安慰劑組和無(wú)字幕組之間沒(méi)有發(fā)現(xiàn)顯著差異。

在平均注視時(shí)間上，畫面區(qū)組別的主效應(yīng)不顯著(F(2，65)=1.923，p=0.155，η2=0.058)；在字幕區(qū)的平均注視時(shí)間上，組別的主效應(yīng)顯著(F(2，65)=46.118，p=0.000，η2=0.59)，進(jìn)一步進(jìn)行事后分析，多重比較結(jié)果顯示：有字幕組、無(wú)字幕組和安慰劑組之間存在顯著差異(p<0.001)，和無(wú)字幕組以及安慰劑組相比，有字幕組在畫面區(qū)的平均注視時(shí)間更短，而在字幕區(qū)的注視時(shí)間更長(zhǎng)。無(wú)字幕組在字幕區(qū)的平均注視時(shí)間低于安慰劑組。

以上結(jié)果顯示，當(dāng)電影添加了字幕，即文字、聲音以及畫面三種媒介形式同時(shí)作用于用戶認(rèn)知時(shí)，個(gè)體會(huì)對(duì)文字信息產(chǎn)生注意偏好，從而降低對(duì)畫面信息的加工深度以及信息處理數(shù)量，也就是說(shuō)，電影字幕會(huì)讓個(gè)體對(duì)字幕區(qū)以及畫面區(qū)的眼動(dòng)信號(hào)存在差異，H1成立。

此外，對(duì)比安慰劑組和無(wú)字幕組，兩個(gè)組別在注視時(shí)間和注視次數(shù)上沒(méi)有顯著差異，但在平均注視時(shí)間上，安慰劑組對(duì)字幕區(qū)的關(guān)注多于無(wú)字幕組，這說(shuō)明馬賽克作為屏幕上突然出現(xiàn)的障礙物，在某種程度上會(huì)產(chǎn)生“彈窗效應(yīng)”，吸引被試的關(guān)注，H2部分成立。但是這種關(guān)注是否會(huì)影響被試的記憶效果，即產(chǎn)生“安慰劑效應(yīng)”，還需要結(jié)合記憶部分的研究結(jié)果。

三、電影字幕對(duì)用戶記憶效果的影響——來(lái)自行為實(shí)驗(yàn)的證據(jù)

這部分考察的是不同組別的用戶在觀看完電影之后的記憶效果以及用戶注意和記憶之間是否有關(guān)聯(lián)。最終的記憶測(cè)試結(jié)果也采用四段電影片段的記憶成績(jī)平均值，以增強(qiáng)實(shí)驗(yàn)結(jié)果的準(zhǔn)確性。主要驗(yàn)證以下幾個(gè)研究假設(shè)：

H3：字幕的呈現(xiàn)會(huì)影響到個(gè)體對(duì)畫面區(qū)以及字幕區(qū)的記憶效果，其中無(wú)字幕組對(duì)畫面信息的記憶效果更好，有字幕組對(duì)字幕信息的記憶效果更好；

H4：在多感知通道同時(shí)作用的情況下，用戶的眼動(dòng)信號(hào)與注意效果之間存在相關(guān)關(guān)系。

(一)研究方法

1.實(shí)驗(yàn)被試

與本文中“電影字幕對(duì)用戶注意偏向的影響——來(lái)自眼動(dòng)實(shí)驗(yàn)的證據(jù)”中的被試相同。

2.實(shí)驗(yàn)材料

實(shí)驗(yàn)材料分為干擾材料和測(cè)試材料。

干擾材料是100以內(nèi)的加減運(yùn)算題目，完成時(shí)長(zhǎng)為兩分鐘左右。目的是為了模擬真實(shí)環(huán)境記憶狀態(tài)，避免被試在觀看視頻結(jié)束后復(fù)述電影內(nèi)容。

測(cè)試材料選擇學(xué)習(xí)階段在電影中出現(xiàn)過(guò)的詞(20個(gè))/畫面截圖(20張)與未曾出現(xiàn)過(guò)的詞(20)個(gè)/畫面截圖(20張)，將這些詞/畫面截圖嵌入E-Prime 3.0程序，統(tǒng)一以白色背景，黑色字體隨機(jī)呈現(xiàn)，要求被試進(jìn)行再認(rèn)判斷。

3.實(shí)驗(yàn)程序

記憶測(cè)試安排在實(shí)驗(yàn)以的眼動(dòng)實(shí)驗(yàn)之后，為了避免干擾效應(yīng)，讓被試先完成一頁(yè)2分鐘100以內(nèi)的加減運(yùn)算題目，然后進(jìn)行實(shí)驗(yàn)二。

記憶的測(cè)量采用的是再認(rèn)測(cè)試。被試閱讀完屏幕上的指導(dǎo)語(yǔ)之后按“空格鍵”開(kāi)始。要求被試立刻判斷是否在看電影的過(guò)程中見(jiàn)過(guò)該詞，如果見(jiàn)過(guò)，則為舊詞，按“9”鍵；反之，則是新詞，按“2”鍵。如果被試在規(guī)定的2500ms內(nèi)沒(méi)有進(jìn)行反應(yīng)，則視為被試沒(méi)有記住該詞，自動(dòng)跳轉(zhuǎn)到下一個(gè)試次(如圖1所示)。刺激材料分為文本(詞匯)和畫面截圖兩個(gè)組塊(block)，被試先完成文本組塊，后完成畫面組塊。在每個(gè)組塊里，文本和畫面均為40試次，兩個(gè)組塊共80個(gè)試次(trial)，刺激隨機(jī)呈現(xiàn)，其中出現(xiàn)過(guò)的舊詞/舊圖和沒(méi)有出現(xiàn)過(guò)的新詞/新圖各占一半。被試一共要完成四段視頻的測(cè)試，一共320個(gè)試次。

圖1 實(shí)驗(yàn)程序流程圖

4.數(shù)據(jù)收集和處理

行為數(shù)據(jù)的收集和處理主要使用E-Prime 3.0軟件，該軟件可以設(shè)置實(shí)驗(yàn)刺激的呈現(xiàn)時(shí)長(zhǎng)，收集實(shí)驗(yàn)對(duì)象按鍵的反應(yīng)時(shí)和正確率等數(shù)據(jù)。實(shí)驗(yàn)收集的可用數(shù)據(jù)為66份，其中有字幕組被試22人，無(wú)字幕組被試22人，安慰劑組被試22人，每組男女比例均等。行為數(shù)據(jù)由E-Prime 3.0軟件收集處理之后，再采用Excel 2018和SPSS 26.0軟件進(jìn)行統(tǒng)計(jì)分析。

(二)研究結(jié)果

采用3(組別：有字幕vs.無(wú)字幕 vs.安慰劑)× 2(材料類型：畫面 vs.文本)重復(fù)測(cè)量方差分析(Two-way Repeated ANOVA)對(duì)記憶成績(jī)數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析，其中組別(有字幕vs.無(wú)字幕vs.安慰劑對(duì)照)是組間變量，材料類型(畫面 vs.文本)是組內(nèi)變量，記憶測(cè)試的反應(yīng)時(shí)和正確率是因變量。結(jié)果如表3所示：

表3 三種字幕條件下的個(gè)體對(duì)畫面和文本的記憶成績(jī)(M ± SD)

以上結(jié)果表明，字幕的呈現(xiàn)并不會(huì)影響到個(gè)體對(duì)畫面區(qū)以及字幕區(qū)的記憶效果，H3不成立。但是相較于字幕，三個(gè)組別的用戶均對(duì)文本信息產(chǎn)生更好的記憶效果，這部分屬于額外發(fā)現(xiàn)。

表4 注意和記憶之間的相關(guān)關(guān)系(r)

由注意與記憶相關(guān)分析分析可知，畫面的注視時(shí)間、注視次數(shù)以及平均注視時(shí)間與畫面的記憶正確率皮爾遜積差相關(guān)系數(shù)r分別是-0.029、0.127和-0.161，p值均大于0.05，因此相關(guān)不顯著；字幕的注視時(shí)間、注視次數(shù)以及平均注視時(shí)間與字幕的記憶正確率皮爾遜積差相關(guān)系數(shù)r分別是0.223、0.236和0.107，p值均大于0.05，因此相關(guān)不顯著。上述結(jié)果表明，用戶的注意與記憶效果之間不存在顯著相關(guān)，H4不成立。

四、綜合討論

本研究以電影為載體，以字幕為變量，試圖考察在多種感官通道同時(shí)作用的情況下，用戶對(duì)畫面和文字的注意偏向以及記憶效果的差異。結(jié)果顯示，在字幕組別(有字幕組、無(wú)字幕組和安慰劑對(duì)照組)之間，用戶對(duì)沒(méi)有加工困難的母語(yǔ)字幕表現(xiàn)出高度關(guān)注，但是這種字幕偏好性并沒(méi)有提高記憶效果；在畫面和文本之間，用戶對(duì)畫面信息加工具有一定的優(yōu)先性，但是記憶測(cè)試結(jié)果顯示用戶對(duì)文本的記憶效果更好；在注意和記憶的相關(guān)性上，并沒(méi)有顯示出明顯差異。

(一)字幕組別：電影字幕的呈現(xiàn)會(huì)吸引用戶注意但并不影響記憶效果

眼動(dòng)數(shù)據(jù)分析顯示，字幕的呈現(xiàn)確實(shí)影響了用戶的電影觀看行為，相較于無(wú)字幕組與安慰劑組，有字幕組對(duì)字幕區(qū)的注視次數(shù)和注視時(shí)間顯著高于另外兩組。這個(gè)結(jié)果與前人的研究結(jié)果具有一致性，即當(dāng)視頻中有了字幕這一文字信息后，被試會(huì)將更多的注意資源分配給字幕，而當(dāng)視頻中沒(méi)有字幕時(shí)，則會(huì)增加對(duì)畫面區(qū)的認(rèn)知加工。[6]本實(shí)驗(yàn)采用的材料是對(duì)被試沒(méi)有認(rèn)知加工障礙的母語(yǔ)視頻和字幕，但是被試仍然分配一部分的注意去關(guān)注字幕，另一方面也說(shuō)明被試對(duì)字幕的閱讀行為是自發(fā)性的，幾乎不需要額外的認(rèn)知資源。這也符合前人的研究發(fā)現(xiàn)，雖然美國(guó)被試對(duì)英語(yǔ)視頻沒(méi)有任何加工障礙，認(rèn)識(shí)他們?nèi)匀换ㄙM(fèi)相當(dāng)大的一部分時(shí)間在字幕區(qū)，[3]并且這種注意不受安慰劑效應(yīng)的影響。

記憶的結(jié)果顯示，字幕的呈現(xiàn)雖然吸引了用戶的注意，但是并不會(huì)提高用戶的認(rèn)知負(fù)擔(dān)；無(wú)字幕雖然少了視覺(jué)通道對(duì)文字信息的加工，但是也不會(huì)降低對(duì)用戶對(duì)電影畫面和文字的整體記憶。這部分結(jié)果與前人的研究結(jié)果存在差異。持認(rèn)知負(fù)荷論的學(xué)者認(rèn)為，字幕可能會(huì)通過(guò)冗余效應(yīng)來(lái)增大用戶觀看電影過(guò)程中的認(rèn)知負(fù)荷，聲音，畫面和文本三者之間存在高度的重合性，用戶對(duì)字幕的過(guò)多關(guān)注可能會(huì)使其喪失對(duì)其他信息的編碼和記憶，特別是當(dāng)視頻中出現(xiàn)的是自己熟悉的母語(yǔ)音頻時(shí)，字幕很可能成為一種無(wú)效信息，從而削弱對(duì)電影畫面信息的記憶效果。[5]本研究期待被試對(duì)電影信息的辨識(shí)和記憶效果會(huì)因?yàn)樽帜坏某尸F(xiàn)與否而產(chǎn)生差異，但是實(shí)驗(yàn)結(jié)果并沒(méi)有支持這一假設(shè)，并且與以往研究存在些許出入。在過(guò)去，有學(xué)者在使用教學(xué)視頻來(lái)做實(shí)驗(yàn)時(shí)，發(fā)現(xiàn)有字幕組的被試對(duì)單詞或教學(xué)內(nèi)容的記憶以及理解程度均優(yōu)于無(wú)字幕組，也就是說(shuō)在前人的研究結(jié)果中，字幕確實(shí)會(huì)對(duì)用戶的記憶效果產(chǎn)生影響。[27]此外，雙重編碼理論在教學(xué)領(lǐng)域應(yīng)用時(shí)也發(fā)現(xiàn)，當(dāng)知識(shí)同時(shí)以視覺(jué)形式和言語(yǔ)形式呈現(xiàn)時(shí)，能夠增強(qiáng)學(xué)生的識(shí)別以及記憶，聽(tīng)覺(jué)以及視覺(jué)的雙通道運(yùn)用可以為學(xué)生提供良好的知識(shí)補(bǔ)充和輔助，大大降低了認(rèn)知難度。

上述結(jié)論與本研究結(jié)果的差異有可能是由于實(shí)驗(yàn)材料以及被試觀看視頻的動(dòng)機(jī)不同所導(dǎo)致的，已有研究證實(shí)用戶在社區(qū)中的參與行為受到內(nèi)在動(dòng)機(jī)的驅(qū)動(dòng)，這些動(dòng)機(jī)可以劃分為目的性動(dòng)機(jī)、社會(huì)提升動(dòng)機(jī)、自我實(shí)現(xiàn)動(dòng)機(jī)、維系聯(lián)系動(dòng)機(jī)、娛樂(lè)性動(dòng)機(jī)等維度。[28]而在現(xiàn)實(shí)生活中，用戶觀看電影大多是出于享樂(lè)動(dòng)機(jī)，相較于有負(fù)擔(dān)地觀看學(xué)習(xí)視頻，被試在觀看電影時(shí)所調(diào)動(dòng)的認(rèn)知資源也許會(huì)低于教學(xué)類視頻，從而產(chǎn)生認(rèn)知以及記憶效果的偏差。

這進(jìn)一步表明，當(dāng)用戶在觀看沒(méi)有理解和加工難度的視頻片段時(shí)，他們有足夠的認(rèn)知資源來(lái)同時(shí)處理文本和畫面兩部分信息，因此對(duì)于電影或者宣傳片這種對(duì)用戶沒(méi)有理解負(fù)擔(dān)的視頻載體，即使用戶的選擇性注意會(huì)偏向?qū)ψ帜坏年P(guān)注，但是是否添加字幕并不會(huì)影響用戶對(duì)整體內(nèi)容的記憶效果，也不會(huì)因此增加用戶的認(rèn)知負(fù)荷。

(二)材料類型：用戶對(duì)畫面信息的加工具有優(yōu)先性，但文本記憶效果更好

眼動(dòng)數(shù)據(jù)分析顯示，電影畫面區(qū)的注視時(shí)長(zhǎng)、注視次數(shù)都要高于字幕區(qū)域，這表明在畫面、文本和聲音的多模態(tài)資源整合中，用戶對(duì)畫面的加工要顯著多于文本。雙重編碼理論認(rèn)為在用戶的認(rèn)知過(guò)程中存在圖片優(yōu)勢(shì)效果，即被試對(duì)圖片的辨識(shí)度要優(yōu)于文字信息。[8]本實(shí)驗(yàn)結(jié)果也支持了這個(gè)理論，即用戶對(duì)圖片的注視時(shí)長(zhǎng)要顯著多于描述性文字，在文字和圖片同時(shí)出現(xiàn)的情況下，用戶會(huì)對(duì)圖片信息優(yōu)先加工。[29]已有研究認(rèn)為用戶觀看電影的行為與場(chǎng)景知覺(jué)相似，當(dāng)場(chǎng)景中呈現(xiàn)的刺激突顯水平越高，越能夠得到用戶更多的注意分配，[30]由于視頻畫面能夠傳達(dá)更多的信息并且本身更加直觀鮮明，因此被試會(huì)不自覺(jué)的將更多的注意資源分配給畫面。在廣告領(lǐng)域，也有研究證實(shí)，如果在廣告中增加字幕會(huì)增加用戶對(duì)文字信息的辨識(shí)，從而減弱畫面信息的記憶效果。[28]

在觀看電影過(guò)程中，被試依靠視覺(jué)通道獲取畫面信息，通過(guò)聽(tīng)覺(jué)通道獲取聲音信息，當(dāng)視頻中沒(méi)有了字幕信息時(shí)，被試主要依靠聽(tīng)覺(jué)通道來(lái)獲取文本信息以作為畫面信息的補(bǔ)充和解釋。但是實(shí)驗(yàn)結(jié)果顯示，不管字幕區(qū)有沒(méi)有文本信息，被試對(duì)文本的記憶效果均優(yōu)于對(duì)畫面的記憶效果，這一結(jié)論符合以往的研究結(jié)果，也就是說(shuō)人們的兩個(gè)通道在同時(shí)工作時(shí)很難保持和單一通道一樣高的效率，因?yàn)橥ǖ郎系淖⒁赓Y源是有限的。[31]本實(shí)驗(yàn)結(jié)果中文本記憶效果優(yōu)于畫面記憶效果，這說(shuō)明當(dāng)聲音信息以文本形式重復(fù)呈現(xiàn)的時(shí)候，實(shí)驗(yàn)對(duì)象對(duì)視覺(jué)信息的加工會(huì)受到聽(tīng)覺(jué)信息的影響，在這兩者中視覺(jué)通道具有一定的優(yōu)先性，[17]但是被試對(duì)聽(tīng)覺(jué)通道也就是文本信息的記憶效果更好。

同時(shí)，本研究也存在著一些不足之處。首先是樣本選擇，本實(shí)驗(yàn)在樣本量上雖然已經(jīng)達(dá)到了眼動(dòng)實(shí)驗(yàn)科學(xué)性的要求，但是在樣本構(gòu)成的多樣性上仍有缺陷。因?yàn)樗暨x的實(shí)驗(yàn)對(duì)象主要以北京市在校大學(xué)生為樣本，具有一定的片面性，難以代表廣大電影觀看人群。后續(xù)研究可以進(jìn)一步擴(kuò)大被試的年齡階層，豐富實(shí)驗(yàn)結(jié)論。其次是實(shí)驗(yàn)材料，本研究以被試熟悉度較低的電影片段作為實(shí)驗(yàn)材料，其目的是為了避免被試已有觀影經(jīng)驗(yàn)對(duì)實(shí)驗(yàn)結(jié)果造成干擾。這雖然控制了實(shí)驗(yàn)干擾，但是也限制了研究結(jié)果，在后續(xù)研究中可以視頻類型為中介或者調(diào)節(jié)變量，進(jìn)一步考察電影字幕的傳播效果。

五、結(jié)語(yǔ)

在數(shù)字空間中，多模態(tài)話語(yǔ)占據(jù)著用戶感官通道的加工，海量冗余信息愈發(fā)讓“注意”成為一種稀缺資源。本研究從電影字幕的角度切入，探究畫面、文本以及聲音這三種媒介信息的協(xié)調(diào)和編排對(duì)用戶注意以及記憶的影響。結(jié)果表明，個(gè)體對(duì)電影畫面信息的加工具有優(yōu)先性，但是字幕的加入的確會(huì)對(duì)注意資源的分配產(chǎn)生影響，而且這種影響并非是一種安慰劑效應(yīng)，而是一種相對(duì)自動(dòng)化、習(xí)慣化的注意分散。字幕會(huì)吸引個(gè)體的興趣、降低對(duì)電影畫面信息的加工深度和對(duì)電影畫面的信息處理數(shù)量。然而，字幕呈現(xiàn)所導(dǎo)致的這種注意分散卻并沒(méi)有影響到對(duì)電影畫面和文本信息的記憶，這與個(gè)體對(duì)字幕的注意偏好無(wú)顯著關(guān)聯(lián)。