動(dòng)畫觀看中幼兒字幕注視的眼動(dòng)研究

夏瓊　方瑩　王紫妍

【摘要】本研究采用眼動(dòng)追蹤技術(shù)探究幼兒觀看動(dòng)畫片時(shí)的字幕注視行為，發(fā)現(xiàn)幼兒對圖像區(qū)的注視顯著多于字幕區(qū);幼兒對字幕的加工特點(diǎn)受到年齡和字幕語言的影響，即隨著年齡的增長，幼兒對中文字幕注視增加而對英文字幕注視減少。研究者據(jù)此提出相關(guān)建議。

【關(guān)鍵詞】幼兒;動(dòng)畫觀看;字幕;眼動(dòng)指標(biāo)

【中圖分類號(hào)】G610? ?【文獻(xiàn)標(biāo)識(shí)碼】A? ?【文章編號(hào)】1004-4604（2020）7/8-0045-05

隨著媒體技術(shù)的發(fā)展，字幕電影、字幕動(dòng)畫片越來越普遍。字幕作為一種特殊形式的語言文本，能夠滿足不同語言習(xí)慣的人們的觀看需求。已有研究表明，成人觀看字幕電影時(shí)，對字幕有優(yōu)先閱讀的偏好。〔1〕進(jìn)一步的研究發(fā)現(xiàn)，字幕包含的信息量越大，成人對字幕的偏好性越突出。〔2，3〕目前，對兒童觀看字幕電影時(shí)的注意研究還相對較少，僅有的少量研究也多集中在大齡兒童身上。〔4，5〕基于此，本研究擬考察幼兒觀看動(dòng)畫片時(shí)的字幕閱讀情況，以期為進(jìn)一步了解幼兒早期文字意識(shí)的發(fā)展以及多通道信息整合的認(rèn)知加工能力的發(fā)展提供參考。

一、研究設(shè)計(jì)

1.被試

研究者隨機(jī)抽取杭州市某幼兒園178名幼兒參與實(shí)驗(yàn)。其中，小班幼兒60名（男 30名，女30名），年齡范圍為 3.59～4.56歲，平均年齡4.09歲（SD=0.30）;中班幼兒58名（男32名，女26名），年齡范圍為4.41～5.56歲，平均年齡5.08歲（SD=0.29）;大班幼兒60名（男38名，女22名），年齡范圍為4.55～6.88歲，平均年齡6.10歲（SD=0.39）。所有被試均視力正常，無色弱或色盲。

2.實(shí)驗(yàn)材料

研究者選取迪斯尼動(dòng)畫片《小熊維尼》中的視頻片段作為實(shí)驗(yàn)材料。視頻時(shí)間長度為55秒，包含1個(gè)較為完整的故事情節(jié)，視頻下方配有字幕。根據(jù)音頻語言和字幕語言的不同，研究者共創(chuàng)建了4種類型的視頻版本，分別是中文配音中文字幕（CA-CS）、英文配音中文字幕（EA-CS）、英文配音英文字幕（EA-ES）和中文配音英文字幕（CA-ES）。字幕呈現(xiàn)時(shí)間控制在6秒以內(nèi)。所有視頻均為壓縮格式AVI，畫面尺寸為1024×635像素，幀率為30幀/秒。

3.實(shí)驗(yàn)儀器

本實(shí)驗(yàn)采用EyeLink1000遙測式眼動(dòng)儀。該設(shè)備由兩臺(tái)電腦組成，通過以太網(wǎng)連接，其中一臺(tái)電腦呈現(xiàn)實(shí)驗(yàn)刺激，另一臺(tái)電腦記錄眼動(dòng)變化。用于呈現(xiàn)刺激的屏幕大小為19英寸，刷新頻率為60赫茲，分辨率為1024×768像素。眼動(dòng)記錄儀置于屏幕下方，通過瞳孔/角膜的紅外反射來記錄被試的眼球運(yùn)動(dòng)，采樣率為500赫茲。

4.實(shí)驗(yàn)程序

研究者為被試隨機(jī)分配視頻版本，在安靜的實(shí)驗(yàn)室內(nèi)對被試單獨(dú)施測。被試坐在舒適的椅子上，眼睛與屏幕的距離約為65厘米，眼睛正對顯示器的3/4垂直高度位置。一名研究者坐在被試身后，防止被試的身體和頭部出現(xiàn)大幅度運(yùn)動(dòng)。另一名研究者負(fù)責(zé)操控眼動(dòng)儀等設(shè)備。所有被試實(shí)驗(yàn)前先進(jìn)行5點(diǎn)定標(biāo)校準(zhǔn)。 校準(zhǔn)圖片為黑色小圓環(huán)（外環(huán)直徑為16毫米，內(nèi)環(huán)直徑為4毫米），隨機(jī)呈現(xiàn)在屏幕的4個(gè)角落和中央。5點(diǎn)定標(biāo)校準(zhǔn)完成后，被試觀看視頻，同時(shí)眼動(dòng)記錄開始。視頻的音量大小平均為50分貝。視頻觀看完畢后，研究者要求被試口頭回答關(guān)于視頻主要內(nèi)容的問題。實(shí)驗(yàn)中所有材料的呈現(xiàn)和眼動(dòng)記錄均由設(shè)備自帶的編程軟件Experiment Builder自動(dòng)完成。眼動(dòng)數(shù)據(jù)通過數(shù)據(jù)處理軟件Data Viewer處理后導(dǎo)出，并運(yùn)用SPSS21.0軟件進(jìn)行統(tǒng)計(jì)分析。

5.眼動(dòng)指標(biāo)

本研究主要選取了注視時(shí)間、注視次數(shù)、瞳孔直徑、字幕區(qū)注視時(shí)間百分比等眼動(dòng)指標(biāo)進(jìn)行分析。參照以往研究，將被試視線在注視目標(biāo)上停留時(shí)間超過100毫秒、面積不大于1°×1°視角的停留點(diǎn)定義為一個(gè)注視點(diǎn)。注視時(shí)間是指被試在注視目標(biāo)上的所有注視點(diǎn)的停留時(shí)間之和。注視次數(shù)是指被試在注視目標(biāo)上注視點(diǎn)的數(shù)量。瞳孔直徑是反映心理負(fù)荷的敏感指標(biāo)，隨心理努力的程度而變化。在加工難度較大的材料時(shí)，心理負(fù)荷大，瞳孔會(huì)相應(yīng)變大，反之，則不會(huì)變化。此外，瞳孔直徑的大小還與認(rèn)知興趣有關(guān)，人們看到感興趣的事物時(shí)往往會(huì)表現(xiàn)出較大的瞳孔直徑。字幕區(qū)注視時(shí)間百分比是字幕區(qū)所有注視點(diǎn)的注視時(shí)間總和除以字幕總呈現(xiàn)時(shí)間所得，反映了被試在字幕區(qū)對字幕的注視比率。

二、研究結(jié)果

研究者在屏幕的圖像區(qū)（1024 ×439 像素）和字幕區(qū)（1024×196 像素）各畫了一個(gè)矩形興趣區(qū)，對興趣區(qū)內(nèi)的注視時(shí)間、注視次數(shù)以及瞳孔直徑進(jìn)行了3（年齡段：小班、中班、大班）×2（音頻語言：中文、英文）×2（字幕語言：中文、英文）×2（興趣區(qū)：字幕區(qū)、圖像區(qū)）的重復(fù)測量方差分析。由于字幕區(qū)和圖像區(qū)所占的面積差異較大，因此，研究者以字幕區(qū)和圖像區(qū)的像素面積作為系數(shù)對注視時(shí)間和注視次數(shù)進(jìn)行加權(quán)（見表1）。

1.注視時(shí)間

分析結(jié)果表明，在注視時(shí)間上，年齡的主效應(yīng)不顯著（p>0.05），音頻語言的主效應(yīng)以及字幕語言的主效應(yīng)也均不顯著（ps>0.05）。興趣區(qū)的主效應(yīng)顯著（p<0.01），幼兒對圖像區(qū)的注視時(shí)間顯著長于字幕區(qū)。年齡與音頻語言、年齡與字幕語言、音頻語言與字幕語言的交互效應(yīng)均不顯著（ps>0.05）。興趣區(qū)與年齡、興趣區(qū)與字幕語言的交互效應(yīng)均不顯著（ps>0.05）。興趣區(qū)與音頻語言的交互效應(yīng)接近顯著（p=0.08），在英文音頻條件下，幼兒對字幕區(qū)的注視時(shí)間要長于中文音頻條件。

年齡、音頻語言與字幕語言之間的交互效應(yīng)不顯著（p>0.05）。興趣區(qū)、年齡與音頻語言之間的交互效應(yīng)不顯著（p>0.05）。興趣區(qū)、音頻語言和字幕語言之間的交互效應(yīng)不顯著（p>0.05）。興趣區(qū)、年齡和字幕語言之間的交互效應(yīng)顯著（p<0.05），表現(xiàn)為隨年齡增長，幼兒對中文字幕的注視時(shí)間增加，對英文字幕的注視時(shí)間減少。興趣區(qū)、年齡、音頻語言和字幕語言之間的交互效應(yīng)不顯著（p>0.05）。

2.注視次數(shù)

分析結(jié)果表明，在注視次數(shù)上，年齡的主效應(yīng)顯著（p<0.01），幼兒對字幕的注視次數(shù)隨年齡增長而顯著增多。音頻語言的主效應(yīng)不顯著（p>0.05）。字幕語言的主效應(yīng)臨界顯著（p=0.06），幼兒在中文字幕條件下對字幕的注視次數(shù)多于英文字幕條件。興趣區(qū)的主效應(yīng)非常顯著（p<0.001），幼兒注視圖像區(qū)的次數(shù)顯著多于字幕區(qū)。年齡與音頻語言、年齡與字幕語言、音頻語言與字幕語言之間的交互效應(yīng)均不顯著（ps>0.05）。興趣區(qū)與年齡、興趣區(qū)與音頻語言的交互效應(yīng)也不顯著（ps>0.05）。興趣區(qū)與字幕語言的交互效應(yīng)臨界顯著（p=0.06），表現(xiàn)為在中文字幕條件下，幼兒對字幕區(qū)的注視次數(shù)更多。

年齡、音頻語言與字幕語言之間的交互效應(yīng)不顯著（p>0.05）。興趣區(qū)、年齡與音頻語言之間的交互效應(yīng)不顯著（p>0.05）。興趣區(qū)、音頻語言和字幕語言之間的交互效應(yīng)不顯著（p>0.05）。興趣區(qū)、年齡和字幕語言之間的交互效應(yīng)臨界顯著（p=0.05），表現(xiàn)為隨年齡增長，幼兒對中文字幕的注視次數(shù)增加，對英文字幕的注視次數(shù)沒有顯著變化;在英文字幕條件下，幼兒對圖像區(qū)的注視次數(shù)隨年齡增加。興趣區(qū)、年齡、音頻語言和字幕語言之間的交互效應(yīng)不顯著（p>0.05）。

3.瞳孔直徑

分析結(jié)果表明，在瞳孔直徑上，年齡的主效應(yīng)顯著（p<0.05），幼兒注視字幕區(qū)的瞳孔直徑隨年齡增長而顯著變大。音頻語言、字幕語言的主效應(yīng)均不顯著（p>0.05）。興趣區(qū)的主效應(yīng)非常顯著（p<0.01），幼兒注視圖像區(qū)的瞳孔直徑顯著大于字幕區(qū)。年齡與音頻語言的交互效應(yīng)不顯著（p>0.05）。年齡與字幕語言之間的交互效應(yīng)臨界顯著（p=0.053），小班幼兒和中班幼兒注視英文字幕的瞳孔直徑大于中文字幕，但大班卻相反。 音頻語言與字幕語言之間的交互效應(yīng)顯著（p<0.05），在音頻語言與字幕語言一致的條件下，幼兒注視字幕區(qū)的瞳孔直徑小于音頻語言和字幕語言沖突條件下的瞳孔直徑。 興趣區(qū)與年齡、興趣區(qū)與音頻語言、興趣區(qū)與字幕語言的交互效應(yīng)均不顯著（ps>0.05）。

年齡、音頻語言和字幕語言之間的交互效應(yīng)不顯著（p>0.05）。興趣區(qū)、年齡與音頻語言之間的交互效應(yīng)接近顯著（p=0.07），在中文音頻條件下，大班幼兒注視字幕區(qū)的瞳孔直徑大于中班和小班幼兒，注視圖像區(qū)的差異不大;在英文音頻條件下，幼兒注視圖像區(qū)的瞳孔直徑隨年齡增長而變大，注視字幕區(qū)的差異不大。興趣區(qū)、年齡和字幕語言之間的交互效應(yīng)不顯著（p>0.05）。興趣區(qū)、字幕語言和音頻語言之間的交互效應(yīng)不顯著（p>0.05）。興趣區(qū)、年齡、音頻語言和字幕語言之間的交互效應(yīng)不顯著（p>0.05）。

4.字幕區(qū)注視時(shí)間百分比

對字幕區(qū)注視時(shí)間百分比進(jìn)行了3（年齡段：小班、中班、大班）×2（音頻語言：中文、英文）×2（字幕語言：中文、英文）的多因素方差分析（見表2）。結(jié)果表明，在字幕區(qū)注視時(shí)間百分比上，年齡、音頻語言、字幕語言的主效應(yīng)均不顯著（p>0.05）。音頻語言與年齡的交互效應(yīng)不顯著（p>0.05）。音頻語言與字幕語言的交互效應(yīng)也不顯著（p>0.05）。字幕語言與年齡的交互效應(yīng)接近顯著（p=0.06），表現(xiàn)為在中文字幕條件下，大班幼兒對字幕區(qū)的注視時(shí)間百分比高于中班和小班幼兒，而在英文字幕條件下，幼兒對字幕區(qū)的注視時(shí)間百分比隨年齡的增長而降低。

三、討論

本研究發(fā)現(xiàn)，幼兒并沒有表現(xiàn)出與成人一樣的對字幕自動(dòng)化加工的特點(diǎn)，他們對圖像的關(guān)注多于對字幕的關(guān)注。這與已有研究結(jié)果一致。幼兒早期閱讀能力經(jīng)歷了從圖畫到文字的發(fā)展過程，學(xué)前末期，幼兒才逐漸成為一個(gè)初步的文字閱讀者?！?〕因此，幼兒對圖像區(qū)的注視時(shí)間長，注視次數(shù)多，觀看圖像時(shí)的瞳孔直徑也更大。

本研究發(fā)現(xiàn)，幼兒對字幕的加工特點(diǎn)受年齡和字幕語言的影響。隨年齡的增長，幼兒對中文字幕的注視行為增加。在中文字幕條件下，大班幼兒對字幕區(qū)的注視時(shí)間百分比高于中班和小班幼兒;在英文字幕條件下，幼兒對字幕區(qū)的注視時(shí)間百分比隨年齡的增長而降低。本研究還發(fā)現(xiàn)，大班幼兒注視中文字幕時(shí)瞳孔直徑顯著增大。此外，在音頻語言與字幕語言一致條件下，幼兒的瞳孔直徑小于音頻、字幕語言沖突條件下的瞳孔直徑。幼兒的視覺注視行為逐步受到其知識(shí)經(jīng)驗(yàn)特別是語言文字熟悉度的影響。隨著年齡的增長，幼兒的中文閱讀經(jīng)驗(yàn)逐漸豐富，對文字熟悉度增加，文字意識(shí)逐步發(fā)展?！?〕因此，幼兒對中文字幕的注視行為增加。此外，幼兒對電視的注意最初是受顯著性的知覺特征所驅(qū)動(dòng)的，如聲、光、顏色、新異的字幕等。隨著幼兒的成熟和知識(shí)經(jīng)驗(yàn)的累積，注意控制變得越來越主動(dòng)，幼兒對電視的注意逐步轉(zhuǎn)變?yōu)橹饕芾斫膺^程的驅(qū)動(dòng)?！?〕

四、教育啟示

本研究發(fā)現(xiàn)，幼兒在動(dòng)畫觀看中對字幕的注視行為與其文字意識(shí)的發(fā)展有關(guān)。文字意識(shí)是指有關(guān)文字形式和功能的內(nèi)隱或外顯意識(shí)。這種意識(shí)在幼兒時(shí)期表現(xiàn)為對文字的興趣和關(guān)注。幼兒的文字意識(shí)發(fā)展經(jīng)歷了三個(gè)階段：萌發(fā)階段、探索階段、類文字閱讀階段。從文字意識(shí)發(fā)展的年齡特征來看，5歲是幼兒文字意識(shí)發(fā)展的轉(zhuǎn)折點(diǎn)。5歲幼兒的圖畫閱讀能力發(fā)展較為完善，幼兒開始在閱讀中表現(xiàn)出對文字的極大興趣和關(guān)注。到6歲時(shí)，幼兒的文字意識(shí)不斷提高，已經(jīng)成為一個(gè)初步的文字閱讀者。幼兒的文字意識(shí)發(fā)展水平會(huì)影響其觀看動(dòng)畫片時(shí)的字幕注視行為，反過來，動(dòng)畫片中經(jīng)常出現(xiàn)的字幕也會(huì)促進(jìn)其文字意識(shí)的發(fā)展。因此，我們應(yīng)當(dāng)把握幼兒文字意識(shí)發(fā)展的轉(zhuǎn)折點(diǎn)，為幼兒適時(shí)、少量提供優(yōu)質(zhì)的、帶字幕的電視節(jié)目，培養(yǎng)幼兒的文字意識(shí)。

本研究還發(fā)現(xiàn)，幼兒觀看視頻的行為和認(rèn)知機(jī)制與成人不同，他們對視頻的注視行為受到其知識(shí)經(jīng)驗(yàn)的影響。也就是說，若幼兒理解視頻內(nèi)容，則他們的注視行為會(huì)變得更為主動(dòng)。因此，我們?yōu)橛變禾峁┑碾娨暪?jié)目應(yīng)當(dāng)適合幼兒當(dāng)前的認(rèn)知發(fā)展水平和知識(shí)經(jīng)驗(yàn)，這不僅有助于幼兒更好地理解節(jié)目內(nèi)容，也能促進(jìn)幼兒對節(jié)目進(jìn)行更主動(dòng)的認(rèn)知加工。

參考文獻(xiàn)：

〔1〕G?RY DYDEWALLE， PRAET C，VERFAILLIE K，et al.Watching subtitled television automatic reading behavior〔J〕.Communication Research，1991，（5）：650-666.

〔2〕WIM D B，G?RY DYDEWALLE.The minds eye：Cognitive and applied aspects of eye movement research〔M〕.Amsterdam：North-Holl and? Publishing Company，2003：671-684.

〔3〕王福興，周宗奎，趙顯，等.文字熟悉度對電影字幕偏好性影響的眼動(dòng)研究〔J〕.心理與行為研究，2012，（1）：50-57.

〔4〕G?RY DYDEWALLE，WIM D B.Eye movements of children and adults while reading television subtitles〔J〕.European Psychologist，2007，（3）：196-205.

〔5〕G?RY DYDEWALLE， JOHAN V R.Developmental studies of text-picture interactions in the perception of animated cartoons with text〔J〕.Advances in Psychology，1989，58：233-248.

〔6〕劉寶根，周兢，高曉妹，等.4～6歲幼兒圖畫書自主閱讀過程中文字注視的眼動(dòng)研究〔J〕.心理科學(xué)，2011，34（1）：112-118.

〔7〕劉寶根.學(xué)前兒童文字意識(shí)發(fā)展研究述評(píng)〔J〕.幼兒教育：教育科學(xué)，2013，590（6）：41-45.

〔8〕PEMPKL T A，KIRKORIAN H L，RICHARDS J E，et al.Video comprehensibility and attention in very young children〔J〕.Developmental Psychology，2010，（46）：1283-1293.

A Study of Childrens Eye Movement in Their Visual Attention to Subtitle During Cartoon Watching

Xia Qiong， Fang Ying， Wang Ziyan

（Hangzhou College for Kindergarten Teachers， Zhejiang Normal University， Hangzhou， 310012）

【Abstract】Using eye-movement tracking technology， this study explored young childrens visual attention to subtitles during cartoon watching. The results revealed that young children paid more attention to the area of images than subtitles; childrens subtitle processing is impacted by their ages and subtitle types， their attention to Chinese subtitles increases but attention to English ones decreases with age. The researchers put forward some suggestions.

【Keywords】 young children; cartoon watching; subtitle; eye movement

* 本文為浙江省教育廳科研項(xiàng)目“幼兒動(dòng)畫觀看中字幕閱讀的眼動(dòng)研究”的研究成果之一，項(xiàng)目批準(zhǔn)號(hào)：Y201431930。

**通訊作者：夏瓊，博士，浙江師范大學(xué)杭州幼兒師范學(xué)院副教授，E-mail：q_xia@126.com