教師手勢對視頻學(xué)習(xí)的影響及其認(rèn)知神經(jīng)機(jī)制*

皮忠玲，章 儀，楊九民

(1.陜西師范大學(xué) 現(xiàn)代教學(xué)技術(shù)教育部重點(diǎn)實(shí)驗(yàn)室，陜西 西安 710062;2.華中師范大學(xué) 教育信息技術(shù)學(xué)院，湖北 武漢 430079)

一、引言

隨著互聯(lián)網(wǎng)和視頻技術(shù)的發(fā)展，教學(xué)視頻以生動形象、聲圖并茂、隱性知識顯性化等特征，逐漸成為教育信息化時(shí)代背景下學(xué)習(xí)者首選的學(xué)習(xí)資源[1][2]。目前，國內(nèi)外各方力量在視頻教學(xué)建設(shè)方面投入大量成本，旨在通過教學(xué)視頻的應(yīng)用深度變革常規(guī)教學(xué)現(xiàn)狀，但其應(yīng)用效果差強(qiáng)人意[3][4]。因此，越來越多的研究者和教育實(shí)踐者開始關(guān)注，如何在教學(xué)視頻中運(yùn)用良好的教學(xué)設(shè)計(jì)以提高學(xué)習(xí)者的學(xué)習(xí)效果。

教師手勢是教師教學(xué)行為設(shè)計(jì)中的一種重要形式，其在學(xué)習(xí)者學(xué)習(xí)中的作用已經(jīng)成為視頻教學(xué)的重要研究領(lǐng)域之一。手勢是人類語言體系一個(gè)重要組成部分，它指伴隨言語交流過程中的手部動作，如指向物理環(huán)境中的某一個(gè)物體[5][6]。在教學(xué)活動中，教師總是無意識地伴隨著手勢[7]。通過對教學(xué)活動的觀察發(fā)現(xiàn)，教師在使用問題解決策略向?qū)W習(xí)者傳達(dá)信息時(shí)，約有39%是手勢[8]。手勢不僅與教學(xué)活動中的語言互動關(guān)系密切，而且可以引導(dǎo)學(xué)習(xí)者的注意分配并補(bǔ)充語義信息，促進(jìn)學(xué)習(xí)的認(rèn)知過程[9]。根據(jù)梅耶的多媒體學(xué)習(xí)理論中的社會線索原則，教學(xué)視頻中教師的手勢能夠激發(fā)學(xué)習(xí)者的社會反應(yīng)，增加他們參與認(rèn)知加工的動機(jī)，促進(jìn)他們深度加工，影響他們的學(xué)習(xí)認(rèn)知過程，從而提高其學(xué)習(xí)效果[10]。

從研究歷史上看，雖然對教學(xué)活動中手勢的研究可以追溯到幾個(gè)世紀(jì)以前，但真正作為教育學(xué)和心理學(xué)的研究對象卻只有30年左右的歷史[11]。近10年來，隨著研究領(lǐng)域的深入和研究方法的發(fā)展，研究者逐漸開始探討學(xué)習(xí)者加工和整合視頻中教師手勢的認(rèn)知神經(jīng)機(jī)制[12]。本文通過對以往相關(guān)研究的梳理和總結(jié)，不僅從行為層面概括了教學(xué)視頻中教師手勢的作用，并從認(rèn)知神經(jīng)層面揭示教師手勢的作用機(jī)制，最后，指出了以往研究的不足和未來可以進(jìn)一步研究的問題。

二、手勢的分類

麥克尼爾[13]將手勢分為四種主要的類型，即指示性手勢、象征性手勢、隱喻性手勢和節(jié)拍性手勢。指示性手勢是指通過一根手指或者是多跟手指，甚至是整個(gè)手，指向物理環(huán)境的某個(gè)物體或者是某個(gè)方位，它常常伴隨著指代性詞匯，如這里、那里、這個(gè)和那個(gè)等。指示性手勢可以建立言語表達(dá)和相應(yīng)的心理表征與物理環(huán)境之間的聯(lián)系。需要指出的是，說話者所指向的物體可以是在現(xiàn)場的物理環(huán)境中，也可以不在現(xiàn)場的物理環(huán)境中[14]。象征性手勢是指對物體的形狀或者運(yùn)動軌跡等的具體性描述。象征性手勢必須伴隨語言才能理解其含義[15]。例如，說話者在空氣中畫一個(gè)蘋果，來指代蘋果這個(gè)物體。隱喻性手勢是指通過隱喻的方式表示抽象事物，如雙手左右交叉運(yùn)動，表示氣流對流[16]。象征性手勢與隱喻性手勢的區(qū)別在于，前者是對事物具體性的描述，而后者是對抽象事物的表征。以上三種手勢均具有語義信息。然而，節(jié)拍性手勢不具有語義信息，是簡單的重復(fù)、連續(xù)敲打的手部運(yùn)動，它具有不同的運(yùn)動形式，其中最典型的是一只手張開手掌，并向外翻轉(zhuǎn)。節(jié)拍性手勢屬于節(jié)律性手勢，用于調(diào)節(jié)說話者的言語表達(dá)的速度與節(jié)拍，或者用于強(qiáng)調(diào)言語表達(dá)的某個(gè)重要的部分[17]。

我國學(xué)者白學(xué)軍等人[18]把教師在教學(xué)活動種使用的手勢分為功能性手勢和隨意性手勢兩大類。功能性手勢是指教師在教學(xué)過程中，用手來傳達(dá)明確信息、有特定功能的非言語行為，它又包括指示性手勢和象征性手勢。隨意性手勢指教師在教學(xué)活動中，為了適應(yīng)生理或心理的某種需要，長時(shí)間內(nèi)形成的一種隨意的固定的手的模式和習(xí)慣，不能向?qū)W習(xí)者傳達(dá)明確的信息，可以分為單手手勢和復(fù)式手勢。這一手勢相當(dāng)于節(jié)拍性手勢。

已有研究表明，在教學(xué)活動中，中西方教師手勢的運(yùn)用存在一定的差異。西方學(xué)者研究發(fā)現(xiàn)，教師64%的手勢是指示性手勢，24%是象征性手勢和隱喻性手勢，9%是節(jié)拍性手勢，2%書寫動作[19]。而白學(xué)軍等人[20]通過對不同獲獎等級青年教師手勢進(jìn)行觀察分析發(fā)現(xiàn)，教師隨意性手勢的使用頻率和持續(xù)時(shí)間都高于功能性手勢的使用；隨著教師獲獎等級的提高，不論是手勢語的總體使用還是隨意性手勢語的使用上，都呈上升的趨勢；優(yōu)秀教師更加注重手勢語與傳統(tǒng)板書教學(xué)的結(jié)合。相關(guān)數(shù)據(jù)表明，在手勢運(yùn)用上，西方教師使用頻率最高的手勢是指示性手勢，而中國教師使用頻率最高的手勢是節(jié)拍性手勢。造成這種差異的主要原因，可能是由于文化背景的不同。

三、教學(xué)視頻中教師手勢的作用

手勢的運(yùn)用是教師教學(xué)非言語行為表現(xiàn)的重要特點(diǎn)之一，不僅可以對學(xué)習(xí)者的學(xué)習(xí)認(rèn)知過程，如注意分配、語義整合產(chǎn)生影響，同時(shí)還可能對其社會情感產(chǎn)生影響，從而影響其學(xué)習(xí)效果。因此，教學(xué)視頻中教師手勢在學(xué)習(xí)中的作用備受研究者的關(guān)注，其作用主要體現(xiàn)在以下4個(gè)方面。

(一)提高學(xué)習(xí)者的學(xué)習(xí)效果

根據(jù)具身認(rèn)知理論，個(gè)體的思維和認(rèn)知均源于身體的感覺和運(yùn)動體驗(yàn)，身體體驗(yàn)與心理狀態(tài)之間有著強(qiáng)烈的聯(lián)系?；谶@一觀點(diǎn)，學(xué)習(xí)者在觀看教學(xué)視頻中教師手勢時(shí)，可以與教師發(fā)生聯(lián)合理解其感覺和運(yùn)動系統(tǒng)中的心理模型[21][22]。與此同時(shí)，根據(jù)雙通道加工理論和工作記憶模型，學(xué)習(xí)者通過視覺和聽覺通道共同處理信息，這兩個(gè)通道是相互獨(dú)立的工作的，但均有一定的容量限制[23][24]。例如，當(dāng)學(xué)習(xí)者的眼睛看到視頻中的畫面信息時(shí)，他們的視覺通道就開始處理這一圖片信息；當(dāng)學(xué)習(xí)者的耳朵聽到語音信息時(shí)，他們的聽覺通道就開始處理這一語音信息。據(jù)此，梅耶提出的多媒體學(xué)習(xí)通道認(rèn)為，在多媒體學(xué)習(xí)中，教學(xué)信息應(yīng)該充分利用學(xué)習(xí)者的認(rèn)知系統(tǒng)中的雙通道，即分別通過視覺和聽覺信息來呈現(xiàn)，避免將所有的教學(xué)信息僅通過一個(gè)通道來呈現(xiàn)，防止單個(gè)通道信息過大而“超負(fù)荷”[25]。研究者認(rèn)為，教學(xué)視頻中教師手勢的運(yùn)用符合多媒體學(xué)習(xí)的通道原則[26]。教師利用手勢在學(xué)習(xí)者視覺通道呈現(xiàn)語義信息，與其言語表達(dá)共同完成教學(xué)活動。

已有許多研究發(fā)現(xiàn)，教學(xué)視頻中教師手勢的運(yùn)用有利于提高學(xué)習(xí)者的學(xué)習(xí)效果[27]。例如，皮忠玲等人[28]的研究發(fā)現(xiàn)，教學(xué)視頻中教師指示性手勢的運(yùn)用提高了學(xué)習(xí)者對所學(xué)知識的遷移效果。賽納等人[29]也證實(shí)了，觀看具有教師象征性手勢的教學(xué)視頻的學(xué)習(xí)者，學(xué)習(xí)效果好于觀看無手勢的教學(xué)視頻的學(xué)習(xí)者。還有研究者通過對比教師手勢在教學(xué)視頻中與傳統(tǒng)面對面教學(xué)情境中對學(xué)習(xí)者學(xué)習(xí)效果的影響后發(fā)現(xiàn)，教師手勢對視頻學(xué)習(xí)的積極效應(yīng)強(qiáng)于傳統(tǒng)教學(xué)情境[30][31]。目前，手勢在學(xué)習(xí)效果上的積極效應(yīng)已經(jīng)在指示性手勢、節(jié)拍性手勢、形象性手勢和比喻性手勢等不同類型的手勢中得到了不同程度的證實(shí)[32-34]。

綜上所述，教學(xué)視頻中教師手勢對學(xué)習(xí)者學(xué)習(xí)效果的影響，相關(guān)研究結(jié)論較為一致，即教師手勢能夠提高學(xué)習(xí)者的學(xué)習(xí)效果，并且不同類型的手勢對學(xué)習(xí)效果的積極效應(yīng)的機(jī)制存在差異。

(二)提供語義信息

手勢既可以表達(dá)教師言語未清楚表達(dá)的信息，同時(shí)又可以表達(dá)言語未表達(dá)的信息。因此，手勢成為言語表達(dá)之外，提供語義信息的另一條重要途徑。教學(xué)視頻中教師手勢提供語義信息主要是指當(dāng)手勢和言語表達(dá)相互關(guān)聯(lián)和配合時(shí)，手勢表達(dá)言語本身的信息，此時(shí)手勢有助于言語的準(zhǔn)確理解；當(dāng)手勢表達(dá)言語未表達(dá)的信息時(shí)，此時(shí)手勢彌補(bǔ)了語義信息的不完整性[35]。

目前，關(guān)于教師手勢提供語義信息的已有研究主要集中于象征性手勢[36-38]。研究者認(rèn)為，指示性手勢或者是節(jié)拍性手勢，這兩種手勢具有固定的手勢模式，并不與特定的語義信息相聯(lián)系，然而，象征性手勢是與特定的言語表達(dá)相聯(lián)系。例如，當(dāng)教師介紹拋物線的概念“拋物線是指平面內(nèi)到一個(gè)定點(diǎn)F(焦點(diǎn))和一條定直線l(準(zhǔn)線)距離相等的點(diǎn)的軌跡”時(shí)，此時(shí)手勢會配合在空氣中畫出一條拋物線的軌跡，幫助學(xué)習(xí)者理解言語表達(dá)中抽象的語義信息[39]。又如，凱利等人[40]通過教學(xué)視頻中教師的象征性手勢和言語表達(dá)學(xué)習(xí)詞匯，當(dāng)手勢和言語表達(dá)一致時(shí)，能夠促進(jìn)學(xué)習(xí)者對相關(guān)詞匯的理解，相反，當(dāng)手勢和言語表達(dá)不一致時(shí)，阻礙了學(xué)習(xí)者對相關(guān)詞匯的理解。

上述研究表明，手勢不僅能夠澄清言語信息的表達(dá)，同時(shí)還能呈現(xiàn)言語表達(dá)未能展現(xiàn)的語義信息。教師手勢的語義功能從理論上得到了整合系統(tǒng)假設(shè)和多媒體學(xué)習(xí)的通道原則的直接支持[41][42]。這兩種理論均認(rèn)為，手勢和言語表達(dá)在語義理解中屬于統(tǒng)一的整體，它們相互作用共同影響學(xué)習(xí)者的語義理解，從而促進(jìn)學(xué)習(xí)者將抽象的言語表達(dá)的信息與手勢的具體表征信息整合成為連貫、一致的心理表征。

(三)引導(dǎo)學(xué)習(xí)者的注意分配

基于社會認(rèn)知視角，教師手勢相對其他具有注意引導(dǎo)功能的物理線索而言，如加粗、箭頭、劃橫線和變顏色等，能更有效地引導(dǎo)學(xué)習(xí)者注意分配，因?yàn)槭謩莸囊龑?dǎo)作用是一種基于本能性的趨向，具有自動化加工的特點(diǎn)。教師手勢能在學(xué)習(xí)者無意識狀態(tài)下對其注意進(jìn)行引導(dǎo)[43][44]。

這方面的研究主要集中于兩個(gè)方面：第一方面是教學(xué)視頻中教師的指示性手勢對學(xué)習(xí)者視覺注意的引導(dǎo)作用[45][46]。例如，皮忠玲等人[47]采用眼動追蹤技術(shù)，記錄了被試在教學(xué)視頻學(xué)習(xí)過程中的眼動情況，以比較教學(xué)視頻中教師指示性手勢與箭頭線索對學(xué)習(xí)者注意引導(dǎo)的影響，結(jié)果發(fā)現(xiàn)，相比于無注意引導(dǎo)線索的視頻和箭頭線索的視頻，教師的指示性手勢能夠更有效引導(dǎo)學(xué)習(xí)者分配更多的注意資源于被提示的教學(xué)內(nèi)容；第二方面是教師的節(jié)拍性手勢對學(xué)習(xí)者聽覺注意的引導(dǎo)作用[48]。例如，So等人[49]發(fā)現(xiàn)，節(jié)拍性手勢能夠促進(jìn)學(xué)習(xí)者對視頻中詞匯的記憶效果。他們認(rèn)為，節(jié)拍性手勢之所以能夠?qū)W(xué)習(xí)起到積極效應(yīng)是由于節(jié)拍性手勢屬于節(jié)律性手勢，會隨著教師言語的語調(diào)發(fā)生變化，能夠引導(dǎo)學(xué)習(xí)者注意言語表達(dá)中需要強(qiáng)調(diào)的內(nèi)容，例如當(dāng)教師講到重點(diǎn)內(nèi)容時(shí)，會伴隨出現(xiàn)一個(gè)節(jié)拍性手勢以強(qiáng)調(diào)這部分的內(nèi)容。

分析上述研究發(fā)現(xiàn)，教學(xué)視頻中教師手勢具有注意引導(dǎo)作用，能夠引導(dǎo)學(xué)習(xí)者注意視覺和聽覺通道的特定信息。然而，較為遺憾的是，教師手勢對聽覺注意的引導(dǎo)作用還缺乏直接的證據(jù)。

(四)激發(fā)學(xué)習(xí)者積極的社會反應(yīng)

如前所述，梅耶的多媒體學(xué)習(xí)中的社會線索原則指出，教學(xué)視頻中的社會線索，如手勢、眼睛注視和面部表情等，可以激發(fā)學(xué)習(xí)者積極的社會反應(yīng)，增加他們的學(xué)習(xí)動機(jī)，從而促進(jìn)他們投入更多的認(rèn)知資源到學(xué)習(xí)活動中，最終實(shí)現(xiàn)深度學(xué)習(xí)[50]。并且這一原則也得到了一些實(shí)證研究的支持，例如，研究者發(fā)現(xiàn)，教師在通過視頻開展教學(xué)過程中，眼睛注視、非語言伴隨性手勢(如豎起大拇指)等能夠提高學(xué)習(xí)者的社會存在感，激發(fā)他們積極的情緒狀態(tài)[51-53]。

目前，對教師手勢是否激發(fā)學(xué)習(xí)者社會反應(yīng)方面的探討，據(jù)我們所知，還缺乏圍繞本文中提到的四種手勢(語言伴隨性手勢)展開的研究。盡管其他社會線索與教師語言伴隨性手勢存在一定的差異，例如，眼睛注視被認(rèn)為可以用來表達(dá)對他人的態(tài)度，愛、興趣、或者憤怒等，同時(shí)也可以表示情緒的強(qiáng)烈程度[54]。不過這些探索性研究還是能夠給我們一定的啟發(fā)，即教學(xué)視頻中教師手勢可能激發(fā)了學(xué)習(xí)者的積極社會反應(yīng)。

(五)小結(jié)

綜上所述，教師手勢在學(xué)習(xí)者視頻學(xué)習(xí)中起到積極的作用，主要體現(xiàn)在提高學(xué)習(xí)者的學(xué)習(xí)效果、提供語義信息、引導(dǎo)注意分配和激發(fā)積極的社會反應(yīng)等方面。通過對以往相關(guān)研究進(jìn)行梳理，我們構(gòu)建了教學(xué)視頻中教師手勢的作用模型(如下頁圖1所示)，認(rèn)為教學(xué)視頻中教師手勢主要是通過兩條途徑來影響學(xué)習(xí)：一是在認(rèn)知層面，通過引導(dǎo)學(xué)習(xí)者注意的有效分配，提高他們在學(xué)習(xí)的信息選擇階段的效率，使得他們把更多的認(rèn)知資源分配到學(xué)習(xí)內(nèi)容的組織和整合階段，從而提高學(xué)習(xí)效果；二是在社會層面，教師手勢提高了學(xué)習(xí)者的學(xué)習(xí)動機(jī)，使得他們投入更多的認(rèn)知資源投入于學(xué)習(xí)活動中，從而促進(jìn)深度學(xué)習(xí)。

圖1 教學(xué)視頻中教師手勢的作用模型

四、教學(xué)視頻中教師手勢影響學(xué)習(xí)的認(rèn)知神經(jīng)機(jī)制

隨著教學(xué)視頻中教師手勢研究的不斷深入，研究者已經(jīng)將研究重點(diǎn)從探討手勢對學(xué)習(xí)行為層面的影響，逐漸轉(zhuǎn)向揭示教師手勢影響視頻學(xué)習(xí)的認(rèn)知神經(jīng)機(jī)制。近10年來，認(rèn)知神經(jīng)科學(xué)技術(shù)中的非侵入技術(shù)即無創(chuàng)性腦功能成像技術(shù)逐漸被應(yīng)用于教育學(xué)和心理學(xué)各個(gè)領(lǐng)域。無創(chuàng)性腦功能成像技術(shù)主要包括腦電技術(shù)(EEG)、近紅外腦成像技術(shù)(fNIRS)、經(jīng)顱磁刺激技術(shù)(TMS)、功能性磁共振成像技術(shù)(fMRI)等。其中根據(jù)對腦電信號的分析方法，腦電研究又分為事件相關(guān)電位研究(ERP)和EEG研究。

目前，認(rèn)知神經(jīng)機(jī)制研究集中在兩個(gè)方面上，即腦電(ERPs/EEG)和功能性核磁共振成像(fMRI)。ERPs/EEG的主要功能是通過電極記錄頭皮上腦細(xì)胞群的自發(fā)性、節(jié)律性電活動，即直接的神經(jīng)活動，腦電信號(如ERP成分和EEG神經(jīng)震蕩能量)能夠較為敏感的反映認(rèn)知活動，例如γ波(＞29Hz)與個(gè)人感知覺密切相關(guān)，這一技術(shù)擅長揭示時(shí)程問題；fMRI主要功能是依據(jù)磁振造影來測量被試在特定認(rèn)知任務(wù)下，神經(jīng)元活動所引發(fā)的血液動力的改變，即腦活動相關(guān)代謝，從而進(jìn)行腦部功能定位，fMRI技術(shù)擅長揭示腦定位問題。

(一)腦電研究

研究者普遍認(rèn)為，ERP成分和EEG不同頻段神經(jīng)震蕩能量均與特定的認(rèn)知活動密切相關(guān)[55-57]。因此，近年來逐漸有研究者嘗試采用ERPs/EEG技術(shù)來探究觀看視頻中教師手勢對學(xué)習(xí)者ERP成分和EEG不同頻段神經(jīng)震蕩能量的影響。其研究主要采用的實(shí)驗(yàn)范式大致可以分為以下幾個(gè)階段(如圖2所示)：首先，采集被試在靜息狀態(tài)的腦電數(shù)據(jù)作為基線；其次，呈現(xiàn)注視點(diǎn)；最后，呈現(xiàn)視頻片段，一般為持續(xù)幾秒鐘。

圖2 教師手勢的ERPs/EEG研究實(shí)驗(yàn)程序案例[58]

教學(xué)視頻中教師手勢往往與其言語表達(dá)相互配合或補(bǔ)充，如教師在講立體幾何的相關(guān)知識時(shí)，會時(shí)不時(shí)地在空中比劃相應(yīng)的形狀。有研究者嘗試采用ERP技術(shù)，分析學(xué)習(xí)者在整合視頻中教師手勢與其言語表達(dá)時(shí)的ERP成分的特點(diǎn)，他們發(fā)現(xiàn)，當(dāng)言語表達(dá)與手勢的語義信息不一致時(shí)，大約會在手勢出現(xiàn)后的400ms左右時(shí)，誘發(fā)腦電負(fù)成分[59-62]。例如，貝納蒂斯等人[63]比較被試在觀看視頻中教師通過表象性手勢描述詞匯與后續(xù)聽到的單詞是否匹配時(shí)，其ERP成分的差異。在實(shí)驗(yàn)中，被試首先觀看不同的手勢，之后向被試呈現(xiàn)單詞，其中有部分單詞與手勢的語義一致，部分單詞與手勢的語義不一致，例如，視頻中教師用手勢描述“吉他”“敲打”等。他們發(fā)現(xiàn)，當(dāng)教師手勢與后續(xù)單詞不匹配時(shí)，會誘發(fā)被試較大的N400波幅，主要體現(xiàn)在F3、FC3、C3、CP3、P3、F4、FC4、C4、CP4和P4等電極上(如圖3所示)。N400成分是在刺激呈現(xiàn)后在400ms左右達(dá)到峰值的事件相關(guān)電位負(fù)成分，它與語義啟動和整合有關(guān)，對語義不一致非常敏感[64]。因此，當(dāng)手勢與單詞的語義不一致時(shí)，就誘發(fā)了更負(fù)N400。

圖3 不同實(shí)驗(yàn)條件下ERP波形差異[65]

手勢的EEG研究發(fā)現(xiàn)，α和β波與手勢加工密切相關(guān)，當(dāng)個(gè)體產(chǎn)生或者是觀看手勢時(shí)，均會引起α(8-13Hz)和β(14-29Hz)波能量下降[66][67]。例如，匡特等人[68]考察了被試觀看視頻中教師指示性手勢和象征性手勢時(shí)，神經(jīng)震蕩能量的變化。在實(shí)驗(yàn)中，被試觀看兩種視頻：一種視頻是教師用象征性手勢描述如何把一個(gè)圓柱體擺放到另一個(gè)圓柱體上方；另一種視頻時(shí)教師用指示性手勢，指代出把一個(gè)圓柱體擺放到另一個(gè)圓柱體上方。他們發(fā)現(xiàn)，α和β波對指示性手勢和象征性手勢非常敏感，且觀看視頻中教師象征性手勢時(shí)，被試在右腦的中央、頂葉和枕葉腦區(qū)，α和β波的能量均顯著低于觀看指示性手勢(如圖4所示)。大量的研究發(fā)現(xiàn)，α和β波與視空間注意分配認(rèn)知活動，以及感覺運(yùn)動皮層的激活均有重要關(guān)聯(lián)[69]。因此，研究者認(rèn)為出現(xiàn)α和β波能量減少，反映了學(xué)習(xí)者在觀看手勢時(shí)需要感覺運(yùn)動皮層的參與，并進(jìn)行視空間注意分配認(rèn)知活動[70]。

圖4 觀看象征性手勢減去觀看指示性手勢的腦電地形圖[71]

上述研究表明，N400、α和β波均與手勢加工有重要聯(lián)系。然而，以往大部分關(guān)于手勢的ERPs/EEG研究中，被試觀看視頻中的手勢往往沒有伴隨著言語表達(dá)出現(xiàn)，有些研究中手勢先于言語表達(dá)，有些研究甚至沒有言語表達(dá)，這與真實(shí)的教學(xué)活動中教師手勢的運(yùn)用情境存在一定的差異。因此，即使已有研究為解釋學(xué)習(xí)者加工教師手勢時(shí)發(fā)生的ERP成分、神經(jīng)振蕩能量變化，提供了初步證據(jù)，但對這些結(jié)論在推廣至教學(xué)視頻學(xué)習(xí)中時(shí)應(yīng)該謹(jǐn)慎。

(二)功能性磁共振成像研究

為了探究學(xué)習(xí)者哪些腦區(qū)參與了加工視頻中教師手勢，研究者們采用fMRI記錄了他們在觀看視頻中教師手勢時(shí)的腦區(qū)激活情況。相關(guān)研究主要采用的實(shí)驗(yàn)范式基本與ERPs/EEG研究相似，例如，霍利等人[72]在研究中，首先向被試呈現(xiàn)一個(gè)注視點(diǎn)，接著呈現(xiàn)視頻片段。

關(guān)于理解與觀看教師手勢時(shí)激活哪些腦區(qū)這一問題，以往研究主要形成了兩種觀點(diǎn)：第一種觀點(diǎn)認(rèn)為，學(xué)習(xí)者觀察視頻中教師做手勢時(shí)，與其自身操作相同動作激活的腦區(qū)相同，主要包括腹側(cè)運(yùn)動皮層和頂下小葉等，這些腦區(qū)被稱之為鏡像神經(jīng)元系統(tǒng)[73]。鏡像神經(jīng)元系統(tǒng)的核心特征是通過相應(yīng)腦區(qū)的激活建立內(nèi)部的行為表征從而“親身經(jīng)歷”其觀察到的他人行為來實(shí)現(xiàn)理解他人行為、意圖、情緒等功能[74][75]。例如，霍利等人[76]考察被試在觀看視頻中教師象征性手勢時(shí)的腦區(qū)激活情況，他們發(fā)現(xiàn)，當(dāng)教師做出象征性手勢描述語義時(shí)，被試在后側(cè)顳上溝(Posterior Superior Temporal Sulcus，pSTS)、雙側(cè)頂下小葉(Bilateral Inferior Parietal Lobule，IPL)和雙側(cè)腹側(cè)運(yùn)動皮層(Bilateral Ventral Premotor Cortex，PMv)有更強(qiáng)的激活(如圖5所示)。

圖5 象征性手勢相對于無意義手勢的血氧水平增加的腦區(qū)[77]

第二種觀點(diǎn)基于雙通道加工理論認(rèn)為，學(xué)習(xí)者對教師手勢的理解需要整合聽覺通道和視覺通道的信息，并提取和整合其語義信息。大量的研究發(fā)現(xiàn)，學(xué)習(xí)者在觀看教師手勢時(shí)，他們進(jìn)行初級的整合視聽覺信息的主要腦區(qū)是顳上溝，進(jìn)行高級的語義信息的提取和整合主要參與的腦區(qū)包括后側(cè)顳中回(Posterior Middle Temporal Gyrus，pMTG)和額葉下回(Inferior Frontal Gyrus，IFG)[78][79]。例如，皮特斯等人[80]比較被試觀看視頻中教師指示性手勢所指向的物體與其言語表達(dá)的內(nèi)容一致或者不一致時(shí)腦區(qū)激活的差異，結(jié)果發(fā)現(xiàn)，相比于手勢與口語一致時(shí)，手勢與口語不一致時(shí)，被試在左側(cè)額葉下回和雙側(cè)顳中回激活更強(qiáng)(如圖6所示)。

圖6 比較手勢不匹配>手勢匹配的全腦分析結(jié)果[81]

分析上述研究發(fā)現(xiàn)，學(xué)習(xí)者在加工教師手勢時(shí)腦區(qū)激活包括對手勢的運(yùn)動成分和語義成分的理解。其中，對手勢的運(yùn)動成分加工，又包括知覺教師手勢為生物體運(yùn)動，區(qū)別于非生物體運(yùn)動，如箭頭運(yùn)動；其次，通過鏡像神經(jīng)元系統(tǒng)的映射機(jī)制理解手勢目的，此時(shí)參與的腦區(qū)有后側(cè)顳上溝、腹側(cè)運(yùn)動前區(qū)皮層和頂下小葉。學(xué)習(xí)者在加工手勢的語義成分時(shí)參與的腦區(qū)有后側(cè)顳中回和額葉下回，前者負(fù)責(zé)語義提取，后者負(fù)責(zé)整合和檢測視覺和聽覺信息語義一致性[82]。

五、展望

關(guān)于手勢的研究越來越受到教育學(xué)和心理學(xué)界的重視，從早期對手勢在視頻教學(xué)中的作用，到最近對其認(rèn)知神經(jīng)機(jī)制的研究，使得人們對這方面問題的理解越來越深刻。雖然這方面的研究已取得了較為豐富的成果，但仍有一些問題需要在未來的研究中進(jìn)一步關(guān)注。

(一)教師手勢在視頻學(xué)習(xí)過程的不同階段有何影響

多媒體學(xué)習(xí)理論把多媒體學(xué)習(xí)過程分為三個(gè)主要的階段：選擇、組織和整合階段[83]。其中選擇階段的主要任務(wù)是對輸入的視覺和聽覺信息進(jìn)行有選擇性的注意；組織階段的主要任務(wù)是將視覺和聽覺信息組織成一個(gè)完整的知識結(jié)構(gòu)；整合階段的主要任務(wù)是結(jié)合學(xué)習(xí)者建立已有的先前知識經(jīng)驗(yàn)與新知識的聯(lián)系。已有研究大部分基于靜態(tài)的視角從學(xué)習(xí)結(jié)果來考察教師手勢在視頻學(xué)習(xí)中的作用，鮮有研究采用動態(tài)的視角從學(xué)習(xí)的不同階段探究手勢的作用[84]。厘清手勢在不同學(xué)習(xí)階段的作用對于有效指導(dǎo)視頻教學(xué)實(shí)踐具有重要意義。然而，目前對于探究教師手勢在視頻學(xué)習(xí)的不同階段的作用還存在一定的困難，因?yàn)檠芯空哌€未能找到合適的學(xué)習(xí)任務(wù)和測驗(yàn)方式來區(qū)分組織與整合階段，所以相對來說這方面的研究仍然有限。盡管如此，多媒體學(xué)習(xí)線索相關(guān)研究已經(jīng)對線索在這三個(gè)學(xué)習(xí)階段中的作用進(jìn)行了大量的嘗試[85]，未來研究可以借鑒多媒體學(xué)習(xí)線索相關(guān)研究中采用的學(xué)習(xí)任務(wù)和測驗(yàn)方式，以及采用時(shí)間分辨率較高的研究技術(shù)，如腦電數(shù)據(jù)、眼動追蹤技術(shù)等，以揭示教師手勢在視頻學(xué)習(xí)不同階段中的作用及其機(jī)制。

(二)不同類型的手勢作用有何差異

從手勢定義和通道加工原則可以推測，教學(xué)視頻中教師不同類型的手勢作用存在差異[86][87]。具體體現(xiàn)在，節(jié)拍性手勢、指示性手勢起到了強(qiáng)調(diào)聽覺和視覺信息的作用，不包含語義信息，這兩種手勢可能主要通過引導(dǎo)學(xué)習(xí)者注意分配對學(xué)習(xí)產(chǎn)生影響；而象征性手勢和隱喻性手勢用于描述物體的形狀或者運(yùn)動軌跡等的具體性描述，以及抽象概念等，這兩種手勢包含豐富的語義信息，因此，這兩種手勢可能主要通過影響學(xué)習(xí)者的知識組織和整合，從而促進(jìn)深度學(xué)習(xí)的發(fā)生。盡管以往研究已在多個(gè)學(xué)科領(lǐng)域證實(shí)，教師不同類型的手勢均能對學(xué)習(xí)產(chǎn)生積極影響，然而，較少研究致力于探究不同類型手勢對學(xué)習(xí)的作用機(jī)制是否存在差異[88][89]，未來研究應(yīng)該圍繞這一問題進(jìn)一步展開深入探究。

(三)學(xué)習(xí)者的個(gè)體差異是否影響手勢在學(xué)習(xí)中的有效性

學(xué)習(xí)者作為學(xué)習(xí)活動的主體，其個(gè)體差異，如先前知識經(jīng)驗(yàn)和年齡等均會影響其學(xué)習(xí)過程和結(jié)果。然而，以往關(guān)于教師手勢的研究往往忽視了學(xué)習(xí)者的個(gè)體差異，據(jù)我們所知，僅有為數(shù)不多的研究關(guān)注了學(xué)習(xí)者的先前知識經(jīng)驗(yàn)和年齡等特征與教學(xué)視頻中教師手勢對其學(xué)習(xí)效果的交互作用[90-94]。例如，波斯特等人[95]研究發(fā)現(xiàn)，在進(jìn)行詞匯學(xué)習(xí)時(shí)，觀看教師手勢不僅沒有促進(jìn)低知識經(jīng)驗(yàn)的學(xué)習(xí)者的學(xué)習(xí)，反而阻礙了他們的學(xué)習(xí)，具體表現(xiàn)為認(rèn)知負(fù)荷增加以及學(xué)習(xí)效果降低。此外，So等人[96]研究發(fā)現(xiàn)，節(jié)拍性手勢可以提高成年學(xué)習(xí)者(大學(xué)生)對所學(xué)內(nèi)容的再認(rèn)(記憶)效果，但不能提高4-5歲兒童學(xué)習(xí)者的再認(rèn)效果。因此，他們認(rèn)為，教學(xué)視頻中教師手勢對學(xué)習(xí)效果的積極效應(yīng)會隨著年齡有所變化。未來研究應(yīng)該探討哪些手勢會對什么樣的學(xué)習(xí)者的學(xué)習(xí)產(chǎn)生積極影響，而其他情況則是無效的。

(四)教師手勢如何通過影響學(xué)習(xí)者的神經(jīng)活動，從而影響其學(xué)習(xí)效果

教學(xué)視頻中教師手勢的運(yùn)用主要目的是為了促進(jìn)學(xué)習(xí)，而以往關(guān)于探究教師手勢認(rèn)知神經(jīng)機(jī)制的研究中，往往僅關(guān)注了手勢出現(xiàn)時(shí)，學(xué)習(xí)者腦電成分、神經(jīng)振蕩強(qiáng)度以及腦區(qū)激活出現(xiàn)了什么變化，而忽視了這些神經(jīng)活動的變化與學(xué)習(xí)效果或?qū)W習(xí)體驗(yàn)之間的關(guān)聯(lián)；此外，這些研究中大部分采用的視頻并非真正意義上的教學(xué)活動[97][98]。例如，匡特等人[99]僅比較了視頻中教師指示性手勢和象征性手勢對被試α和β的頻段能量的影響，且視頻內(nèi)容是物體的擺放，并非學(xué)習(xí)某個(gè)知識點(diǎn)。這類僅關(guān)注學(xué)習(xí)者觀看視頻中教師手勢時(shí)的認(rèn)知神經(jīng)機(jī)制，局限了其結(jié)論在視頻教學(xué)活動中的應(yīng)用。未來研究應(yīng)該加強(qiáng)認(rèn)知神經(jīng)科學(xué)的證據(jù)與行為數(shù)據(jù)之間的聯(lián)系，如比較教學(xué)視頻中有無教師手勢時(shí)，學(xué)習(xí)者不同頻段的神經(jīng)振蕩的強(qiáng)度或腦區(qū)激活與其學(xué)習(xí)效果關(guān)系的差異，以揭示教師手勢是如何通過影響學(xué)習(xí)者的神經(jīng)活動，從而影響其學(xué)習(xí)效果。