在日常人際溝通的情境下,個(gè)體會(huì)頻繁使用手勢(shì)作為語(yǔ)言表達(dá)的補(bǔ)充,各類手勢(shì)構(gòu)成了一個(gè)復(fù)雜而富有意義的非言語(yǔ)交流體系。眾多研究學(xué)者提出手勢(shì)不僅是思維過(guò)程的外顯標(biāo)志,還能通過(guò)動(dòng)作編碼重構(gòu)認(rèn)知圖式,極大地提升知識(shí)建構(gòu)效率。盡管學(xué)界對(duì)手勢(shì)分類體系尚未達(dá)成共識(shí),但對(duì)手勢(shì)認(rèn)知價(jià)值的探索已延伸至多學(xué)科領(lǐng)域。
經(jīng)典認(rèn)知心理學(xué)從不同角度詮釋了手勢(shì)功能。日本心理學(xué)家喜多壯太郎(SotaroKita)等強(qiáng)調(diào)手勢(shì)發(fā)揮著自我導(dǎo)向的認(rèn)知工具作用,通過(guò)概念化過(guò)程一包括信息的激活、操作、結(jié)構(gòu)化及探索一實(shí)現(xiàn)了思維可視化。2美國(guó)心理學(xué)家?jiàn)W特姆·B.霍斯泰特(AutumnB.Hostetter)和瑪莎·W.阿利巴利(MarthaW.Alibali)則將手勢(shì)視為內(nèi)在心智模擬的體現(xiàn),是思維過(guò)程的物理外化。3實(shí)際上,傳統(tǒng)理論在某種程度上未能充分認(rèn)識(shí)到手勢(shì)蘊(yùn)含的指示信息和特定的文化意義,只是將手勢(shì)簡(jiǎn)化為思維的外顯化工具,忽視了其在身體動(dòng)作與環(huán)境交互中對(duì)認(rèn)知重塑的作用。正是經(jīng)典范式的解釋不足推動(dòng)了具身認(rèn)知理論的發(fā)展。具身認(rèn)知理論將手勢(shì)界定為身體認(rèn)知的延伸,是認(rèn)知活動(dòng)的具象化輸出。該理論認(rèn)為兩種機(jī)制可重塑語(yǔ)言認(rèn)知一具身模擬和具身隱喻。因此手勢(shì)不僅是言語(yǔ)交流的伴隨現(xiàn)象,也是身體經(jīng)驗(yàn)參與認(rèn)知加工的具象化表征。
本研究以具身認(rèn)知理論為框架,探討手勢(shì)如何以獨(dú)特的方式在語(yǔ)言學(xué)習(xí)中發(fā)揮作用,尤其是在語(yǔ)言學(xué)習(xí)者對(duì)語(yǔ)言的掌握與對(duì)世界的認(rèn)知過(guò)程中,具身模擬是如何通過(guò)身體動(dòng)作的再現(xiàn)促進(jìn)思維的直觀化和概念的內(nèi)化以及具身隱喻是如何通過(guò)身體經(jīng)驗(yàn)與抽象概念之間的映射深化我們對(duì)語(yǔ)言符號(hào)背后深層意義的理解和搭建文化認(rèn)知的跨模態(tài)通路。
一、手勢(shì)的認(rèn)知雙重作用
傳統(tǒng)認(rèn)知科學(xué)將認(rèn)知過(guò)程類比為計(jì)算機(jī)對(duì)符號(hào)的加工過(guò)程,計(jì)算機(jī)和人腦被視為加工和操縱符號(hào)的形式系統(tǒng),卻割裂了身體經(jīng)驗(yàn)對(duì)認(rèn)知結(jié)構(gòu)的作用4,形成了典型的離身性認(rèn)知框架。然而具身認(rèn)知突破了這種二元對(duì)立格局,提出身體不僅是認(rèn)知發(fā)生的場(chǎng)所,而且是認(rèn)知過(guò)程不可分割的一部分。語(yǔ)言理解本質(zhì)上是感官運(yùn)動(dòng)經(jīng)驗(yàn)的模擬過(guò)程。根據(jù)身體在認(rèn)知過(guò)程中發(fā)揮作用的不同,認(rèn)知理論可分為三類:非具身觀即傳統(tǒng)認(rèn)知主義,主張身體與認(rèn)知完全分離;弱具身觀一定程度上承認(rèn)身體影響符號(hào)表征內(nèi)容;強(qiáng)具身觀撰棄傳統(tǒng)認(rèn)知表征理論,主張認(rèn)知產(chǎn)生于身體與環(huán)境活動(dòng)的動(dòng)態(tài)過(guò)程,身體結(jié)構(gòu)和經(jīng)驗(yàn)對(duì)認(rèn)知的形成具有決定性作用。
語(yǔ)言是人類交流的主要方式,具身認(rèn)知自然也會(huì)涉及人類語(yǔ)言。具身模擬與具身隱喻是該理論兩個(gè)核心概念。具身模擬通過(guò)鏡像神經(jīng)系統(tǒng)再現(xiàn)身體經(jīng)驗(yàn),如人在理解奔跑時(shí)會(huì)激活腿部運(yùn)動(dòng)區(qū)的神經(jīng)。具身隱喻的建構(gòu)依托身體經(jīng)驗(yàn)向抽象域的跨域映射,如“權(quán)力即高度”的空間隱喻就是一個(gè)典型的例子。漢語(yǔ)成語(yǔ)的語(yǔ)義加工會(huì)激活面部運(yùn)動(dòng)相關(guān)腦區(qū)。5抽象道德概念的理解則會(huì)觸發(fā)前扣帶回與內(nèi)臟感覺(jué)皮層的協(xié)同激活。大量研究表明,身體經(jīng)驗(yàn)的多模態(tài)整合是語(yǔ)言認(rèn)知的本質(zhì)特征。
在人類認(rèn)知演進(jìn)中,手勢(shì)作為認(rèn)知的直觀映射深深嵌入語(yǔ)言學(xué)習(xí)中。語(yǔ)言與手勢(shì)之間具有時(shí)空協(xié)同性。時(shí)空同步機(jī)制與神經(jīng)資源共享構(gòu)成多維度的語(yǔ)義表征網(wǎng)絡(luò)的基礎(chǔ)。英國(guó)學(xué)者亞當(dāng)·肯頓(AdamKendon)的團(tuán)隊(duì)通過(guò)行為學(xué)實(shí)驗(yàn)證實(shí)言語(yǔ)輸出與手勢(shì)動(dòng)作呈現(xiàn)顯著的時(shí)空同步現(xiàn)象:語(yǔ)義檢索障礙會(huì)導(dǎo)致手勢(shì)停滯,而復(fù)雜概念表述則伴隨手勢(shì)頻率與幅度的同步提升。8這種同步性現(xiàn)象表明手勢(shì)并非語(yǔ)言的附屬品,而是與語(yǔ)言共享認(rèn)知資源的平行表征系統(tǒng)。動(dòng)作描述語(yǔ)句生成過(guò)程也存在手勢(shì)同步現(xiàn)象。除此之外,手勢(shì)和語(yǔ)言在兒童時(shí)期是共同發(fā)展的,意味著失語(yǔ)癥患者的手勢(shì)發(fā)展會(huì)受到阻礙。以上研究表明,手勢(shì)與語(yǔ)言二者聯(lián)系緊密。手勢(shì)與語(yǔ)言是構(gòu)成雙向增強(qiáng)的認(rèn)知回路的要素,而非單向的依附關(guān)系。
從具身認(rèn)知角度來(lái)看,手勢(shì)在語(yǔ)言認(rèn)知中具有雙重功能,既是動(dòng)作經(jīng)驗(yàn)的具象化外顯,又是抽象概念的隱喻載體。兒童借助上升手勢(shì)理解“成長(zhǎng)\"抽象概念的過(guò)程,實(shí)質(zhì)是在重構(gòu)身體經(jīng)驗(yàn)與符號(hào)系統(tǒng)的動(dòng)態(tài)互動(dòng)。鑒于語(yǔ)言和手勢(shì)的緊密聯(lián)系,手勢(shì)在語(yǔ)言理解和學(xué)習(xí)過(guò)程中扮演著不可忽視的角色。本研究從具身認(rèn)知視角出發(fā),從具身模擬和具身隱喻兩個(gè)方面深入探討手勢(shì)在語(yǔ)言學(xué)習(xí)中的作用,以及手勢(shì)的具身認(rèn)知價(jià)值給語(yǔ)言教學(xué)方面帶來(lái)的創(chuàng)新思路。
二、語(yǔ)言習(xí)得中手勢(shì)的具身模擬作用
具身語(yǔ)義理論認(rèn)為語(yǔ)義理解根植于身體經(jīng)驗(yàn)與動(dòng)作模擬的過(guò)程中,而非抽象符號(hào)的邏輯運(yùn)算系統(tǒng)。鏡像神經(jīng)系統(tǒng)的功能在這一理論框架下被突出為解析動(dòng)詞意義與動(dòng)作意圖捕捉的共享神經(jīng)機(jī)制,通過(guò)將感覺(jué)輸入轉(zhuǎn)化為基于個(gè)體的第一人稱體驗(yàn)實(shí)現(xiàn)認(rèn)知的具身化介入。10手勢(shì)作為身體動(dòng)作的外顯化表達(dá),已被多項(xiàng)研究證實(shí)在認(rèn)知過(guò)程中承擔(dān)著感官運(yùn)動(dòng)經(jīng)驗(yàn)與語(yǔ)言符號(hào)的媒介功能。
具身模擬機(jī)制涉及觀察動(dòng)作、環(huán)境以及內(nèi)在身體感受的再現(xiàn),深度參與語(yǔ)言學(xué)習(xí)。美國(guó)認(rèn)知心理學(xué)家蘇珊·瓦格納·庫(kù)克(SusanWagnerCook)的一項(xiàng)研究表明,伴隨手勢(shì)的詞匯教學(xué)能顯著提升語(yǔ)義記憶效率,手勢(shì)模擬也能增強(qiáng)兒童對(duì)概念的內(nèi)化。[]有關(guān)二語(yǔ)習(xí)得的相關(guān)研究證實(shí),手勢(shì)通過(guò)提供視覺(jué)一運(yùn)動(dòng)線索,能幫助學(xué)習(xí)者突破語(yǔ)言障礙,特別是在理解指代關(guān)系中展現(xiàn)獨(dú)特的優(yōu)勢(shì)。12]盡管兒童語(yǔ)言理解受到手勢(shì)類型、年齡差異、內(nèi)容難度以及先前經(jīng)驗(yàn)等多種因素的影響,但學(xué)界關(guān)于手勢(shì)對(duì)兒童的語(yǔ)言的確切影響尚未達(dá)成一致的結(jié)論。研究發(fā)現(xiàn),一些特定類型的手勢(shì)已對(duì)兒童的語(yǔ)言理解產(chǎn)生積極影響,如節(jié)奏性手勢(shì)與敘事相結(jié)合能顯著提升學(xué)前兒童的情景推理能力,互補(bǔ)性手勢(shì)除補(bǔ)充語(yǔ)言表達(dá)信息之外,還能提升兒童對(duì)簡(jiǎn)單語(yǔ)言的理解速度。13]
相關(guān)神經(jīng)科學(xué)研究發(fā)現(xiàn)當(dāng)個(gè)體聽(tīng)到或閱讀與動(dòng)作相關(guān)的詞匯時(shí),大腦運(yùn)動(dòng)皮層會(huì)激活與執(zhí)行該動(dòng)作相似的神經(jīng)回路,證實(shí)語(yǔ)言加工與感覺(jué)運(yùn)動(dòng)系統(tǒng)之間存在神經(jīng)耦合機(jī)制。14漢語(yǔ)動(dòng)作成語(yǔ)“手舞足蹈\"的語(yǔ)義加工過(guò)程會(huì)誘發(fā)與手部、腿部運(yùn)動(dòng)相關(guān)的腦區(qū)的神經(jīng)響應(yīng)。15研究發(fā)現(xiàn),手勢(shì)作為模擬機(jī)制的物理載體,能動(dòng)態(tài)再現(xiàn)語(yǔ)言概念理解,為語(yǔ)義理解提供了直觀的感官運(yùn)動(dòng)的編碼通道。
三、語(yǔ)言習(xí)得中手勢(shì)的具身隱喻作用
隱喻是將一個(gè)認(rèn)知域中的概念映射到另一個(gè)認(rèn)知域,從而構(gòu)建起一座意義橋梁。這種映射過(guò)程是自然而然地融入人類的語(yǔ)言和思維中的。隱喻不僅是語(yǔ)言藝術(shù)的裝飾,也是洞察人類認(rèn)知演進(jìn)和思維本質(zhì)的窗口。概念隱喻理論認(rèn)為抽象概念的認(rèn)知建構(gòu)依賴身體經(jīng)驗(yàn)與物理世界的跨域映射[16隱喻在其中充當(dāng)了從具體到抽象轉(zhuǎn)換過(guò)程中的媒介。身體的動(dòng)作乃至細(xì)微的手勢(shì)都成為隱喻的實(shí)體體現(xiàn),深刻影響人們對(duì)復(fù)雜概念的解讀與溝通。手勢(shì)在特定情景下承擔(dān)隱喻功能,可以反映事物的抽象屬性?!皺?quán)力即高度”的空間隱喻通過(guò)垂直手勢(shì)的具象化表征完成認(rèn)知編碼,而“時(shí)間如流水”這一動(dòng)態(tài)隱喻則借由手部水平滑動(dòng)得以表達(dá)。利用手勢(shì)來(lái)表達(dá)抽象概念的形式不僅降低了抽象概念的認(rèn)知負(fù)荷,提升信息處理能力,而且能通過(guò)多感官整合路徑進(jìn)一步優(yōu)化語(yǔ)義加工效率。
行為學(xué)研究為手勢(shì)的隱喻功能提供了豐富的實(shí)證證據(jù)。一份來(lái)自美國(guó)的心理學(xué)家羅恩·弗里德曼(RonFriedman)和安德魯·J.艾略特(AndrewJ.Elliot)的研究表明,當(dāng)人們做出交叉手臂的動(dòng)作時(shí),他們?cè)诮鉀Q復(fù)雜字謎任務(wù)上會(huì)展現(xiàn)出更強(qiáng)的耐力與更高的準(zhǔn)確性。這歸因于該姿勢(shì)所賦予的心理力量感。而象征性手勢(shì),如模擬物體形狀,則通過(guò)空間映射深化抽象概念的理解。手勢(shì)的隱喻作用會(huì)因個(gè)體生理特征而存在顯著差異。右利手群體更傾向?qū)⒎e極情感與右側(cè)空間關(guān)聯(lián),而左利手群體則呈現(xiàn)鏡像效應(yīng)。[18]
這種“身體特異性\"不僅體現(xiàn)在日常手勢(shì)中,在跨語(yǔ)言手語(yǔ)系統(tǒng)中也存在。手語(yǔ)作為人類語(yǔ)言的一種表達(dá)形式,遠(yuǎn)超出單純手勢(shì)疊加的范疇。隱喻作為手語(yǔ)的精髓之一,極大地拓寬了手語(yǔ)的語(yǔ)義維度。但是手語(yǔ)的表達(dá)深受文化背景的影響,因此世界手語(yǔ)系統(tǒng)呈現(xiàn)出多樣性的景象。美國(guó)手語(yǔ)(AmericanSignLanguage,縮寫(xiě)為ASL)通過(guò)手指伸展來(lái)模擬“知識(shí)傳播\"這一抽象概念,而中國(guó)手語(yǔ)則通過(guò)雙手聚合動(dòng)作表征“智慧積累”。
手語(yǔ)與日常手勢(shì)在信息傳遞上雖有交集,但其實(shí)二者在本質(zhì)上存在差異。加拿大認(rèn)知神經(jīng)科學(xué)家亞倫·J.紐曼(AaronJ.Newman)的團(tuán)隊(duì)突破性地從神經(jīng)科學(xué)層面進(jìn)行解釋[19],通過(guò)功能性磁共振成像(Functional Magnetic Resonance Imaging,縮寫(xiě)為fMRI)技術(shù),觀察了19名先天失聰?shù)腁SL母語(yǔ)者與19名聽(tīng)力正常的非手語(yǔ)使用者在處理語(yǔ)言信號(hào)時(shí)的大腦活動(dòng)。研究結(jié)果顯示,在失聰參與者中,ASL中的運(yùn)動(dòng)動(dòng)詞更多地激活了大腦左半球與語(yǔ)言加工相關(guān)的區(qū)域,且激活強(qiáng)度更為顯著,與處理傳統(tǒng)語(yǔ)言的方式相似。相反,聽(tīng)力正常的參與者在處理ASL動(dòng)詞和一般手勢(shì)時(shí),大腦的兩個(gè)半球均顯示出與人體運(yùn)動(dòng)感知相關(guān)的活躍,而非典型語(yǔ)言處理區(qū)域。這說(shuō)明手語(yǔ)在使用者的大腦中被視作一種具有結(jié)構(gòu)化的語(yǔ)言成分處理,而非簡(jiǎn)單的視覺(jué)圖像。
四、手勢(shì)的具身認(rèn)知價(jià)值與教育實(shí)踐革新
認(rèn)知行為是身體、環(huán)境與任務(wù)實(shí)時(shí)交互的產(chǎn)物,而手勢(shì)在此過(guò)程中扮演著動(dòng)態(tài)調(diào)節(jié)器的角色。語(yǔ)言學(xué)習(xí)者在學(xué)習(xí)過(guò)程中會(huì)自發(fā)產(chǎn)生手勢(shì)的動(dòng)作軌跡、運(yùn)動(dòng)幅度與言語(yǔ)節(jié)奏的非線性耦合。例如,上文中提到解釋抽象概念時(shí),手勢(shì)頻率與口語(yǔ)停頓呈現(xiàn)負(fù)相關(guān),表明手勢(shì)通過(guò)認(rèn)知資源優(yōu)化機(jī)制實(shí)現(xiàn)功能補(bǔ)償。當(dāng)前研究可以通過(guò)運(yùn)動(dòng)捕捉技術(shù)與語(yǔ)音分析系統(tǒng)進(jìn)行量化建模,構(gòu)建“手勢(shì)-語(yǔ)音相位同步指數(shù)”,建立具身認(rèn)知?jiǎng)討B(tài)特性的量化分析框架。未來(lái)實(shí)驗(yàn)設(shè)計(jì)可引入虛擬現(xiàn)實(shí)交互環(huán)境,要求學(xué)習(xí)者在虛擬環(huán)境中通過(guò)手勢(shì)操縱三維語(yǔ)義符號(hào),同步采集肌電信號(hào)與眼動(dòng)數(shù)據(jù),來(lái)研究手勢(shì)如何通過(guò)多模態(tài)協(xié)調(diào)機(jī)制來(lái)增強(qiáng)語(yǔ)言加工的流暢性。
構(gòu)建具身化語(yǔ)言教學(xué)模型的核心在于將手勢(shì)從輔助工具升級(jí)為認(rèn)知干預(yù)手段。在初級(jí)詞匯教學(xué)模塊中,可以設(shè)計(jì)“手勢(shì)-語(yǔ)義映射訓(xùn)練”,讓學(xué)習(xí)者通過(guò)特定動(dòng)作形態(tài)來(lái)激活相應(yīng)的感覺(jué)運(yùn)動(dòng)網(wǎng)絡(luò),如手掌開(kāi)合模擬“膨脹”概念。研究人員還可以利用功能性近紅外光譜技術(shù)(FunctionalNear-InfraredSpectroscopy,縮寫(xiě)為fNIRS)監(jiān)測(cè)運(yùn)動(dòng)皮層與角回的神經(jīng)耦合強(qiáng)度,以此建立神經(jīng)激活模式與詞匯習(xí)得效率的量化關(guān)聯(lián)模型。
虛擬現(xiàn)實(shí)技術(shù)的突破為手勢(shì)的具身認(rèn)知研究開(kāi)辟了新維度。在元宇宙語(yǔ)言課堂中,手勢(shì)交互系統(tǒng)能讓學(xué)習(xí)者通過(guò)手勢(shì)操縱虛擬對(duì)象的物理屬性如拉伸時(shí)間軸,旋轉(zhuǎn)文化符號(hào)等,這種沉浸式學(xué)習(xí)環(huán)境能夠顯著強(qiáng)化隱喻建構(gòu)。例如,教師可以在漢語(yǔ)成語(yǔ)教學(xué)中引入手勢(shì)敏感型VR課程,學(xué)習(xí)者通過(guò)手勢(shì)來(lái)模擬“怒發(fā)沖冠\"的面部肌動(dòng)模式,再配合實(shí)時(shí)生物力學(xué)反饋系統(tǒng),將抽象語(yǔ)義具象化為可操作的身體經(jīng)驗(yàn)。這一技術(shù)路徑不僅突破了傳統(tǒng)教學(xué)的時(shí)空限制,而且能夠重塑語(yǔ)言習(xí)得的神經(jīng)編碼機(jī)制。
跨文化視角下的研究發(fā)現(xiàn)手勢(shì)的具身效應(yīng)帶有文化基因編碼的特征。中國(guó)手語(yǔ)中“智慧積累”使用的是雙手聚合手勢(shì),這一手勢(shì)相較于美國(guó)手語(yǔ)的單手指引動(dòng)作,更能激活顳頂聯(lián)合區(qū)的文化語(yǔ)義網(wǎng)絡(luò)。這種差異體現(xiàn)了兩種文明的認(rèn)知差異,前者強(qiáng)調(diào)集體經(jīng)驗(yàn),后者側(cè)重個(gè)體經(jīng)驗(yàn)。不僅如此,跨文化語(yǔ)言學(xué)習(xí)者的手勢(shì)偏好會(huì)隨訓(xùn)練時(shí)長(zhǎng)發(fā)生適應(yīng)性重組,逐漸向目標(biāo)語(yǔ)母語(yǔ)者的手勢(shì)偏好靠近。因此,語(yǔ)言教育應(yīng)開(kāi)發(fā)相應(yīng)文化的手勢(shì)數(shù)據(jù)庫(kù),如為阿拉伯語(yǔ)教學(xué)模塊開(kāi)發(fā)符合從右向左書(shū)寫(xiě)習(xí)慣的手勢(shì)系統(tǒng)。
如上所述,手勢(shì)在語(yǔ)言教學(xué)中的核心價(jià)值體現(xiàn)在三個(gè)方面:第一,視覺(jué)-運(yùn)動(dòng)通道的信息分流機(jī)制優(yōu)化工作記憶資源,增強(qiáng)語(yǔ)義網(wǎng)絡(luò)穩(wěn)定性;第二,概念深度理解作為具身認(rèn)知的核心環(huán)節(jié),手勢(shì)將抽象概念具象化。實(shí)證研究數(shù)據(jù)表明手勢(shì)介人能將抽象關(guān)系轉(zhuǎn)換為可操作的身體經(jīng)驗(yàn),并顯著提升概念內(nèi)化速度。但是跨文化教學(xué)需要考慮手勢(shì)的文化特異性,不同文化背景下的動(dòng)作符號(hào)存在認(rèn)知解碼的差異;第三,自我產(chǎn)生的手勢(shì)通過(guò)本體感覺(jué)編碼強(qiáng)化記憶痕跡,而伴隨手勢(shì)的詞匯教學(xué)能夠提高兒童新詞記憶保持率。
因此未來(lái)我們可以重構(gòu)教育實(shí)踐,將手勢(shì)訓(xùn)練嵌入語(yǔ)言課程標(biāo)準(zhǔn),建立從幼兒園到成人的漸進(jìn)式具身教學(xué)體系;開(kāi)展教師的多模態(tài)教學(xué)能力專項(xiàng)培訓(xùn);構(gòu)建人工智能手勢(shì)輔助系統(tǒng),實(shí)現(xiàn)課堂手勢(shì)數(shù)據(jù)的實(shí)時(shí)分析與教學(xué)優(yōu)化。
未來(lái)語(yǔ)言的教育范式將從“聽(tīng)覺(jué)主導(dǎo)\"的單通道模式轉(zhuǎn)變?yōu)椤熬呱沓两钡亩嗄B(tài)范式。未來(lái)研究可集中在三個(gè)關(guān)鍵領(lǐng)域:跨文化語(yǔ)言學(xué)習(xí)者手勢(shì)表征的腦區(qū)遷移模式、特殊教育中的手勢(shì)干預(yù)方案以及多模態(tài)學(xué)習(xí)環(huán)境的神經(jīng)適應(yīng)機(jī)制。具身認(rèn)知理論的進(jìn)一步發(fā)展和人類語(yǔ)言習(xí)得范式的創(chuàng)新將呈現(xiàn)雙向饋贈(zèng)關(guān)系。
五、結(jié)語(yǔ)
作為具身認(rèn)知的核心載體,手勢(shì)通過(guò)具身模擬和概念隱喻的雙重建構(gòu),動(dòng)態(tài)參與語(yǔ)言習(xí)得與理解的認(rèn)知過(guò)程。具身模擬機(jī)制揭示了手勢(shì)認(rèn)知價(jià)值遠(yuǎn)超語(yǔ)言附屬物。抽象符號(hào)通過(guò)動(dòng)作轉(zhuǎn)化為可體驗(yàn)的身體經(jīng)驗(yàn),并將語(yǔ)言學(xué)習(xí)過(guò)程從被動(dòng)感知轉(zhuǎn)變?yōu)橹鲃?dòng)感受。具身隱喻機(jī)制揭示了手勢(shì)在語(yǔ)言認(rèn)知中的雙重角色,一方面,手勢(shì)可以通過(guò)身體經(jīng)驗(yàn)降低抽象語(yǔ)義的理解門(mén)檻;另一方面,手勢(shì)可以通過(guò)文化編碼豐富語(yǔ)言的表達(dá)維度。手勢(shì)的具身功能能夠優(yōu)化語(yǔ)言學(xué)習(xí)效果,并為多模態(tài)語(yǔ)言教學(xué)提供理論依據(jù)。基于整合手勢(shì)的多模態(tài)教學(xué)設(shè)計(jì)能促進(jìn)學(xué)習(xí)者從“身體經(jīng)驗(yàn)\"到“概念抽象\"的認(rèn)知躍遷以及優(yōu)化學(xué)習(xí)者的語(yǔ)義整合效率,在兒童語(yǔ)言習(xí)得和二語(yǔ)習(xí)得領(lǐng)域具有巨大的應(yīng)用潛力。未來(lái)我們需要構(gòu)建一個(gè)從幼兒園到成人的漸進(jìn)式具身教學(xué)體系,引入支持手勢(shì)的人工智能系統(tǒng),實(shí)現(xiàn)多模態(tài)數(shù)據(jù)實(shí)時(shí)分析,推動(dòng)語(yǔ)言教育從聽(tīng)覺(jué)主導(dǎo)范式向具身沉浸范式轉(zhuǎn)型。未來(lái)研究可以進(jìn)一步探索手勢(shì)隱喻的神經(jīng)可塑性、手勢(shì)表征跨文化遷移模式中的腦區(qū)遷移規(guī)律、特殊教育干預(yù)方案、多模態(tài)神經(jīng)適應(yīng)機(jī)制及其與技術(shù)媒介的融合路徑等方向。
參考文獻(xiàn)
[1]伍珍,郭睿.嬰兒指示性手勢(shì)與其語(yǔ)言學(xué)習(xí)的關(guān)系[J].心理科 學(xué)進(jìn)展,2017(10):1705-1712.
[2]Sotaro Kita,MarthaW.Alibali,Mingyuan Chu.Howdo Gestures Influence Thinking and Speaking? The Gesture-forConceptualization Hypothesis[J].Psychological Review, 2017(3):245-266.
[3]AutumnB.Hostetter,MarthaW.Alibali.Visible Embodiment: Gestures as Simulated Action[J].Psychonomic Bulletin amp; Review,2008(3):495-514.
[4]LawrenceW.Barsalou.Grounded Cognition:Past,Present, and Future[J]. Topics in Cognitive Science,2010(4):716-724.
[5][15]蘇得權(quán),鐘元,曾紅,等.漢語(yǔ)動(dòng)作成語(yǔ)語(yǔ)義理解激活腦區(qū) 及其具身效應(yīng):來(lái)自 fMRI的證據(jù)[J].心理學(xué)報(bào),2013(11): 1187-1199.
[6]Joshua D.Greene,Leigh E.Nystrom,Andrew D.Engell,et al.TheNeural Bases of Cognitive Conflict and Control in Moral Judgment[J].Neuron,2004(2):389-400.
[7]Francis Quek,David McNeill,Robert Bryll,etal.Multimodal Human Discourse:Gesture and Speech[J].ACM Transactions on Computer-Human Interaction(TOCHI),2002(3):171-193.
[8]Adam Kendon.Gesture:Visible Action as Utterance[M]. Cambridge:Cambridge University Press,2oo4:76-81.
[9]David McNeill.Hand and Mind:What Gestures Reveal about Thought[M].Chicago:The University of Chicago Press,1992: 295-334.
[10]Vittorio Gallese,PierF.Ferrari,Maria A.Umilta.The MirorMatching System:ASharedManifoldfor Intersubjectivity[J].Behavioral and Brain Sciences,2002(1): 35-36.
[11]Susan W.Cook,Susan Goldin-Meadow. The Role of Gesture in Learning:Do Children Use Their Handsto Change Their Minds?[J]. Journal of Cognition and Development,2006(2): 211-232.
[12]Ayano Sueyoshi,Debra M.Hardison.The Role of Gestures and Facial Cues in Second Language Listening Comprehension [J].Language Learning,2005(4):661-699.
[13]Judith Llanes-Coromina,Ingrid Vila-Gimenez,Olga Kushch, et al.Beat Gestures Help Preschoolers Recall and Comprehend Discourse Information[J].Journal of Experimental Child Psychology,2018(172):168-188.
[14]Friedemann Pulvermuller,F(xiàn)erathKherif,Olaf Hauk,etal. Distributed Cell Assemblies for General Lexicaland CategorySpecific Semantic Processing as Revealed by fMRI Cluster Analysis[J].Human Brain Mapping,2009(12):3837-3850.
[16]George Lakoff,Mark Johnson.Philosophy in the Flesh:The Embodied Mind and Its Challenge to Western Thought[M]. New York:Basic Books,1999:3-22.
[17]Ron Friedman,Andrew J.Ellot.The Effect of Arm Crossing onPersistence and Performance[J].European Journal of Social Psychology,2008(3):449-461.
[18]Daniel Casasanto,Kyle Jasmin.Good and Bad in The Hands of Politicians:Spontaneous Gestures during Positive and Negative Speech[J].Plos One,2010(7):el1805.
[19]Aaron J.Newman,Ted Supalla,Nina Fernandez,etal.Neural SystemsSupportingLinguisticStructure, Linguistic Experience,and Symbolic Communication in Sign Language and Gesture[J].Proceedings of the National Academy of Sciences,2015(37):11684-11689.