手勢促進語言的理解與學習：具身認知的視角

任 琳 丁道群，2 黎曉丹 梁敏響

(1湖南師范大學心理學系，長沙 410081；2認知與人類行為湖南省重點實驗室，長沙 410081）

1 引言

人們在學習一門外語或者兒童在學習時常常會使用手勢，用以幫助自己更好地理解或表達，如嬰兒使用手勢向別人表達自己的需要。手勢也可以傳達出一個人的狀態(tài)，如成語“手忙腳亂”形容遇事慌張，不知如何是好；一個人“手舞足蹈”——兩手舞動，兩只腳也跳了起來，形容高興到了極點；喜歡“指手畫腳”的人往往在說話時趾高氣昂或得意忘形。在演講、談判等社會交流中，人們也總是會借助手勢表達自己的想法，增強交流效果。研究者依據是否伴隨語言的產生一般將手勢分為兩類：非表象性（non－representational）手勢和表象性（representational）手勢。非表象性手勢包括標志性手勢（emblem）和連續(xù)敲打（beat）的手勢，而表象性手勢伴隨著語言而產生，包括指示性手勢、隱喻性手勢和象征性手勢 （馬利軍，張積家，2011）。在手勢與語言的關系上，無論使用手勢動作過程中是否伴隨語言，手勢均會對個體理解和學習語言產生一定的影響 （Beilock，2016）。越來越多的研究支持手勢和言語系統(tǒng)存在相互作用。首先，手勢和言語動作基于相似或相同的生理基礎，手勢和語言共享同一交流系統(tǒng)（馬立軍，張積家，2011）。其次，從詞語起源上，作為語言基本要素之一的詞匯應該主要起源于伴隨不及物動作 （intransitive actions）和手勢（pantomimes）相關聯(lián)的聲音，而不是起源于與目標相關的動作（陳巍，郭本禹，單春雷，2012）。同時，兩者之間的聯(lián)系依賴于手勢和言語這兩種信號的語義一致性。

基于傳統(tǒng)認知心理學的立場，手勢之所以能夠影響個體的語言理解和學習，其作用機制有不同的說法。Kita等提出了手勢的概念化假設用以解釋手勢的自我導向功能（Kita， Alibali， ＆ Chu， 2017）。他們認為手勢的自我導向功能是通過激活（activate）、操作（manipulate）、包裝（package）及探索（explore）四種主要方式來影響個體的認知過程，通過這四種方式可以將信息進行圖形化（schematize），也就是關注的小部分信息與手上的任務相關。也有學者認為，手勢只是個體在精神上模擬表演各種動作的外延。手勢讓個體的精神表達更加生動形象，讓個體在真正做出動作之前用手來演示動作，或者讓個體在完整思考整件事并總結成語言之前，用手來模擬這些行為（Hostetter＆ Alibali，2008）。以上作用機制從不同的角度解釋了手勢對語言理解和學習的影響，但仍存在一些問題。一方面，經典認知理論忽視了手勢動作這一身體經驗的作用；而另一方面，依據手勢的分類我們可以知道手勢并不單單是手部的動作，手勢包括了不同的內涵，如指示信息、特定的文化意義等。從這個問題上說，具身認知理論這一新的研究取向可以從不同的角度很好解釋手勢對語言理解和學習的影響。

從具身認知 （embodiment cognition）理論角度解析手勢對語言的作用，主要體現(xiàn)在兩個層面：一是手（手指、手臂等）作為身體的一部分所形成的身體經驗，認知過程進行的方式和步驟實際上是被身體的物理屬性所決定的，同時認知的內容也是身體提供的（葉浩生，2010），這其中包括具身模擬和具身隱喻；二是具身語義理論（embodiment cognition of semantic theory）認為，語言是具身的，是人從一出生開始，便與身體和環(huán)境不斷發(fā)生相互作用，并通過感知、動覺、運動系統(tǒng)形成記憶、情感等方面的高級官能認知過程。因此，具身語義理論貫穿于手勢對言語影響的全過程。接下來，本文結合行為實驗和ERP、fMRI等腦科學的技術應用，探究具身認知視角手勢對語言理解和學習的作用。

2 語言理解和學習中手勢的具身模擬作用

具身模擬（embodied simulation）是指個體對身體動作與環(huán)境的觀察、身體感知模擬等過程中的認知功能（黎曉丹，丁道群，2017）。中國成語中有許多和身體動作經驗相關的詞語：如“右手畫圓，左手畫方”比喻用心不專，什么事也辦不成，這源自于人們對實際身體的體驗，很難把這兩個手部動作同時做好；“額手稱慶”就是把手放在額上，表示慶幸；“拍案而起”指一拍桌子猛地站起來，形容非常憤慨。這里手勢的作用在于指明客體在物理空間或概念空間的相對方位，包含了空間信息，即更多的是指示性手勢（pointing gesture）。國內研究者將指示性手勢對嬰兒語言學習的影響機制分為兩種：影響學習環(huán)境和影響學習者（伍珍，郭睿，2017）。在影響學習者的方式上主要表現(xiàn)為，提高注意力和喚醒水平，體現(xiàn)與外部世界交流的動機，體現(xiàn)主動尋求信息的動機，并將指示性手勢作為促進學習的認知工具。而具身語義理論認為語義理解是基于自身動作經驗的認知活動，其中鏡像神經系統(tǒng)（mirror neuron）是理解動詞語義和動作意圖的共同神經基礎，它以第一人稱的視角把感覺信息轉換為動作圖式，讓人產生感同身受的體驗。

手勢動作是身體動作的一部分，其作用在手勢使用對語言理解和學習的具身模擬功能上得以體現(xiàn)，并得到了實驗的證實。Meredith等發(fā)現(xiàn)，在教授詞匯的過程中使用相應的手勢會增加新單詞的語義（Meredith， Rowe， et，al，2013）。 Macedonia 等同樣發(fā)現(xiàn)，在教授母語為德語的成人學習外語詞匯時，伴隨著標志性手勢比伴隨著無意義手勢的成人會更好地 學 習 詞 匯 （Macedonia，Muller， ＆ Friederici，2011）。Cook等完成了一項兒童研究，發(fā)現(xiàn)鼓勵孩子們在學習時使用手勢之后，他們對所學的內容記憶得更牢固了。手部動作有助于我們的學習，一般來說，我們都希望在思考的時候能用上我們的手（Cook， Duffy， ＆ Fenn，2013）。 而從接收者角度來講，演講者有意義的手勢能夠促進詞匯的理解學習。有意義的手勢和高頻詞可以促進最高的學習準確度，但若使手勢發(fā)揮作用還需要考慮任務難度（Hupp ＆ Gingras， 2016）。

具身模擬除了具備動作認知系統(tǒng)的功能，還有著例如共情（包括痛覺、面部表情和情緒性身體語言的模擬）、調整身體擁有感（body ownership）、身體經驗的互動學習等自動化的高級心理過程。其激活的大腦區(qū)域功能包含視覺、動作和情緒等，其涉及的大腦區(qū)域主要包括視覺皮層、軀體感覺皮層、前運動皮層等（黎曉丹，丁道群，2017）。研究表明，運動系統(tǒng)的激活（手做動作）有助于人腦的語義加工過程。具體而言，手和腳運動相關的腦區(qū)域的預激活分別導致了運動皮層以及之后一致的詞語處理期間pSTL的激活減少，反應類型和詞語類型之間的一致性效應發(fā)生在150ms左右，即語義信息檢索的最早階段（Mollo， Friedemann， ＆ Hauk， 2015）。

具身認知理論認為，我們的范疇、概念、推理和心智是由我們的身體經驗形成的，特別與感覺運動系統(tǒng)息息相關 （葉浩生，2017）。在一項fMRI研究中，讓被試讀出實驗過程中所呈現(xiàn)的與面孔、手臂、腿部運動相關的一些詞語（如笑、揮手、抖腿等）。結果顯示，當被試讀詞語時，腦區(qū)的激活部位與真正用手臂、腿部、臉部運動時激活的腦區(qū)有重疊，并且激活了鏡像神經系統(tǒng)，詞語語義理解腦區(qū)與負責相應動作的感覺運動腦區(qū)是擬合的（Pulvermüller，Kherif， Hauk， Mohr， ＆ Nimmo－Smith， 2009）。 蘇得全等人同樣采用fMRI技術，發(fā)現(xiàn)漢語中涉及動作的成語語義理解腦區(qū)與負責相應動作的感覺運動腦區(qū)是擬合的，漢語動作成語語義理解表現(xiàn)出具身效應（蘇得權，鐘元，曾紅，葉浩生，2013）。

3 語言理解和學習中手勢的具身隱喻作用

隱喻（metaphor）在文學、影視作品中應用廣泛，是指一個認知域中的概念系統(tǒng)地用于對另外一個認知域中的概念進行表達，這種表達在大多數(shù)情況下是自動化的、不被人所意識到的。隱喻反映了人類認知化發(fā)展的過程和思維的基本方式，為了解人類的認知提供了一個視窗。概念隱喻（conceptual metaphor）理論認為，隱喻不僅是一種語言修辭手段，更反映了人類認知的重要特征：人類的抽象概念系統(tǒng)是以感知覺經驗和具體概念為基礎發(fā)展形成的。根據概念隱喻理論，主體可以以感知運動經驗對抽象概念進行體驗式表征與加工（殷融，蘇得權，葉浩生，2013）。

關于手的隱喻在中國成語中也有體現(xiàn)。如“洗手奉職”用洗手比喻廉潔奉公，“白手起家”形容在沒有基礎和條件很差的情況下自力更生，艱苦創(chuàng)業(yè)。有些手勢動作往往代表著特定的信息，且在不同民族之間或同一民族的不同群體之間存在著巨大的文化差異。如“豎起大拇指”的手勢在美國意味著“進展順利”，在中國更多的時候表示“真棒”，但在孟加拉國則是對人的一種侮辱。手勢的隱喻功能通常在標志性手勢和象征性手勢（symbolic gesture）以及隱喻性手勢（metaphoric gesture）中得以體現(xiàn)。

標志性手勢具有穩(wěn)定的形式和恒定的意義，類似于語言交流中的單詞，如交叉手臂或指向。Friedman和Elliot等讓一些人交叉起手臂，發(fā)現(xiàn)這些人能花兩倍的時間去解答一些很難的字謎，并且他們的毅力使得他們的正確率提高了不少（Friedman＆ Elliot，2010），這就源于交叉雙臂給人帶來的力量感。同樣，雙臂交叉的被試在空間判斷的視角選擇上更傾向于第一人稱視角，即以自我為中心（Furlanetto， Gallace， Ansuini， ＆ Becchio，2014）。Maricchiolo等發(fā)現(xiàn)手的動作比任何一個其他部位的動作都能夠增強信息的說服力，能讓你所說內容更易被理解。比如當說到過去時，指向身后的說服效果更好 （Maricchiolo， Gnisci， Cerasuolo，F(xiàn)icca， ＆ Bonaiuto， 2016）。

象征性手勢是對物體的形狀、運動和行為的具體性描述，必須伴隨語言才能理解其含義。象征性手勢有時也發(fā)揮隱喻性手勢的作用，表示物體的抽象本質。根據身體特異性假說 （body－specificity hypothesis），右撇子傾向于把右向的空間與積極的想法聯(lián)系起來，左向的空間與消極的想法聯(lián)系起來，而左撇子則表現(xiàn)出相反的模式（Casasanto，2009）。個體更多地用自己的利手表達積極的正面的信息。奧巴馬（左利手）在2008年談到醫(yī)療保險并持肯定意見時，使用了他的左手，相反，2004年共和黨領導人約翰·克里（John Kerry，右利手）做正面論述時使用右手（Casasanto ＆ Jasmin，2010）。

手語也是人類語言通過視覺表達的方式，有其自身特性，不僅僅是手勢的集合。隱喻也是手語擴展詞義的重要方式之一。手語中有一定數(shù)量的象似性（iconicity），一個單詞和它所指的事物具有某些相同的物理性征（Cowles，2012）。受文化差異的影響，某些手語中手部動作的代表意義是不一致的。如美國手語和中國手語中“樹”的表達都是象形的，中國手語中手被看作纏繞在樹干上，然后向上滑行，而美國手語中以手臂樹立表示“樹”。盡管手語和手勢都傳達了符號含義，但它們被認為在根本上是有區(qū)別的，Aaron Newman對19名先天性耳聾的美國手語（American sign language，ASL）母語使用者與 19 名有聽力的非手語英語母語使用者的研究表明，手語和手勢可能是被人類大腦的不同神經系統(tǒng)處理的。研究通過fMRI監(jiān)測大腦活動，在耳聾的受試者中，與手勢相比，美國手語關于運動的動詞觸發(fā)了此前被認為與有聽力的人的語言處理有關的大腦左半球區(qū)域更大的活動。相比之下，對于有聽力的受試者，美國手語動詞與手勢都激活了大腦兩半球與處理人類運動而非語言有關的大腦區(qū)域。結果表明，手語者可能不是把美國手語關于運動的動詞作為圖像處理，而是作為具有語言結構的單元加以處理，也就是類似于手勢的表示 （Newman，Supalla， Fernandez，Newport， ＆ Bavelier，2015）。這對于拓展手勢的空間、情感、概念等隱喻內涵有重要的意義，可以很好地應用到聾啞人的溝通交流和特殊教育的發(fā)展上。

4 展望

首先，隨著具身認知的研究深入和認知神經科學的發(fā)展，如何定位具身認知以及拓展、整合具身認知的研究變得尤為重要。在手勢促進語言的理解與學習中，具身認知理論這一心理學新進展為研究者提供了不同于經典認知的研究框架，但是如何理解具身認知和經典認知科學的不同內涵，或者在兩者之間搭建橋梁，建立聯(lián)系，從而更全面地認識和分析其對語言的影響更為關鍵。

在過往關于“強具身”和“弱具身”的爭論中，強具身觀完全拒絕傳統(tǒng)認知科學的計算和表征理論，認為認知和心智是身體與環(huán)境互動的產物；弱具身觀雖然強調了身體的作用，但是經典認知科學的計算和表征仍被保留了下來，同時身體作用得到承認。但隨著計算機模型的不斷優(yōu)化，在理論層面上，計算理論取向的心理學研究得到越來越多研究者青睞。從理論出發(fā)建立假設，構建計算模型，研究計算特征，再比較人類行為特征，從而驗證或優(yōu)化理論。在人工智能突飛猛進的今天，具身認知和經典認知的融合取向可以幫助我們在生產、生活領域更大程度地發(fā)揮身體經驗的優(yōu)勢。

其次，在心理語言學領域，在驗證具身語義理論的同時融合心理語言學研究方法和理論，如N400成分已經逐漸成為語義加工和語用加工的腦電特征。在大量的ERP研究中，發(fā)現(xiàn)所有的單詞都會引發(fā)N400成分，但反應的大小取決于特定單詞的期待程度和實際單詞偏離預期單詞的程度之類的問題（Cowles，2012）。雙語者的腦激活模式存在個體差異，結合身體經驗和不同文化的雙語者其語義加工過程也值得探討，這些可以在失語癥、自閉癥等患者干預性訓練中發(fā)揮作用。

最后，虛擬現(xiàn)實的運用可以幫助研究者在技術上實現(xiàn)具身操作。但和過往研究中的現(xiàn)實性具身不同，這里更多的是虛擬性具身（virtual embodiment），即在虛擬世界中擁有感知 （Ziemke，Alterman，＆Kirsh，2015）。它的優(yōu)點在于融合了具身認知中的結構耦合（在現(xiàn)實生活動中做手勢動作，虛擬技術可以模仿該動作）、歷史性具身（虛擬世界中有歷史，會記得之前做過的事情）和社會具身（真實的交互），具身效果越好，感知環(huán)境和環(huán)境交互的能力也就越好。但它同時也會引發(fā)一些問題，比如社會隔離和沉浸在虛擬世界中。

考勒斯.（2012）.心理語言學.北京：人民衛(wèi)生出版社.

葉浩生.（2017）.具身認知—原理與應用.北京：商務印書館.

Beilock.（2016）.具身認知：身體如何影響思維和行為.北京：機械工業(yè)出版社.

陳巍，郭本禹，單春雷.（2012）.從言語的知覺運動理論到具身語義學：來自鏡像神經元系統(tǒng)的證據.山東師范大學學報（人文社會科學版），57（5）， 144－150.

黎曉丹，丁道群.（2017）.具身模擬的認知神經機制.中國臨床心理學雜志，25（5）， 835－838.

馬利軍，張積家.（2011）.語言伴隨性手勢是否和語言共享同一交流系統(tǒng)？心理科學進展，19（7），983－992.

蘇得權，鐘元，曾紅，葉浩生.（2013）.漢語動作成語語義理解激活腦區(qū)及其具身效應：來自 fMRI的證據.心理學報，45（11）， 1187－1199.

伍珍，郭睿.（2017）.嬰兒指示性手勢與其語言學習的關系.心理科學進展，25（10）， 1705－1712.

葉浩生.（2010）.具身認知：認知心理學的新取向.心理科學進展，18（5）， 705－710.

葉浩生.（2014）.“具身”涵義的理論辨析.心理學報，46（7）， 1032－1042.

殷融，蘇得權，葉浩生.（2013）.具身認知視角下的概念隱喻理論.心理科學進展，21（2）， 220－234.

Casasanto， D. （2009）.Embodiment of abstract concepts：Good and bad in right－and left－h(huán)anders.Journal of Experimental Psychology：General，138（3）， 351.

Casasanto， D.， ＆ Jasmin， K.（2010）.Good and bad in the hands of politicians：Spontaneous gestures during positive and negative speech.Plos One，5（7）， e11805.

Cook， S.W.， Duffy， R.G.， ＆ Fenn， K.M.（2013）.Consolidation and transfer of learning after observing hand gesture.Child Development，84（6）， 1863－1871.

Furlanetto， T.， Gallace， A.， Ansuini， C.， ＆ Becchio， C.（2014）.Effects of arm crossing on spatial perspectivetaking.Plos One，9（4）， e95748.

Friedman， R.， ＆ Elliot， A.J. （2010）.The effect of arm crossing on persistence and performance.European Journal of Social Psychology，38（3）， 449－461.

Hostetter， A.B.， ＆ Alibali， M.W. （2008）.Visible embodiment： Gestures as simulated action.Psychonomic Bulletin＆Review，15（3）， 495－514.

Hupp， J.M.， ＆ Gingras， M.C.（2016）.The role of gesture meaningfulness in word learning.Gesture，15（3），340－356.

Kita， S.， Alibali， M.W.， ＆ Chu， M. （2017）.How do gestures influence thinking and speaking？ The gesture－for－conceptualization hypothesis.Psychological Review，124（3）， 245

Macedonia， M.， Muller， K.， Friederici， A.D.（2011）.The impact of iconic gestures on foreign language word learning and its neural substrate.Human Brain Mapping， 32： 982-998.

Maricciolo， F.， Gnisci， A.， Cerasuolo， M.， Ficca， G.， ＆Bonaiuto， M. （2016）.Speaker’s hand gestures can modulate receiver’s negative reactions to a disagreeable verbal message.Toward Robotic Socially Believable Behaving Systems－Volume I.Springer International Publishing.

Meredith L.Rowe， Rebecca D.Silverman， BridgetE.（2013）.Mullan.The role of pictures and gestures as nonverbal aids in preschoolers’ word learning in a novel language.Contemporary Educational Psychology，38（2）： 109－11

Mollo， G.， Pulvermüller， F.， ＆ Hauk， O. （2016）.Movement priming of eeg／meg brain responses for actionwords characterizes the link between language and action.Cortex，74， 262－276.

Newman， A.J.， Supalla， T.， Fernandez， N.， Newport， E.L.， ＆ Bavelier， D.（2015）.Neural systems supporting linguistic structure， linguistic experience， and symbolic communication in sign language and gesture.Proceed-ings of the National Academy of Sciences，112（37），11684－11689.

Pulvermüller， F.， Kherif， F.， Hauk， O.， Mohr， B.， ＆Nimmo－Smith， I. （2009）.Distributed cell assemblies for general lexical and category－specific semantic processing as revealed by fMRI cluster analysis.Human Brain Mapping，30（12）， 3837－3850.

Ziemke， T.， Alterman， R.， ＆ Kirsh， D. （2015）.What’s that thing called embodiment？Annual Meeting of the Cognitive Science Society.