多模態(tài)構(gòu)式語(yǔ)法研究：理論淵源、研究框架與發(fā)展前瞻

吳素偉

引言

近年來(lái)，構(gòu)式語(yǔ)法領(lǐng)域越來(lái)越關(guān)注由兩種及兩種以上模態(tài)共同參與構(gòu)建的構(gòu)式，即多模態(tài)構(gòu)式。盡管人類交際涉及言語(yǔ)、手勢(shì)、聲音、表情等多種模態(tài)，但目前多模態(tài)構(gòu)式語(yǔ)法研究主要考察言語(yǔ)和手勢(shì)，即手部動(dòng)作、肩部動(dòng)作、頭部動(dòng)作等肢體動(dòng)作協(xié)同構(gòu)建的構(gòu)式；其研究路徑主要是通過(guò)考察伴隨著某一言語(yǔ)構(gòu)式的手勢(shì)形式，探究該構(gòu)式的多模態(tài)表征形式和意義配對(duì)問(wèn)題。

目前，國(guó)際學(xué)界已經(jīng)舉辦了數(shù)次多模態(tài)構(gòu)式語(yǔ)法專題研討會(huì)，如國(guó)際多模態(tài)構(gòu)式語(yǔ)法研討會(huì)、德國(guó)第六屆認(rèn)知語(yǔ)言學(xué)大會(huì)上的多模態(tài)構(gòu)式語(yǔ)法研究專題，研究者發(fā)表了一系列研究成果，如Steen & Turner（2013）、Cienki（2015/2016）、Ruth-Hirrel & Wilcox（2018），這一領(lǐng)域的研究呈現(xiàn)出蓬勃發(fā)展的態(tài)勢(shì)。

我國(guó)學(xué)界雖然也對(duì)話語(yǔ)交際中的多模態(tài)互動(dòng)問(wèn)題進(jìn)行了探討，如關(guān)注言語(yǔ)與身體活動(dòng)（表情、注視及手勢(shì)等）如何共同構(gòu)建話輪等會(huì)話單位（郭恩華、張德祿，2017；方梅，2018；李曉婷，2019），但是，鮮有研究從構(gòu)式語(yǔ)法的角度出發(fā)探討多模態(tài)構(gòu)式問(wèn)題。

本文擬就國(guó)際語(yǔ)言學(xué)界對(duì)多模態(tài)構(gòu)式的研究現(xiàn)狀進(jìn)行概述和分析，包括其理論淵源、研究框架、研究?jī)r(jià)值及存在的挑戰(zhàn)等方面的內(nèi)容。

一、多模態(tài)構(gòu)式研究興起的理?yè)?jù)

構(gòu)式語(yǔ)法理論①本文討論的構(gòu)式語(yǔ)法是指基于使用的構(gòu)式語(yǔ)法理論，包括Lakoff & Goldberg的認(rèn)知構(gòu)式語(yǔ)法、Langacker 的認(rèn)知語(yǔ)法以及Croft 的激進(jìn)構(gòu)式語(yǔ)法。有一系列基本觀點(diǎn)，主要包括：構(gòu)式是語(yǔ)言系統(tǒng)的基石、構(gòu)式源于語(yǔ)言使用（使用觀）、構(gòu)式的意義在于概念化（意義觀）、詞匯與語(yǔ)法之間沒(méi)有嚴(yán)格的界限、構(gòu)式與構(gòu)式之間通過(guò)各種承接關(guān)系形成一個(gè)網(wǎng)絡(luò)（Croft，2001；Langacker，2001；Goldberg，2006）。其中，構(gòu)式語(yǔ)法理論的使用觀和意義觀是多模態(tài)構(gòu)式語(yǔ)法研究最重要的理論依據(jù)。

1.構(gòu)式語(yǔ)法理論的使用觀

基于使用的構(gòu)式語(yǔ)法理論認(rèn)為，語(yǔ)法源于語(yǔ)言使用，語(yǔ)言使用中的任何一個(gè)方面都可以約定俗成，進(jìn)而成為語(yǔ)法的一部分（Langacker，2001；Goldberg，2006）。例如，Langacker（2001）認(rèn)為，使用事件（usage event）中頻繁出現(xiàn)的任何形式都可以成為構(gòu)式，形式可以包括語(yǔ)音、語(yǔ)調(diào)、言語(yǔ)、手勢(shì)等。因此，一個(gè)有充分解釋力和真正基于使用的構(gòu)式語(yǔ)法理論需要重視實(shí)際的語(yǔ)言使用。

事實(shí)上，在日常交際中，作為語(yǔ)言使用的重要組成部分，手勢(shì)幾乎無(wú)處不在。無(wú)論是何種文化背景（McNeill，1992），無(wú)論是成人還是兒童（Goldin-Meadow & Butcher，2003），無(wú)論聽(tīng)話者能否看見(jiàn)（例如打電話時(shí)）（Bavelas et al.，2008 ），無(wú)論是表達(dá)事體特征還是表達(dá)語(yǔ)篇語(yǔ)用功能，如示意話論轉(zhuǎn)變（turn taking）（Streeck，2009）、指稱追蹤（referent tracking）（Debreslioska et al.，2013）等，說(shuō)話者都會(huì)做手勢(shì)。既然手勢(shì)在實(shí)際語(yǔ)言使用中如此普遍，基于使用的構(gòu)式語(yǔ)法理論就不能只考慮言語(yǔ)，還應(yīng)關(guān)注手勢(shì)。

2.構(gòu)式語(yǔ)法理論的意義觀

構(gòu)式語(yǔ)法理論認(rèn)為，意義在于概念化，語(yǔ)言結(jié)構(gòu)反映的并非客觀現(xiàn)實(shí)本身，而是人們對(duì)客觀現(xiàn)實(shí)的識(shí)解（Goldberg，2006；Langacker，2008）。人類的識(shí)解方式主要有4種：詳略度（specificity）、聚焦（focusing）、凸顯（prominence）和視角（perspective）（Langacker，2008）。

研究發(fā)現(xiàn)，上述識(shí)解方式也可以映現(xiàn)在手勢(shì)中（Wilcox，2004；Kok &Cienki，2016）。首先，手勢(shì)可以反映說(shuō)話者觀察事件的詳略程度：它既能呈現(xiàn)抽象的意象圖式（如表路徑的手勢(shì)）（Cienki，2005），又能呈現(xiàn)具體的模仿圖式（mimetic schema，如模仿跑步的手勢(shì)）（Zlatev，2005）。其次，手勢(shì)能使信息前景化或背景化：說(shuō)話者可以一只手保持不動(dòng)，代表背景信息，同時(shí)用另一只手做新的手勢(shì)表達(dá)前景信息（Enfield，2004）。再次，手勢(shì)能凸顯信息的重要程度，說(shuō)話者會(huì)用S 型手勢(shì)（通常形式上更小，如只使用手部動(dòng)作等）表達(dá)次要和基本的信息，而用B 型手勢(shì)（通常形式上更大，如使用全臂，并同時(shí)使用眼睛凝視等）表達(dá)主要和凸顯的信息（Enfield et al.，2007）。最后，手勢(shì)能反映說(shuō)話者對(duì)事件的識(shí)解視角：說(shuō)話者用內(nèi)部視角觀察事件時(shí)，會(huì)對(duì)事件進(jìn)行順序性掃描，其手勢(shì)形式更復(fù)雜、持續(xù)時(shí)間更長(zhǎng)；而用外部視角觀察事件時(shí)，會(huì)對(duì)事件進(jìn)行整體性掃描，其手勢(shì)形式更簡(jiǎn)單、持續(xù)時(shí)間更短（Duncan，2002）。既然手勢(shì)也可以像言語(yǔ)一樣承載人類的認(rèn)知識(shí)解，那么，構(gòu)式語(yǔ)法理論自然有必要同時(shí)包含言語(yǔ)和手勢(shì)。

綜上所述，構(gòu)式語(yǔ)法理論的使用觀和意義觀要求該理論突破言語(yǔ)的局限，重視手勢(shì)價(jià)值，考慮由言語(yǔ)和手勢(shì)共同構(gòu)建的構(gòu)式（即多模態(tài)構(gòu)式），從而進(jìn)一步豐富和完善構(gòu)式語(yǔ)法理論。

二、多模態(tài)構(gòu)式的研究框架

構(gòu)式是約定俗成的形式—意義配對(duì)體（Goldberg，1995），“多模態(tài)構(gòu)式”是指由兩種及兩種以上模態(tài)共同構(gòu)建而成的約定俗成的形式—意義配對(duì)體，其形式端由言語(yǔ)形式和手勢(shì)形式構(gòu)成，意義端則由言語(yǔ)意義和手勢(shì)意義組成（Steen &Turner，2013；Schoonjans，2014；Zima，2014；Hoffman，2017）。在 此 基礎(chǔ)上，我們提出以下多模態(tài)構(gòu)式分析框架（見(jiàn)圖1）。

圖1 多模態(tài)構(gòu)式分析框架

整體來(lái)看，多模態(tài)構(gòu)式涉及5 個(gè)方面：言語(yǔ)構(gòu)式的形式和意義、手勢(shì)的形式和意義、手勢(shì)與言語(yǔ)的形式關(guān)系、手勢(shì)與言語(yǔ)的語(yǔ)義關(guān)系，以及多模態(tài)形義配對(duì)體的約定俗成性。鑒于既有構(gòu)式語(yǔ)法理論已經(jīng)對(duì)言語(yǔ)構(gòu)式的形式和意義進(jìn)行了充分探討，本文將重點(diǎn)分析后4 個(gè)方面，并在此基礎(chǔ)上結(jié)合實(shí)例闡釋具體的分析步驟。

1.手勢(shì)的形式和意義

（1）手勢(shì)形式

多模態(tài)構(gòu)式分析不可避免地要考察手勢(shì)的形式特征。系統(tǒng)描述手勢(shì)形式，即描述手的形狀、方向、手所處的空間位置和運(yùn)動(dòng)等，是研究手勢(shì)意義和多模態(tài)構(gòu)式等相關(guān)問(wèn)題的前提和基礎(chǔ)。

整體而言，如圖2 所示，手勢(shì)的形式主要包括三大類：①手勢(shì)的各類形式參數(shù)——手型（hand shape）、掌心朝向（palm orientation）、運(yùn)動(dòng)（movement）、動(dòng)作位置（location）；②手勢(shì)的整體表征方式（modes of representation）——表演式（acting）、軌跡式（tracing）、模塑式（molding）和象征式（embodying）；③手勢(shì)的持續(xù)時(shí)間（如毫秒數(shù)、幀數(shù)、階段數(shù)）等（詳見(jiàn)Bressem et al.，2013；Müller，2014 等）。手勢(shì)形式的分析內(nèi)容視具體研究而定，不同研究可能選擇考察手勢(shì)形式的不同方面。

圖2 手勢(shì)形式的基本內(nèi)容（Bressem et al.，2013；Müller，2014）

（2）手勢(shì)意義

與言語(yǔ)一樣，手勢(shì)可以表征意義。一方面，手勢(shì)可以表達(dá)語(yǔ)義內(nèi)容，如物體的大小和形狀、運(yùn)動(dòng)的方式和路徑等。手勢(shì)意義與手勢(shì)形式之間存在象似性（McNeill，1992）。例如，手臂在空中的螺旋狀移動(dòng)與人或物體的螺旋式運(yùn)動(dòng)方式存在象似性，手勢(shì)持續(xù)的時(shí)間與事件持續(xù)的時(shí)間存在象似性。另一方面，手勢(shì)可以表達(dá)語(yǔ)用功能，如手勢(shì)可以“行事”。以英語(yǔ)、德語(yǔ)等語(yǔ)言中的阻擋手勢(shì)（holding away gesture）為例，其核心形式為手掌張開(kāi)、掌心朝外，像是在推開(kāi)或阻擋一個(gè)物體或人，表示阻止、拒絕（如拒絕談?wù)撘粋€(gè)話題），相當(dāng)于言語(yǔ)中的“最好不要”，即承擔(dān)了言語(yǔ)行為中的命令功能。該手勢(shì)根植于人們的動(dòng)作經(jīng)驗(yàn)：通過(guò)推開(kāi)或阻擋一個(gè)物體，以防不喜歡的人或物靠近自己。此外，語(yǔ)用手勢(shì)功能的形成通常涉及隱喻、轉(zhuǎn)喻等認(rèn)知過(guò)程，如上述手勢(shì)存在“拒絕（即阻擋）/推開(kāi)”（拒絕對(duì)方談?wù)撃骋辉掝}，即阻擋/推開(kāi)物體）隱喻（Müller，2017；Harrison，2018）。

2.手勢(shì)與言語(yǔ)構(gòu)式的形式關(guān)系

多模態(tài)構(gòu)式中手勢(shì)形式與言語(yǔ)形式之間的關(guān)系主要指兩者在時(shí)間上的關(guān)系。McNeill（1992）認(rèn)為，正是由于言語(yǔ)與言伴手勢(shì)受同一認(rèn)知系統(tǒng)的支配，兩者才會(huì)在時(shí)間上緊密相連。研究表明，手勢(shì)與言語(yǔ)出現(xiàn)的時(shí)間關(guān)系可以分為兩種。第一種是手勢(shì)與言語(yǔ)幾乎同步出現(xiàn)（McNeill，1992），此種關(guān)系較為常見(jiàn)，如在大多數(shù)情況下，［from X to Y］這一言語(yǔ)構(gòu)式和所伴手勢(shì)幾乎都是同步出現(xiàn)的；第二種是手勢(shì)先于言語(yǔ)出現(xiàn)，如說(shuō)話者有時(shí)會(huì)先做指涉手勢(shì)，再用言語(yǔ)表達(dá)“here”（Kok，2017）。需要指出的是，無(wú)論手勢(shì)與言語(yǔ)同步出現(xiàn)，還是手勢(shì)先于言語(yǔ)出現(xiàn)，兩者在時(shí)間上都是緊密相連的，均可稱為共現(xiàn)。目前，手勢(shì)與言語(yǔ)構(gòu)式共現(xiàn)的諸多問(wèn)題仍有待進(jìn)一步深入研究。例如，同一多模態(tài)構(gòu)式中手勢(shì)與言語(yǔ)構(gòu)式之間是否可以存在不同的時(shí)間關(guān)系？手勢(shì)是否可與言語(yǔ)構(gòu)式中的不同成分同步出現(xiàn)？如果可以同步出現(xiàn)，那么這兩種符號(hào)組合產(chǎn)生的意義或功能是否會(huì)隨之發(fā)生變化？如何變化？

3.手勢(shì)與言語(yǔ)構(gòu)式的語(yǔ)義關(guān)系

判定一個(gè)由手勢(shì)和言語(yǔ)構(gòu)式構(gòu)成的符號(hào)結(jié)構(gòu)是否具有構(gòu)式性，其基本依據(jù)是兩者是否存在系統(tǒng)的語(yǔ)義關(guān)系，即特定手勢(shì)是否與特定言語(yǔ)構(gòu)式共現(xiàn)，并共同表達(dá)特定的意義或功能。Fricke（2013）的研究表明，多模態(tài)構(gòu)式中手勢(shì)與言語(yǔ)構(gòu)式的語(yǔ)義關(guān)系大致分為兩種：語(yǔ)碼映現(xiàn)（code manifestation）和語(yǔ)碼融合（code integration）。

語(yǔ)碼映現(xiàn)指手勢(shì)與言語(yǔ)構(gòu)式表達(dá)相同的意義，說(shuō)話者把同一意義或功能同時(shí)編碼在手勢(shì)與言語(yǔ)中，兩者互為映現(xiàn)。當(dāng)代手勢(shì)研究的兩大奠基人McNeill（1992）和Kendon（2004）認(rèn)為，言語(yǔ)與手勢(shì)源于同一認(rèn)知和交流系統(tǒng)，說(shuō)話者的認(rèn)知和交際意圖不僅會(huì)反映在言語(yǔ)中，也會(huì)反映在手勢(shì)中，因此手勢(shì)和言語(yǔ)構(gòu)式可傳遞相同的意義或功能。例如，Hinnell（2018）發(fā)現(xiàn)，說(shuō)話者在說(shuō)“stop + V-ing”時(shí)，所做手勢(shì)持續(xù)較短，而說(shuō)“keep + V-ing”時(shí)，所做手勢(shì)持續(xù)時(shí)間較長(zhǎng)，這兩種手勢(shì)的形式特征分別反映了抽象的終結(jié)體（terminative aspect）和持續(xù)體（continuative aspect）語(yǔ)義?？梢?jiàn)，“體”的意義在言語(yǔ)和手勢(shì)中均可有所體現(xiàn)。Hinnell（2018）的研究揭示了語(yǔ)碼映現(xiàn)型多模態(tài)構(gòu)式研究的重要意義，即手勢(shì)作為一種更直觀的體現(xiàn)認(rèn)知的符號(hào)，在多模態(tài)“體”構(gòu)式中，對(duì)“體”意義進(jìn)行了重復(fù)性符號(hào)表征，這也證實(shí)了“體”這一語(yǔ)法意義的認(rèn)知凸顯性。

語(yǔ)碼映現(xiàn)型多模態(tài)構(gòu)式還包括多模態(tài)運(yùn)動(dòng)構(gòu)式［V（motion） in circles +循環(huán)手勢(shì)］（Zima，2014）、多模態(tài)時(shí)間軸構(gòu)式［from X to Y +表示相應(yīng)意義的手勢(shì)］（Cánovas & Valenzuela，2017）、多模態(tài)否定評(píng)價(jià)構(gòu)式［否定言語(yǔ)表達(dá)+“丟棄手勢(shì)”（throwing away gesture）］（Bressem & Müller，2017）、多模態(tài)雙賓語(yǔ)構(gòu)式（Wu，2018；吳素偉、Cienki，2020）等。特定言語(yǔ)構(gòu)式和特定手勢(shì)構(gòu)成相對(duì)穩(wěn)定的多模態(tài)構(gòu)式，在語(yǔ)義上，兩種符號(hào)相互印證，不僅可以充分反映符號(hào)背后的認(rèn)知本質(zhì)，而且使得構(gòu)式義更為凸顯。

語(yǔ)碼融合指言伴手勢(shì)與言語(yǔ)構(gòu)式相互補(bǔ)充，彼此融合，共同表達(dá)某一意義或功能，兩者缺一不可。McNeill（1992）指出，雖然言語(yǔ)與手勢(shì)源于同一認(rèn)知系統(tǒng)，兩者共同傳遞信息，但在表達(dá)某些意義/功能時(shí)（如物體的形狀、大小、空間關(guān)系、說(shuō)話者的態(tài)度、情感等），手勢(shì)比言語(yǔ)更具優(yōu)勢(shì)?；谡Z(yǔ)言表達(dá)的“經(jīng)濟(jì)性原則”，人類更傾向于使用手勢(shì)補(bǔ)充表達(dá)這些意義或功能，并與言語(yǔ)一起構(gòu)建整個(gè)結(jié)構(gòu)的意義。Fricke（2013）觀察到，德語(yǔ)說(shuō)話者在說(shuō)lch will sonen Tisch kaufen（我想買一個(gè)這樣的桌子）時(shí)，可做一個(gè)指涉手勢(shì)，即用手指指向面前的桌子，也可做一個(gè)象似性手勢(shì)（iconic gesture），即用手勢(shì)描繪桌子的形狀、大小等。前一類表達(dá)表明說(shuō)話者想買一張類似種類的桌子，但并未詳細(xì)描述桌子的具體特征；后一類表達(dá)表明說(shuō)話者想買的桌子的某一具體特征，但并未指出桌子的類別。換言之，前者描述了“類”（type）定而“形”（token）未定的物體，而后者描述了“形”定而“類”未定的物體。可見(jiàn)，言語(yǔ)和手勢(shì)共同構(gòu)建了此類名詞短語(yǔ)，其形式為［son（such a）+表達(dá)物體特征的手勢(shì)+名詞］。在這類構(gòu)式中，言語(yǔ)和手勢(shì)缺一不可：言語(yǔ)中的名詞可以被看作該名詞短語(yǔ)的中心詞；手勢(shì)的功能與定語(yǔ)類似，修飾中心詞；言語(yǔ)中的“son”（“這樣一個(gè)”）是手勢(shì)與言語(yǔ)的整合點(diǎn)。顯然，該類名詞短語(yǔ)構(gòu)式的（形式和）意義是由言語(yǔ)和手勢(shì)共同構(gòu)建的。Fricke（2013）的研究揭示了語(yǔ)碼融合型多模態(tài)構(gòu)式的獨(dú)特價(jià)值：作為一種可以更簡(jiǎn)易、更形象地表達(dá)物體“類”和“形”特征的符號(hào)，手勢(shì)補(bǔ)充了言語(yǔ)中未能展現(xiàn)的信息，從而使此類構(gòu)式的意義得到完整映現(xiàn)。

此外，語(yǔ)碼融合型多模態(tài)構(gòu)式還包括多模態(tài)指示構(gòu)式［here +指涉手勢(shì)（pointing）］（Kok & Cienki，2016）、多模態(tài)及物和不及物構(gòu)式［主語(yǔ)+起動(dòng)詞作用的表征手勢(shì)］（Ladewig，2011），以及多模態(tài)強(qiáng)調(diào)構(gòu)式［強(qiáng)調(diào)話語(yǔ)成分+節(jié)拍手勢(shì)（+指涉手勢(shì)）］（Ruth-Hirrel & Wilcox，2018）。特定言語(yǔ)構(gòu)式和特定手勢(shì)共同構(gòu)成了相對(duì)穩(wěn)定的多模態(tài)構(gòu)式，在語(yǔ)義上，兩種符號(hào)互相補(bǔ)充，協(xié)同承載意義或功能，并更完整地反映了符號(hào)背后的認(rèn)知本質(zhì)。

4.手勢(shì)與言語(yǔ)構(gòu)式組合的多模態(tài)形義配對(duì)體的約定俗成性

鑒于構(gòu)式是約定俗成的形義配對(duì)體，判斷某一多模態(tài)組合是否為構(gòu)式的根本標(biāo)準(zhǔn)便是看其多模態(tài)形式—意義配對(duì)體是否是約定俗成的。目前，考察特定多模態(tài)表達(dá)在交際中出現(xiàn)的頻次是判定其約定俗成性的基本方法。例如，基于多模態(tài)數(shù)據(jù)庫(kù)Red Hen，Zima（2014）發(fā)現(xiàn)，80%的［all the way from X PREP Y］構(gòu)式伴有表空間意義的手勢(shì)；Hinnell（2018）發(fā)現(xiàn)，74%的［CONTINUE to VVI］構(gòu)式伴有表持續(xù)體意義的手勢(shì)。

一旦手勢(shì)與言語(yǔ)構(gòu)式頻繁共現(xiàn)，多模態(tài)表達(dá)就可以被視為具有約定俗成性。目前發(fā)現(xiàn)的相對(duì)穩(wěn)定的多模態(tài)組合構(gòu)式主要包括與動(dòng)作、空間關(guān)系相關(guān)的構(gòu)式（如運(yùn)動(dòng)構(gòu)式、介詞短語(yǔ)構(gòu)式）、與指示（deictic）表達(dá)相關(guān)的構(gòu)式（如here、this one）、話語(yǔ)標(biāo)記（如you know）。是否還存在一些其他的言語(yǔ)構(gòu)式頻繁伴隨著特定手勢(shì)出現(xiàn)，仍需進(jìn)一步研究。

5.分析步驟

綜合上文內(nèi)容，多模態(tài)構(gòu)式分析一般包括以下3 個(gè)步驟：

第一步，多模態(tài)表達(dá)的形式分析：主要分析伴隨著某一言語(yǔ)構(gòu)式的手勢(shì)在基本參數(shù)、表達(dá)方式、持續(xù)時(shí)間等方面是否存在穩(wěn)定性，以及言語(yǔ)構(gòu)式與手勢(shì)的同步時(shí)間關(guān)系；

第二步，多模態(tài)表達(dá)的意義或功能分析：重點(diǎn)探討手勢(shì)與言語(yǔ)兩種符號(hào)之間的語(yǔ)義或功能關(guān)系，即手勢(shì)是否映現(xiàn)或補(bǔ)充了言語(yǔ)構(gòu)式的意義或功能，以及實(shí)現(xiàn)映現(xiàn)或補(bǔ)充的途經(jīng)；

第三步，考察多模態(tài)表達(dá)中手勢(shì)與言語(yǔ)構(gòu)式組合共現(xiàn)的頻率，探討其約定俗成性。

例如，Schoonjans（2014）基于德國(guó)的談話節(jié)目、電視辯論、體育報(bào)道等語(yǔ)料，考察了伴隨語(yǔ)助詞（modal particle）“schon”（已經(jīng)）的手勢(shì)情況。他發(fā)現(xiàn)，在形式上，“schon”常與點(diǎn)頭動(dòng)作同步出現(xiàn)；在功能上，“schon”和點(diǎn)頭動(dòng)作都表示確有某一事實(shí)，即言語(yǔ)和手勢(shì)兩種符號(hào)功能一致，通過(guò)點(diǎn)頭動(dòng)作，強(qiáng)化了說(shuō)話者的肯定態(tài)度。該語(yǔ)助詞與點(diǎn)頭動(dòng)作的共現(xiàn)頻率約為60%，即共現(xiàn)較頻繁。因此，他認(rèn)為德語(yǔ)中“schon”與點(diǎn)頭動(dòng)作構(gòu)成了約定俗成的形式—意義配對(duì)體，是語(yǔ)碼映現(xiàn)型多模態(tài)構(gòu)式。

需要指出的是，目前的多模態(tài)構(gòu)式研究框架仍相對(duì)簡(jiǎn)單，并未像典型的構(gòu)式語(yǔ)法研究那樣考察（多模態(tài)）構(gòu)式的不可預(yù)測(cè)性或構(gòu)式及其成分使用的限制性條件。未來(lái)的研究仍需著力解決這些問(wèn)題。

三、多模態(tài)構(gòu)式語(yǔ)法研究的價(jià)值和挑戰(zhàn)

多模態(tài)構(gòu)式語(yǔ)法研究深化了構(gòu)式觀，拓展了構(gòu)式內(nèi)涵，完善了構(gòu)式語(yǔ)法的理論體系。具體而言，多模態(tài)構(gòu)式語(yǔ)法研究有如下研究?jī)r(jià)值：

第一，多模態(tài)構(gòu)式研究為考察構(gòu)式義提供了新的觀測(cè)窗口。長(zhǎng)期以來(lái)，構(gòu)式語(yǔ)法對(duì)于構(gòu)式義的研究以言語(yǔ)（或文本）分析為主，即從構(gòu)式及其成分的使用入手，推導(dǎo)構(gòu)式義的存在，又用構(gòu)式義解釋構(gòu)式及其成分的使用。這在邏輯上似有循環(huán)論證之嫌。手勢(shì)與言語(yǔ)一道，能更直觀、更生動(dòng)地呈現(xiàn)人的“后臺(tái)”認(rèn)知，為研究構(gòu)式義提供了新思路，進(jìn)而有助于克服上述循環(huán)論證的缺陷。

第二，多模態(tài)構(gòu)式分析有助于更深刻和完整地理解構(gòu)式義。語(yǔ)義是構(gòu)式語(yǔ)法乃至整個(gè)認(rèn)知語(yǔ)言學(xué)理論研究的起點(diǎn)，手勢(shì)是一些構(gòu)式意義不可或缺的組成部分。如上文提到的［here +指涉手勢(shì)］、［強(qiáng)調(diào)話語(yǔ)成分+節(jié)拍手勢(shì)（+指涉手勢(shì)）］等構(gòu)式，若不考察其手勢(shì)，就無(wú)法準(zhǔn)確理解這些構(gòu)式的意義。因此，多模態(tài)構(gòu)式研究加深了我們對(duì)指示性、強(qiáng)調(diào)性等構(gòu)式意義的理解。

第三，多模態(tài)構(gòu)式研究豐富和完善了構(gòu)式語(yǔ)法理論。大量研究發(fā)現(xiàn)，詞匯、句法、語(yǔ)篇語(yǔ)用層面的諸多構(gòu)式常伴隨著特定的手勢(shì)。既然如此，那么根據(jù)“基于使用”這一原則，二者應(yīng)作為多模態(tài)構(gòu)式存在。多模態(tài)構(gòu)式研究拓展了構(gòu)式概念的內(nèi)涵，擴(kuò)大了構(gòu)式語(yǔ)法理論的適用范圍。

最后，多模態(tài)構(gòu)式研究有助于加深我們對(duì)構(gòu)式社會(huì)認(rèn)知機(jī)制的理解和認(rèn)識(shí)。鑒于言語(yǔ)和手勢(shì)表達(dá)會(huì)受言語(yǔ)社團(tuán)的語(yǔ)言文化或社會(huì)認(rèn)知的影響，考察多模態(tài)構(gòu)式的形式特征、認(rèn)知基礎(chǔ)和社會(huì)語(yǔ)用功能，不僅能加深我們對(duì)多模態(tài)構(gòu)式深層社會(huì)認(rèn)知機(jī)制的認(rèn)識(shí)，而且還能通過(guò)對(duì)多模態(tài)構(gòu)式的跨語(yǔ)言、跨文化對(duì)比，為培養(yǎng)真實(shí)有效的跨文化交際能力提供語(yǔ)言學(xué)理論的支撐。

目前，多模態(tài)構(gòu)式研究仍處于起步階段，還面臨不少的挑戰(zhàn)。首先，手勢(shì)與言語(yǔ)構(gòu)式的共現(xiàn)頻率判斷缺乏公認(rèn)的標(biāo)準(zhǔn)。如前所述，基于構(gòu)式語(yǔ)法理論，當(dāng)一個(gè)多模態(tài)組合使用足夠頻繁時(shí)，可以成為多模態(tài)構(gòu)式；但何謂足夠頻繁，學(xué)界需要對(duì)此形成基本共識(shí)。其次，目前多模態(tài)構(gòu)式的識(shí)別主要依賴人工判斷，主觀性較強(qiáng)。有必要借助新建成的大型多模態(tài)語(yǔ)料庫(kù)和新開(kāi)發(fā)的手勢(shì)標(biāo)注軟件，使用定量和實(shí)驗(yàn)方法，增加研究的客觀性和可信性。

結(jié)語(yǔ)

近年興起的多模態(tài)構(gòu)式語(yǔ)法研究綜合考慮言語(yǔ)和手勢(shì)等多種模態(tài)，利用現(xiàn)代化電子媒介和大型語(yǔ)料庫(kù)，考察真實(shí)的語(yǔ)言交際情形，分析伴隨著言語(yǔ)構(gòu)式的手勢(shì)特征，研究多模態(tài)構(gòu)式的形式和意義配對(duì)問(wèn)題。這符合構(gòu)式語(yǔ)法理論的基本主張，也推動(dòng)了構(gòu)式語(yǔ)法研究的多模態(tài)轉(zhuǎn)向，是繼多模態(tài)隱喻研究之后（如Cienki & Müller，2008；Forceville & Urios-Aparisi，2009；趙秀鳳，2011）興起的另一個(gè)多模態(tài)研究的熱點(diǎn)。多模態(tài)構(gòu)式語(yǔ)法研究從更寬廣的角度考察人類交際的真實(shí)面貌，拓寬了語(yǔ)言學(xué)的研究范疇，更直觀、更完整地分析認(rèn)知操作，深化了對(duì)構(gòu)式義的研究。

我國(guó)語(yǔ)言學(xué)界在這一領(lǐng)域尚有很大的發(fā)展空間。一方面，可以通過(guò)分析言伴手勢(shì)的表征考察漢語(yǔ)構(gòu)式的識(shí)解特征，深化對(duì)漢語(yǔ)基本構(gòu)式的認(rèn)識(shí)。例如，目前“把”字、“給”字等常用漢語(yǔ)構(gòu)式的識(shí)解特征主要是基于語(yǔ)言分析得出的，手勢(shì)特征或能為這些構(gòu)式的識(shí)解提供新的直觀證據(jù)。另一方面，可以從多模態(tài)視角考察跨語(yǔ)言的思維差異，加深對(duì)語(yǔ)言與思維關(guān)系的理解。手勢(shì)或能為“英漢名動(dòng)差異說(shuō)”（沈家煊，2012）、“英漢時(shí)空差異論”（王文斌，2013）等跨語(yǔ)言認(rèn)知理論提供更堅(jiān)實(shí)的證據(jù)。此外，未來(lái)研究還應(yīng)考慮如何從漢語(yǔ)語(yǔ)言的多模態(tài)習(xí)得和教學(xué)的角度探討多模態(tài)構(gòu)式語(yǔ)法理論的應(yīng)用問(wèn)題。