基于多模態(tài)語料庫的英漢副詞性關聯詞語對比研究

張 靜，原蘇榮

(上海師范大學 外國語學院，上海 200234)

在各種現實社會互動過程中,有時話語內容很少,但參與者結構和交流思想卻不斷變化。如果僅靠某一種模態(tài)，難以理解和體會對方的想法和真實感受[1]。因此，對話語進行多模態(tài)研究，可以更全面地了解人類信息傳遞。本研究以中英電視劇《小歡喜》和《小謝爾頓》為例，對副詞性關聯詞語的功能等進行分析。

1 多模態(tài)語料庫和副詞性關聯詞語理論

多模態(tài)語料庫語言學依據20世紀90年代西方興起的多模態(tài)話語分析理論，把文字語料、音頻語料和靜、動態(tài)圖像語料進行集成處理，方便學者們通過多模態(tài)方式進行檢索、統(tǒng)計等操作[2-3]，在很大程度上幫助人們打破了只注重語言系統(tǒng)的局限性。Barthes是最早進行多模態(tài)話語分析的研究者，他在1977年發(fā)表的論文《圖像的修辭》中，探討了圖像三意義，其中圖像產生的第一層信息就是語言[4]。意大利語言學家Baldry等人將多模態(tài)話語分析與語料庫語言學結合起來，提出了“多模態(tài)語料庫語言學”這一交叉學科，并從多模態(tài)語料庫的角度出發(fā)，將理論和數字技術結合起來對影視語篇進行了分析[5]。最近的相關研究是由Bednarek以美國情景喜劇《吉爾莫女孩》為樣本進行的研究[6]。他運用頻率排序表對比樣本對話中單詞和N-Grams的使用頻率與其他語料庫的差異得出情景喜劇中的對話和口語對話之間存在很大差異，其中情緒性和強調性語言的出現頻率更高，而模糊語言和填充詞的出現頻率較少[7]。國內的多模態(tài)話語研究現已開始朝向應用型研究發(fā)展，李戰(zhàn)子將多模態(tài)符號理論首次引介到國內，詳細介紹了Kress和 Van Leeuwen在系統(tǒng)語言學的基礎上，構建圖像分析的社會學符號框架。這一框架通過將多模態(tài)意義系統(tǒng)分為再現、互動和構圖來分析多模態(tài)語篇，并探討了圖像分析對課堂教學的影響[8]。顧曰國采用多模態(tài)語料庫語言學中貼真建模的方法，根據“言思情貌整一”原則對日常生活里的修辭現象做出統(tǒng)一的闡述，為言語行為的研究提供了理論架構和分析方法[3]?？傮w而言，國內運用多模態(tài)語料庫方法對語用問題進行的研究仍處起步階段，尚未見到專著出版，只有數量不多的論文[9]。

盡管多模態(tài)語篇中有大量影視語篇的出現，語言學家對電視語篇的研究大多傾向于使用小規(guī)模語料庫或只包含一個系列或體裁的對話的語料庫[10]，很少聚焦于影視文本的雙語對比分析。因此，本文對中英電視語篇進行轉錄，建立小型多模態(tài)語料庫。利用統(tǒng)計數據網站Voyant Tools對詞頻進行排序統(tǒng)計，發(fā)現漢語中的“就”和英語中的“just”在副詞性關聯詞語中出現的頻率最高。副詞性關聯詞語是一種特殊類詞語，它是在復句或語篇中起關聯作用，表示分句之間、句子之間或語段之間意義關系的詞語；它們既有修飾功能，也有連接功能[11]。國外學界對英語副詞性關聯詞語的研究過程與國內學界對漢語該類詞語的研究過程基本一致,主要集中于以下三個方面：(1)副詞性關聯詞語的界定；(2)英語語篇中的研究，重要的成果如Larson對“either…or…”中的either連接功能進行了分析；(3)比較研究。陸建非等、劉曜比較了漢英副詞性關聯詞語的語篇銜接功能；Johannessen論述了副詞性關聯詞語的句法特點、關聯特征，尤其是在德語話語中的關聯特點，并進行了英、德副詞性關聯詞語比較研究[12]，但是學界對副詞性關聯詞的加合功能少有研究。依據原蘇榮界定的副詞性關聯詞語的范圍和功能為基礎，使用BFSU Qualitative Coder軟件對“就”和“just”在語料中的功能進行人工標注統(tǒng)計，探究副詞性關聯詞語“就”和“just”在中英影視語篇中各類功能及使用頻率的差異。這種從多模態(tài)語料庫角度出發(fā)的研究方法，不僅整合分析了多種傳遞信息的模態(tài)，也使得副詞性關聯詞語在多模態(tài)語篇中的應用得到體現。

2 語料庫驅動下的數據統(tǒng)計結果

本研究選用了主題相似的兩部家庭生活教育題材的連續(xù)劇，對中文電視劇《小歡喜》和英文電視劇《小謝爾頓》前三季的內容進行轉錄，以此來構建一個小規(guī)模的雙語語料庫，并選取電視劇中的典型語言范例來分析。單鏡頭喜劇的《小謝爾頓》共三季總計65集，總字數149535?！缎g喜》共計49集，共有 439930個字。轉錄后的語料文檔格式首先轉換為軟件兼容的txt格式來計算語料庫的類符-形符比，從而衡量語料中的詞匯使用豐富度。表1為使用AntConc軟件計算的中英語料的形符、類符及類符-形符比。

表1 中英電視語料詞匯豐富度

軟件Corpus Word Parse進行分詞標注后，利用AntConc獲得相關形符和類符的數據。這一步驟是為了保證中英詞語在后續(xù)詞頻統(tǒng)計結果的準確性。從表1的數據可以看出，《小謝爾頓》第一季的類符-形符比最高，為11.02；而和中國電視劇《小歡喜》相比，兩部的詞匯密度相差一半以上。因為英語電視劇的集數比中文電視劇少，通常只有中文電視劇的一半，且英文情景劇每一集的時長大約比中國電視劇時長短一半。這從側面反映出美劇劇情的緊湊，傾向于使用口語縮略形式來進行交流；而中國電視劇注重細節(jié)化，注重情節(jié)發(fā)展。

依據張誼生、原蘇榮界定的副詞性關聯詞語范疇，首先收集了表加合或追加功能的英漢副詞性關聯詞語[13-14](見表2)。

表2 漢英加合類副詞性關聯詞語

表2展示了加合類副詞性關聯詞中的具體詞語，應用Voyant Tools網站檢索統(tǒng)計在中英電視會話中該范疇副詞性關聯詞語出現的頻率，并將檢索到的中英副詞性關聯詞語的使用頻率成降序排列(見表3)。

表3 中英電視語料前五位高頻副詞性關聯詞 次

副詞性關聯詞“就”在《小歡喜》中使用頻次最高，共3627次?！耙病痹谥形恼Z料分布頻率中排第二?！斑€”“再”“又”在中文語料中出現的頻率依次遞減。將三季《小謝爾頓》的電視語料合并成一個文本，數據顯示副詞性關聯詞語“just”在英文語料中出現的頻率最高，共出現798次；位居第二的是副詞性關聯詞“too”，285次。中英前兩位使用頻率最高的副詞性關聯詞語語義相互對應。但是從第三位副詞性關聯詞開始至最后，語義不再對應。根據出現頻率最高且語義對應的中英副詞“就”和“just”為出發(fā)點，用語料庫驅動方法，即分析者不從特定的設想出發(fā), 而是從語料庫的分析結果出發(fā)做進一步分析[15]，探尋副詞性關聯詞語的銜接功能與類別。

通過比較兩種語料庫中“just”和“就”在各自文本中的使用頻率，發(fā)現兩者之間的相關性，為后續(xù)比較研究的可行性提供數據支持。把“就”和“just”在各語料中出現的頻率帶入Log-likelihood and effect size calculator界面進行計算，比較二者使用頻率的相關度。計算結果表明，漢語語料中的“就”與英語中的“just”的使用頻率具有一定的相關性，因為作為對零假設的證據度的貝葉斯因子為282.46，當所得數字大于100，是拒絕零假設的有力證據。

以原蘇榮界定的副詞性關聯詞語的8大類20小類功能為基礎[12]，重新分類整合為12種功能，分別為加合功能、解釋功能、斷言功能、選擇功能、條件功能、時序功能、結果功能、轉折功能、命令請求、讓步功能、目的功能、類固定短語，并使用BFSU Qualitative Coder對漢語語料中的“就”和英語語料中的“just”的功能進行人工標記，使得數據更加科學準確。統(tǒng)計數據見表4。

表4 中英語料副詞性關聯詞語的功能及頻次 次

3 英漢電視劇中副詞性關聯詞語的多模態(tài)話語分析

從表4的數據可以看到，在兩篇語料中加合功能占據首位，解釋功能排名第二，命令請求功能位居第三。選擇和轉折功能使用次數相對較少。在中文語料《小歡喜》中選擇功能最少，轉折功能相對次之，但在英語語料一列中，選擇功能的使用次數比類固定短語多。類固定短語是指保留一些成分，形成框架，替換其他部分。如if…just或一…就等。加合、解釋和命令請求功能在中英各語料中出現的頻率最高，尤其是加合功能。從表中可以發(fā)現被標注的功能已經超過了副詞性關聯詞語“just”和“就”在語料中出現頻次的數量。這是因為“就”和“just”在電視會話中的功能不只一種。本次收集的中英語料中“就”和“just”表加合功能較為顯著，這也符合最初原蘇榮把“就”和“just”劃分到加合功能一類。

當然，副詞性關聯詞語“就”和“just”除了在文本敘述中有著雙重功能，在實際交流中也會伴隨一些手勢、眼神等模態(tài)信息。下面集中對中英語料中使用頻率較高的加合、解釋和命令請求功能進行多模態(tài)話語分析。

3.1 副詞性關聯詞語表加合

Greenbaum認為，加合關系表示所說的話是前一個句子的疊加，前后句之間的關系在語義上是不確定的，是對前述句的進一步擴展。加合關系反映了相關人、物和事件之間的共存和共現關系。通常加合關系可分為三類：并列加合、后重加合和加合[12]。

(1)劉錚：上去吧。聽話啊，聽話就有頭盔。

季楊楊:行。

(《小歡喜》第二集)

例(1)中，副詞性關聯詞語“就”將聽話人季楊楊和物品頭盔連接起來，表現了共現的關系。“就”在這個例句中屬于特提加合一類，特提加合更強調接下來出現的事物或事件，例句中“就”強調的是頭盔?！奥犜捑陀蓄^盔”是一個省略句，還原之后應該是“如果你聽話就會有頭盔”。因為在中國傳統(tǒng)家庭文化中，地位較高的長輩通過簡短的句式來達到一種強硬的語氣，向小輩顯示出自己的威嚴。副詞性關聯詞語“就”將動作這一模態(tài)與話語瞬時連接起來。觀察說話人的動作，可以看到他右邊的眉首先往上挑，立刻對指定的聽話人說了一句“聽話啊”，隨即將眼神收回，朝正前方看了一下，身體又微微向聽話人的方向前傾，在做這個動作時，壓低聲音說“聽話就有頭盔”。當說話人劉錚說完“就有頭盔”，便將頭稍稍抬起，表示話語的結束。聽者季楊楊聽到后，嘴角上揚點頭答應。這從側面反應該例句中的“就”突出銜接后面的事物，正是聽話人心儀的。聽話人在說話人的話語結束后積極回應互動正是希望說話人能夠兌現承諾。

(2)George：Not just any dive bar; one where everyone knows me.

John：And they are lucky that they do.

(《小謝爾頓》第三季第五集)

“just”在例句中起著雙重功能的作用，一是加合功能，二是解釋功能。這里的加合關系屬于后重加合。后重加合旨在表達某種增強效果，表明對前述句的語氣加強，后面所說的人和事在表達上更加突出。在這段對話中，話輪發(fā)起人George強調現在所在的酒吧不是普通的酒吧，通過加合功能詳細描述了這所酒吧的不同之處是所有人都認識他以此達到強調這所酒吧的特別之處。當他說到“Not just any dive bar”時臉上開始洋溢著自豪的表情，嘴角上揚，眼神看向聆聽者John。在說到“one where everyone knows me”時頭不禁往上揚起后又低下，但是全程眼神一直注視著聽話人，希望他可以理解并認同自己描述這所酒吧的特殊意義。這里的微笑和眼神揭示出George內心對許多人認識自己而感到驕傲。聽話人John也積極回應和說話人實現正向互動。

例(1)中，“就”引出的兩個事件并不相關但可以同時出現，例(2)中“just”連接的小句和后一個小句屬于釋因關系。張誼生認為由副詞性關聯詞語引出的附加事物或事件比前者更重或更為突出[14]。在例(1)中，對于聽話人來說 “頭盔”最重要，而例(2)中，說話人想表達“everyone knows him”更重要。由此可見，說話人更強調添加的信息，這也間接反映了表加合功能的副詞性關聯詞語傾向于表達主觀性意義，而不是客觀性意義。

3.2 副詞性關聯詞語表解釋

解釋功能是指通過分析和推理，對上文的陳述和情況的含義、原因、理由等進行解釋和說明。依據說話人或作者對前面情況的不同態(tài)度，又可以把解釋性關系分為確認性解釋和補證性解釋[13]。在本節(jié)中，對一件事或物的描述被歸為解釋功能。

(1)童文潔: 這都要蹲班了，還升什么學呀，哪兒來的升學率??？

方圓:這總數是不變的，考上了你就是一分子，這個升學率就上去了。

(《小歡喜》第二集)

這段對話主要講述了說話人童文潔告訴丈夫方圓，學校希望自己的孩子高二蹲班一年，她對學校為追求升學率而要求蹲班這個做法有些困惑和不滿，于是聽話人向話輪發(fā)起者解釋學校實行蹲班的原因。由副詞性關聯詞語“就”引出的句子位于疑問句之后，是對前一說話人的問題進行解釋。在這里對前面的疑惑，即蹲班沒有升學率，通過給與理由和原因加以說明，屬于補證性解釋。此處第一輪聽話人解釋時，眼睛一直注視著最先開啟話輪的人，當說到“考上了”時，他伸出的手掌向自己懷里的方向移動。接著說“你就是一分子”時又將手掌朝著聽話人的方向移動。這個手勢的移動暗示假如聽話人考上了，那就是所謂的分子。通過手勢的移動，讓聽話人帶入自己假設的情境中，使對方能夠理解自己所做的解釋。

(2)John：Thank you for agreeing to the early-bird dinner. When I eat too late the food just sits right here.

Meemaw：Yeah, getting’ old is no party.

(《小謝爾頓》第二季第十集)

副詞性關聯詞語“just”在這段對話中也有雙重作用?！癹ust”不僅使語句連貫，而且著重解釋了為什么自己要請同伴吃早鳥餐。例句中的“just”將前后句關聯起來，即“when”所在的條件句和“just”描述的結果句連接起來?！癹ust”所在的分句向聽話人解釋了說話人早先提議吃早鳥餐的原因。顯然，“just”在此處還具有連接多模態(tài)的作用。約會對象John感謝對方答應去吃早鳥餐時，頭往左邊的方向扭過去看著聽話人的側臉，同時頭部往左下傾斜，展現了說話人態(tài)度誠懇，向聽話人表示謝意。當John說到太晚吃晚飯時，首先將手抬高至胸口的位置。隨著話語持續(xù)發(fā)展到 “just sits right here”時，說話人將手橫著貼近胸口后立刻拍了幾下胸口，表示食物堵會堵在胸口處。隨后John眼神從左下方的位置又回到了最初水平向左的視線，暗示自己已經說完，希望得到對方的回應。

副詞性關聯詞語“就”和“just”表解釋功能時，在單句中充當狀語，在復句和語篇中除了狀語功能外，還起到關聯作用。在表解釋功能的例(1)和例(2)中，由副詞性關聯詞語“就”和“just”引出的句子主要是對前一句的進一步解釋說明，說話者不僅向聽話人證實某種事實或結果與之前所預測的相符，也通過該方式使得語義更加清晰連貫。但是漢語的副詞性關聯詞語“就”常常與“是”連用，而英語的“just”卻不能和表示判斷的“系動詞be” 連用。這從側面反映了英語和漢語間“異中有同，同中有異”的特點。

3.3 副詞性關聯詞語表命令或請求

命令或請求就是指要求或以委婉的方式讓指定聽話人完成某事。

(1)童文潔：凡凡，媽媽跟你說實話，我們是一個很普通的家庭，爸爸媽媽沒有任何背景，我們也沒有任何關系，我們就指望你通過高考鯉魚躍龍門了。你這個龍門你要躍過去，你會改變你一生…… (《小歡喜》第四集)

說話人童文潔告訴聽話人本來要蹲班，但是現在不需要蹲班，擔心學校想要放棄類似聽話方學習較落后的孩子，所以勸導聽話人要努力學習通過高考。當話輪發(fā)起人說到“我們就指望你”時不由自主地將手抬高，眉頭緊鎖并且眼睛一直盯著聽話人，保持下顎抬高向前傾的姿勢。當說到“就”時通過提高音量來強調自己話語里的重要內容，同時也帶著請求的含義，希望聽話人能夠將自己的話記住，認真學習順利通過高考。在這里“就”將所在例句里的人物和事件銜接起來，這里的人物和事件分別指的是聽話人方一凡和鯉魚躍龍門(通過高考)，但是這里的“就”命令的意味更加強烈，要求對方成功做到鯉魚躍龍門。從視頻中可以看出說話人的表情嚴肅，可以知曉這位母親在對自己的兒子前途操心的同時也露出隱隱的不安感。

(2) Georgie:How come we ain’ t got no tater tots?…

Mom:Just eat what I made you.

Georgie:Can we at least have tater tots tomorrow?

(《小謝爾頓》第一季第一集)

例(2)中，話輪發(fā)起人Georgie因為想吃薯球而不是薯泥所以帶著抱怨的語氣。當他說這句話時，用叉子挑起一小塊薯泥在眼前，然后把食物往下放了后又吃下去。這個舉動也側面暗示說話人Georgie不想吃卻又不得不吃的無奈。而母親要求兒子Georgie不要挑食，她做了什么就要吃什么。當她說“Just eat what I made you”將叉子上的薯泥往上抬了抬，開啟了新的話輪，示意Georgie必須吃薯泥，同時表情嚴肅，眼睛一直盯著Georgie。祈使句中的“Just”和伴隨的動作都展現了命令態(tài)度以及家長的權威。直到第一話輪發(fā)起人Georgie請求“我們明天能吃炸薯球”后，她才低下頭停止注視Georgie的行為，因為母親有時也不得不對孩子妥協讓步。這些隱含的意思都是通過觀察言語文本外的各種模態(tài)并結合相關知識進一步分析而得出。

副詞性關聯詞語在表示命令請求功能時，英文中多省略主語，通常運用祈使句來命令或請求聽話人完成或執(zhí)行某事。在《小謝爾頓》中，“just”位于句首時能夠起到承接上文，引出下文的銜接作用，使段、句間的銜接更加連貫，而且，該類詞語位于句首命令性較強，能夠清晰地反映說話人態(tài)度以便于聽話人識別。但在漢語中，“就”位于主語和謂語間，命令意味相對較弱，請求意味更重。當說話人說到副詞性關聯詞語“就”或“just”時都會通過升高音調，加重語氣來表示命令。

從多模態(tài)分析中，可以看出話語能夠表達非語言所不能傳達的信息，反之亦然。只有將二者結合起來，才能發(fā)現更多隱含或者被忽略的含義，這些含義只通過閱讀文本是無法實現的。副詞性關聯詞語起到將語言和非語言的模態(tài)信息結合起來的作用，使得對話能夠流暢地進行下去。

4 結論

基于語料庫驅動的多模態(tài)話語分析理論分析英漢副詞性關聯詞語，實際上是運用定性和定量結合的方法來分析語言背后的規(guī)律。運用語料統(tǒng)計副詞性關聯詞語“就”和“just”在中英語料中分布頻率，驗證副詞性關聯詞語“就”和“just”在電視會話文本中最主要的功能為加合功能；通過定性分析副詞性關聯詞語和多模態(tài)協作的文本，發(fā)現副詞性關聯詞語通常伴隨著多模態(tài)的發(fā)生。這對挖掘文本之外的含義以及拓寬多模態(tài)語料庫語言學的應用范圍有著重要的意義。今后隨著具體模態(tài)的范疇劃分進一步發(fā)展，可以結合具有重要意義的語篇，進行意義建構與跨學科理論體系的構建，推動多模態(tài)語篇分析的研究。