多模態(tài)視頻語(yǔ)篇的分析模式研究

王 正

（綏化學(xué)院 外國(guó)語(yǔ)學(xué)院，黑龍江 綏化152000）

隨著科學(xué)技術(shù)的高速發(fā)展，視頻語(yǔ)篇（video text）已經(jīng)成為人們交流和傳遞信息的最重要手段之一，語(yǔ)言學(xué)界也已經(jīng)開(kāi)始關(guān)注對(duì)視頻語(yǔ)篇的研究。由于視頻語(yǔ)篇的復(fù)雜性和特殊性，以及現(xiàn)有語(yǔ)言學(xué)理論的局限性，使得對(duì)于視頻語(yǔ)篇的分析目前還存在很多困難。

一、現(xiàn)有的視頻語(yǔ)篇分析模式和不足

目前國(guó)內(nèi)外對(duì)視頻語(yǔ)篇的分析模式主要有以下3類，這3類不同的分析模式對(duì)視頻語(yǔ)篇有著不同的定性描述。

第1類是以Baldry和Thibault，Vanluween，O'Halloran等為代表的社會(huì)符號(hào)學(xué)派對(duì)于視頻語(yǔ)篇的分析模式，其主要理論基礎(chǔ)是Halliday創(chuàng)立的系統(tǒng)功能語(yǔ)言學(xué)。這種分析模式的操作方法是將視頻語(yǔ)篇轉(zhuǎn)錄成為圖片和文字，然后以功能語(yǔ)言學(xué)的語(yǔ)域、銜接等相關(guān)理論以及Cress ＆Vanluween的視覺(jué)語(yǔ)法為基礎(chǔ)進(jìn)行分析［1］［2］。在社會(huì)符號(hào)學(xué)派的分析模式下，視頻語(yǔ)篇的本質(zhì)看作是圖片的連續(xù)體（包含音頻），當(dāng)連續(xù)的圖片伴隨音頻以一定的頻率播放（例如48幀／秒），就形成了連續(xù)的動(dòng)態(tài)的視頻語(yǔ)篇。

第2類針對(duì)視頻語(yǔ)篇的分析模式，是Norris在Scollon的介入性語(yǔ)篇理論（Mediated Discourse Theory）的基礎(chǔ)上建立的多模態(tài)分析框架［3］。Norris的分析模式關(guān)注的是人們?cè)诂F(xiàn)實(shí)世界中交流時(shí)的交互行為（human interaction）［4］，并非針對(duì)視頻語(yǔ)篇，但是她的分析資料是通過(guò)視頻錄像捕捉到的，所以可以把Norris的分析模式也看作是針對(duì)視頻語(yǔ)篇的研究。在這種分析模式下，視頻語(yǔ)篇的本質(zhì)被看作是社會(huì)交互行為（social interaction），對(duì)社會(huì)交互行為的分析等同于對(duì)視頻語(yǔ)篇的分析。

第3類視頻語(yǔ)篇的分析模式是我國(guó)學(xué)者顧曰國(guó)所建立的分析模式，其主要理論基礎(chǔ)也包括Scollon的介入性語(yǔ)篇理論，還有其本人對(duì)現(xiàn)場(chǎng)即席話語(yǔ)（situated discourse）的研究［5］，以及 Argyle et al．對(duì)社會(huì)情境（social situation）的研究［6］。顧曰國(guó)提出從內(nèi)容層和媒介層兩方面來(lái)分析多模態(tài)語(yǔ)篇，從社會(huì)語(yǔ)境入手，將多模態(tài)語(yǔ)篇（視頻語(yǔ)篇）分為社會(huì)心理層和個(gè)人行為層，前者從上至下包括社會(huì)情境、活動(dòng)類型和任務(wù)／插曲；后者包括談話、行為和言外行為的韻律單位［7］。此種分析模式把視頻語(yǔ)等同于社會(huì)情境，認(rèn)為對(duì)視頻語(yǔ)篇的分析等同于對(duì)社會(huì)情境的分析。

以上三種分析模式，對(duì)視頻語(yǔ)篇的定性描述和分析各有其側(cè)重點(diǎn)和不足之處。社會(huì)符號(hào)學(xué)分析模式把視頻語(yǔ)篇的本質(zhì)被看作是圖片的連續(xù)體，只關(guān)注對(duì)視頻語(yǔ)篇表現(xiàn)形式的分析，而忽略了本質(zhì)和內(nèi)容；在Norris的分析模式下，視頻語(yǔ)篇的本質(zhì)被看作是社會(huì)交互行為，對(duì)社會(huì)交互行為的分析等同于對(duì)視頻語(yǔ)篇的分析，此種模式局限于內(nèi)容是人的活動(dòng)的視頻語(yǔ)篇；顧曰國(guó)的分析模式把視頻語(yǔ)等同于社會(huì)情境，忽略了社會(huì)情境在轉(zhuǎn)換成視頻語(yǔ)篇過(guò)程中發(fā)生的變化，也就是社會(huì)情境的重新語(yǔ)境化過(guò)程。

二、對(duì)視頻語(yǔ)篇重新進(jìn)行定性描述

任何進(jìn)入攝像機(jī)鏡頭范圍內(nèi)的客觀世界中存在的一切，從人的活動(dòng)到自然風(fēng)景，再到微觀世界中的分子、原子等，都可能會(huì)被鏡頭記錄下來(lái)，形成一個(gè)包含音頻的視頻文件，播放出來(lái)就是一個(gè)視頻語(yǔ)篇。視頻語(yǔ)篇還可以是形象化的主觀世界的內(nèi)容，例如人工制作的動(dòng)畫片等。由于視頻語(yǔ)篇的復(fù)雜性和特殊性，對(duì)其進(jìn)行系統(tǒng)的定性描述是進(jìn)行分析的第一步。

一個(gè)視頻語(yǔ)篇的物質(zhì)載體首先是一個(gè)存儲(chǔ)在電腦硬盤或其他媒體中的一個(gè)數(shù)字化的視頻文件，當(dāng)這個(gè)數(shù)字化的文件通過(guò)電腦、電視機(jī)或手機(jī)等媒介播放出來(lái)后就形成了包含音頻的動(dòng)態(tài)視頻，視頻的直觀表現(xiàn)形式是連續(xù)播放的圖片，通過(guò)圖片的內(nèi)容我們可以確定其中的參與者的具體行為，而不同的參與者及其具體行為和場(chǎng)景就構(gòu)成了一個(gè)具體的社會(huì)情境，這個(gè)具體的社會(huì)情境可以看作是視頻語(yǔ)篇的本質(zhì)，作為視頻語(yǔ)篇本質(zhì)的社會(huì)情境通常會(huì)經(jīng)過(guò)重新語(yǔ)境化的過(guò)程。所以描述一個(gè)視頻語(yǔ)篇應(yīng)該從不同的層次上進(jìn)行。我們從層次劃分的角度對(duì)視頻語(yǔ)篇作了以下的定性描述：視頻語(yǔ)篇包括本質(zhì)、內(nèi)容、形式和載體四個(gè)層次；視頻語(yǔ)篇的本質(zhì)是重新語(yǔ)境化的社會(huì)情境，內(nèi)容是社會(huì)行為，形式是連續(xù)播放的圖片，載體是數(shù)字化文件（見(jiàn)圖1）。視頻語(yǔ)篇的每一層次之間的關(guān)系是體現(xiàn)關(guān)系（realization）。社會(huì)情境由社會(huì)行為體現(xiàn)，也就是社會(huì)情境的性質(zhì)取決于其中的社會(huì)行為形式；社會(huì)行為需要通過(guò)其表現(xiàn)形式確定，也就是要通過(guò)連續(xù)的圖片中的內(nèi)容所體現(xiàn)；而視頻圖像中的內(nèi)容最終取決于硬盤等媒介中儲(chǔ)存的數(shù)字化視頻文件所記錄的內(nèi)容。如果要充分的描述一個(gè)視頻語(yǔ)篇，就要由本質(zhì)到載體逐層進(jìn)行分析和描述。

圖1 視頻語(yǔ)篇的層次模型

根據(jù)以上的層次模型，在現(xiàn)有的視頻語(yǔ)篇的分析模式中，符號(hào)學(xué)派針對(duì)的是視頻語(yǔ)篇表現(xiàn)形式層的分析，Norris的交互活動(dòng)分析模型針對(duì)的是視頻語(yǔ)篇的社會(huì)行為層，而對(duì)于視頻語(yǔ)篇的載體的分析屬于計(jì)算機(jī)科學(xué)領(lǐng)域的研究，下面著重探討目前研究很少涉及的視頻語(yǔ)篇的本質(zhì)層的分析模式。

三、視頻語(yǔ)篇的本質(zhì)是重新語(yǔ)境化的社會(huì)情境

（一）社會(huì)情境（social situation）

社會(huì)情境這一概念在前面提到的第三類分析模式中已經(jīng)涉及。在顧曰國(guó)建立的多模態(tài)語(yǔ)篇的分析框架下，社會(huì)情境這一概念只是指內(nèi)容是有人參與的社會(huì)接觸（social encounter）的視頻語(yǔ)篇，而沒(méi)有包括那些內(nèi)容不包括人和人的行為或社會(huì)接觸的視頻語(yǔ)篇，例如內(nèi)容是自然風(fēng)景、動(dòng)物等的視頻語(yǔ)篇。

本文在使用社會(huì)情境這一概念對(duì)視頻語(yǔ)篇進(jìn)行定性描述時(shí)其內(nèi)涵意義有所變化和擴(kuò)大。

我們認(rèn)為任何視頻語(yǔ)篇都可以被看作是社會(huì)情境，包括那些內(nèi)容不是人的行為或社會(huì)接觸的視頻語(yǔ)篇。因?yàn)槿魏我曨l語(yǔ)篇都是社會(huì)化了的內(nèi)容。例如一個(gè)內(nèi)容完全是自然風(fēng)景的視頻，其第一步的社會(huì)化過(guò)程就是攝像師的操作過(guò)程——攝像師調(diào)整鏡頭的角度、焦距，選擇攝入到鏡頭范圍中的內(nèi)容。另外如果這段視頻是一段電視節(jié)目，那么社會(huì)化的過(guò)程還可能包括在制作視頻的過(guò)程中的導(dǎo)演、剪輯人員等其他參與節(jié)目制作的成員的工作。所以，任何視頻語(yǔ)篇都是一個(gè)社會(huì)化的產(chǎn)物，我們可以把其內(nèi)容的本質(zhì)看作是社會(huì)情境。作為視頻語(yǔ)篇本質(zhì)的社會(huì)情境是被重新語(yǔ)境化了的社會(huì)情境。

（二）重新語(yǔ)境化（recontextualization）

視頻語(yǔ)篇的社會(huì)化過(guò)程也就是社會(huì)情境的重新語(yǔ)境化的過(guò)程。

視頻語(yǔ)篇的重新語(yǔ)境化過(guò)程發(fā)生在3個(gè)層面：（1）攝影師有選擇的對(duì)視頻內(nèi)容進(jìn)行錄制；（2）視頻制作者對(duì)視頻語(yǔ)篇進(jìn)行編輯，例如鏡頭的剪切、組合、特效處理以及加入背景音樂(lè)和畫外音等；（3）不同的社會(huì)情境重新組合在一起共同形成一個(gè)新的整體的視頻語(yǔ)篇。

一個(gè)視頻語(yǔ)篇，可以是關(guān)于同一個(gè)社會(huì)情境的內(nèi)容，也就是一個(gè)完整的社會(huì)接觸，例如“我們約會(huì)吧”這一類的電視節(jié)目。但更多的情況是一個(gè)視頻語(yǔ)篇包括多個(gè)社會(huì)情境，也就是多個(gè)社會(huì)接觸。例如“焦點(diǎn)訪談”節(jié)目，包括主持人在演播室，記者在現(xiàn)場(chǎng)對(duì)當(dāng)事人采訪等多個(gè)社會(huì)接觸，也就是多個(gè)社會(huì)情境。這些不同的社會(huì)情境重新組合，共同構(gòu)成焦點(diǎn)訪談這一個(gè)視頻語(yǔ)篇整體。所以社會(huì)情境在同一個(gè)視頻語(yǔ)篇中重新組合也是社會(huì)情境的重新語(yǔ)境化的過(guò)程。

（三）作為系統(tǒng)的視頻語(yǔ)篇的社會(huì)情境層

綜合了Argyle et al．對(duì)社會(huì)情境的研究和顧曰國(guó)的分析模式，本文認(rèn)為視頻語(yǔ)篇的社會(huì)情境層是一個(gè)系統(tǒng)，包括6個(gè)變量：目標(biāo)（Goals）、參與者 （Participants）、活 動(dòng) （Activities）、架 構(gòu)（Schema）、地點(diǎn)（Place）和時(shí)間（Time）。一個(gè)視頻語(yǔ)篇的社會(huì)情境層可以同時(shí)包含這六個(gè)變量，也可以只包含其中一個(gè)或幾個(gè)變量。

視頻語(yǔ)篇本質(zhì)層對(duì)變量的選擇，取決于視頻語(yǔ)篇的內(nèi)容層。不同內(nèi)容的視頻語(yǔ)篇其本質(zhì)層所包含的變量也不同。內(nèi)容不包括人的活動(dòng)的視頻語(yǔ)篇只包含地點(diǎn)和時(shí)間兩個(gè)變量，例如一個(gè)自然風(fēng)景的短片。而內(nèi)容是有人參與的社會(huì)接觸的視頻語(yǔ)篇?jiǎng)t包括更多的變量。如果內(nèi)容是一個(gè)社會(huì)接觸片段，例如偶然拍攝的突發(fā)事件的視頻語(yǔ)篇，那么其社會(huì)情境層可能只包括活動(dòng)、參與者、地點(diǎn)和時(shí)間四個(gè)變量，如果內(nèi)容是一個(gè)完整的社會(huì)接觸的視頻語(yǔ)篇，除了包括活動(dòng)、參與者、地點(diǎn)和時(shí)間以外，還包括目標(biāo)和架構(gòu)，也就是六個(gè)變量全部包括。

（四）以“我們約會(huì)吧”節(jié)目為例對(duì)視頻語(yǔ)篇的社會(huì)情境層進(jìn)行分析

下面我們以“我們約會(huì)吧”這個(gè)電視節(jié)目為例對(duì)視頻語(yǔ)篇的社會(huì)情境層的六個(gè)變量進(jìn)行初步分析。

1．目標(biāo)

社會(huì)情境首先是以目標(biāo)為導(dǎo)向的。作為社會(huì)情境的“我們約會(huì)吧”節(jié)目包括三個(gè)層次的目標(biāo)。第一層次的目標(biāo)是：要贏得高收視率，以提高湖南電視臺(tái)的影響力。第二層次的目標(biāo)是節(jié)目本身的目標(biāo)：為男女嘉賓提供一個(gè)浪漫的舞臺(tái)，幫他們找到理想的約會(huì)對(duì)象。第三層次的目標(biāo)是節(jié)目參與者的目標(biāo)：參與節(jié)目的男女嘉賓的目標(biāo)是展示自己、找到理想的約會(huì)對(duì)象；觀眾的目標(biāo)是親身體驗(yàn)和觀賞節(jié)目；主持人的目標(biāo)是：控制節(jié)目現(xiàn)場(chǎng)，使節(jié)目按步驟順利進(jìn)行等。

2．參與者

參與者就是社會(huì)情境活動(dòng)的主體?！拔覀兗s會(huì)吧”節(jié)目的參與者主要有四類：主持人、男女嘉賓、觀眾和節(jié)目的工作人員（攝像師、音響師、燈光師等）。為了實(shí)現(xiàn)社會(huì)情境的目標(biāo)，每一類參與者都有不同的角色（role），參與者的行為受到角色的約束。例如：男女嘉賓要按照節(jié)目規(guī)則在臺(tái)上選取自己的約會(huì)對(duì)象；觀眾在舞臺(tái)下面觀看節(jié)目錄制，在適當(dāng)?shù)臅r(shí)候鼓掌歡呼；節(jié)目的工作人員進(jìn)行現(xiàn)場(chǎng)節(jié)目錄制等。

3．活動(dòng)

活動(dòng)是指社會(huì)情境中參與者的活動(dòng)。“我們約會(huì)吧”節(jié)目的社會(huì)情境中有兩類活動(dòng)同時(shí)進(jìn)行：第一類活動(dòng)是主持人和男女嘉賓以及節(jié)目中的觀眾等的活動(dòng)，這些是節(jié)目的直接參與者的活動(dòng)；第二類是節(jié)目的工作人員所進(jìn)行的活動(dòng)，例如：攝像師拍攝節(jié)目，音響師為節(jié)目提供音響效果，燈光師進(jìn)行照明等。兩類活動(dòng)同時(shí)進(jìn)行但作用和地位不同，第一類活動(dòng)是主體的，第二類活動(dòng)是輔助的。

4．架構(gòu)

架構(gòu)是指為實(shí)現(xiàn)社會(huì)情境的目標(biāo)社會(huì)活動(dòng)所必須要遵循的程序和規(guī)則。以“我們約會(huì)吧”節(jié)目為例，主持人、男女嘉賓以及特邀嘉賓等參與者必須按照節(jié)目的規(guī)則，即架構(gòu)展開(kāi)活動(dòng)。

如果要實(shí)現(xiàn)“我們約會(huì)吧”節(jié)目這個(gè)社會(huì)情境的目標(biāo)，那么參與者必須按照節(jié)目的規(guī)則即架構(gòu)展開(kāi)活動(dòng)。

5．地點(diǎn)

地點(diǎn)是視頻語(yǔ)篇社會(huì)情境層的重要方面。地點(diǎn)是指社會(huì)情境中的社會(huì)活動(dòng)發(fā)生的具體場(chǎng)景。地點(diǎn)對(duì)社會(huì)情境中的活動(dòng)有著重要的促進(jìn)和控制的作用［8］?！拔覀兗s會(huì)吧”節(jié)目這個(gè)視頻語(yǔ)篇本質(zhì)層的地點(diǎn)就是節(jié)目拍攝的演播廳。演播廳接近圓形，主體部分是舞臺(tái)，高出其他部分約50厘米，兩側(cè)是觀眾席位，特邀嘉賓的席位在舞臺(tái)右側(cè)。演播廳這種結(jié)構(gòu)設(shè)計(jì)對(duì)社會(huì)情境中的活動(dòng)和個(gè)體行為起到重要的促進(jìn)和控制作用。例如，攝影師、燈光師、音響師等的輔助活動(dòng)通常只能發(fā)生在舞臺(tái)之下，而男女嘉賓、主持人等的主體活動(dòng)通常發(fā)生在舞臺(tái)之上，男女嘉賓通常站在舞臺(tái)上特定的位置進(jìn)行交流，而且必須從指定的出入口登場(chǎng)和退場(chǎng)，觀眾的行為也只能局限于在觀眾席上鼓掌、歡呼等。通過(guò)以上的分析我們發(fā)現(xiàn)地點(diǎn)對(duì)社會(huì)情境中的活動(dòng)、參與者的個(gè)體行為以及社會(huì)情境的目標(biāo)的實(shí)現(xiàn)有著重要的促進(jìn)和控制作用。

6．時(shí)間

時(shí)間是視頻語(yǔ)篇社會(huì)情境層的重要因素。社會(huì)情境中的社會(huì)活動(dòng)和參與者的個(gè)人行為等一定會(huì)受到時(shí)間的控制和制約。以“我們約會(huì)吧”為例，這個(gè)節(jié)目每期通常大約是70分鐘，在“男選女”節(jié)目中，每一位男嘉賓登場(chǎng)后在舞臺(tái)上的時(shí)間大約是15分鐘，期間要播放兩段大約每段時(shí)長(zhǎng)1分半左右的有關(guān)男嘉賓的短片，被選男女嘉賓的互動(dòng)要在剩下的12分鐘內(nèi)完成。所以，時(shí)間和地點(diǎn)一樣，都會(huì)對(duì)社會(huì)情境中的活動(dòng)、參與者的行為起到重要的控制和制約的作用。

結(jié) 語(yǔ)

本文對(duì)已有的視頻語(yǔ)篇的分析模式進(jìn)行了總結(jié)，然后在此基礎(chǔ)上對(duì)視頻語(yǔ)篇重新進(jìn)行了定性描述，指出視頻語(yǔ)篇包括本質(zhì)、內(nèi)容、形式、和載體四個(gè)層次，視頻語(yǔ)篇的本質(zhì)是重新語(yǔ)境化的社會(huì)情境，內(nèi)容是社會(huì)行為，形式是連續(xù)播放的圖片，載體是數(shù)字化文件。

另外本文還對(duì)目前研究很少涉及的視頻語(yǔ)篇的本質(zhì)層，即社會(huì)情境層，以電視節(jié)目“我們約會(huì)吧”為例進(jìn)行了分析，目的是建立一種針對(duì)社會(huì)情境層的有效的分析模式。

［1］Baldry，Anthony P，Thibault，Paul．Multimodal Transcription and Text Analysis［M］．London，Oakville：Equinox，2006：165－268．

［2］Kress G R，Van Leeuwen T．Reading Images ［M］．London：Routledge，1996／2006：45－214．

［3］Scollon R．Mediated Discourse as Social Interaction［M］．London：Longman，1998：27－122．

［4］Norris S．Analyzing Multimodal Interaction：A Methodological Framework［M］．London：Routledge，2004：48－127．

［5］顧曰國(guó)．Towards a model of situated discourse［A］．In The Semantics and Pragmatics Interface［C］．K．Turner （ed．），Oxford：Elsevier Science，1999：150－178．

［6］Argyle M，F(xiàn)urnham A，Graham J A．Social Situations［M］．Cambridge：Cambridge University Press，1981：41－226．

［7］顧 曰 國(guó)．A multimodal text analysis－a corpus linguistic approach to situated discourse［J］．Text ＆ Talk，2006（2）：127－167

［8］ 顧 曰 國(guó)．An Institutional Anniversary Ceremony as Systemic Behavior in Chinese Context［A］．顧曰國(guó)語(yǔ)言學(xué)海外自選集［C］．北京：外語(yǔ)教學(xué)研究出版社，2010：233－241．