從“語言學(xué)”的角度看“多媒體畫面語言學(xué)”

張茹燕 普濟(jì)

“多媒體畫面語言學(xué)”（The Linguistics for Multimedia Design，LMD）是今年出現(xiàn)的一門全新的學(xué)科門類[1]，具有時(shí)代性和跨領(lǐng)域的明顯特征。它的出現(xiàn)，直接原因是當(dāng)前在國內(nèi)外廣泛開展多媒體教材建設(shè)的需要；更深層次的原因，則是信息時(shí)代迫切要求認(rèn)識(shí)和規(guī)范該時(shí)代流行的語言——多媒體畫面語言。

本文從一般語言學(xué)的角度，揭示多媒體畫面語言的本質(zhì)屬性和語言特征；探討多媒體畫面語言學(xué)劃分為語構(gòu)、語義和語用三部分的理論依據(jù)，旨在考證多媒體畫面語言學(xué)的合理性，即研究它的思路和結(jié)論都可在“一般語言學(xué)”中找到依據(jù)。

● 為什么將多媒體畫面視為一種語言

1.多媒體畫面具有語言的本質(zhì)屬性

一般語言學(xué)將語言定義為，人類用于交際和思維的符號(hào)系統(tǒng)。“符號(hào)”是指人們?cè)诮浑H過程中，用于傳達(dá)信息的有意義的媒介物。這個(gè)定義說明語言具有兩個(gè)方面的本質(zhì)屬性，即：語言是一套“符號(hào)”系統(tǒng)；語言用于交流和思維。

將多媒體畫面視為一種語言，是因?yàn)樗险Z言的定義，即可以將其視為一種符號(hào)系統(tǒng)，并且可以用它來傳遞知識(shí)信息或視聽覺美感，也可用來進(jìn)行思維。

（1）多媒體畫面語言是一套符號(hào)系統(tǒng)。構(gòu)成（繪畫、攝影、動(dòng)畫、影視等）傳統(tǒng)藝術(shù)中的基本元素，早已分別形成了各藝術(shù)門類中的符號(hào)系統(tǒng)。多媒體畫面的基本元素，是由上述各傳統(tǒng)藝術(shù)中的基本元素組合而成的，將其分為圖、文、聲、像4種媒體類型，并且運(yùn)用多媒體畫面藝術(shù)規(guī)則（即畫面語言的語法規(guī)則）對(duì)這4類媒體的符號(hào)間關(guān)系進(jìn)行規(guī)范，從而使該符號(hào)系統(tǒng)形成了一套嚴(yán)密的畫面語言結(jié)構(gòu)。

（2）多媒體畫面語言可以用來傳遞知識(shí)信息或視聽覺美感。用多媒體畫面語言編寫的多媒體教材,由于包含了圖、文、聲像各類媒體，充分利用了學(xué)習(xí)者的視覺、聽覺渠道和表象、概念渠道，因而傳遞知識(shí)和美感的效果更加優(yōu)于文字語言和傳統(tǒng)藝術(shù)。

必須指出，采用多媒體畫面語言符號(hào)進(jìn)行交流，需要注意它不同于文字符號(hào)的兩個(gè)特點(diǎn)，即“以形表義”和“分時(shí)呈現(xiàn)”。

（3）多媒體畫面語言也可以用于思維。多媒體畫面語言是通過視、聽覺的表象渠道和概念渠道將信息內(nèi)容傳入人的大腦的，這些信息內(nèi)容可以在人的頭腦中以表象和概念的形式進(jìn)行思維加工。因此可以認(rèn)為，這就是運(yùn)用多媒體畫面語言進(jìn)行思維的形式。

2.多媒體畫面具有一般語言的三個(gè)特征

在語言學(xué)中，語言一般應(yīng)具有符號(hào)性、系統(tǒng)性和可生成性三個(gè)特征[2]。多媒體畫面也具有語言學(xué)描述語言的這些特征。分別討論如下。

（1）符號(hào)性。語言學(xué)認(rèn)為，語言符號(hào)是有層級(jí)結(jié)構(gòu)的：由語素、詞組成短語；由短語組成句子。多媒體畫面語言符號(hào)也有類似的層級(jí)結(jié)構(gòu)[3]。例如，圖形語言符號(hào)的層級(jí)結(jié)構(gòu)是，由點(diǎn)、線、面組成形態(tài)；由色彩、肌理、影調(diào)組成屬性；由形態(tài)、屬性、聲音、運(yùn)動(dòng)等組成運(yùn)動(dòng)畫面（即電視畫面、計(jì)算機(jī)畫面、多媒體畫面）。

（2）系統(tǒng)性。語言學(xué)認(rèn)為，語言是一種由語法規(guī)則維系的語言符號(hào)系統(tǒng)。多媒體畫面語言作為一種語言符號(hào)系統(tǒng)，它的語言符號(hào)是由多媒體畫面藝術(shù)規(guī)則（語法規(guī)則）維系的，這種維系需注意兩個(gè)要點(diǎn)：①內(nèi)容上，多媒體畫面藝術(shù)規(guī)則規(guī)范的是視（聽）覺要素符號(hào)，即規(guī)范基本元素符號(hào)在畫面上的衍變。強(qiáng)調(diào)這一要點(diǎn)，是因?yàn)樗鞔_了該語言基礎(chǔ)理論（多媒體畫面藝術(shù)理論）的思路，語法規(guī)則是需要按照這一思路運(yùn)用的。②范圍上，多媒體畫面藝術(shù)規(guī)則是從八個(gè)方面進(jìn)行規(guī)范的。其中“突出主題（或主體）”、“媒體匹配”和“有序變化”三個(gè)方面基本規(guī)則用來覆蓋“圖”的靜態(tài)呈現(xiàn)和動(dòng)態(tài)呈現(xiàn)；文本和解說兩個(gè)方面的藝術(shù)規(guī)則對(duì)文字語言的形、聲在畫面上的呈現(xiàn)進(jìn)行規(guī)范；色彩和背景兩個(gè)方面的藝術(shù)規(guī)則對(duì)圖、文的屬性和背景進(jìn)行規(guī)范；運(yùn)用交互功能方面的藝術(shù)規(guī)則對(duì)導(dǎo)航、互動(dòng)教學(xué)方面的運(yùn)用進(jìn)行規(guī)范。從而體現(xiàn)了這套語法規(guī)則的完備性。強(qiáng)調(diào)這一要點(diǎn)，是為了說明這套規(guī)則與該語言的基礎(chǔ)理論密不可分，即語法規(guī)則是從理論中提煉出來的。

（3）生成性。語言學(xué)認(rèn)為，雖然語言符號(hào)系統(tǒng)是由有限的語言符號(hào)和語法規(guī)則構(gòu)成的，但卻能生成無限多種句子。多媒體畫面語言便是由有限的語言符號(hào)（基本元素、視覺要素）及其語法規(guī)則（多媒體畫面藝術(shù)規(guī)則）構(gòu)成的語言符號(hào)系統(tǒng)。正是由于具有這種有限性，才能使多媒體畫面語言具有可學(xué)習(xí)性，并能利用它開發(fā)出無限多種多媒體教材出來。

因此，可以將多媒體畫面視為和文字一樣，二者分別屬于兩種不同類型的人工語言。

● 研究多媒體畫面語言，為什么要分為基礎(chǔ)理論與理論運(yùn)用兩部分

1.語言學(xué)中存在“語言”和“言語”的概念

進(jìn)入20世紀(jì)以后，首先在語言學(xué)中提出“語言”和“言語”概念的是瑞士語言學(xué)家索緒爾（結(jié)構(gòu)主義語言學(xué)創(chuàng)始人），他稱其為“建立言語活動(dòng)理論的第一條分岔路”。也就是說，對(duì)于語言學(xué)，需要把語言和言語區(qū)分開來進(jìn)行研究[4]。索緒爾所說的“語言”，實(shí)際上是指由語法規(guī)則規(guī)范的語言結(jié)構(gòu)，而“言語”則是指運(yùn)用語法進(jìn)行表達(dá)的過程和結(jié)果。如果將“語言”視為一種工具，便可將“言語”看成是工具的運(yùn)用。1957年，喬姆斯基（美國語言學(xué)家）基于認(rèn)知心理學(xué)理論，創(chuàng)建了“轉(zhuǎn)化生成語言學(xué)”，其中提出的“語言能力”和“語言運(yùn)用”概念，與索緒爾的“語言”和“言語”概念是對(duì)應(yīng)的。20世紀(jì)70年代后期興起的功能語言學(xué)，其特點(diǎn)是重視語言的功能,認(rèn)為僅有語法是不夠的，需要通過功能和認(rèn)知來解釋句法和其他語言現(xiàn)象。

從上述語言學(xué)的發(fā)展歷程可以看出，盡管語言學(xué)的研究在不斷深入，但是索緒爾最初提出的區(qū)分語言與言語的思路，卻一直延續(xù)至今。在現(xiàn)有研究成果的基礎(chǔ)上，可以將該思路表述如下。

語言是一種形成了共識(shí)的、相對(duì)穩(wěn)固的詞匯系統(tǒng)和語法系統(tǒng)，對(duì)外，可以幫助人們進(jìn)行交際；對(duì)內(nèi)，可以幫助人們進(jìn)行思維。言語有兩方面含義。其一是指講話（包括寫作），是一種交流的行為動(dòng)作；其二是指所講的話（包括所寫的文字），需要考慮交流行為所產(chǎn)生的結(jié)果。

從社會(huì)功能的角度看，語言無非是一種工具。語言和言語的關(guān)系，猶如工具和工具運(yùn)用的關(guān)系。

一般語言學(xué)認(rèn)為，句子是劃分“語言”和“言語”的分界線。句子以下的靜態(tài)單位，包括詞、音、義，屬于語言的研究范疇，它們是組成語言這個(gè)相對(duì)穩(wěn)固的交際工具的內(nèi)部結(jié)構(gòu)模式；句子以上的動(dòng)態(tài)單位，包括語流、語調(diào)、句群、段落、段群、篇章是人們運(yùn)用語言系統(tǒng)這個(gè)交際工具在一定的語境中完成的，屬于言語的研究范疇。而且認(rèn)為，句子的模式屬于語言范疇，具體句子的運(yùn)用屬于言語范疇[5]。

2.多媒體畫面語言學(xué)中語言和言語的分界線

在多媒體畫面語言學(xué)中，也是按照索緒爾區(qū)分語言與言語的思路，將多媒體畫面語言分為基礎(chǔ)理論與理論運(yùn)用兩個(gè)方面進(jìn)行研究的。

多媒體畫面語言學(xué)認(rèn)為，多媒體教材中的教學(xué)內(nèi)容是通過多媒體畫面表現(xiàn)的，或者廣義地講，是通過（包括電視畫面、動(dòng)畫畫面和多媒體畫面在內(nèi)的）運(yùn)動(dòng)畫面表現(xiàn)的。這就表明，運(yùn)動(dòng)畫面應(yīng)相當(dāng)于一般語言學(xué)中的“句子”，是多媒體畫面語言學(xué)中語言和言語的分界線。

將多媒體畫面藝術(shù)劃分為媒體呈現(xiàn)藝術(shù)和畫面組接藝術(shù)，體現(xiàn)的便是按照多媒體畫面劃分的思想。前者將畫面上各類媒體的基本元素，視為多媒體畫面語言（符號(hào)）系統(tǒng)中的“詞匯”，而將多媒體畫面藝術(shù)規(guī)則視為規(guī)范這些詞匯衍變的“語法”（衍變后的基本元素叫視覺要素）。因此，多媒體畫面便是通過這些“語法”規(guī)范的“詞匯”，組成了各種表現(xiàn)教學(xué)內(nèi)容的結(jié)構(gòu)模式，即“句子”。顯然，這些屬于多媒體畫面藝術(shù)（基礎(chǔ)）理論的內(nèi)容，對(duì)應(yīng)于語言學(xué)中的“語言”研究范疇；后者按照不同題材和語境的要求，運(yùn)用編輯功能或交互功能對(duì)各畫面進(jìn)行組接，就像組接“句子”一樣，旨在準(zhǔn)確地表現(xiàn)各種題材內(nèi)容和取得好的教學(xué)效果。顯然，這些屬于基礎(chǔ)理論運(yùn)用的內(nèi)容，對(duì)應(yīng)于語言學(xué)中的“言語”研究。

● “多媒體畫面語言學(xué)”為什么要分為語構(gòu)、語義、語用三部分

現(xiàn)代語言學(xué)認(rèn)為，語言學(xué)是研究語言工具（即符號(hào)系統(tǒng)）、工具內(nèi)部結(jié)構(gòu)系統(tǒng)（語法）以及人們?cè)诓煌Z境中運(yùn)用語言系統(tǒng)工具的過程及結(jié)果的學(xué)科[6]。語言學(xué)分為“語言的語言學(xué)”和“言語的語言學(xué)”。

語言的語言學(xué)是以“語言”為唯一對(duì)象的語言學(xué)，“語言”是指音義結(jié)合的詞匯（即符號(hào)系統(tǒng)）和語法系統(tǒng)。言語的語言學(xué)研究人們?cè)诓煌Z境中運(yùn)用語言系統(tǒng)工具的過程及結(jié)果[7]。

美國哲學(xué)家英里斯則進(jìn)一步把符號(hào)學(xué)劃分為語形學(xué)、語義學(xué)和語用學(xué)三個(gè)組成部分。語形學(xué)研究符形之間的關(guān)系（符號(hào)的結(jié)構(gòu)），也稱為語法學(xué)或句法學(xué)；語義學(xué)研究符形與符號(hào)對(duì)象之間的關(guān)系，即符號(hào)通過符形所傳達(dá)的關(guān)于符號(hào)對(duì)象的訊息；語用學(xué)研究符形、對(duì)象以及符號(hào)情境之間的關(guān)系。符號(hào)情境是指符號(hào)使用者之間應(yīng)用符號(hào)傳達(dá)思想感情時(shí)的具體環(huán)境[8]。

多媒體畫面語言學(xué)借鑒了現(xiàn)代語言學(xué)和符號(hào)學(xué)的觀點(diǎn)，也相應(yīng)地分為語構(gòu)學(xué)、語義學(xué)和語用學(xué)三部分[9]。

其中多媒體畫面語構(gòu)學(xué)研究由語言符號(hào)（基本元素、視覺要素）及其語法規(guī)則（多媒體畫面藝術(shù)規(guī)則）構(gòu)成的語言符號(hào)系統(tǒng)，屬于“語言的語言學(xué)”的范疇。

此外，按照現(xiàn)代語言學(xué)將“言語的語言學(xué)”中的語境分為小語境和大語境的觀點(diǎn)。小語境指口語的前后語或書面語的上下文；大語境則是指言語雙方的身份、場(chǎng)合、心情以及所處的社會(huì)文化環(huán)境等方方面面的因素。根據(jù)編寫多媒體教材的需要，多媒體畫面語義學(xué)將“小語境”的概念延伸為不同題材的教學(xué)內(nèi)容，研究畫面語言的不同設(shè)計(jì)格式以適應(yīng)這些題材內(nèi)容的需求；多媒體畫面語用學(xué)將“大語境”視為課堂教學(xué)環(huán)境，研究畫面語言的不同教學(xué)格式以適應(yīng)課堂教學(xué)策略的需要。因此，可以將多媒體畫面語義學(xué)和語用學(xué)視為“言語的語言學(xué)”的研究范疇。

如何看待多媒體畫面語言學(xué)中語構(gòu)學(xué)、語義學(xué)和語用學(xué)三者的關(guān)系？

由于多媒體畫面語言的語法規(guī)則與多媒體畫面藝術(shù)理論密不可分，如果將后者比作土壤，前者則好像埋在土壤里的樹根。語義、語用學(xué)是建立在語構(gòu)學(xué)(語法)基礎(chǔ)上的，因此，可以將它們視為由此樹根長(zhǎng)出地面的兩棵大樹。

參考文獻(xiàn)：

[1]游澤清.多媒體畫面藝術(shù)應(yīng)用[M].北京:清華大學(xué)出版社,2012.1.

[2]儲(chǔ)一鳴.站在巨人肩上的開拓——《言語的語言學(xué)導(dǎo)論》述評(píng)[J].現(xiàn)代語文，2008(2):125-128.

[3]游澤清.多媒體畫面語言的語法[J].信息技術(shù)教育,2002(2):79-80.

[4]岑運(yùn)強(qiáng).語言學(xué)概論[M].北京:中國人民大學(xué)出版社,2004.

[5]岑運(yùn)強(qiáng),石艷華.二十年來語言和言語問題研究述評(píng)[J].漢語學(xué)習(xí),2008(4):69-76.

[6]岑運(yùn)強(qiáng).語言和言語、語言的語言學(xué)和言語的語言學(xué)[J].漢語學(xué)習(xí),1994(4):13-16.

[7]岑運(yùn)強(qiáng).言語的語言學(xué)的界定、內(nèi)容及其研究的方法[J].北京師范大學(xué)學(xué)報(bào)，2000(4):71-77.

[8]視覺文化與技術(shù).符號(hào)學(xué)的三分天下：語形學(xué)、語義學(xué)、語用學(xué)[DB/OL].http://www.fromeyes.cn/Article_Show.asp?ArticleID=1339.

[9]游澤清.十年磨一劍——“多媒體畫面語言學(xué)”誕生紀(jì)實(shí)[J].中國信息技術(shù)教育，2011(22):9-13.