視覺語法視角下兒童立體書的多模態(tài)話語分析

殷瑩瑩

[摘 要] 基于Halliday提出的社會符號學(xué)理論和系統(tǒng)功能語言學(xué)理論，Kress和van Leeuwen創(chuàng)建了視覺語法理論。以立體書《這就是中國》為例，從視覺語法角度探討和分析該類型書籍中立體書的多模態(tài)元素，以揭示兒童對中國歷史文化的認知過程。研究發(fā)現(xiàn)，該立體書通過立體圖像和文字的組合，具有再現(xiàn)意義、互動意義和構(gòu)圖意義，可有效幫助兒童加深對中國歷史文化知識的理解和記憶。

[關(guān) 鍵 詞] 多模態(tài)；視覺語法；立體書；中國文化

一、引言

多模態(tài)話語分析以圖像、顏色、聲音、文字等多種形式的語言符號和其他符號資源的相互配合為基礎(chǔ)，為人們研究語言現(xiàn)象提供了新的視角。視覺語法是多模態(tài)話語分析研究的一個分支，是在Halliday的系統(tǒng)功能語法基礎(chǔ)上發(fā)展起來的一種新的研究方法。目前，已有不少學(xué)者對兒童立體書進行了研究。然而，以往的研究主要從立體書的功能、結(jié)構(gòu)設(shè)計、形態(tài)研究等角度來探討兒童立體書，鮮少從視覺語法理論角度展開研究。因此，本文以《這就是中國》為例，在視覺語法理論框架下做以下探討：（1）該類型書籍如何體現(xiàn)再現(xiàn)意義、互動意義和構(gòu)圖意義；（2）該類型書籍中立體圖像和文字等多種模態(tài)如何有機結(jié)合構(gòu)建整體意義。有望對多模態(tài)兒童立體書的設(shè)計有所啟示，從而增強兒童的閱讀興趣。

二、理論背景及相關(guān)研究

（一）理論基礎(chǔ)

Halliday（2008）認為，語言的元功能在系統(tǒng)功能語言學(xué)范式內(nèi)分為概念功能、人際功能和語篇功能。概念功能與語言的信息內(nèi)容有關(guān)，涉及人們?nèi)绾瓮ㄟ^語言來表達關(guān)于世界的事實、觀點和經(jīng)驗。人際功能與語言在社會交往中的作用有關(guān)，它涉及人們?nèi)绾问褂谜Z言來表達情感、建立關(guān)系、影響他人和實現(xiàn)自己的意圖。語篇功能與語言在組織和呈現(xiàn)信息方面的作用有關(guān)，它涉及人們?nèi)绾问褂谜Z言來構(gòu)建連貫的篇章和對話。Kress和van Leeuwen（ 2006） 將系統(tǒng)功能語法的三大語言元功能拓展到視覺模態(tài)層面，創(chuàng)建了視覺語法，其核心內(nèi)容包括再現(xiàn)意義、互動意義和構(gòu)圖意義，分別對應(yīng)系統(tǒng)功能語言學(xué)的概念功能、人際功能和語篇功能（吳安萍、鐘守滿，2014）。

再現(xiàn)意義指的是圖像或視覺元素所代表的對象、場景或概念。它涉及圖像能夠再現(xiàn)或表示的具體內(nèi)容和信息。再現(xiàn)意義可分為敘事再現(xiàn)和概念再現(xiàn)。敘事再現(xiàn)指的是展開的動作和事件、變化的過程和瞬間的空間安排（韋琴紅，2008）。概念再現(xiàn)是“一種概括、穩(wěn)定和沒有時間限制的精華再現(xiàn)參與者”（韋琴紅，2008）。兩者的區(qū)別在于敘事再現(xiàn)中存在著由圖像元素之間的斜線構(gòu)成的矢量（葉佳敏、陳樺，2023）。

互動意義指的是圖像或視覺元素與觀眾之間的互動關(guān)系以及產(chǎn)生的效果和情感?；右饬x涉及兩個主要參與者：再現(xiàn)參與者和互動參與者（吳安萍、鐘守滿，2014）。再現(xiàn)參與者是指圖像中的主體，通過圖像呈現(xiàn)給觀看者?；訁⑴c者包括圖像的觀看者和制作者，他們是通過圖像進行相互溝通和交流的主體。參與者之間的互動關(guān)系主要表現(xiàn)在接觸、社會距離、態(tài)度和情態(tài)等方面（Kress&van Leeuwen，2006：115）。接觸指的是圖像與觀看者之間的視線交流過程。如果圖像中的人物與觀看者有直接的眼神接觸，那么該圖像行為就是索取類接觸；反之，則是提供類接觸。距離反映了圖像中再現(xiàn)參與者與觀看者之間的親疏關(guān)系（葉佳敏、陳樺，2023）。近距離表現(xiàn)親密關(guān)系，中距離表現(xiàn)社會關(guān)系，遠距離則表示陌生關(guān)系。態(tài)度是通過視角來體現(xiàn)的，包括水平視角和垂直視角，視角反映出觀看者對再現(xiàn)參與者所持態(tài)度的主客觀程度（Kress&van Leeuwen，2006：129-140）。情態(tài)指再現(xiàn)參與者的真實度或可信度，其數(shù)值值有高、中、低三類（Kress&van Leeuwen，2006：155），可以通過色彩飽和度、線條、光線和陰影等實現(xiàn)圖像中情態(tài)的高低值。

構(gòu)圖意義指的是圖像或視覺元素在布局和組合上的安排和組織方式。構(gòu)圖意義主要通過信息值、顯著性和框架來實現(xiàn)（吳安萍、鐘守滿，2014）。信息值是通過成分在構(gòu)圖中的位置實現(xiàn)的，如上下、左右、中心和邊緣。顯著性是從不同程度吸引觀看者注意力的成分，通過成分突顯可看出成分關(guān)注度和重要性（吳安萍、鐘守滿，2014）。框架指表達象征圖像中的元素在某方面是否彼此相屬。往往利用分割線和實際的框架線條連接或者切斷圖像中的元素來表達（滕達、苗興偉，2018）。

（二）文獻綜述

國內(nèi)關(guān)于多模態(tài)語篇分析的研究主要有：李戰(zhàn)子（2003），論述了多模態(tài)語篇分析理論及其在外語教學(xué)中的重要作用；胡壯麟（2007）討論了社會符號學(xué)的多模態(tài)化，并介紹了計算機符號學(xué)；張德祿（2009）以系統(tǒng)功能語言學(xué)理論為基礎(chǔ)，構(gòu)建了一個多模態(tài)話語分析的綜合框架，并探討了各個模態(tài)之間的關(guān)系，為我國多模態(tài)語篇分析提供了新的思路。

多模態(tài)話語分析在新聞、電影、海報、宣傳片、廣告、繪本等方面有著廣泛的應(yīng)用。但很少有研究將多模態(tài)話語分析應(yīng)用到兒童立體書領(lǐng)域。兒童圖書領(lǐng)域中立體書這一新穎的形式是對傳統(tǒng)紙質(zhì)圖書閱讀習(xí)慣、閱讀方式以及兒童認知能力的有效補充。視覺語法理論在兒童圖書領(lǐng)域具有較強的適用性。立體書作為一種多模態(tài)的兒童文學(xué)形式，融合了視覺、聽覺和觸覺等感知模態(tài)，為兒童提供了更加豐富和多樣的閱讀體驗。因此，結(jié)合多模態(tài)話語分析與視覺語法的相關(guān)理論，對兒童立體書的研究具有一定的理論與實際意義。這既能加深我們對兒童文學(xué)的認識，又能給兒童文學(xué)的設(shè)計與創(chuàng)意帶來新的思想與方法。未來的研究可以進一步探索立體書中多種符號資源的互動方式，以及它們?nèi)绾斡绊憙和拈喿x體驗和認知發(fā)展。

三、兒童立體書《這就是中國》的多模態(tài)話語分析

《這就是中國》3D立體書由中國大百科全書出版社出版，適合7～10歲兒童閱讀。該立體書以中國七大文化遺產(chǎn)為主題，包含北京故宮、蘇州園林、秦兵馬俑、敦煌莫高窟、杭州西湖、布達拉宮和萬里長城七大立體絕景。該立體書將七大立體景觀通過層次疊加的方式制作成立體模型，讓讀者親身觸摸、拼插，使讀者獲得了全方位的體驗。從語篇形式來看，該立體書以立體圖像為主，語言為輔，是立體圖像與語言符號兩種符號相結(jié)合的多模態(tài)語篇。

（一）再現(xiàn)意義

基于視覺語法理論，該立體書以概念再現(xiàn)為主，敘事再現(xiàn)和概念再現(xiàn)交叉共同構(gòu)成了語篇的再現(xiàn)意義。概念再現(xiàn)意義包括分類過程、分析過程和象征過程（葉佳敏、陳樺，2023）。其中，分析過程又細分為非結(jié)構(gòu)性分析過程和結(jié)構(gòu)分析過程。非結(jié)構(gòu)性分析過程只展示承載者所擁有的特征，不展示承載者本身；結(jié)構(gòu)性分析過程中既有承載者，同時又反映承載者所擁有的特征（葉佳敏、陳樺，2023）。如圖1所示，立體書《這就是中國》將長城呈現(xiàn)在讀者面前，既展現(xiàn)出事物本身，又體現(xiàn)出景觀獨特的細節(jié)及其所擁有的特征。此結(jié)構(gòu)性分析過程體現(xiàn)出典型的概念再現(xiàn)意義。

同時，該立體書也體現(xiàn)了敘事再現(xiàn)意義。敘事再現(xiàn)進一步分為動作、反應(yīng)、言語和心理過程。例如，“拉薩布達拉宮”篇章中，在這座莊嚴(yán)而神圣的雪域圣殿下方，有關(guān)于布達拉宮的簡要介紹以及與這座宮殿相關(guān)的歷史知識。如圖2所示，立體書《這就是中國》向我們展示了“松贊干布迎娶文成公主”的畫面。圖像中吹響號角的隨從，為公主獻上“哈達”的侍女，這些人物的動作以及身體彎曲的弧度都構(gòu)成了顯著的“矢量”，形成了“動作過程”。圖像中松贊干布和文成公主以各自的姿態(tài)接受對方的禮節(jié)，形成了“反應(yīng)過程”。該立體圖像成功地實現(xiàn)了概念再現(xiàn)和敘事再現(xiàn)，將一個故事情節(jié)以圖像的形式傳達給觀者，激發(fā)他們的想象力和參與感，并讓他們更深入地理解了中國歷史文化。

（二）互動意義

由上文可知，在接觸、距離、態(tài)度和情態(tài)等方面與讀者建立互動，立體書能夠提供更豐富、更具吸引力的閱讀體驗。

第一，該立體書通過提供類接觸與讀者建立互動。這些立體圖畫通過再現(xiàn)著名景點和文化遺產(chǎn)，提供了觀者與這些地方的虛擬接觸，為觀者營造出虛擬的、與實際旅行相似的體驗，并幫助觀者與這些文化和自然遺產(chǎn)建立情感和認知上的聯(lián)系。

第二，該立體書通過近距離與讀者互動。通過近景與特寫，觀者能夠更直接地感受到氣勢恢宏的故宮、高低錯落的石窟全景、蜿蜒曲折的萬里長城等。該立體書“特寫”了每個篇章中的重要歷史，將其隱藏在“機關(guān)”中。讀者按照提示打開折疊的立體圖畫，既可以提高讀者的參與感，又可以給讀者帶來獨特的閱讀體驗。

第三，該立體書通過全方位視角與讀者建立互動。不同的視角可以帶給觀者不同的視覺體驗。垂直視角體現(xiàn)權(quán)力關(guān)系，仰視突出立體圖畫中建筑物的氣勢磅礴，而俯視強調(diào)觀者的角度，觀者可以獲得對立體圖畫中景點或建筑物的全景視野；水平視角不涉及權(quán)力關(guān)系，這種視角通常處于與觀者眼睛相同高度的位置，傳達出真實感和身臨其境的效果。

第四，該立體書通過高情態(tài)的表現(xiàn)手法與讀者建立互動。通過選擇特定的色彩調(diào)性、飽和度和亮度，該立體書傳達出特定的主題和文化特色。例如，北京故宮以紅色、黃色和金色為主，展現(xiàn)了中國古代建筑的典型色彩。這些色彩呈現(xiàn)出莊嚴(yán)、華麗和富麗堂皇的氛圍；秦兵馬俑以棕色和土壤色為主，刻畫出秦兵馬俑的古樸、穩(wěn)重和典雅；杭州西湖以綠色為主，還包括淡藍色和淡紫色等柔和的色彩，營造出寧靜、優(yōu)雅的氛圍。通過遠近色彩的對比，該立體書呈現(xiàn)出景深和距離感，使觀者感受到畫面的立體性和空間感。這種色彩的運用可以與觀者的視覺系統(tǒng)進行交互，增強立體圖畫的視覺沖擊力和真實感。

（三）構(gòu)圖意義

通過巧妙的構(gòu)圖，立體書設(shè)計者可以引導(dǎo)觀眾的目光流動，強調(diào)重要元素或創(chuàng)造特定的視覺效果。該立體書將元素置于“上-下”和“中心-邊緣”來體現(xiàn)其信息值。元素位置居上傳達理想的信息，居下傳達實際的信息；中心位置傳達核心的信息，邊緣位置傳達次要的信息。敦煌莫高窟、杭州西湖、布達拉宮和萬里長城為“上-下”構(gòu)圖，上方展示立體圖像，下方則展示文字、“機關(guān)”等具體的元素。北京故宮、蘇州園林、秦兵馬俑為“中心-邊緣”構(gòu)圖，立體圖像置于頁面的中心位置，周圍用“機關(guān)”和文字填充相關(guān)的具體信息。通過合理的構(gòu)圖和元素排列，該立體書突出展示了景點或建筑物的關(guān)鍵特征和重要信息。這也恰恰體現(xiàn)出該立體書的顯著性。通過多層次布局，該立體書將主要物體放大，使其在立體圖像中占據(jù)較大的比例，并調(diào)整其色彩飽和度，使其在圖像中更加醒目和突出。

該立體書通過顏色和分割線將內(nèi)容進行連接和分割，使其形成“上-下”和“中心-邊緣”的框架。立體圖像以其主題顏色為主，而文字以相似的淺色為背景，兩個框架使用不同的色調(diào)，可以在視覺上將內(nèi)容劃分為兩個區(qū)域，形成分割的效果。通過垂直或斜向的分割線，該立體書將內(nèi)容分割成不同的部分，將立體圖像與周圍的文字內(nèi)容分離開來，同時有助于連接相關(guān)的元素。圖像和文字相輔相成，共同實現(xiàn)了整個語篇的意義。

四、結(jié)論

本文以視覺語法為理論基礎(chǔ)，對兒童立體書《這就是中國》的再現(xiàn)意義、互動意義和構(gòu)圖意義進行了多模態(tài)分析。研究發(fā)現(xiàn)：立體書《這就是中國》作為一種多模態(tài)媒介，以其獨特的視覺語法元素，為兒童再現(xiàn)了中國七大絕景。通過有效的組合和互動設(shè)計，立體書不僅激發(fā)了兒童對中國歷史文化的興趣，而且促進了他們對知識的深入理解和記憶。因此，立體書在兒童教育中具有廣闊的應(yīng)用前景，并為教育者提供了一種創(chuàng)新的教學(xué)手段。

作者單位：西安外國語大學(xué)