新媒體豎屏敘事的“版面”語言及其語圖關(guān)系

劉 濤

一、從“寬屏”到“豎屏”：新媒體敘事的“版面”問題

界面，作為信息呈現(xiàn)的直接“端口”，無疑是考察媒介形式及其語言的重要對(duì)象。方寸之間，自有乾坤。如果僅僅將界面視為一個(gè)純粹的技術(shù)載體，那便遠(yuǎn)遠(yuǎn)低估了其在信息結(jié)構(gòu)中的想象力及其可能言說的“媒介空間”。不同的界面訴說著不同的媒介故事。報(bào)紙、電視、電腦、手機(jī)、都市大屏等信息裝置之所以意味著不同的媒介系統(tǒng)，是因?yàn)樗鼈兘?gòu)了屬于自己的交往場(chǎng)景以及“話語網(wǎng)絡(luò)”，而這又直觀地表現(xiàn)為一個(gè)界面問題。具體而言，一種技術(shù)裝置是否擁有“媒介”的意義，取決于其是否具有建立場(chǎng)景的能力，這便決定了媒介與人的相遇，離不開物質(zhì)性意義上界面的“出場(chǎng)”。正是在界面的維度上，人們發(fā)現(xiàn)了不同的信息裝置，并進(jìn)入不同的媒介系統(tǒng)。在界面被“點(diǎn)亮”的瞬間，傳播行為發(fā)生的場(chǎng)景得以生成，人由此成為媒介系統(tǒng)的一部分，而媒介也具備了建構(gòu)關(guān)系、搭建網(wǎng)絡(luò)、組織生活的能力。按照馬克·波斯特（Mark Poster）的觀點(diǎn)，“電子交流手段因?yàn)槠潆娮踊攸c(diǎn)在某種程度上便成為新的語言經(jīng)驗(yàn)”。這里所說的“語言經(jīng)驗(yàn)”可以直觀地在界面維度上加以識(shí)別和區(qū)分，即在界面維度上發(fā)現(xiàn)一種與之相應(yīng)的社會(huì)交往模式。且不說印刷媒介和電子媒介存在結(jié)構(gòu)性差異，即便是電子媒介內(nèi)部，也存在著明顯的演化、迭代、創(chuàng)造性破壞等發(fā)展邏輯，最終體現(xiàn)為不同技術(shù)邏輯支撐下的界面形式及其語言系統(tǒng)。

從媒介物質(zhì)性的視角來看，媒介技術(shù)一方面決定了界面的物質(zhì)形式，另一方面又在界面維度上決定了媒介與主體之間的“召喚”形式。其實(shí)，界面并非一個(gè)純粹的表征意義上的信息“面板”，而是一個(gè)“窗口式”的隱喻裝置，一方面決定了媒介信息網(wǎng)絡(luò)的連接結(jié)構(gòu)，另一方面又映射出媒介系統(tǒng)運(yùn)行的底層“操作系統(tǒng)”。界面本身的物質(zhì)邏輯及其存在方式揭示了媒介與人的相遇方式，同時(shí)也決定了傳播場(chǎng)景本身的“生產(chǎn)方式”。20世紀(jì)以來，媒介場(chǎng)域中的新興交流模式不斷涌現(xiàn)，其本身已經(jīng)構(gòu)成了一個(gè)“自足的經(jīng)驗(yàn)王國(guó)”。這其中，“新的語言形成（formations）尤其重要，它們?cè)谙喈?dāng)程度上改變了社會(huì)關(guān)系的網(wǎng)絡(luò)，并重新結(jié)構(gòu)著它們所構(gòu)成的社會(huì)關(guān)系及主體”。電影和電視之所以具有不同的界面形式，是因?yàn)槠湓诓煌拿浇橄到y(tǒng)之上，相應(yīng)地也就創(chuàng)造了人類傳播結(jié)構(gòu)中不同的交往模式和主體形式。因此，界面的“形式”創(chuàng)造了人們的語言經(jīng)驗(yàn)，構(gòu)造了傳播行為的場(chǎng)景與關(guān)系，從而揭示了人在媒介維度上的交往“形式”——電視作為家庭空間的技術(shù)裝置，其相對(duì)確定的觀看距離和主體關(guān)系決定了媒介實(shí)踐的家庭交流模式；電影將受眾帶到了公共空間，由此形成了相對(duì)獨(dú)特的戲劇語言和視覺風(fēng)格，如對(duì)特寫、立體音效、宏大場(chǎng)面的由衷青睞；都市大屏由于傳播場(chǎng)景的“廣場(chǎng)”屬性和傳播功能的“廣播”特點(diǎn)，大多放棄了聲音系統(tǒng)，而將傳播使命完整地交給了視覺，由此構(gòu)建的是一種以公共注意力為生產(chǎn)目的的都市傳播模式；手機(jī)作為一種新興的技術(shù)裝置，行走于公共性和私密性之間，其與生俱來的人機(jī)結(jié)合特點(diǎn)決定了媒介實(shí)踐的人際傳播模式……如果說電視、電影、都市大屏的界面主體上以“寬屏”為主，那么以手機(jī)為代表的智能媒介則貢獻(xiàn)了人類傳播史上極具代表性的另一種媒介形式——“豎屏”媒介。智能手機(jī)的出現(xiàn)，一方面在垂直空間重構(gòu)了信息表征的風(fēng)格、結(jié)構(gòu)和語言，另一方面又“進(jìn)化”為人體的一個(gè)新器官，從而再造了一個(gè)新的生物體。

實(shí)際上，從“寬屏”到“豎屏”的演變，表面上是一種媒介載體的形式演變，實(shí)際上揭示的則是一場(chǎng)普遍而深刻的“信息方式”（the mode of information）的變化。波斯特借鑒馬克思的“生產(chǎn)方式”（the mode of production）概念，提出了“信息方式”的概念，旨在從信息符號(hào)的交換形式維度來認(rèn)識(shí)社會(huì)形態(tài)及其變遷過程。具體而言，新媒介形式的出現(xiàn)，不能簡(jiǎn)單地被視為信息呈現(xiàn)形式的演進(jìn)結(jié)果，而是要在信息方式的維度上對(duì)其加以認(rèn)識(shí)，如此才能建立一個(gè)理解世界及其歷史過程的媒介視角。如何理解社會(huì)歷史的存在形態(tài)？如果說馬克思給出的認(rèn)識(shí)方案是階級(jí)認(rèn)識(shí)論或經(jīng)濟(jì)認(rèn)識(shí)論，那么波斯特則嘗試提出一種通往社會(huì)歷史的符號(hào)認(rèn)識(shí)論或信息認(rèn)識(shí)論——“歷史可能按照符號(hào)交換情形中的結(jié)構(gòu)變化被區(qū)分為不同時(shí)期，而且當(dāng)今文化也使‘信息’具有某種重要的拜物教意義”。實(shí)際上，任何一種媒介技術(shù)的興起，貢獻(xiàn)的不僅僅是一種信息呈現(xiàn)方式，更為重要的是再造了一種交往模式（patterns）。從口語媒介到印刷媒介再到電子媒介，每個(gè)時(shí)代都擁有一套獨(dú)特的“語言包裝”（wrapping）方式，由此形成了不同的社會(huì)交往模式。今天，以手機(jī)為代表的“豎屏”媒介的出現(xiàn)，進(jìn)一步重構(gòu)了我們時(shí)代的信息方式?！柏Q屏”自身攜帶的物質(zhì)性內(nèi)涵，既是我們考察信息方式的基礎(chǔ)構(gòu)造，也是我們理解信息方式的理論維度。進(jìn)一步講，手機(jī)界面并非一個(gè)純粹的工具性“面板”，而是作為一個(gè)獨(dú)特的“技術(shù)裝置”作用于整個(gè)信息系統(tǒng)，并且深刻地影響著信息內(nèi)容的呈現(xiàn)方式、人機(jī)互動(dòng)的作用方式，以及社會(huì)場(chǎng)景的建構(gòu)方式。因此，“信息的方式”決定了“交換的構(gòu)型”，相應(yīng)地也構(gòu)建了不同的生活世界和主體形式。如果說人類交往語言從印刷經(jīng)驗(yàn)到電子經(jīng)驗(yàn)的過渡意味著一種信息方式的演進(jìn)，那么從電子媒介時(shí)代的“寬屏”到新媒介時(shí)代的“豎屏”，一種新興的交往模式和主體形式也隨之產(chǎn)生，這使得我們有理由將“豎屏”問題上升到“信息方式”的維度加以研究，如此才能真正揭示“豎屏”媒介深層的界面文化及其深層的敘事學(xué)命題。

既然“豎屏”是通往一種媒介系統(tǒng)的認(rèn)知管道，也是抵達(dá)一種“信息方式”的隱喻裝置，那么以“豎屏”這一界面形式作為考察對(duì)象，有助于我們抵達(dá)媒介表征的語言系統(tǒng)，尤其是新媒體敘事體系中的“版面”問題。版面原本是一個(gè)報(bào)刊編輯概念，主要關(guān)注稿件中各個(gè)元素的編排布局情況。隨著電子媒介的興起，“版面”這一概念的外延也發(fā)生了一定的偏移和拓展，意為界面或界面單元中的信息組織結(jié)構(gòu)和方式。由于信息必然是通過界面呈現(xiàn)的，版面便成為一個(gè)與界面密切關(guān)聯(lián)的概念。傳統(tǒng)媒體的版面往往存在一個(gè)清晰的“邊界”概念，其內(nèi)容構(gòu)成是固定的、穩(wěn)定的，可以在空間和時(shí)序維度上加以限定和組織。然而，新媒體的“版面”更多的是一個(gè)隱喻意義上的概念，其依托“界面”這一裝置得以呈現(xiàn)，但卻超越了傳統(tǒng)版面的“篇幅”和“長(zhǎng)度”概念，而呈現(xiàn)出流動(dòng)的、變化的、不確定的特征和形式。當(dāng)“豎屏”成為一種主流的界面形式時(shí)，基于“豎屏敘事”的“版面”問題便成為一個(gè)亟待探討的命題。

“豎屏”問題之所以有必要上升到敘事維度加以考察，除了因?yàn)槠鋼碛胁煌凇皩捚痢北旧淼慕缑嫣卣骷罢Z言，還因?yàn)槠浯呱艘环N嶄新的敘事形式——垂直空間的滾動(dòng)敘事（scrollytelling）。所謂滾動(dòng)敘事，意為一種基于滾動(dòng)驅(qū)動(dòng)的敘事方式（scroll-based storytelling），其特點(diǎn)就是通過觸屏滑動(dòng)實(shí)現(xiàn)文本內(nèi)容的呈現(xiàn)、移動(dòng)與推進(jìn)。伴隨著拇指滑動(dòng)、觸屏交互、按鍵響應(yīng)的過程，垂直空間的滾動(dòng)敘事重構(gòu)了文本的編碼結(jié)構(gòu)和呈現(xiàn)方式。在有限的垂直界面中，“滾動(dòng)”作為文本敘事的動(dòng)力裝置，拓展了垂直空間的文本“篇幅”、信息“容量”和交互“深度”，從而釋放了文本表征的敘事潛力。正是在以滾動(dòng)敘事為基礎(chǔ)的信息呈現(xiàn)結(jié)構(gòu)中，新媒體豎屏敘事的“版面”語言問題上升為一個(gè)亟待探索的數(shù)字?jǐn)⑹旅}。誠(chéng)然，根據(jù)信息在界面空間的呈現(xiàn)方式，豎屏敘事主要包含兩種敘事“版面”，即單屏呈現(xiàn)和多屏呈現(xiàn)，前者主要指在單一界面空間的敘事形式，后者主要指基于滾動(dòng)敘事的信息呈現(xiàn)方式?？紤]到滾動(dòng)敘事的廣泛性和普遍性，加之滾動(dòng)本身開掘了一個(gè)更為豐富的敘事空間，因此本文所關(guān)注的豎屏敘事形式主要聚焦于垂直空間的滾動(dòng)敘事。

實(shí)際上，相對(duì)于傳統(tǒng)的“寬屏”媒介的敘事體系，“豎屏”媒介在界面形態(tài)、界面內(nèi)容、界面接觸上均呈現(xiàn)出明顯的差異，相應(yīng)地也就形成了較為獨(dú)特的豎屏敘事體系。第一，就界面形態(tài)而言，豎屏催生了一種全新的空間敘事體系。手機(jī)長(zhǎng)于表現(xiàn)垂直空間，拙于表現(xiàn)橫向空間，由此形成了一種基于拇指滑動(dòng)而不斷延伸與演繹的滾動(dòng)敘事方式。第二，就界面內(nèi)容而言，豎屏催生了一種全新的融媒敘事體系。相對(duì)于其他媒體而言，手機(jī)端口的信息形態(tài)以多媒體文本為主，由此形成了一種基于融合語言的文本表達(dá)方式。第三，就界面接觸而言，豎屏催生了一種全新的互動(dòng)敘事體系。按照列夫·馬諾維奇（Lev Manovich）的觀點(diǎn)，“人機(jī)交互界面已經(jīng)成為信息社會(huì)重要的符號(hào)學(xué)符碼和元工具”，這使得文本的內(nèi)涵逐漸超越了“內(nèi)容—形式”或“內(nèi)容—媒介”二分法，最終上升為“內(nèi)容—交互界面”這一信息組織裝置。而智能手機(jī)媒體的出現(xiàn)，真正意義上推動(dòng)了消費(fèi)主體從“受眾”向“用戶”的身份轉(zhuǎn)變，其結(jié)果就是改寫了媒體消費(fèi)的觀看邏輯，由此形成了一種基于參與邏輯的人機(jī)互動(dòng)系統(tǒng)。

概括而言，“寬屏”和“豎屏”已經(jīng)超越了簡(jiǎn)單的版式范疇，而且在不同的媒介物質(zhì)邏輯基礎(chǔ)上形成了不同的敘事語言。例如，報(bào)紙版面編排上同時(shí)存在“左右空間”和“上下空間”，其編輯方式是線性的，而接受方式卻是非線性的——不同版面對(duì)應(yīng)的視覺注意力是不對(duì)等的，讀者可以自由地選擇、瀏覽相應(yīng)的內(nèi)容。在以客戶端、微信公眾號(hào)為代表的豎屏敘事中，文本版面包含豐富的層級(jí)體系和互動(dòng)裝置，但其文本編排方式總體上體現(xiàn)為垂直結(jié)構(gòu)，用戶的接受過程也必然受制于豎屏本身的信息呈現(xiàn)方式。顯然，豎屏敘事拒絕了傳統(tǒng)版面中常見的“左圖右文”或“左文右圖”等模塊化敘事方式，轉(zhuǎn)而在滾動(dòng)敘事所主導(dǎo)的信息框架中尋求更為多元的融媒結(jié)構(gòu)或互動(dòng)結(jié)構(gòu)?；诖?，本文接下來將立足數(shù)字?jǐn)⑹聦W(xué)的知識(shí)體系，聚焦新媒體豎屏敘事的滾動(dòng)敘事命題，重點(diǎn)從語圖關(guān)系的分析視角切入，探討“豎屏”界面深層的版面語言問題。

二、語圖關(guān)系：理解豎屏敘事語言的符號(hào)視角

只有將豎屏敘事置于數(shù)字?jǐn)⑹聦W(xué)的學(xué)理譜系中，才能真正理解“豎屏”界面所打開的敘事向度及敘事學(xué)問題。隨著計(jì)算機(jī)語言和思維被引入敘事范疇，數(shù)字?jǐn)⑹聦W(xué)作為一種新興的敘事學(xué)理論與實(shí)踐宣告誕生。作為數(shù)字?jǐn)⑹聦W(xué)的代表性學(xué)者，瑪麗-勞爾·瑞安（Marie-Laure Ryan）堅(jiān)定地認(rèn)為，從傳統(tǒng)媒介到數(shù)字媒介，敘事學(xué)迫切需要回應(yīng)的研究命題是“故事的變身”（avatars of story），即故事正在以一種全新的形式和語言呈現(xiàn)，由此制造了一個(gè)媒介邏輯和故事邏輯復(fù)合而成的“可能世界”（possible worlds）。正如瑞安所言：“敘事乃認(rèn)知建構(gòu)，具有不變的意義內(nèi)核，但能表現(xiàn)為各種形態(tài)，我們不妨稱之為故事的變身，而且可以在不同程度上實(shí)現(xiàn)，取決于滿足多少核心條件?！彼凇犊赡苁澜纭⑷斯ぶ悄芘c敘事理論》（1991）、《故事的變身》（2006）、《作為虛擬現(xiàn)實(shí)的媒介》（2001/2015）、《敘事空間/空間化敘事：敘事理論與地理學(xué)的相遇》（2016）等著作中傾注了大量筆墨討論數(shù)字?jǐn)⑹聦W(xué)的跨媒介敘事、空間敘事、互動(dòng)敘事等問題，其中的邏輯主線是確定的：新媒介帶來的并非媒介內(nèi)容的“呈現(xiàn)”問題，而是“重構(gòu)”問題，媒介中的“故事”與故事中的“媒介”構(gòu)成了數(shù)字?jǐn)⑹聦W(xué)不同于傳統(tǒng)敘事學(xué)的根本特征。

數(shù)字技術(shù)的發(fā)展是否會(huì)催生一種全新的敘事形式？數(shù)字?jǐn)⑹聦W(xué)是學(xué)界給出的普遍答案。瑞安將數(shù)字?jǐn)⑹卵芯扛爬樗姆N理論范式或者說研究進(jìn)路：一是實(shí)用式進(jìn)路，其并不關(guān)注具體的敘事形式，而是“關(guān)注故事在人們生活中的重要意義，以及計(jì)算機(jī)在傳播個(gè)人故事中的作用”，如少數(shù)族群在互聯(lián)網(wǎng)平臺(tái)的日?！皟A訴”往往意味著一種特定的文化記憶形式；二是隱喻式進(jìn)路，其主要強(qiáng)調(diào)“從敘事諸概念中為計(jì)算機(jī)應(yīng)用的設(shè)計(jì)與推廣尋求靈感，故事講述本身并非其意圖所在”，如計(jì)算機(jī)交互系統(tǒng)中的“界面”隱喻、“平臺(tái)”隱喻、“日志”隱喻、“商城”隱喻、“朋友圈”隱喻等概念形式，主體上可以視為日常生活中相關(guān)符號(hào)形式的隱喻化挪用；三是擴(kuò)展主義進(jìn)路，其“視敘事為一個(gè)變化無常的概念，因文化而不同，隨歷史而演變，關(guān)鍵是為技術(shù)革新所左右”，如計(jì)算機(jī)系統(tǒng)的超鏈接打破了傳統(tǒng)文本的篇幅、版面和邊界概念，因此有必要拋棄人物、情節(jié)、背景等傳統(tǒng)的敘事學(xué)術(shù)語，通過引入互動(dòng)、情感、歷險(xiǎn)等概念，呼喚并建構(gòu)一種開放的、不確定的、延展性的敘事學(xué)觀念；四是傳統(tǒng)主義進(jìn)路，其“把敘事看作意義的不變核心，這個(gè)核心將敘事同其他話語類型區(qū)分開來，并賦予它一個(gè)跨文化、跨歷史、跨媒介的身份”，如數(shù)字媒介（如游戲）中的人物參與行為，不僅創(chuàng)造了一種特殊的故事情節(jié)，而且創(chuàng)造了一個(gè)可能的故事世界。

顯然，根植于傳統(tǒng)敘事理論土壤中的數(shù)字?jǐn)⑹聦W(xué)，受到兩大“變量”——“技術(shù)變量”和“故事變量”的雙重挑戰(zhàn)，最終演化為一種新的關(guān)于敘事的想象方式。正因如此，豎屏敘事上升為一個(gè)亟待開掘的數(shù)字?jǐn)⑹旅}。一方面，“技術(shù)變量”挑戰(zhàn)的是敘事的形式與形態(tài)問題。正是在H5、可視化等新興技術(shù)的直接作用下，一系列契合豎屏界面編排邏輯和呈現(xiàn)方式的文本形式破土而出，比如以垂直架構(gòu)、拇指滑動(dòng)、觸屏互動(dòng)為特征的H5文本，極大地拓展了經(jīng)典敘事學(xué)中文本的內(nèi)涵和范疇。另一方面，“故事變量”挑戰(zhàn)的是敘事的外延、邊界和語言問題。傳統(tǒng)敘事學(xué)的核心內(nèi)容是故事，而故事?lián)碛邢鄬?duì)穩(wěn)定的結(jié)構(gòu)，然而新媒體敘事的計(jì)算機(jī)思維及其程序語言徹底顛覆了結(jié)構(gòu)的定義方式，由此重新定義了故事的形態(tài)和內(nèi)涵。正因?yàn)閿?shù)字?jǐn)⑹麦w系中“故事”的內(nèi)涵發(fā)生了變化，豎屏敘事背后的“故事的變身”及其對(duì)應(yīng)的“版面”語言成為一個(gè)亟待研究的敘事學(xué)命題。簡(jiǎn)言之，在新媒體豎屏敘事框架中，伴隨著信息內(nèi)容在垂直維度的展現(xiàn)和延伸，數(shù)字?jǐn)⑹卤举|(zhì)上體現(xiàn)為媒介語言和故事語言的相遇——媒介語言在主體上體現(xiàn)為計(jì)算機(jī)思維和意識(shí)，其核心關(guān)鍵詞是電子媒介裝置及其運(yùn)行結(jié)構(gòu)中的界面、符號(hào)、程序、互動(dòng)、智能等問題；而故事語言在主體上體現(xiàn)為融合語言，即多模態(tài)元素如何整合為一個(gè)故事文本，其中涉及的敘事問題是文字、圖像、聲音等多媒體元素按照何種“語言”方式以及何種“語法”體系進(jìn)行融合。

實(shí)際上，融合語言是一個(gè)復(fù)雜的符號(hào)學(xué)或敘事學(xué)問題，而其中最基礎(chǔ)、最普遍的融合問題是語圖關(guān)系（圖文關(guān)系），其主要關(guān)注的是語言和圖像之間的“相遇”方式及其敘事體系。語圖關(guān)系回應(yīng)的核心問題是：在一個(gè)文本結(jié)構(gòu)中，語言和圖像是如何組織編排并參與敘事的？從符號(hào)學(xué)角度講，語言和圖像意味著兩種不同的符號(hào)形式，前者主體上是一種規(guī)約符，后者主體上是一種像似符，二者對(duì)應(yīng)的符號(hào)學(xué)原理和機(jī)制是不同的。規(guī)約符是一種文化場(chǎng)景中的符號(hào)形式，其意義結(jié)構(gòu)受制于某種約定俗成的社會(huì)性的語義規(guī)則；像似符則包含了較少的社會(huì)規(guī)約性，人們主體上根據(jù)符號(hào)中的“實(shí)體”內(nèi)容進(jìn)行判斷和加工。語言和圖像屬于不同的符號(hào)系統(tǒng)，當(dāng)二者存在于同一文本系統(tǒng)時(shí)，我們?nèi)绾伟盐照Z圖文本的敘事語言？回答這一問題的前提是厘清語言和圖像本身的敘事差異：一是語言和圖像的認(rèn)知機(jī)制差異，二是語言和圖像的表征功能差異。

第一，就語言和圖像的認(rèn)知機(jī)制差異而言，作為兩種基本的符號(hào)形式，語言和圖像實(shí)際上屬于不同的認(rèn)知系統(tǒng)，其激活的大腦認(rèn)知機(jī)制也是不同的。一般來說，語言符號(hào)激活的是系統(tǒng)性認(rèn)知機(jī)制（systematic processing），而圖像符號(hào)激活的則是啟發(fā)性認(rèn)知機(jī)制（heuristic processing）。前者強(qiáng)調(diào)的是對(duì)文本意義的整體把握，尤其是對(duì)語言信息系統(tǒng)的構(gòu)成、結(jié)構(gòu)及其認(rèn)知過程的分析和判斷；后者強(qiáng)調(diào)的是對(duì)文本信息的快速提取，尤其是對(duì)圖像信息系統(tǒng)的內(nèi)容識(shí)別與情感認(rèn)知。如果說系統(tǒng)性認(rèn)知機(jī)制對(duì)應(yīng)的是一種理性思維，啟發(fā)性認(rèn)知機(jī)制在主體上回應(yīng)的則是感性思維問題，正因如此，圖像信息加工過程首先會(huì)訴諸啟發(fā)性認(rèn)知機(jī)制。大腦認(rèn)知活動(dòng)遵循的基本原則是“惰性原則”，即大腦首先傾向于加工那些不需要進(jìn)行復(fù)雜運(yùn)算的信息內(nèi)容或信息形態(tài)。那么，哪些信息形式符合大腦認(rèn)知的“惰性原則”？這一問題可以從兩個(gè)維度加以考察：一是符合大腦認(rèn)知框架的信息形式?？蚣艿墓δ芫褪菫獒屃x過程提供一種快速、便捷的認(rèn)知結(jié)構(gòu)，從而極大地節(jié)省大腦的運(yùn)算時(shí)間，這使得“框架依賴”成為一種普遍的信息加工機(jī)制。認(rèn)知科學(xué)研究發(fā)現(xiàn)，“框架具有這樣的特點(diǎn)：如果頑固的框架跟事實(shí)不相吻合，那么，人會(huì)拋棄事實(shí)，保留框架”。因此，倘若文本編碼過程激活或征用了既定的認(rèn)知框架，受眾就更傾向于沿著框架所鋪設(shè)的認(rèn)知語境和闡釋方向進(jìn)行信息處理，這也是為什么“媒介框架”會(huì)成為一個(gè)極為重要的傳播效果研究問題。二是以視覺化形式存在的信息形式。相對(duì)于語言文本，圖像信息較為直觀，其加工過程亦比較簡(jiǎn)單，不需要付出過多的運(yùn)算和努力。因此，在圖文信息中，大腦首先傾向于加工其中的視覺部分——盡管圖像意義的“錨定”在很多時(shí)候取決于文字信息創(chuàng)設(shè)的闡釋語境。

第二，就語言和圖像的表征功能差異而言，由于語言和圖像分屬不同的符號(hào)系統(tǒng)，二者在敘事表意層面各有優(yōu)劣——作為規(guī)約符的語言，更長(zhǎng)于表現(xiàn)邏輯、觀點(diǎn)、結(jié)構(gòu)、論證等敘事問題；作為像似符的圖像，主要優(yōu)勢(shì)則是在外觀、形象、體驗(yàn)等維度上成就意義。瑞安采用符號(hào)學(xué)方法，從“敘事可供性”維度出發(fā)，揭示了語言和圖像符號(hào)在敘事中的優(yōu)勢(shì)和劣勢(shì)——語言對(duì)應(yīng)的敘事模式為自主式或確定式敘事，圖像對(duì)應(yīng)的敘事模式則為說明式或不確定式敘事。具體而言，語言的敘事優(yōu)勢(shì)主要是“表現(xiàn)時(shí)間性、變化、因果關(guān)系、思想、對(duì)話”，開展命題的推理和論證，并對(duì)言說對(duì)象進(jìn)行評(píng)價(jià)和判斷，而其敘事劣勢(shì)則是難以表現(xiàn)空間關(guān)系，無法直接展示美、外觀、過程；圖像的敘事優(yōu)勢(shì)是“將觀眾沉浸到空間中，描繪故事世界地圖，表征人物和環(huán)境的視覺外觀。通過‘有意味的時(shí)刻’技法暗示鄰近的過去和未來，通過面部表情表征人物的情緒，表征美”，而其敘事劣勢(shì)主要是難以直接表現(xiàn)命題，也難以“表征時(shí)間的流動(dòng)、思想、內(nèi)心狀態(tài)、對(duì)話，讓因果關(guān)系明確，表征可能性、條件制約、反事實(shí)性”，更無法呈現(xiàn)不在場(chǎng)的事物，以及對(duì)事物進(jìn)行評(píng)價(jià)。概括而言，語言是時(shí)間性的、論證性的、故事性的，其可以幫助人們進(jìn)行邏輯推演和思維建模，從而將敘事的對(duì)象延伸到語境之外，以建構(gòu)一個(gè)豐富的、多元的、復(fù)雜的敘事網(wǎng)絡(luò)；而圖像是空間性的、再現(xiàn)性的、情感性的，其往往通過與語言的“合作”與“協(xié)同”，打開敘事的形象之維和情感向度。

由此可見，作為兩種代表性的符號(hào)形式，語言和圖像對(duì)應(yīng)于不同的認(rèn)知機(jī)制，而且在敘事可供性上存在明顯差異，這使得語圖關(guān)系呈現(xiàn)出極為復(fù)雜的結(jié)構(gòu)和語言。從形式上看，語言和圖像是兩個(gè)平行系統(tǒng)，各有其相對(duì)獨(dú)立的敘事可供性，但是當(dāng)它們聚合在一個(gè)文本空間中時(shí)，就必然開啟一種語圖關(guān)系的博弈。自柏拉圖主義誕生以來，語言成為理念的寄居之所，長(zhǎng)期凌駕于圖像之上，圖像則是表象的、低級(jí)的、暫時(shí)的、不完美的，因此被語言牢牢地打入“冷宮”，動(dòng)彈不得。莫里斯·梅洛-龐蒂（Maurice Merleau-Ponty）、讓-弗朗索瓦·利奧塔（Jean-Francois Lyotard）等后現(xiàn)代哲學(xué)家將感覺主義推向了哲學(xué)的認(rèn)識(shí)論位置，圖像才逐漸從語言所設(shè)定的牢籠中掙脫出來，并作為一種不容忽視的符號(hào)形式進(jìn)入敘事學(xué)體系。必須承認(rèn)，在語圖文本中，語言的支配地位常常使得語言和圖像相安無事，圖像并未對(duì)語言構(gòu)成侵犯，然而二者之間的張力和沖突從未消失，這可以從超現(xiàn)實(shí)主義畫家勒內(nèi)·瑪格麗特(René Magritte)的畫作《形象的背叛》中體現(xiàn)出來：畫面的主體是一只煙斗，下面附了一行字——“這不是一只煙斗”。圖像的直觀性在否定性的語言壓迫之下不再穩(wěn)定，這使得語言和圖像的和諧關(guān)系發(fā)生了動(dòng)搖，由此激發(fā)出新的意義解釋：這不是一只真實(shí)的煙斗，而只是一幅畫而已。

雖然語言和圖像在敘事上的可供性是不同的，但必須承認(rèn)，二者存在積極的互補(bǔ)性——對(duì)于語言難以實(shí)現(xiàn)的表征問題，圖像可以給予積極的補(bǔ)充和延展，反之亦然。根據(jù)語言和圖像在文本層面的“結(jié)合”方式，我們可以將新媒體豎屏敘事中的語圖關(guān)系概括為兩種典型的敘事方式：一是并置敘事，即語言和圖像處于一種并置關(guān)系，并隨著觸屏滑動(dòng)而在垂直維度上呈現(xiàn)出一種交替出現(xiàn)的敘事進(jìn)路；二是嵌入敘事，即語言和圖像嵌入在彼此的敘事系統(tǒng)中，呈現(xiàn)出一種圖文一體的敘事景觀。如果說并置敘事強(qiáng)調(diào)的是圖像和文字之間的一種并列式的、模塊化的連接關(guān)系，那么嵌入敘事則意味著圖像和文字被整合進(jìn)一個(gè)結(jié)構(gòu)化的、一體化的融合裝置之中，最終體現(xiàn)為一種嵌入關(guān)系。不同于并置敘事中圖像與文字之間的模塊結(jié)構(gòu)，嵌入敘事遵循的往往是一種數(shù)字化的整合敘事規(guī)則。接下來，本文分別聚焦并置敘事和嵌入敘事這兩種代表性的敘事方式，進(jìn)一步分析新媒體豎屏敘事中的語圖關(guān)系。

三、并置敘事與語圖結(jié)構(gòu)的編排語言

“并置”的英文表達(dá)為“juxtapose”，它源自法語詞匯“juxtaposer”，意即為了實(shí)現(xiàn)對(duì)照目的而將表達(dá)元素進(jìn)行并列安排或處理，與之相關(guān)的一種句法被稱為意合（parataxis），指“不用連接詞將一些短語或短句并列”。意象主義運(yùn)動(dòng)代表人物埃茲拉·龐德（Ezra Pound）提出了詩學(xué)意義上的意象并置概念，主要強(qiáng)調(diào)意象的并列與聚合往往會(huì)建構(gòu)更大的敘事情景，傳遞更大的敘事力量。中國(guó)詩歌里的意象并置現(xiàn)象比比皆是，比如“雞聲茅店月，人跡板橋霜”“念天地之悠悠，獨(dú)愴然而涕下”等，都產(chǎn)生了一種蒙太奇式意象并置的豐富表意效果。龍迪勇則從空間敘事的角度將“并置”改造為“主題—并置敘事”概念，他通過對(duì)“topic”（主題）與“topos”（場(chǎng)所）之間詞源關(guān)系的考察，提出“主題—并置敘事本質(zhì)上是一種空間敘事”。

語圖敘事本質(zhì)上是一種互文敘事。從互文性視角來看，語言和圖像的結(jié)合一般存在兩種互文結(jié)構(gòu)，即統(tǒng)攝關(guān)系和對(duì)話關(guān)系。其中，統(tǒng)攝關(guān)系是指語言主導(dǎo)下的語圖協(xié)調(diào)一致，圖像處于從屬、補(bǔ)充、說明、修飾的地位。對(duì)話關(guān)系指的是語言和圖像獲得了相對(duì)獨(dú)立或彼此分立的敘事地位，這使得語圖結(jié)構(gòu)的和諧關(guān)系被打破，即語言的主導(dǎo)地位遭遇挑戰(zhàn)，圖像的主體地位得以彰顯，從而形成語圖博弈的表意張力。在新媒體豎屏敘事結(jié)構(gòu)中，視覺已經(jīng)深刻地嵌入到文本表征的元語言系統(tǒng)之中，甚至成為新媒體文本敘事的“標(biāo)配”元素——要么作為純粹的修飾對(duì)象而“出場(chǎng)”，要么作為重要的敘事符號(hào)參與敘事，這使得我們有理由在一個(gè)更為復(fù)雜的并置結(jié)構(gòu)中考察語圖關(guān)系。

（一）語圖統(tǒng)攝關(guān)系

在言說的層次上，圖像僅僅是一種“皮相之見”，它是多義而漂浮的，因而就需要語言的停泊和中轉(zhuǎn)作用，以對(duì)圖像的意義進(jìn)行確定、解釋和補(bǔ)充。即使在那些以圖像為主的文本中，語言的支配地位也并沒有降低，比如在圖片新聞中，標(biāo)題以及描述的文字就不可或缺，如果去掉了標(biāo)題以及背景描述，圖片的意義將會(huì)漂浮無依。我們通常所說的圖像造假，除了指圖像本身在技術(shù)上的移花接木或者人為擺拍，還包括圖像與文字不相吻合的情況。引起較大輿論關(guān)注的案例是英國(guó)《倫敦晚報(bào)》關(guān)于新疆“7·5事件”的報(bào)道，其文章配發(fā)的是中央電視臺(tái)公布的兩位被暴徒襲擊后滿是鮮血的少女的截圖，但給出的圖片說明卻被惡意地顛倒黑白，變成“兩名少女被警察攻擊后，互相安慰”。在此，語言能夠表達(dá)那些圖像之外不可見的因果關(guān)系，并通過語言的框架設(shè)計(jì)與邏輯引導(dǎo)，將其置于一種復(fù)雜的政治背景當(dāng)中，建立警察與少女的對(duì)立關(guān)系。如果沒有語言的表述，圖像只能說明兩個(gè)少女在相互安慰，而其中的因果關(guān)系及其事件背景都無從得知。正是因?yàn)檎Z言的介入，私人層面的相互安慰立刻就獲得了一種對(duì)立性的政治意涵。因而，圖像編排中的真假問題，不僅僅涉及圖像技術(shù)、圖像制作，也涉及語言與圖像的匹配問題。從表意的角度來看，語言對(duì)于圖像的統(tǒng)攝作用，仍然鮮明地體現(xiàn)在語圖關(guān)系問題的編輯之中，我們可以從以下三個(gè)維度把握語圖結(jié)構(gòu)的編排語言。

第一，圖像發(fā)揮的是編輯功能，并不直接參與表意或敘事。今天，新媒體文本生產(chǎn)面臨著普遍的“視覺轉(zhuǎn)向”，多媒融合成為一種普遍的編輯法則。當(dāng)傳統(tǒng)的語言文本被移植到新媒體端口時(shí)，一種常見的編輯思路就是在其中插入大量的圖像符號(hào)，以達(dá)到圖像“在場(chǎng)”的視覺修飾功能。不同于其他的并置結(jié)構(gòu)，這里的圖像并未直接參與情節(jié)的建構(gòu)和推進(jìn)，甚至完全獨(dú)立于語言符號(hào)所設(shè)定的相對(duì)封閉的敘事體系。例如，微信公眾號(hào)長(zhǎng)文的題頭大多使用圖像加以裝飾，正文中也常常借助圖像進(jìn)行段落分隔，以滿足“讀圖時(shí)代”的閱讀節(jié)奏和體驗(yàn)，由此形成了一種獨(dú)特的豎屏敘事“景觀”。

第二，語言文字主導(dǎo)了整體敘事體系，而圖像的功能主要是對(duì)文字加以說明、解釋和拓展。這是一種和諧共生的語圖關(guān)系，圖像在語言的統(tǒng)攝下發(fā)揮補(bǔ)充性的作用。圖像是一種具象化的表意方式，它直接展示的是自身的存在樣態(tài)，與其表征對(duì)象存在著結(jié)構(gòu)、時(shí)間、空間以及因果的關(guān)聯(lián)，因而它具有證實(shí)的功能。在常規(guī)的圖文新聞中，新聞圖片的功能往往是對(duì)現(xiàn)場(chǎng)的捕捉和再現(xiàn)，而且更多是作為新聞敘事的“證據(jù)”材料出場(chǎng)，這使得抽象的文字?jǐn)⑹卤徊迳狭艘曈X想象的翅膀。澎湃的數(shù)據(jù)新聞《切爾諾貝利：不曾終結(jié)》立足事件發(fā)生35周年這一歷史節(jié)點(diǎn)，語言文字鋪設(shè)了主體的敘事框架以及邏輯系統(tǒng)，而其中的圖像符號(hào)更多是在視覺維度上進(jìn)行補(bǔ)充和說明，比如借助視覺動(dòng)畫再現(xiàn)了4號(hào)反應(yīng)堆新掩體的施工過程，從而以一種“圖示”的方式拓展了語言符號(hào)的表達(dá)空間。

第三，在語言主導(dǎo)的敘事邏輯中，圖像不僅發(fā)揮著積極的表征功能，而且打開了文本認(rèn)知的情感維度，從而賦予文本表達(dá)一種情感沖擊。相對(duì)于語言符號(hào)，圖像符號(hào)具有先天的情感表達(dá)優(yōu)勢(shì)，這也是為什么新媒體語境下的“情感動(dòng)員”（emotional mobilization）往往會(huì)訴諸圖像符號(hào)，最終以“圖像事件”（image events）得以實(shí)現(xiàn)。通常認(rèn)為，文字是冷靜的、理性的，新媒體文本的情感能量則更多來自于圖像符號(hào)的累積和沖擊。因此，新媒體豎屏敘事的常見思路就是通過文字鋪設(shè)敘事邏輯，同時(shí)在適當(dāng)?shù)陌婷嫖恢貌迦刖哂星楦袥_擊的圖像符號(hào)，從而在情感維度上強(qiáng)化文字?jǐn)⑹碌恼J(rèn)同邏輯。例如，在鳳凰網(wǎng)的融合新聞《非典，已過去十年：那些活著的后遺癥患者》中，雖然語言文字構(gòu)建了一個(gè)個(gè)感性的故事情景，但其依然缺少充分的說服力和認(rèn)同力，而其中一幅幅患者照片的出場(chǎng)，逼視著每一個(gè)讀者的情感體系，那憔悴的面容、絕望的眼神、殘弱的身體，不僅發(fā)揮著語言敘事的“證實(shí)”功能，而且在生命與情感的維度上激活了觀看者的情感認(rèn)同。需要特別強(qiáng)調(diào)的是，圖像符號(hào)蘊(yùn)含的情感能量有時(shí)會(huì)超越事實(shí)和理性的“錨定”體系而呈現(xiàn)出一種蔓延、擴(kuò)張趨勢(shì)，當(dāng)其積聚到一定程度且難以在既定的問題域中得以消化或平復(fù)時(shí)，往往會(huì)在社會(huì)的其他領(lǐng)域或?qū)用孢M(jìn)行“釋放”，這便對(duì)新媒體編輯中圖像符號(hào)的使用倫理提出了一定的要求和挑戰(zhàn)。

（二）語圖對(duì)話關(guān)系

雖然語圖關(guān)系中的語言常常處于主導(dǎo)地位，但不得不承認(rèn)，在特定的文本形式與風(fēng)格中，圖像敘事的主動(dòng)性依然不容小覷，由此建立與文字平等對(duì)話的關(guān)系。圖像表意是多維度的，如再現(xiàn)維度、表意維度、敘事維度、關(guān)系維度、情感維度、象征維度等。隨著這些維度的強(qiáng)化和凸顯，圖像的獨(dú)立性逐步得以建立。當(dāng)圖像獲得了獨(dú)立的敘述地位時(shí)，它就有擺脫語言束縛的傾向，重構(gòu)與語言的對(duì)話性張力，由此挑戰(zhàn)語言敘事體系的霸權(quán)和邏輯。在語圖并置結(jié)構(gòu)中，圖像如何才能“掙脫”語言的壓制和束縛，而獲得一種相對(duì)的獨(dú)立地位，以此建立與語言之間的對(duì)話關(guān)系？這一問題取決于語圖關(guān)系中圖像是否能夠建立一個(gè)敘事體系，并形成一個(gè)自足的可能世界。概括而言，圖像如何突破語言的霸權(quán)地位，可以從以下三個(gè)方面加以認(rèn)識(shí)。

首先，在傳統(tǒng)的語圖統(tǒng)攝敘事中，圖像的功能主體上是對(duì)語言的“佐證”或“證實(shí)”，然而這種解釋行為存在強(qiáng)度問題，如果圖像符號(hào)（如監(jiān)控視頻）提供了事件認(rèn)知的核心細(xì)節(jié)或真相，那么便會(huì)鋪設(shè)一種相對(duì)獨(dú)立的認(rèn)知體系。雖然單一的圖像很難建立一種敘事，但諸多圖像之間一旦發(fā)生關(guān)聯(lián)或聯(lián)結(jié)，如歷史圖像和現(xiàn)實(shí)圖像的相遇、不同主體所擁有圖像的比較等，便可能在歷時(shí)或共時(shí)意義上鋪設(shè)一種強(qiáng)大的互文關(guān)系、建構(gòu)一個(gè)廣闊的表意空間，尤其是重構(gòu)一種圖像釋義的語境元語言。如此一來，圖像便形成了一個(gè)自足的可能世界，即意義的建構(gòu)只需訴諸圖像系統(tǒng)即可實(shí)現(xiàn)。與之相應(yīng)，“圖像敘事”便成為一個(gè)現(xiàn)實(shí)的、合理的敘事學(xué)命題。在諸多新媒體圖文報(bào)道中，新聞事件之所以會(huì)發(fā)生“反轉(zhuǎn)”，是因?yàn)樗^的真相不再是一個(gè)語言意義上的唯一構(gòu)造物，而是成為一個(gè)流動(dòng)的、不確定的信息對(duì)象，語言和圖像均擁有建構(gòu)、定義、爭(zhēng)奪真相的能力——如果說語言更多是在邏輯意義上推演并形成真相，那么圖像則轉(zhuǎn)向視覺、情感，并在此基礎(chǔ)上重構(gòu)一種新的通往“事實(shí)”的“證明”方式或想象方式。例如，在2016年北京和頤酒店女子遇襲事件中，受害者就使用了自己所翻拍的酒店監(jiān)控視頻，讓事件獲得了一種獨(dú)立于文字之外的講述邏輯和論證方式，語圖之間由此形成了一種緊張的對(duì)話關(guān)系。在此，圖像完成了對(duì)語言表述的證偽，“真相”的中心性也不再牢固，這就形成了一種后現(xiàn)代的論證景觀。

其次，雖然圖文結(jié)構(gòu)中的圖像釋義往往會(huì)被收編到語言符號(hào)的“邏輯”之中，但數(shù)字媒介場(chǎng)域中不同圖像之間的能量是不對(duì)等的，有些圖像受制于語言鋪設(shè)的釋義框架，而有些圖像則作為一種凝縮圖像（condensational image）出場(chǎng)，其自帶的解釋系統(tǒng)具有獨(dú)立的意義建構(gòu)能力。這其中，凝縮圖像就是一種攜帶社會(huì)規(guī)約信息的符號(hào)形式，尤其體現(xiàn)為凝縮符號(hào)（condensational symbol）或新聞聚像（news icons），它往往來自歷史深處的某個(gè)“決定性瞬間”（decisive moment），如“圖像事件”中那些被永久定格的標(biāo)志性圖像。凝縮圖像在視覺維度上決定或限定了公眾關(guān)于新聞事件的認(rèn)識(shí)方式和想象方式，如希望工程標(biāo)志“大眼睛女孩”的照片、敘利亞難民危機(jī)“溺水身亡的敘利亞男孩”的照片、第二次世界大戰(zhàn)太平洋戰(zhàn)場(chǎng)“美國(guó)國(guó)旗插上硫磺島”的照片……相對(duì)于其他圖像，凝縮圖像自帶元語言，它的出場(chǎng)往往攜帶著歷史深處的特定的象征意義，這種意義是文化建構(gòu)的產(chǎn)物，因此呈現(xiàn)出較弱的浮動(dòng)性和流動(dòng)性。換言之，當(dāng)那些自帶元語言的圖像符號(hào)進(jìn)入語圖結(jié)構(gòu)中，它便作為一種相對(duì)獨(dú)立的意義生產(chǎn)體系，溢出語言文字所設(shè)定的解釋框架。例如，2021年8月，阿富汗塔利班特種部隊(duì)身穿迷彩服，拍攝了一組效仿“美國(guó)國(guó)旗插上硫磺島”的宣傳照，嘗試對(duì)美國(guó)撤軍行為進(jìn)行“終極羞辱”。諸多新媒體平臺(tái)發(fā)布了相關(guān)報(bào)道，其語言敘事依然延續(xù)了“羞辱美國(guó)”的講述邏輯，然而“美國(guó)國(guó)旗插上硫磺島”這一圖像的出場(chǎng)，并未作為一個(gè)依附性的“佐證”符號(hào)統(tǒng)攝在語言敘事框架之內(nèi)，而是以其穩(wěn)定的、牢固的意義體系向語言敘事的合法性發(fā)起了正面回?fù)?。網(wǎng)絡(luò)上隨即出現(xiàn)了一種聲音，認(rèn)為“美國(guó)國(guó)旗插上硫磺島”是世界反法西斯戰(zhàn)爭(zhēng)太平洋戰(zhàn)場(chǎng)勝利的標(biāo)志，其不僅屬于美國(guó)，也屬于全人類，任何嘗試挑戰(zhàn)、否定、褻瀆其意義的行為都是對(duì)正義的背離。此外，雖然圖文編排結(jié)構(gòu)中的圖像在主體上是中性的、美學(xué)性的、解釋性的，但是當(dāng)其攜帶著某種規(guī)約性的社會(huì)信息或文化內(nèi)容時(shí)，便可能在語義層發(fā)揮較強(qiáng)的“語境重置”功能，從而鋪設(shè)一種穩(wěn)定的、獨(dú)立的視覺框架。例如，在“5·12汶川大地震”全國(guó)哀悼日，所有的網(wǎng)站都變?yōu)楹诎咨?，這無疑在色彩維度上建構(gòu)了一個(gè)沉痛的悼念空間。

最后，把握語圖關(guān)系中的對(duì)話結(jié)構(gòu)，還需要回到文本風(fēng)格、修辭體系、視覺情感等更大的元語言維度加以審視，如此才能發(fā)現(xiàn)圖像敘事之可能性、獨(dú)立性及現(xiàn)實(shí)性。當(dāng)圖像與語言的關(guān)系不適配時(shí)，就會(huì)形成一種反諷的表達(dá)效果，其結(jié)果就是圖像擁有了引領(lǐng)文本意義走向之可能。影視語言中的聲畫分離手法，意味著聲音和圖像分道而行，彼此獨(dú)立自足。然而，創(chuàng)作者恰恰利用聲音與圖像之間的二元張力，傳遞更為飽滿的視覺意義，尤其是產(chǎn)生隱喻、反諷、比興等修辭效果。在新媒體編輯中，創(chuàng)作者也常常會(huì)利用圖像與語言的不適配關(guān)系，建構(gòu)一種反諷的表達(dá)風(fēng)格。例如，2020年1月20日，在國(guó)務(wù)院已經(jīng)開始部署新冠疫情防控工作的情況下，湖北省領(lǐng)導(dǎo)仍然在1月21日參加了春節(jié)團(tuán)拜會(huì)文藝演出，這引起了全國(guó)人民的極大憤慨。有關(guān)歌舞升平的圖像或者截圖被置于疫情防控的語境中，顛覆了主流抗疫敘事的“情節(jié)”與“風(fēng)格”，就產(chǎn)生了一定的反諷效果，一系列抗?fàn)幮缘膽蛑o性文本被源源不斷地生產(chǎn)出來。另外，對(duì)話敘事的反諷效果還體現(xiàn)為圖像在修辭維度上重構(gòu)了一種闡釋語境，從而對(duì)語言釋義體系發(fā)起了挑戰(zhàn)和否定。日常交流中的表情包就常常具有語境建構(gòu)的功能，它能夠通過附加的表情引領(lǐng)文本的釋義方向，比如在一本正經(jīng)的語言后面，綴上一個(gè)“偷笑”或“捂臉”的表情，內(nèi)容的嚴(yán)肅性就瞬間被圖像所消解。

概括而言，語圖關(guān)系不僅是一個(gè)編輯問題，還是一個(gè)表意問題，只有正確認(rèn)識(shí)了語圖互動(dòng)的表意關(guān)系，才能處理好豎屏敘事中的語圖編輯問題。通常情況下，語言相對(duì)圖像處于優(yōu)勢(shì)位置，并形成一種統(tǒng)攝性關(guān)系，但圖像也具有自足的表意潛力，當(dāng)它強(qiáng)大到獲得足夠的證據(jù)效力、情感能量和反諷張力的時(shí)候，就足以打破語言的霸權(quán)地位，從而形成一種對(duì)話性的并置敘事關(guān)系。

四、嵌入敘事與語圖結(jié)構(gòu)的圖式語言

相對(duì)于并置敘事的“圖文并排”效果，嵌入敘事本質(zhì)上體現(xiàn)為一種“圖文混排”效果，即圖像和文字按照既定的多媒整合方式進(jìn)行融合，最終形成一種具有普遍認(rèn)知基礎(chǔ)的視覺信息裝置。當(dāng)前，基于數(shù)據(jù)驅(qū)動(dòng)的信息形態(tài)日益普遍，如按照數(shù)據(jù)可視化（data visualization）或數(shù)據(jù)可聽化（data sonification）方式生成的數(shù)據(jù)新聞景觀。而在視覺語言主導(dǎo)的數(shù)據(jù)新聞表征體系中，地圖作為一種常見的信息整合方式，鋪設(shè)了圖像與文字的整合語言及存在方式，其顯著特點(diǎn)是拒絕微觀故事維度的命運(yùn)呈現(xiàn)，而將國(guó)家或區(qū)域以及彼此之間的對(duì)比關(guān)系或比較關(guān)系推向了新聞?wù)J知的中心位置。顯然，在程序語言鋪設(shè)的數(shù)字?jǐn)⑹孪到y(tǒng)中，圖像與文字較為常見的“相遇”方式就是共存于某種視覺化的信息整合裝置之中。當(dāng)前基于程序語言生成的語圖文本往往以視覺作為信息整合的“底色”與“藍(lán)圖”，而且是按照某種模式化的、框架化的、結(jié)構(gòu)化的圖式語言完成圖像與文字的整合的，因此我們不妨將語圖敘事中的信息整合裝置稱為視覺圖式裝置。

那么，在豎屏敘事系統(tǒng)中，是否存在一些普遍共享的信息整合方式或者說視覺圖式裝置呢？回答這一問題需要回到“豎屏”這一根本性的技術(shù)思維層面。縱觀當(dāng)前的新媒體敘事體系，“再媒介化”（remediation）是一種普遍存在的思維方式，即新媒介往往會(huì)征用其他媒介的信息呈現(xiàn)方式，并對(duì)其加以吸納、拓展和改造，由此形成“似曾相識(shí)”的新媒介信息呈現(xiàn)模式，如書籍的“翻頁”效果、手賬的“編排”效果、繪畫的“卷軸”效果、試卷的“答題”效果、游戲的“闖關(guān)”效果、地圖的“測(cè)繪”效果、道路的“穿越”效果、電影的“長(zhǎng)鏡頭”效果等。這里的書籍、手賬等都是經(jīng)典的（泛）媒介形式，而“再媒介化”過程意味著遵循數(shù)字?jǐn)⑹聦W(xué)的“隱喻式進(jìn)路”，在新媒介中應(yīng)用“翻頁”“編排”等視覺呈現(xiàn)方式，并將其創(chuàng)造性地轉(zhuǎn)換為一種跨媒介的視覺圖式裝置。瑞安將“再媒介化”視為一種媒介分析工具，認(rèn)為其可以幫助我們認(rèn)識(shí)數(shù)字?jǐn)⑹聦W(xué)的跨媒介內(nèi)涵及其符號(hào)表征方式。例如，“窗口”概念并非計(jì)算機(jī)的原創(chuàng)“語言”，而是對(duì)日常生活中的相關(guān)觀念的隱喻式挪用和呈現(xiàn)，由此構(gòu)成了計(jì)算機(jī)操作系統(tǒng)的交互“界面”。顯然，從舊媒介到新媒介，往往存在一條略顯模糊但依然可以辨識(shí)的蹤跡，這里刻寫著一種“語言”的跨媒介流動(dòng)能力。

基于此，我們不妨從再媒介化的理論視角切入，把握新媒體豎屏敘事的“版面”語言及其語圖結(jié)構(gòu)。新媒體世界的再媒介化敘事主要體現(xiàn)在媒介形態(tài)、媒介語法、媒介意象三個(gè)維度，其分別意味著對(duì)其他媒介形式的直接挪用，對(duì)其他媒介敘事語言的借鑒和吸納，以及對(duì)其他媒介表征意象的征用與整合。如果從再媒介化敘事的維度考察新媒體豎屏敘事的語圖結(jié)構(gòu)，我們同樣可以從媒介形態(tài)、媒介語法、媒介意象三個(gè)維度切入，探討圖像與文字在豎屏滾動(dòng)敘事結(jié)構(gòu)中的整合方式，即嵌入敘事的視覺圖式裝置。本文分別選擇媒介形態(tài)維度的“信息長(zhǎng)圖”、媒介語法維度的“一鏡到底”、媒介意象維度的“時(shí)間軸圖”三種豎屏敘事中較為常見的視覺圖式裝置，探討嵌入敘事的圖式語言及其語圖關(guān)系。簡(jiǎn)言之，“信息長(zhǎng)圖”“一鏡到底”和“時(shí)間軸圖”作為三種常見的信息整合結(jié)構(gòu)，沿著不同的敘事邏輯拓展了垂直空間的敘事深度，也就相應(yīng)形成了不同的語圖關(guān)系。

（一）媒介形態(tài)與“信息長(zhǎng)圖”圖式結(jié)構(gòu)

在新媒體環(huán)境下的文本消費(fèi)中，用戶的注意力是分散的，如何讓用戶耐心讀完枯燥乏味且篇幅過長(zhǎng)的文字信息？“信息長(zhǎng)圖”正是按照豎屏敘事邏輯就這一問題給出的回應(yīng)?！靶畔㈤L(zhǎng)圖”指的是沿著屏幕垂直方向展開，畫幅超越屏幕、內(nèi)容連貫一體的長(zhǎng)圖片，其創(chuàng)設(shè)的瀏覽體驗(yàn)類似于長(zhǎng)幅畫卷的展開，隨著用戶指尖在垂直路徑的滑動(dòng)，圖片內(nèi)容不斷滑進(jìn)屏幕，進(jìn)入用戶的視線。借助可視化圖像的引導(dǎo)和指尖滑動(dòng)的互動(dòng)，文本便擁有了抓住用戶注意力的可能性。

在“信息長(zhǎng)圖”的信息整合裝置中，圖像和文字形成相輔相成的協(xié)作關(guān)系。圖像的虛指性決定了其具有誘發(fā)愉悅的能力，即相較于語言符號(hào)的“可悅”的優(yōu)勢(shì)。因此，對(duì)于復(fù)雜信息的傳達(dá)來說，長(zhǎng)圖成為一種必要的敘事形態(tài)：一方面，從用戶體驗(yàn)的角度出發(fā)，長(zhǎng)圖通過將文字?jǐn)⑹聝?nèi)容形象化、生動(dòng)化和趣味化，優(yōu)化敘事效果；另一方面，從內(nèi)容生產(chǎn)的角度出發(fā)，長(zhǎng)圖通過充分利用豎屏垂直方向上可延展的敘事空間，擴(kuò)大敘事容量。2020年2月，新華社推出信息長(zhǎng)圖《最萌手繪長(zhǎng)圖告訴你，免疫細(xì)胞和病毒戰(zhàn)斗全過程！》，詳細(xì)講解了免疫系統(tǒng)抵御病毒入侵的三道防線如何發(fā)揮作用，以及新冠病毒如何突破三道防線的過程，并且傳達(dá)了防治新冠肺炎的知識(shí)與信心。這其中，豎屏垂直方向上可延展的敘事空間得到了充分利用，以可視化的方式讓科學(xué)知識(shí)變得通俗易懂，使之適應(yīng)于新媒體環(huán)境的傳播特點(diǎn)。

（二）媒介語法與“一鏡到底”圖式結(jié)構(gòu)

“一鏡到底”原意是指反蒙太奇敘事的電影連續(xù)拍攝手法，強(qiáng)調(diào)拍攝場(chǎng)景的完整性和連續(xù)性。目前，這一視覺敘事手法被廣泛挪用至新媒體的豎屏敘事中，形成一種極具代表性的融合敘事結(jié)構(gòu)，其特點(diǎn)在于將語圖元素整合進(jìn)一個(gè)連續(xù)的敘事時(shí)空中。區(qū)別于傳統(tǒng)的寬屏敘事，豎屏敘事在信息表征形式上以視覺圖像為主，語言文字往往作為圖像敘事的“注解”出現(xiàn)?！耙荤R到底”意味著一種圖式結(jié)構(gòu)，強(qiáng)調(diào)的是圖像與文字按照“長(zhǎng)鏡頭”的敘事語言和推進(jìn)邏輯被整合在一起。為了增強(qiáng)豎屏敘事的代入感和參與感，“一鏡到底”敘事更加強(qiáng)調(diào)圖像內(nèi)容的敘事表達(dá)，而語言元素大多服務(wù)于圖像敘事。

當(dāng)“鏡頭”在不同的場(chǎng)景之間平穩(wěn)過渡和無縫轉(zhuǎn)場(chǎng)時(shí)，“一鏡到底”敘事意味著一種典型的空間敘事結(jié)構(gòu)，即將不同場(chǎng)景整合在一個(gè)長(zhǎng)鏡頭式的視覺圖式之中。遵循這一思路，創(chuàng)作者往往會(huì)把文字深度嵌入圖像當(dāng)中，使其成為視覺場(chǎng)景的組成部分。2021年是中國(guó)共產(chǎn)黨成立100周年，人民日?qǐng)?bào)聯(lián)合快手推出H5新聞《復(fù)興大道100號(hào)》。經(jīng)過精心策劃，該作品將上百個(gè)建黨以來的重大歷史事件繪制成一幅動(dòng)態(tài)長(zhǎng)卷，各個(gè)重大事件的場(chǎng)景之間沒有明顯的切換、轉(zhuǎn)場(chǎng)痕跡，也沒有說明性文字。欣賞此類作品就像在觀看一段沒有旁白的“長(zhǎng)鏡頭”視頻，用戶只能從畫面中自行尋找“破解”敘事內(nèi)容的線索：一是畫面內(nèi)容，如人物的穿著、標(biāo)志性建筑物等；二是畫面中潛藏的只言片語，如墻面、海報(bào)、橫幅上的標(biāo)語等。此時(shí)，文字完全依附于圖像，其自身難以構(gòu)成完整的敘事脈絡(luò)。

（三）媒介意象與“時(shí)間軸圖”圖式結(jié)構(gòu)

“時(shí)間軸”是新媒體敘事體系中一種重要的“再媒介化”敘事資源。作為一種認(rèn)知意象，時(shí)間軸將事物依照時(shí)間邏輯在垂直向度上進(jìn)行限定和串聯(lián)，形成系統(tǒng)化、結(jié)構(gòu)化、可視化的敘事體系。基于這一認(rèn)知意象，豎屏敘事形成了另一種視覺圖式裝置——“時(shí)間軸圖”。其中，文字信息被置于圖像的座駕之上，并在交互結(jié)構(gòu)中按照時(shí)間順序垂直延展。

具體來說，“時(shí)間軸圖”中的時(shí)間鋪設(shè)了豎屏敘事的基礎(chǔ)結(jié)構(gòu)和情節(jié)脈絡(luò)。圖像與文字都依附于“時(shí)間線”這一圖式結(jié)構(gòu)所“勾勒”的敘事框架。因此，時(shí)間邏輯是一種根本性的邏輯語言，它決定了語言和圖像的“出場(chǎng)”方式及其深層的“召喚”結(jié)構(gòu)，即語言和圖像的“相遇”，總是發(fā)生在既定的時(shí)間“刻度”上，相應(yīng)地，時(shí)間結(jié)構(gòu)決定了語言和圖像的嵌入方式。正是在時(shí)間維度上，語言和圖像的結(jié)合擁有了敘事的可能。傳統(tǒng)的敘事學(xué)離不開時(shí)間向度，難以想象時(shí)間缺席的敘事，也難以想象跳出時(shí)間邏輯的空間形式。因此，時(shí)間可以賦予事物一種敘事意義上的線索、結(jié)構(gòu)和秩序。綜觀今天的新媒體文本形態(tài)，時(shí)間軸往往以圖像的方式出場(chǎng)和表征，這意味著用戶需要依照?qǐng)D像的線性時(shí)間結(jié)構(gòu)理解文字信息。在“時(shí)間軸圖”中，圖像大多“退居幕后”，承擔(dān)著建構(gòu)敘事邏輯的任務(wù)。如此一來，用戶可以通過簡(jiǎn)潔明了的圖像迅速把握語言文字中復(fù)雜的邏輯關(guān)系。2020年3月，《南方都市報(bào)》上線了數(shù)據(jù)新聞《記疫》。該作品以時(shí)間線為敘事脈絡(luò)，把2019年12月新冠疫情發(fā)生以來政府與行業(yè)的重要?jiǎng)討B(tài)信息、境內(nèi)與境外的疫情發(fā)展情況整合進(jìn)一條長(zhǎng)長(zhǎng)的時(shí)間軸中。“時(shí)間軸圖”的設(shè)計(jì)一方面理清了龐雜的文字內(nèi)容的敘事線索，有助于用戶快速掌握新冠疫情的歷史；另一方面也限定了用戶的信息瀏覽次序，鋪設(shè)了用戶對(duì)新冠疫情的認(rèn)知邏輯。

五、討論：通往后結(jié)構(gòu)主義的語圖敘事理論

概括而言，新媒體“豎屏”界面的語圖關(guān)系可以分為兩種敘事方式——并置敘事和嵌入敘事。并置敘事又可以進(jìn)一步細(xì)分為語圖統(tǒng)攝敘事和語圖對(duì)話敘事，嵌入敘事主要表現(xiàn)為以“信息長(zhǎng)圖”“一鏡到底”和“時(shí)間軸圖”為代表的視覺圖式結(jié)構(gòu)及語圖整合敘事。

實(shí)際上，當(dāng)我們談?wù)撠Q屏敘事的時(shí)候，不能僅僅停留在界面的外在形式層面，而是要真正關(guān)注以智能手機(jī)為代表的“新媒體語言”，尤其是界面背后所言說的“新媒體世界”及其建構(gòu)的一個(gè)時(shí)代的“信息方式”。作為傳播鏈條的一部分，“豎屏”的意義超越了簡(jiǎn)單的信息形態(tài)及其再現(xiàn)維度，擁有了隱喻意義上的認(rèn)識(shí)論功能。界面超越了簡(jiǎn)單的“端口”內(nèi)涵，它既是媒介系統(tǒng)的傳感“器官”，也是媒介邏輯的顯現(xiàn)方式——擁有什么樣的媒介系統(tǒng)，便擁有什么樣的界面形式及語言。印刷媒介和電子媒介的最大區(qū)別，直觀上表現(xiàn)為界面形式的差異，而這種差異又可以追溯到媒介系統(tǒng)深處的“信息結(jié)構(gòu)”的差異。由此可見，界面實(shí)際上是媒介系統(tǒng)中“技術(shù)形式”與“信息形式”結(jié)合的產(chǎn)物。它表面上是媒介內(nèi)容的呈現(xiàn)載體，但它所言說的又何止是內(nèi)容本身這么簡(jiǎn)單。界面如同一面鏡子，映射出媒介與社會(huì)之間的組織結(jié)構(gòu)，因此我們可以在界面的維度上發(fā)現(xiàn)更大的媒介世界及其運(yùn)行系統(tǒng)。換言之，界面的意義不在于形式的差異，而是深刻地體現(xiàn)為信息結(jié)構(gòu)及其元語言系統(tǒng)的差異。正是在這個(gè)意義上，我們討論豎屏及其敘事問題，主要是希望打開新媒體技術(shù)環(huán)境下的數(shù)字?jǐn)⑹聦W(xué)的新領(lǐng)域、揭發(fā)新問題，正如VR界面所打開的媒介與主體之間的一種嶄新的互動(dòng)方式和參與結(jié)構(gòu)那樣。

必須承認(rèn)，相對(duì)于傳統(tǒng)的媒介語言，新媒體界面及其敘事的顯著特點(diǎn)就是吸納了交互這一屬性。作為“滾動(dòng)敘事”的底層動(dòng)力裝置，交互性顛覆了傳統(tǒng)敘事學(xué)的內(nèi)涵與外延，重構(gòu)了新媒體時(shí)代“文本”的形態(tài)及其語言系統(tǒng)。列夫·馬諾維奇（Lev Manovich）將交互視為一種標(biāo)志性的“新媒體語言”，認(rèn)為不能將交互簡(jiǎn)單地等同于“用戶與媒體對(duì)象在身體層面的交互（按某個(gè)按鈕、點(diǎn)擊一個(gè)鏈接、移動(dòng)身體）”，而是要同時(shí)關(guān)注和研究心理認(rèn)知維度的交互問題，如“心理層面的填補(bǔ)、假設(shè)、回憶喚起和認(rèn)同機(jī)制等心理過程”。因此，交互性視域下的滾動(dòng)及其意義，不僅包含豎屏界面前端的信息呈現(xiàn)問題，也包含豎屏界面后臺(tái)的程序語言問題。正是在一個(gè)以交互為基礎(chǔ)的信息滾動(dòng)結(jié)構(gòu)中，新媒體豎屏敘事的版面語言超越了傳統(tǒng)意義上的組合思維和編輯思維，即信息的呈現(xiàn)方式不僅僅遵循編排語言，還表現(xiàn)為程序修辭（procedural rhetoric）基礎(chǔ)上的交互語言，這無疑拓展了數(shù)字?jǐn)⑹聦W(xué)的理論內(nèi)涵。

經(jīng)典的敘事學(xué)沿著形式主義、結(jié)構(gòu)主義、符號(hào)學(xué)等理論脈絡(luò)展開，其基本假設(shè)是認(rèn)為敘事學(xué)的核心概念是故事，而故事?lián)碛邢鄬?duì)穩(wěn)定的意義結(jié)構(gòu)，如開始、結(jié)尾、序列、篇幅、完整性等。然而，新媒體敘事整合了受眾的參與過程，顛覆了意義的穩(wěn)定狀態(tài)，解構(gòu)了故事的邊界問題，由此形成了一種以“遍歷文本”“互動(dòng)敘事”和“可能世界”為基本特征的故事形式。因此，當(dāng)交互性進(jìn)入敘事的視野，新媒體豎屏敘事一方面需要反思和發(fā)掘文本、情節(jié)、故事、主體等敘事要素的新內(nèi)涵及其表現(xiàn)形式，另一方需要同時(shí)關(guān)注身體維度和心理維度的交互問題，這使得傳統(tǒng)敘事學(xué)所關(guān)注的結(jié)構(gòu)呈現(xiàn)出一種開放的、浮動(dòng)的、過程性的、不確定的屬性和狀態(tài)，甚至結(jié)構(gòu)本身也是某種更為底層的“運(yùn)算裝置”（如計(jì)算機(jī)語言）建構(gòu)或計(jì)算的產(chǎn)物。雖然后結(jié)構(gòu)主義理論早就被引入傳播研究，如“電視廣告與波德里亞、數(shù)據(jù)庫與?？?、電子書寫與德里達(dá)、科學(xué)與利奧塔兩兩結(jié)合”，但不得不承認(rèn)，新媒體語境下的數(shù)字媒介生態(tài)對(duì)現(xiàn)有的研究范式提出了巨大的挑戰(zhàn)。當(dāng)新媒體敘事底層的結(jié)構(gòu)問題上升為一個(gè)嶄新的研究論題，數(shù)字?jǐn)⑹聦W(xué)的知識(shí)體系有待進(jìn)一步拓展和創(chuàng)新，相應(yīng)地，語圖關(guān)系也需要在理論維度上加以批判性反思。因此，伴隨著以程序修辭為基礎(chǔ)的交互敘事進(jìn)入新媒體豎屏敘事的元結(jié)構(gòu)，我們急需構(gòu)建一種通往后結(jié)構(gòu)主義認(rèn)識(shí)范式的語圖敘事理論。

注釋

①②④? 波斯特.信息方式：后結(jié)構(gòu)主義與社會(huì)語境[M].范靜嘩,譯.北京:商務(wù)印書館,2014:1,17,13,29.

③ 汪民安.手機(jī)：身體與社會(huì)[J].文藝研究,2009(7):100-105.

⑤? 劉濤.“豎屏”敘事與融合新聞文化[J].教育傳媒研究,2020(2):15-18.

⑥? 馬諾維奇.新媒體語言[M].車琳,譯.貴州:貴州人民出版社,2020:66,56.

⑦⑧?? 瑞安.故事的變身[M].張新軍,譯.南京:譯林出版社,2014:10,5-11,19,18-19.

⑨ DILLARD J P,PECK E.Affect and persuasion:Emotional responses to public service announcements[J].Communication Research,2000(4):461-495.

⑩ 萊考夫.別想那只大象[M].閭佳,譯.杭州:浙江人民出版社,2013:58.

?? 劉濤.語圖論:語圖互文與視覺修辭分析[J].新聞與傳播評(píng)論,2018(1):28-41.

? 張節(jié)末,袁靖.詩學(xué)中的“并置”——從西方到東方的考察[J].浙江大學(xué)學(xué)報(bào)(人文社會(huì)科學(xué)版),2012(6):36-48.

? 龍迪勇.試論作為空間敘事的主題—并置敘事[J].江西社會(huì)科學(xué),2010(7):24-40.

? 趙憲章.語圖敘事的在場(chǎng)與不在場(chǎng)[J].中國(guó)社會(huì)科學(xué),2013(8):146-165+207-208.

? 巴爾特.形象的修辭[M].巴爾特.形象的修辭:廣告與當(dāng)代社會(huì)理論.吳瓊,譯.北京：中國(guó)人民大學(xué)出版社,2005:42.

? 伯克.圖像證史[M].楊豫,譯.北京:北京大學(xué)出版社,2008:3.

? GRABER D A.Verbal behavior and politics[M].Urbana,IL:University of Illinois Press,1976:289.

? BENNETT W L,LAWRENCE R G.News icons and the mainstreaming of social change[J].Journal of Communication,1995(3):20-39.

? MOELLER S.Shooting war[M].New York:Basic Books,1989:15.

?? 劉濤,蔡雨耘.形態(tài)·語法·意象：融合新聞的“再媒介化”敘事語言[J].新聞與寫作,2021(4):74-80.

? 瑞安.跨媒介敘事[M].張新軍,林文娟,等譯.成都:四川大學(xué)出版社,2019:27.

? 瑞安.電腦時(shí)代的敘事學(xué)：計(jì)算機(jī)、隱喻和敘事[M]//赫爾曼.新敘事學(xué).馬海良,譯.北京:北京大學(xué)出版社,2002:63.

? 趙憲章.語圖傳播的可名與可悅——文學(xué)與圖像關(guān)系新論[J].文藝研究,2012(11):24-34.

? 劉濤,劉倩欣.“一鏡到底”：融合新聞的敘事結(jié)構(gòu)創(chuàng)新[J].新聞與寫作,2020(2):74-80.