多模態(tài)體認詩學
——基于體認語言學的研究

趙秀鳳 崔亞霄

(中國石油大學 外國語學院,北京 102249)

0 引言

近年來,在歐美興起了一種新的文學研究動向——多模態(tài)認知詩學研究,從認知的角度考察多種模態(tài)協(xié)同表征的文學的交流過程和效果。 這一研究動向由以英國謝菲爾德大學艾莉森·吉本斯(Alison Gibbons)為代表的一批學者推動,他們把研究對象從純文字小說拓展到運用多種模態(tài)符號創(chuàng)作的各類文學如后現(xiàn)代實驗文學 (Page, 2009; Gibbons, 2012; Caracciolo, 2014)。 該研究動向關(guān)注語言和非語言符號協(xié)同構(gòu)成的多模態(tài)實驗文學對讀者認知體驗和接受產(chǎn)生的影響,反過來,也考察讀者的認知體驗對后現(xiàn)代實驗文學創(chuàng)作發(fā)揮的制約性作用,即關(guān)注多模態(tài)文學與讀者之間的互動體驗。

多種模態(tài)符號協(xié)同互動所創(chuàng)建的文學作品對讀者的常規(guī)閱讀圖式,包括感知體驗、認知解讀、理解和情感反應,都帶來了新的改變或挑戰(zhàn),其突出特點就是后現(xiàn)代多模態(tài)文學高度彰顯文學作品自身的物質(zhì)性、互文指涉、排版的新奇性等,對讀者在文學體驗過程中的涉身參與提出了新要求。不同于傳統(tǒng)純文字小說,多模態(tài)小說不但需要讀者想象性參與虛構(gòu)小說故事世界,而且需要切實調(diào)動身體器官實施相應行為,需要不斷在小說創(chuàng)建的文本世界和作者及讀者所在的話語世界之間穿插切換,這種新型文學交流得以順暢進行的前提正是多模態(tài)符號的體認性。

正是基于對后現(xiàn)代實驗文學多模態(tài)交互體認特征的認識,吉本斯于2012 年出版了《多模態(tài)認知詩學和實驗文學》(Multimodality,Cognition,andExperimentalLiterature)一書,整合認知語言學、神經(jīng)認知科學、視覺感知、多模態(tài)符號學等多領(lǐng)域研究成果,強調(diào)沿用廣義認知原則,如多感官感知原則、涉身體驗原則等,探究多模態(tài)敘事對讀者敘事體驗和情感反應的影響。 在該書中,吉本斯以四部后現(xiàn)代實驗小說為例,詳細闡述了讀者的閱讀感知體驗。 之后,吉本斯沿用這一研究路徑,發(fā)表了系列研究成果 (Bray et al., 2012; Gibbons, 2016; Gibbons, 2021),使多模態(tài)認知詩學成為文學認知研究領(lǐng)域的后起之秀。

縱觀已有的多模態(tài)認知詩學研究,筆者發(fā)現(xiàn)無論其理論闡述還是應用實踐都與王寅(2014)提出的“體認語言學”(Embodied-cognitive Linguistics,簡稱:ECL)的核心觀點不謀而合。 本文意在基于體認語言學的理論視域,梳理并考察多模態(tài)認知詩學闡述的多模態(tài)體認觀,加強兩個不同研究領(lǐng)域之間的互動,進一步推動文學和語言學研究在“后現(xiàn)代哲學”語境下的“同堂對話” (賈娟 等,2020: 32),豐富“體認”內(nèi)涵,拓展體認語言學的應用范疇,推動構(gòu)建“多模態(tài)體認詩學”。

另一方面來看,體認語言學(王寅, 2014)無論是在理論建構(gòu),還是個案分析及應用方面,都得到了蓬勃發(fā)展。 體認語言學對語言的各個層面都展示出了強大的闡釋力,如轉(zhuǎn)喻 (魏在江,2019)、指類句 (雷卿,2019)、兼語構(gòu)式 (劉云飛,2019)、名謂句 (帖伊 等,2019)、虛擬位移 (張克定,2020)、歇后語 (王寅,2020) 等。 筆者認為,體認語言學不但精確概括了語言的本質(zhì),其基本觀點和核心原則對其他社會符號也有強大的闡釋力。 例如,在特定社會文化語境中,人們用于社會交往的各類手勢、視覺符號乃至聲音,更是在人與現(xiàn)實世界體驗互動和認知加工過程中形成的,兼具認知性和社會性。 之所以能夠進入社會交際,正是因為這類對復雜現(xiàn)實進行簡約性表征的非語言符號也是“來自人與人、人與自然的互動,來自人對這些互動的體驗和認知加工” (牛保義, 2021: 28)。 正是在這層意義上,我們贊同王銘鈺等 (2021)的主張,應把體認語言學上升為“體認符號學”,有必要結(jié)合多種符號組合和應用實例,闡述“體認”在更廣泛符號層面的普遍意義和價值。

基于以上考慮,本文試圖結(jié)合已有研究,從多模態(tài)文學交流的體認特征入手,闡述借鑒體認語言學的核心理論和方法,針對多模態(tài)文學的語類特征,推動“多模態(tài)體認詩學”研究。

1 多模態(tài)文學交流的體認特征

1.1 體認的多模態(tài)性

王寅(2014)在認知語言學涉身體驗基礎(chǔ)上,結(jié)合中國傳統(tǒng)哲學和后現(xiàn)代哲學的基本立場,提出了語言意義的“體認觀”,將其哲學立場命名為“體認哲學”,強調(diào)“人本性”和“唯物論”的辯證統(tǒng)一。體認觀一方面堅持了喬姆斯基和認知語言學從人的心智角度研究語言的基本取向 (王銘玉 等,2021: 2),另一方面又與后現(xiàn)代哲學的人本主義立場一脈相承,突出強調(diào)語言和語言研究中的人本性 (賈娟 等,2020: 33),主張語言研究必須強調(diào)人對現(xiàn)實世界進行的體驗 (王寅,2014: 61-67) ,因此,體認哲學觀更加全面綜合,更接近人類語言交際的現(xiàn)實。

“體認的人本觀決定體認的多模態(tài)本質(zhì)?！?黃萍 等,2021:118)正如顧曰國 (2013: 3)所言:“人類在正常情況下跟外部世界(包括人與人之間) 的互動都是多模態(tài)的?！庇梢曈X、聽覺、觸覺、嗅覺、味覺組成的多模態(tài)感官系統(tǒng)參與到人體察世界的過程中,形成人與世界的多模態(tài)互動體驗,經(jīng)由認知系統(tǒng)的認知加工,形成理性認識(顧曰國,2015)。 這一過程說明體認本身蘊含多模態(tài)性,體認是多模態(tài)感官系統(tǒng)和認知系統(tǒng)互動的產(chǎn)物。 有學者指出:“語言的產(chǎn)生和使用是基于‘多模態(tài)感官系統(tǒng)’的‘互動體驗’與基于‘認知系統(tǒng)’的‘認知加工’進行互動的結(jié)果?！?黃萍 等,2021:118)事實上,多模態(tài)互動體認不限于語言的產(chǎn)生和使用,而是體現(xiàn)于人類話語交際的全過程。 在實際的話語交際過程中,交際雙方往往是多感官協(xié)同參與,并不斷互動。 多模態(tài)感官的協(xié)同聯(lián)動不但刺激產(chǎn)生互動感知體驗,而且誘發(fā)對意義的認知加工升華。

人類交際過程的“多模態(tài)”性,不僅體現(xiàn)于面對面交際中的身體姿勢、手勢、聲音、語調(diào)、表情,還體現(xiàn)在書面交際中的字體、排版、顏色、物質(zhì)性媒介等多模態(tài)特征。 也就是說,在實際交際過程中,多模態(tài)既是人類用于交際的符號手段,又是人類多種感官協(xié)同參與的體認通道。 正是基于這一認識,我們認為有必要探討多模態(tài)交際的體認性特征,豐富體認語言學的理論體系,拓展其應用范疇。

在這一方面,多模態(tài)認知詩學先行一步,結(jié)合后現(xiàn)代實驗文學的多模態(tài)特征,進行了開創(chuàng)性研究。 吉本斯運用認知-敘事學研究路徑(cognitive-narratological approach),不但把模態(tài)視為表意資源,還把不同表意系統(tǒng)所誘發(fā)的多感官感知、體驗和認知方式納入研究視野,她所建構(gòu)的多模態(tài)認知詩學綜合性分析框架旨在剖析闡釋多模態(tài)文學交流的體認過程。 當然,多模態(tài)體認過程研究的前提是認知詩學的基本主張——文學是“人類經(jīng)驗的一種具體形式”(Gavinset al., 2003: 1),“文學研究可向我們揭示認知實踐,借此我們不但可以閱讀文學作品,還可以感知和理解世界” (Gibbons,2012:26)。 多模態(tài)認知詩學認為“人們不僅通過語言,而且也通過視覺、聽覺和心理等其他方式接觸世界” (Gibbons, 2012:38),因此,多模態(tài)認知詩學把研究焦點確定為讀者對多模態(tài)進行理解和體驗的復雜動態(tài)過程,并運用科學的方法對該過程進行動態(tài)描述。

多模態(tài)文學傾向于突出符號的物質(zhì)性和意義理解的多模態(tài)性,往往通過調(diào)動讀者的身體參與,誘發(fā)和強化心理體驗。 因此,多模態(tài)文學的認知研究高度關(guān)注讀者在字體、排版、圖像形狀、顏色、布局等視覺因素的刺激或操控下作出的行為反應或注意力變化。 如吉本斯 (Gibbons, 2012: 45) 運用圖形-背景理論,解釋眼睛如何在一個視域內(nèi)部或跨視域之間移動。 “在閱讀視覺語篇時,意義的理解尤其需要閱讀路徑的動態(tài)調(diào)整”(Gibbons, 2012:25),眼睛在閱讀文本中的移動路徑是在視覺結(jié)構(gòu)誘發(fā)下人所做出的主體性反應,如圖1(見下頁)。

圖1 《書頁之屋》(Danielewski,2000:133)節(jié)選

讀者在閱讀到該頁時,會主動做出選擇,調(diào)整閱讀路徑。 在《書頁之屋》這一多模態(tài)小說中,有很多類似的視覺操控手段,調(diào)動和激發(fā)讀者的閱讀行為,讀者需要根據(jù)對故事世界的理解自動調(diào)整閱讀順序,甚至需要手動調(diào)整書頁的方向,這類設(shè)計突出了圖書作為閱讀對象的物理屬性,賦予讀者更多自主性,可以自行選擇閱讀順序和路徑。 這種在物理行為上的“身體”介入,往往會誘發(fā)讀者心理上的自我投射(projection)、自我暗示(self-implication)、情感或認知反應(emotional response)(Gibbons, 2012: 27),從而直接影響讀者對故事世界的體驗和認知。 再如,在托馬蘇拉(Tomasula)小說《VAS: 平地上的歌劇》(VAS:AnOperainFlatland:ANovel,文后簡稱:VAS)中,作者通過排版設(shè)計等視覺化手段使符號的物質(zhì)性被高度前景化,調(diào)動讀者的身體器官實施相應行為 (趙秀鳳,2021: xiii),如翻頁、調(diào)整書本方向、調(diào)控閱讀視角等行為反應。 由此,讀者直接參與敘事進程,從而“高度彰顯了讀者在文本體驗過程中的涉身參與性”“強化閱讀、存在、認知和想象等過程的涉身本質(zhì)” (趙秀鳳,2021: xiii)。

多模態(tài)小說VAS中的主題隱喻是運用多模態(tài)符號調(diào)動多感官參與,彰顯動態(tài)性體認的典型實例。 該部小說以多種方式反復建構(gòu)和表征一個主題隱喻[人類是書籍]。 一方面,這一隱喻體現(xiàn)為故事內(nèi)聚焦人物感知覺的語言表達。 如主人公“四邊形”(小說中主人公的名字)把手術(shù)視為“對自己身體的改寫”(Tomasula, 2002: 193) 和“一次簡單的編輯” (Tomasula, 2002: 312),以下段落更清晰地表征了人物感知和認知域中的[人體—書籍隱喻]:

四邊形(小說內(nèi)主人公的名字)停下了筆,看了看指尖的渦紋,這些由線構(gòu)成的巧妙圖像是祖祖輩輩,世世代代,甚至是經(jīng)過 125,000 代追溯到類人猿時期傳承下來的,它可以由AGCT 四個基本字母來表示,這四個字母又可以構(gòu)成單詞 GAT、 ATA、 AGG,然后這些單詞構(gòu)成了基因的雙螺旋句子,進而填充細胞內(nèi)染色體,最后由這些細胞構(gòu)成軀體這本書。 (Tomasula, 2002: 312;吉本斯, 2021:80)

該段中關(guān)于身體的醫(yī)學術(shù)語“雙螺旋、基因、染色體、細胞”與關(guān)于書籍/寫作的常用詞語“句子、文章、書籍”整合編織在一起,最后直接用“軀體這本書”更加顯性表征[書籍—身體隱喻]。 另一方面,該書還刻意創(chuàng)建物理相似性,激活讀者的視知覺感知,親身體會“書籍”域與“身體域”的整合:封面主色調(diào)為桃紅色,數(shù)條藍灰色橫線隱約穿插而過,隱喻皮膚及皮下靜脈;書頁以肉色為主,其中的文本和圖片漸變?yōu)榧t色、黑色和米黃色,使整本書的視覺構(gòu)造仿佛人的軀體,隨著讀者閱讀的深入(即人的年齡的增大),皮膚日漸失去光澤,布滿皺紋。

在文字和視覺模態(tài)的協(xié)同作用下,讀者“多模態(tài)器官”體驗且認識到身體與書籍之間不僅是概念上的跨域映射關(guān)系,也是自己身體和心理互動體驗下的“合二為一”。 這一實例完美地揭示了多模態(tài)文學對多模態(tài)體認的“前景化”調(diào)用,突出了體認的多模態(tài)性。

1.2 體認的交互性

體認語言學在闡述其核心原則“現(xiàn)實—認知—語言”時,格外強調(diào)體認的“互動性”:一是人通過對外部現(xiàn)實世界(包括自然、社會、文化等)直接感性接觸所產(chǎn)生的互動體驗,二是人在外界感性接觸基礎(chǔ)上進行的認知加工。 從“體的互動體驗”到“認的認知加工”,再返回到體驗,循環(huán)升華 (王寅, 2020: 22)。 從語言的產(chǎn)生、語言的發(fā)展到語言的習得都是以人的體認為基礎(chǔ)的(林正軍 等,2021),“現(xiàn)實”“認知”和“語言”之間的互動推動了語言的產(chǎn)生和使用。 體認語言學在闡釋各類語言現(xiàn)象時所使用的理論工具,如概念隱喻、認知參照點、意象圖式、理想認知模型、識解等都是圍繞人與世界的互動展開的理論闡述,都強調(diào)人與人、人與自然互動過程中身體感知覺體驗的規(guī)律性特征對于語言符號的產(chǎn)生、表達和理解的作用。 例如,王寅 (2020)結(jié)合大量實例,闡述了隱藏在歇后語背后統(tǒng)一的體認型式:歇后語的前項描寫人較為直觀的感性生活體驗,后項揭示由該體驗所引發(fā)的認識,“反映了人們從‘感性到理性’,從‘具體到抽象’,從‘外延到內(nèi)涵’,從‘參照點到目標’,從‘明示到推理’,從‘背景到圖形’,從‘表層到深層’(由表及里) 的體認過程” (王寅, 2020:2)。

體認語言學關(guān)于互動性的論述主要闡釋語言產(chǎn)生和使用的規(guī)律性特征。 其實,體認的互動性理論能更充分地闡釋讀者在閱讀多模態(tài)文學過程中的身心交互特征,如多模態(tài)小說VAS中第139頁末端的文字為( “Still,itmoves”)在排版上顛倒了文字的方向(圖2)。

圖2 VAS(Tomasula, 2002: 139)節(jié)選

要識讀這些文字,讀者必須把書旋轉(zhuǎn)過來。 這種設(shè)計配合該部分表達的主題——宇宙的本質(zhì)一直處于運動之中,呼應該句“一直在動”的語義,因為讀者必須做出翻轉(zhuǎn)書本的身體行為,才能讀到“一直在動”這句話。 在該情況下,讀者的身體機能與語言對行為的觸發(fā)雙向互動,“執(zhí)行一個動作有助于理解包含行為動詞的修辭短語和文學短語”(Gibbs, 2005: 88)。 因此,讀者翻動圖書的身體動作同時啟動了“移動/運動”這一概念,使讀者得以身心協(xié)同體驗“移動/運動”,加深對“一直在動”這句話的理解。 此外,該頁配有眾多箭頭和線條組織成的旋轉(zhuǎn)圖像,視覺、行為動作、感知和文字理解多路徑協(xié)同,創(chuàng)造關(guān)于宇宙旋轉(zhuǎn)移動的感性體驗和理性認知。

關(guān)于身心體認及其與世界的互動,認知科學家萊德曼 (Lederman) 和克萊茨 (Klatzy)曾指出:“人們使用觸覺系統(tǒng)來感知真實物體和虛擬物體同時存在的世界,并與其進行互動。”(2001: 71)同樣,馬克斯 (Marks,2002:2)也指出:“我們正是通過協(xié)同觸覺、動覺和本體感受,才同時在閱讀書籍的過程中獲得身體感知和內(nèi)心體驗?！睆倪@一意義來說,通過調(diào)動讀者的身體與書本在實體意義上的直接接觸,VAS成功激活并強化了讀者的交互性體認。 體認的交互性還體現(xiàn)為讀者與人物之間的“協(xié)同共振”。 與常規(guī)文字小說不同,多模態(tài)小說往往借助多模態(tài)符號,頻繁調(diào)動讀者對故事世界的身體參與,這一點在敘述人物行為動作時,表現(xiàn)得尤為突出。 例如,在《書頁之屋》第440-441 頁,作者通過排版 (見圖3)設(shè)計出如具象詩般的文字,描述人物戴維森(Davison)攀爬探險的行為過程:

圖3 《書頁之屋》(Danielewski,2000: 400) 節(jié)選

戴維森步伐緩慢,但是十分堅定,雙手交互爬行上了梯子……他仍然繼續(xù)攀爬,最終他的堅持不懈有了回報,爬行了大概半個小時后,他終于爬完了梯子的最后一根。 幾秒鐘過后,他站在一個非?！?Danielewski, 2000: 400;吉本斯,2021:58)

顯然,這段文字被排列為一個梯子的形狀,從底部一行開始,每個橫檔錯落排開,在空白周邊的映襯下,深黑色字體形成的橫檔越發(fā)突顯,如同一架梯子斜依在墻上。 文字的排列順序和空間擺放方式,決定了讀者的閱讀方向和順序:自下而上,從左到右,這一順序與人物的攀爬動作一致——從低到高。 可以說,讀者在視覺符號的引導下,眼睛緊隨人物攀爬的動作,拾級而上,與人物“亦步亦趨”,一起“攀爬”。 梯子橫檔一級級向上,迫使眼睛不時穿過空白處,形成視覺跳躍(Gibbons, 2021:60)。 眼睛發(fā)揮“動能閉合”(kinetic occlusion)作用,戴維森“不斷換手”攀爬梯子。 從側(cè)面來看,當他在前面的那只手抓到高一級橫檔時,后面的手便跟著向前,這個動作類似于眼睛的動能閉合——讀完一段文字后,空白處便進入眼簾。 該例同時充分體現(xiàn)了兩類互動:讀者的身心互動及讀者與人物的協(xié)同共振。 當然,這種雙維互動的前提是多模態(tài)符號對讀者體認感知的誘發(fā)性潛勢。 從一般抽象意義來說,是不同模態(tài)之間的符號互動激發(fā)了讀者的身心互動及讀者與人物的互動。

正如吉布斯(Gibbs, 2005: 66-67)所言:“認知是身體與物理/文化世界互動的產(chǎn)物。 思維并不是存在于人的身體內(nèi)部,而是存在于大腦、身體、世界……交織形成的網(wǎng)絡。 ‘涉身’就是指大腦、身體和物理/文化環(huán)境之間的動態(tài)交互?！奔s翰遜(Johnson, 1987: 5)也指出:“我們所認識的現(xiàn)實由以下因素所塑造:身體運動型式、時空定位軌跡、我們與物體的互動形式;它絕不僅僅是抽象的概念和命題判斷?！睘榇?吉本斯 (Gibbons,2012:42) 強調(diào):“既然涉身是人類理解和體驗的奠基之本,那么我們似乎可以做出這樣的邏輯推演:身體在閱讀中的參與度越多,閱讀就越有意義,影響就越深遠。”

以上實例分析表明,多模態(tài)文學語篇充分運用多種模態(tài)符號,調(diào)動讀者的多維交互體驗,無論是人與符號資源在物理意義上的本體互動,還是文本內(nèi)多種模態(tài)符號之間互動所引發(fā)的讀者在身體感知和心理認識之間的互動,都反映了多模態(tài)符號對讀者整體體認過程的影響。

1.3 體認的復雜系統(tǒng)性

從復雜動態(tài)系統(tǒng)理論視角來看(Complex Dynamic Systems,簡稱:CDS), 在多模態(tài)文學的交流過程中,讀者的體認也呈現(xiàn)出復雜動態(tài)系統(tǒng)性特征。 根據(jù)CDS 理論,復雜系統(tǒng)具有以下突出特征:“復雜性,即構(gòu)成元素和施動體豐富多樣、互動方式多元;動態(tài)性,即構(gòu)成元素與施動體始終變化,互動方式亦始終在變;開放性,即新元素和施動體隨時可進入系統(tǒng);非線性,即系統(tǒng)的整體變化不可預測,無法以變量分析法找到規(guī)律;此外,系統(tǒng)可具自發(fā)組織性和共適性,有時體現(xiàn)為相對穩(wěn)定的狀態(tài)。”(單理揚,2019:94)

就多模態(tài)文學交流而言,一方面,讀者的體認具有多模態(tài)感官聯(lián)動性,另一方面,多模態(tài)文學的構(gòu)成要素豐富多樣,這些都對多模態(tài)文學的理解體認過程產(chǎn)生直接影響,使體認本身成為一種復雜的動態(tài)系統(tǒng),呈現(xiàn)出復雜系統(tǒng)的一般特征。 首先,多模態(tài)文學交流的對象,文學作品本身就是一個由多個子模態(tài)符號系統(tǒng)構(gòu)成的復雜系統(tǒng),如后現(xiàn)代實驗小說系統(tǒng)往往包含圖像、圖形、頁面設(shè)計、空間布局、字體、顏色、詞匯、語法、篇章結(jié)構(gòu)、文學常規(guī)等等多個子系統(tǒng)。 多模態(tài)小說尤其是后現(xiàn)代實驗文學達到了高度的形式自覺,大量運用元小說和互文指涉手段、彰顯實體性、創(chuàng)新文本排版形式等。 吉本斯(Gibbons, 2012: 2) 把這種形式自覺在符號上的主要體現(xiàn)概括為以下八類:存在明顯的文本布局和頁面設(shè)計;排印方式多樣,在文字和圖像中運用色彩;類似于具象詩,把文本文字具象化;使用包括元小說寫作在內(nèi)的多種手段;吸引讀者關(guān)注文本的物質(zhì)屬性;使用腳注和其他形式傳遞自我質(zhì)疑;使用翻頁書技巧設(shè)計部分章節(jié);混合使用多種文學樣類,包括文學創(chuàng)作風格上的混搭,如恐怖,也包括視覺效果的混搭,如剪報和劇本對白。 每個子系統(tǒng)之間相互聯(lián)系,相互制約,表征和建構(gòu)小說世界,創(chuàng)建文學意義。其次,讀者個體也可以看作一個高度復雜的動態(tài)系統(tǒng),對多模態(tài)符號的閱讀理解過程本身也受個體、社會、認知、文化和環(huán)境等多因素的影響。 如在識讀魯賓 (Robin) 的花瓶圖像 (圖4)時,某人可能第一眼傾向于解讀為“看到了一個置于白色背景的黑色花瓶”,而另一個人則解讀為“黑色背景下的兩張白色面孔”;“圖像閱讀并沒有線性結(jié)構(gòu)的強制要求,即讀者具有主體性選擇,當然即使有個體差異,在特定社會文化群體中,也一定有規(guī)律性體驗閱讀路徑”(Gibbons, 2012:14)。 因此,他們又都可以在這兩種解讀之間任意切換,體現(xiàn)了讀者體驗的個體性差異。

多模態(tài)文學交流是一個多要素相互作用的系統(tǒng),文學構(gòu)成要素和認知主體要素的多樣性和動態(tài)變化性,使文學意義的理解和體悟過程本身也呈現(xiàn)出復雜動態(tài)系統(tǒng)特征,多模態(tài)符號系統(tǒng)內(nèi)部諸要素與讀者的多模態(tài)感官系統(tǒng)及認知系統(tǒng)之間存在“競爭、互補、對立和適應等多種交錯疊加的互動關(guān)系”(曾小燕,2017: 35)。

在真實交際活動中,體認的復雜動態(tài)性既體現(xiàn)于讀者與文學作品及其環(huán)境之間的互動,又存在于讀者個體多種素質(zhì)和能力的互動,多維互動在多模態(tài)文學符號的誘發(fā)下呈現(xiàn)出高度的動態(tài)性和自組織性。 例如,當讀者翻開多模態(tài)小說《書頁之屋》,讀到的開篇之句是“This is not for you ”(這不是為你寫的)(Danielewski, 2000: ix)。 該句的否定語法結(jié)構(gòu) “not”和指向故事外讀者的第二人稱代詞“you”,都令讀者感到某種“不適”,該句似乎在實施一種禁止性言語行為,阻止讀者進入小說世界。 這顯然違背小說常規(guī),與讀者固有閱讀體驗及打開小說的閱讀沖動和欲望之間形成直接沖突,令讀者感到“認知失調(diào)”(cognitive dissonance)。 事實上,作者是“希望借此激將法誘使讀者深入閱讀”(Gibbons, 2012: 51)。 “失調(diào)給人帶來心理不適感,會促使人們努力減少不適,達到協(xié)調(diào)。”(Festinger, 1957: 3)當人們的行為和認知發(fā)生沖突時,內(nèi)心急求緩解這種失調(diào)的愿望便會異常強烈(Gibbons, 2012:53),因此,讀到這句阻止性否定句后,讀者反而往往會做出“認知對抗”(cognitive reactance)反應,即產(chǎn)生強烈的反抗心理,就會反其道而行之。 可見,常規(guī)、語言、讀者的閱讀欲望、心理預期及其個體心理調(diào)整適應等多要素聯(lián)動,相互作用與制衡。 該句的閱讀理解過程——從體會到符號意義表層上的被排斥,經(jīng)認知對抗,做出逆反性繼續(xù)閱讀行為——充分體現(xiàn)了體認的動態(tài)性、復雜性和自組織性,是多種子系統(tǒng)連接互動的結(jié)果。 此外,該句單獨構(gòu)成一頁,位于按照常規(guī)應該是獻詞頁的位置,這一空間位置本身又形成了激活文學常規(guī)的符號要素,與文學作品的語類結(jié)構(gòu)及其相應的閱讀常規(guī)圖式形成聯(lián)動關(guān)系,直接影響閱讀個體的體驗和認知,以及隨之產(chǎn)生的對抗認知反應。

2 走向多模態(tài)體認詩學

綜上所述,“多模態(tài)體認觀”拓寬了“語言體認觀”的適用視域。 多模態(tài)文學實例表明,語言符號具有認知性、社會性和文化性,多模態(tài)符號更是如此;多模態(tài)符號的協(xié)同、組合、應用更涉及身體體驗和認知加工的循環(huán)互動。 多模態(tài)文學交流也遵循“現(xiàn)實—認知—符號”這一核心原則,也大量啟用圖形-背景、意象圖式、概念隱喻等體認機制。 因此,我們可以說,體認語言學理論為我們闡釋多模態(tài)文學的交流過程提供了強有力的理論工具。 我們可以通過拓展體認語言學的應用范疇,從多模態(tài)符號的體認性出發(fā),闡釋讀者與文學作品之間的互動體驗,推動“多模態(tài)體認詩學”研究。 筆者認為可以從以下三個方面展開:

首先,拓寬體認語言學的外延。 體認語言學側(cè)重從語言生產(chǎn)角度論述體認的作用,闡述“現(xiàn)實—認知—符號”三者之間的關(guān)系。 作為揭示語言人本性的體認語言學,理應從語言產(chǎn)生的一般規(guī)律出發(fā)探討本源問題,但事實上人類用于交際的所有符號都具有體認性特征。 21 世紀起的后現(xiàn)代實驗文學,充分利用各類圖文符號,激活人的感知體驗、情感和認知加工;這類文學的日漸興盛也充分說明了多模態(tài)符號體認性對文學的影響。 因此,我們有必要拓寬體認語言學的外延,從廣義的符號層面,考察體認的過程;如針對后現(xiàn)代實驗文學的多模態(tài)組合特征,闡釋該類文學得以產(chǎn)生、接受、形成獨特文學樣類背后的體認機制;通過透視讀者的閱讀體驗和認知加工過程,揭示多模態(tài)文學交流背后的規(guī)律性特征。 這一“多模態(tài)體認詩學”的研究路徑是對語言及其他符號體認性的有力補充,有助于更加全面立體考察語言及多模態(tài)符號交際全過程中的體認性,揭示符號的人本性、唯物性和互動性本質(zhì)。

其次,豐富體認語言學的理論蘊含。 體認語言學傾向于在人類群體意義上闡發(fā)體認的意義,多模態(tài)體認詩學則可以關(guān)注真實、個體讀者的體認經(jīng)驗,即關(guān)注真實的沉浸于文學作品中的真實讀者,考察他們沉浸于文學自然閱讀過程中的真實體認過程。 這可以通過實證檢驗的手段得以實現(xiàn)。我們可以從文本表層符號結(jié)構(gòu)和讀者實際體認之間的關(guān)聯(lián)性角度,闡述多模態(tài)文學交流過程中體認的多模態(tài)性、交互性、復雜系統(tǒng)性。 讀者在多模態(tài)文學閱讀過程中的身體行為、多感官感知體驗及其對認知加工的影響,反映出符號接受方具有“主動而復雜的互動體驗和認知加工潛勢”(Gibbons, 2012:19)。 多模態(tài)符號之間的協(xié)同互動誘發(fā)多模態(tài)感官的聯(lián)動反應,使多模態(tài)體認具有了相當程度的“一體化”特征,正如加桑費爾等(Ghazanfar et al., 2006: 278) 所論:“我們與世界的交互涉及一系列感官輸入,我們的感知是對世界的一體化表征。 新皮質(zhì)按照使認知加工過程盡可能快速有效的方式組織起來?！倍嗄B(tài)文學中的表征手段豐富多樣,互動方式多元,給習慣于傳統(tǒng)小說閱讀的讀者帶來了很大挑戰(zhàn),同時也誘發(fā)了新奇的閱讀體驗。 多模態(tài)形成多感官刺激,使讀者調(diào)用多個感覺器官及其處理各自信號的神經(jīng)認知系統(tǒng)。 在閱讀過程中,隨著多種模態(tài)符號形式的鋪展協(xié)同,讀者的“多模態(tài)感官系統(tǒng)”和“神經(jīng)認知系統(tǒng)”不斷動態(tài)連接,調(diào)整變化,從而推動“體”和“認”的多維復雜聯(lián)動。 概言之,多模態(tài)體認詩學對體認的闡發(fā)考察,可以極大豐富體認的內(nèi)涵,有助于我們從人類話語交際的角度更加全面闡釋和理解符號“體認”的本質(zhì)和特征。

最后,推動體認語言學和詩學的交叉融合。 雖然從多模態(tài)話語交際的角度來說,語言交際和視覺交際是兩種相互獨立的符碼系統(tǒng),模態(tài)或模態(tài)組構(gòu)不同,所激活的認知體驗有所差異,但是從多模態(tài)體認觀出發(fā),我們就會發(fā)現(xiàn),事實上在多種符號交際的背后存在某些更深層、更抽象的符碼體認機制,如圖形—背景、概念隱喻、轉(zhuǎn)喻、概念整合等。 對此,克雷絲等(Kress et al., 1996:188) 明確指出:“語言的信息結(jié)構(gòu)與視覺中的橫向組織結(jié)構(gòu)極為相近,這一點也印證了存在某種更深層、更抽象的符碼傾向,這些傾向在不同的符號模態(tài)中有不同的體現(xiàn)形式而已。”因此,我們不應該把圖像結(jié)構(gòu)與語言結(jié)構(gòu)進行簡單的機械類比,語言和圖像都是心理過程的外在符號表現(xiàn)形式,我們應該探尋其背后共同的心理加工機制 (Gibbons, 2012: 15)——體認機制。 從話語交際的實際過程來說,符號構(gòu)成的文本是體認的語境,是唯物性基礎(chǔ),具有誘發(fā)性,誘發(fā)交際接受方的身體反應和心理感知?；谶@一認識,多模態(tài)體認詩學應該高度重視人的視覺感知(visual perception)結(jié)構(gòu),理解和闡釋人的視覺感知機能(Gordon,1997; Haber et al., 1973; Posner et al.,1997; Styles,1997),如哪些色彩與尺寸特征吸引感知者的注意力,或事物之間的相似如何使感知者把它們視為一類,視知覺調(diào)整如何影響心理的認知加工等(Gibbons, 2012: 16)。 基于此,通過既具體又綜合的多模態(tài)體認分析,體認語言學所闡述的“體認”性分析可以被拓展到多模態(tài)話語交際層面,拓展其應用范圍,而多模態(tài)文學交流體認的獨特性也可以反過來豐富體認語言學的理論意蘊,在更高維度上推動體認語言學和詩學的交叉融合。

3 結(jié)語

作為共同關(guān)注后現(xiàn)代哲學和文化思潮的兩大研究領(lǐng)域,體認語言學和多模態(tài)認知詩學在理論觀點和應用分析方面存在諸多相同、相通之處,如都強調(diào)符號的認知性和社會性,都強調(diào)身體體驗與認知加工的互動,都遵循“現(xiàn)實—認知—語言 (符號)”原則,闡釋體認性。 多模態(tài)認知詩學對多模態(tài)文學交流過程中體認的多模態(tài)性、交互性、復雜系統(tǒng)性的論述,為體認語言學開辟了一個新視角,豐富了語言體認觀的內(nèi)涵,拓展了其應用范疇。

本文提出應從拓寬體認語言學的外延、豐富體認語言學的理論蘊含、推動體認語言學和詩學的交叉融合三個方面,構(gòu)建和推動“多模態(tài)體認詩學”研究。 多模態(tài)體認詩學研究不但可以從真實讀者體認角度“打破語言和圖像研究之間的藩籬”(Kress et al., 1996: 183),闡釋多模態(tài)文學交流的意義和價值,還可以從更深層的超越具體符碼表征機制的角度,推動體認符號學研究。 本研究從文學和語言學跨學科視野,探討人類符號交際的體認性,有助于在后現(xiàn)代語境下切實推動多領(lǐng)域的互動交流對話,踐行體認語言學的后現(xiàn)代主義哲學觀,推動學術(shù)研究更加多元和開放。