圖像與語言

20 世紀初期，匈牙利電影理論家貝拉·巴拉茲就曾預(yù)言：“隨著電影的出現(xiàn)，一種新的視覺文化將取代印刷文化?！睍r間流逝，100 年后的今天，我們?nèi)粘Ｉ畹姆椒矫婷姘ㄓ耙暋V告、景觀、建筑、照片、繪畫、服飾等都與視覺息息相關(guān)，圖像已經(jīng)成為我們獲取信息的最主要媒介，可以說，我們正生活在一個絕對典型的視覺時代中。而在人文和社會科學(xué)領(lǐng)域，視覺時代的到來“不僅標志著一種文化形態(tài)的轉(zhuǎn)變和形成，而且意味著人類思維范式的一種轉(zhuǎn)變”（《圖像轉(zhuǎn)向》，2002） 1，與 20世紀初的語言學(xué)轉(zhuǎn)向相對應(yīng)，如今在哲學(xué)、社會和文化等學(xué)科領(lǐng)域正在經(jīng)歷米歇爾稱之為“圖像轉(zhuǎn)向”的變化，學(xué)者們紛紛開始以“視覺/圖像”為中心建構(gòu)方法論和理論框架。

于是，圖像語言學(xué)、多模態(tài)話語分析等跨學(xué)科的研究領(lǐng)域得以開辟，交際被視為一種運用多種模態(tài)（如語言、文字、圖像、音樂、動作等）共同完成意義建構(gòu)的過程，除了有聲語言 / 話語和文字外，其他交流渠道和媒介也在協(xié)同傳遞信息。其中，圖像語言學(xué)主要研究圖像如何進行信息傳遞、表達意義并建立溝通系統(tǒng)，關(guān)注圖像作為符號的語法結(jié)構(gòu)、語義內(nèi)涵以及與社會文化的互動關(guān)系，例如米歇爾提出元圖像的概念，即關(guān)于圖像的圖像，由此說明圖像的自我指涉性。以斯坦伯格創(chuàng)作于1964 年的“新世界”系列之一《螺旋》為例，作品描繪一位身穿禮服的紳士在畫一幅畫，作畫者畫出來的圖形是螺旋式的，他身處螺旋中央，外圍是一片鄉(xiāng)村景色，有樹木、云、山頂和一間小屋。米歇爾指出，斯坦伯格將作品解讀為對藝術(shù)家生命的映射是一種自我指涉，作品中畫家持筆畫出螺旋線，末端又指向作畫的手本身，形成“創(chuàng)作行為與被創(chuàng)作物”的無限循環(huán)。2 與圖像語言學(xué)重點關(guān)注圖像和語言/文本的相互滲透關(guān)系不同，多模態(tài)話語分析進一步將關(guān)注范圍擴展至圖像、聲音、手勢、空間布局、顏色、字體等各種非語言模態(tài)如何共同參與意義的生成與傳遞，國內(nèi)有學(xué)者曾分析《舌尖上的中國》如何通過多模態(tài)話語建構(gòu)文化意義，發(fā)現(xiàn)它通過畫面、旁白和字幕突出了中國飲食文化所蘊含的家園認同、“禮”性和諧、歷史傳承、多元共存等傳統(tǒng)文化特征 3 。

由于圖像和多模態(tài)話語解讀在一定程度上帶有主觀性，如果要更系統(tǒng)、科學(xué)地研究信息傳遞中不同模態(tài)符號資源的協(xié)同規(guī)律，就需要足夠數(shù)量并具有系統(tǒng)性的數(shù)據(jù)支撐，由此激發(fā)了各種多模態(tài)語料庫的建立。所謂語料庫，是指按照一定規(guī)則收集和存儲的大規(guī)模真實語言數(shù)據(jù)的集合，早在 20 世紀 60 年代，美國的語言學(xué)家們就建立了世界上第一個語料庫：布朗語料庫，目前英文和中文語料庫有當代美國英語語料庫（COCA）、英國國家語料庫（BNC）、北京大學(xué)現(xiàn)代漢語語料庫（CCL）、北京語言大學(xué) BCC 語料庫等。語料庫除了能夠服務(wù)語言研究外，還能夠在構(gòu)建語言模型、開發(fā)自動化工具（如機器翻譯、語音識別、文本分類）中發(fā)揮重要作用，比如國內(nèi)多個品牌的翻譯機之所以存在翻譯準確率和翻譯質(zhì)量上的差別，與其內(nèi)置的詞庫和語料庫規(guī)模有直接關(guān)系，而近年來興起的大語言模型（如DeepSeek、ChatGPT、豆包、星火大模型等）因為需要使用規(guī)模巨大的參數(shù)量（百億到萬億級）和數(shù)據(jù)（數(shù)萬億 token）進行預(yù)訓(xùn)練，語料庫的質(zhì)量將會直接影響大模型的性能和輸出結(jié)果。多模態(tài)語料庫是指包含文本、語音、圖像、視頻等多種模態(tài)的語言數(shù)據(jù)集，本次特輯中攝影師曹夢芹參與建立的“中國傳統(tǒng)吉祥寓意圖像多模態(tài)語料庫”就收錄了各種中國傳統(tǒng)敘事圖像及雙關(guān)諧音圖像，并對圖像的寓意主題、寓意構(gòu)建機制和相關(guān)媒體信息、文獻信息等進行了標注。多模態(tài)語料庫的建立能夠為多維度的文化、歷史、語言和社會現(xiàn)象的研究提供重要的數(shù)據(jù)支持，尤其是在數(shù)字人文的發(fā)展背景下，它能夠極大地推動文化遺產(chǎn)的數(shù)字化和多模態(tài)展示，為人文社會學(xué)科的跨學(xué)科研究提供便利，并進一步推進我們對語言/文本和圖像關(guān)系的研究。

展望未來，可以預(yù)見的是，不僅在藝術(shù)領(lǐng)域，在語言、哲學(xué)、社會、思想諸領(lǐng)域，圖像的價值都將進一步體現(xiàn)。在語言研究中，我們常常說“語言是思維的工具”，現(xiàn)在看來，圖像對于思維的重要性或許并不亞于語言，或者說，圖像與語言在未來將越來越緊密地聯(lián)系在一起。

Tips

原來這些語言學(xué)家和文學(xué)家都是攝影師！

劉半農(nóng)：《半農(nóng)談影》

新文化運動先驅(qū)、語言學(xué)家、文學(xué)家、教育家劉半農(nóng)先生，也是中國第一本攝影藝術(shù)理論專著《半農(nóng)談影》的作者。1925年，他從法國巴黎大學(xué)畢業(yè)，獲得法國國家文學(xué)博士學(xué)位，回國后任北京大學(xué)中文系教授，主持建立國內(nèi)最早的語音學(xué)實驗室“北京大學(xué)語音樂律實驗室”。攝影，是劉半農(nóng)十七八歲時的愛好，也是他留法期間緩解失眠調(diào)節(jié)心情的辦法。1927 年，加入攝影團體“北京光社”，同年出版《半農(nóng)談影》和我國最早的攝影年鑒《北京光社年鑒》，劉半農(nóng)的攝影之路，從追求“自己的快樂”逐漸變?yōu)楸憩F(xiàn)“個性”和“中國人特有的情趣與韻調(diào)”。

趙元任：《好玩兒的大師》

與劉半農(nóng)一樣，著名語言學(xué)家趙元任也是一位愛好攝影的“斜杠青年”。他在美國留學(xué)期間，與同學(xué)一起買了一部照相機，從此迷上了攝影。趙元任先生逝世后，他的女兒趙新那和外孫黃家林將家中保存的上萬張底片分類整理，用學(xué)術(shù)、家庭、風景、伯克利歲月四個篇章呈現(xiàn)這位知識分子的影像人生。2022 年，商務(wù)印書館出版《好玩兒的大師：趙元任影記之學(xué)術(shù)篇》，后續(xù)篇章也將陸續(xù)面世?！昂猛鎯骸笔撬麑φZ言學(xué)、對學(xué)術(shù)研究的態(tài)度，也是對攝影乃至人生的好奇與熱愛。

約翰·馬克斯韋爾·庫切：《天生異鄉(xiāng)人》

1983 年、1999 年兩度榮獲布克獎，2003 年摘得諾貝爾文學(xué)獎的約翰·馬克斯韋爾· 庫切（John Maxwell Coetzee），其作品以“結(jié)構(gòu)精致、對話雋永、思辨深邃”而著稱。在文學(xué)創(chuàng)作和研究領(lǐng)域成就斐然的庫切，兒時的夢想其實是成為一名攝影師，他的攝影與寫作實踐相互影響，共同塑造了他。庫切曾言：“從一開始，攝影的痕跡就遍布于我的作品之中，直至所有作品?！薄短焐愢l(xiāng)人》是用“光影”來“寫作”的一本圖像自傳，通過黑白攝影作品再現(xiàn)這位小說家的青春。

關(guān)于作者

張未然

北京大學(xué)、巴黎第七大學(xué)雙校博士，中國傳媒大學(xué)人文學(xué)院副教授、碩士生導(dǎo)師、青年拔尖人才，民盟盟員。主要研究領(lǐng)域為詞匯學(xué)、話語分析、國際中文教育，近年來積極探索語言學(xué)的跨學(xué)科研究，包括多模態(tài)話語分析、語言國際傳播研究等。出版專著《基于認知形態(tài)學(xué)的漢語類詞綴構(gòu)詞研究》，在《現(xiàn)代傳播》《華文教學(xué)與研究》《中國語言生活狀況報告》等發(fā)表學(xué)術(shù)論文十余篇，兩篇研究報告被政府部門采納。曾獲評“北京市第十七屆哲學(xué)社會科學(xué)優(yōu)秀成果獎”二等獎、中國傳媒大學(xué)高水平專著、北京大學(xué)出版社“語言學(xué)前沿叢書年度博士論文”優(yōu)秀論文獎。