多模態(tài)視域下數(shù)字出版的技術(shù)演進與實踐探索

吳煒華　張海超

關(guān)鍵詞：數(shù)字出版；多模態(tài)；融合出版；數(shù)字嗅覺；VR出版

DOI：10.3969/j.issn.2095-0330.2023.01.009

一、問題的提出

2021年12月12日，國務(wù)院印發(fā)的《“十四五”數(shù)字經(jīng)濟發(fā)展規(guī)劃》明確指出要“大力推進產(chǎn)業(yè)數(shù)字化轉(zhuǎn)型”，“加快推動數(shù)字產(chǎn)業(yè)化”，“持續(xù)提升公共服務(wù)數(shù)字化水平”，并對數(shù)字經(jīng)濟新業(yè)態(tài)培育、社會服務(wù)數(shù)字化提升等工作進行了細致指導(dǎo)。數(shù)字出版作為數(shù)字經(jīng)濟的重要組成部分，與文化、教育等社會公共服務(wù)密切相關(guān)。傳統(tǒng)出版產(chǎn)業(yè)能否適應(yīng)時代發(fā)展趨勢完成轉(zhuǎn)型升級，數(shù)字出版產(chǎn)業(yè)能否得到飛速發(fā)展，事關(guān)我國數(shù)字經(jīng)濟的未來。2021年12月28日，國家新聞出版署印發(fā)《出版業(yè)“十四五”時期發(fā)展規(guī)劃》?！冻霭鏄I(yè)“十四五”時期發(fā)展規(guī)劃》立足戰(zhàn)略視野，明確提出建設(shè)出版強國的總體目標，并要求在壯大數(shù)字出版產(chǎn)業(yè)的工作中著力推出一批數(shù)字出版精品，大力發(fā)展數(shù)字出版新業(yè)態(tài)，做大做強新型數(shù)字出版企業(yè)，健全完善數(shù)字出版科技創(chuàng)新體系?！冻霭鏄I(yè)“十四五”時期發(fā)展規(guī)劃》也明確指出出版產(chǎn)業(yè)當(dāng)下的改革重點和未來發(fā)展方向：“著眼滿足消費升級新要求，順應(yīng)數(shù)字時代文化生活移動化智能化個性化新趨勢，精準匹配用戶需求和應(yīng)用場景，推廣互動式、服務(wù)式、場景式傳播，打造數(shù)字出版新產(chǎn)品新服務(wù)新模式。”在“十四五”相關(guān)政策的指導(dǎo)下，我國的出版產(chǎn)業(yè)緊跟數(shù)字時代發(fā)展機遇，進入高速發(fā)展建設(shè)的新時期。

在媒介技術(shù)飛速發(fā)展的當(dāng)下，數(shù)字出版不僅是指對傳統(tǒng)的印刷出版進行數(shù)字化，還強調(diào)出版內(nèi)容的數(shù)字化、生產(chǎn)模式和運作流程的數(shù)字化、傳播載體的數(shù)字化和閱讀消費形態(tài)的數(shù)字化，這是一種更為復(fù)雜的生產(chǎn)、傳播和消費形態(tài)?？疾爝@種復(fù)雜的生產(chǎn)、傳播和消費形態(tài)可以發(fā)現(xiàn)，當(dāng)下的數(shù)字出版具有明顯的“融合”特征。所謂的“融合”不僅是內(nèi)容融合、技術(shù)融合，也是“模態(tài)”的融合。數(shù)字出版帶來了全新的內(nèi)容表征、技術(shù)表征和模態(tài)表征形式，這為數(shù)字出版的發(fā)展帶來了極大挑戰(zhàn)。從內(nèi)容融合角度來說，數(shù)字出版既包括對傳統(tǒng)出版物的數(shù)字化處理，也包括依托數(shù)字媒介直接生產(chǎn)出的內(nèi)容，那么在出版實踐中應(yīng)如何有針對性地生產(chǎn)和加工這些內(nèi)容才能平衡出版工作效率和用戶使用效果？從技術(shù)融合角度來說，數(shù)字出版既包括出版印刷、平面設(shè)計等技術(shù)，也包括數(shù)字轉(zhuǎn)化、三維處理等技術(shù)，那么在出版實踐中哪些技術(shù)才是數(shù)字出版融合發(fā)展的核心和方向？從模態(tài)融合角度說，數(shù)字出版既繼承了傳統(tǒng)的視覺模態(tài)和聽覺模態(tài)，也日益開始向觸覺、嗅覺等模態(tài)積極擴展，那么在出版實踐中如何經(jīng)濟又高效地調(diào)動合適的模態(tài)滿足出版需求和用戶需要？要對傳統(tǒng)出版產(chǎn)業(yè)進行升級轉(zhuǎn)型，并推動數(shù)字出版產(chǎn)業(yè)發(fā)展新業(yè)態(tài)，必然要厘清這些問題。

二、多模態(tài)與數(shù)字出版

隨著內(nèi)容融合和技術(shù)融合的不斷深入，數(shù)字出版的模態(tài)融合趨勢日益明顯。岡瑟·克雷斯（GuntherKress）和西奧·范·魯文（Theo Van Leeuwen）教授認為，“模態(tài)”（modality）是物質(zhì)媒體景觀社會長時間塑造而形成的意義潛勢，是用于表征和交流意義的社會文化資源；而胡壯麟認為，“模態(tài)”是可對比、可對立、可表達、可感知的符號系統(tǒng)；才亞楠認為，模態(tài)指人類通過感官和外部環(huán)境進行互動的方式。無論從哪個角度來看，“模態(tài)”都與“意義”“系統(tǒng)”和“互動”密切相關(guān)。多模態(tài)（multimodality），即多種模態(tài)，在數(shù)字出版中體現(xiàn)為數(shù)字內(nèi)容由多種模態(tài)的符號系統(tǒng)呈現(xiàn)和表達，或者調(diào)動用戶的多種感官與外部環(huán)境進行互動。當(dāng)下數(shù)字出版的模態(tài)融合趨勢即指向多模態(tài)的融合。多種模態(tài)的融合并非單一模態(tài)的簡單相加，而是綜合構(gòu)建出一種更為復(fù)雜但卻往往更易被用戶感知的符號系統(tǒng)。多模態(tài)融合通過調(diào)動用戶的多種感官系統(tǒng)實現(xiàn)與用戶的互動，給予用戶有用、有效、有趣的信息體驗。

多模態(tài)理論的誕生與語言學(xué)中的話語分析密不可分。傳統(tǒng)的語言學(xué)以文字語言為中心，但隨著研究的深入，越來越多的學(xué)者意識到，僅憑借文字并不能滿足話語分析研究的需要。圖像、音樂等非語言符號，均可以作為一種話語模態(tài)影響文字語言的意義表達，但是這些非語言符號在語言學(xué)中卻常常被忽略。在意識到語言學(xué)研究的不足后，學(xué)界便逐漸開始關(guān)注除語言模態(tài)之外的非語言模態(tài)。有學(xué)者認為，羅蘭·巴特（Roland Barthes）在《圖像的修辭》中探討了語言和圖像之間的關(guān)系，開啟了多模態(tài)話語分析的先河；但也有學(xué)者提出，羅蘭·巴特所分析的語言和視覺是分離的，并不能算是真正意義上的多模態(tài)話語分析。直到20世紀90年代，在岡瑟·克雷斯和西奧·范·魯文探討了文字和圖像的意義問題之后，多模態(tài)話語分析作為一個理論才開始蓬勃發(fā)展。多模態(tài)話語分析理論的誕生證明了單一模態(tài)的話語分析理論無法解釋除語言文字以外的、復(fù)雜的意義現(xiàn)象，更不能滿足相關(guān)研究的需要。

岡瑟·克雷斯和西奧·范·魯文認為，就語言學(xué)而言，多模態(tài)研究主要有四種范式，分別是博拉各學(xué)派、巴黎學(xué)派、美國語言學(xué)家對口語與非語言的研究以及韓禮德（Halliday）的系統(tǒng)功能語言學(xué)。經(jīng)過數(shù)十年發(fā)展，多模態(tài)話語分析又出現(xiàn)了地理符號學(xué)、多模態(tài)互動分析、多模態(tài)民族志、多模態(tài)語料分析和多模態(tài)感知分析等等。由此可以發(fā)現(xiàn)，多模態(tài)話語分析已不再局限于語言和圖像之間。從話語角度來說，多模態(tài)話語可以分為語言話語和非語言話語；從形式關(guān)系角度來說，多模態(tài)話語可從形式和關(guān)系兩個角度考察；也有學(xué)者從宏觀到微觀，提出了逐步深入的文化、語境、內(nèi)容、表達等多模態(tài)話語分析的綜合框架，但是，上述理論均在話語分析的框架內(nèi)。當(dāng)多模態(tài)脫離話語分析的范疇乃至語言學(xué)的范疇時，尤其是不將其視作一種研究方法，而將其視作一個理論框架時，多模態(tài)仍舊體現(xiàn)出多種意義系統(tǒng)的符號互動。在此基礎(chǔ)上，筆者認為，多模態(tài)作為一個理論框架，提示了研究者應(yīng)對傳播過程中的感官體驗問題加以特別關(guān)注。

多模態(tài)理論中的多模態(tài)并不等同于多媒體，多模態(tài)強調(diào)的是多種感知模式，而多媒體更強調(diào)媒介的物質(zhì)屬性。同樣，數(shù)字出版的多模態(tài)化不同于數(shù)字出版的多媒體化。李戰(zhàn)子和陸丹云認為，多媒體化是社會實踐的常態(tài)，而多模態(tài)化是當(dāng)今文化系統(tǒng)的固有特性。按照李戰(zhàn)子和陸丹云的觀點來解釋數(shù)字出版，多媒體化是數(shù)字出版實踐中顯露出的普遍態(tài)勢，而多模態(tài)化則是一種文化層面的特性。就數(shù)字出版物而言，多媒體化強調(diào)的是將多種媒體要素應(yīng)用于數(shù)字出版物；而多模態(tài)化強調(diào)的是數(shù)字出版物的多種模態(tài)對用戶信息感知、文化感知產(chǎn)生的影響。當(dāng)然，從多模態(tài)理論出發(fā)，考察媒介的多模態(tài)，并不是要脫離媒介的物質(zhì)屬性，而是要更加關(guān)注用戶（受眾）的信息體驗。隨著媒介的發(fā)展，時間碎片化、閱讀碎片化、知識碎片化等等已經(jīng)成為社會發(fā)展的必然趨勢，而多模態(tài)理論則為語言學(xué)、符號學(xué)、傳播學(xué)、教育學(xué)等學(xué)科提供了應(yīng)對社會“碎片化”發(fā)展的重要理論資源，多模態(tài)理論也為數(shù)字出版應(yīng)對當(dāng)下時間碎片化、閱讀碎片化、知識碎片化等趨勢提供了應(yīng)對策略。

岡瑟·克雷斯和西奧·范·魯文認為，相較于傳統(tǒng)語言模態(tài)的單一闡釋，文化中的多模態(tài)資源可以在任一符號、層次和模式中產(chǎn)生意義；而從單一模態(tài)到多種模態(tài)，正是當(dāng)下數(shù)字出版實踐中的突出特點。一般來說，模態(tài)可以分為視覺、聽覺、觸覺、嗅覺、味覺等。早期的出版物多以視覺模態(tài)的形式表達意義，隨著電子媒介的發(fā)展，聽覺也漸漸成為出版物的新模態(tài)；而當(dāng)下的數(shù)字出版不僅包括視覺模態(tài)的出版形態(tài)和電子出版早期階段的聽覺模態(tài)的出版形態(tài)，還逐漸面向觸覺、嗅覺等多種模態(tài)的出版形態(tài)，并朝著綜合全感模態(tài)的出版形態(tài)發(fā)展。

數(shù)字出版，從字面上看，即數(shù)字化的出版形式。孫瑋認為，這種數(shù)字化的出版形式不是意味著將紙質(zhì)媒介原封不動地放置到數(shù)字媒介上，數(shù)字出版意味著一種全新的知識生產(chǎn)和傳輸方式；侯欣潔也認為，雖然數(shù)字出版重視數(shù)字化手段，但是更重視其用數(shù)字化手段重塑傳統(tǒng)出版形態(tài)并萌生新形態(tài)的出版行為領(lǐng)域。數(shù)字出版通過AI、VR、MR、感官交互、傳感器、大數(shù)據(jù)等技術(shù)打造出融合多種感官模態(tài)的出版形態(tài)；與此同時，這些技術(shù)的發(fā)展也推動了“閱讀”的數(shù)字化和多模態(tài)化。在多模態(tài)的理論框架下，數(shù)字出版通過媒介技術(shù)與感官交互連接了現(xiàn)代出版觀與科技傳播觀，并通過符號生成與意義感知搭建起知識社會學(xué)和新聞傳播學(xué)溝通的橋梁。多模態(tài)作為數(shù)字出版研究的一個新視角，不僅聚焦于媒介技術(shù)問題，其也對媒介技術(shù)與內(nèi)容意義、知識生產(chǎn)與文化傳播進行了綜合考察。目前，學(xué)界對出版數(shù)字化、閱讀數(shù)字化的研究較為充分，但是少有學(xué)者關(guān)注到數(shù)字出版和數(shù)字閱讀的多模態(tài)問題。數(shù)字出版的多模態(tài)賦能可以建構(gòu)出更加靈活多元的數(shù)字閱讀環(huán)境，為用戶提供更豐富的閱讀體驗；數(shù)字閱讀調(diào)動的多種感官系統(tǒng)也將“閱讀”從單一的視覺行為或聽覺行為擴展為多種感官共同參與的過程。隨著數(shù)字出版實踐深度融合進程的加快，建構(gòu)數(shù)字出版物的多模態(tài)理論，用其指導(dǎo)數(shù)字出版實踐，并使數(shù)字出版實踐得到進一步發(fā)展，具有迫切的現(xiàn)實需求和較高的學(xué)理意義。

三、數(shù)字出版的多模態(tài)實踐與探索

從模態(tài)的角度來看，現(xiàn)有的數(shù)字出版物主要存在視覺模態(tài)、聽覺模態(tài)、觸覺模態(tài)和嗅覺模態(tài)四種模態(tài)。按照羅杰·菲德勒（Roger Fidler）媒介形態(tài)變化的觀點，媒介的發(fā)展是共同演進的，而不是相繼進化或者相互取代，依托媒介技術(shù)的數(shù)字出版模態(tài)也是如此。四種模態(tài)是一個相互疊加的過程，而不是一個取代的過程。從當(dāng)下數(shù)字出版實踐的發(fā)展歷程來看，視覺模態(tài)、聽覺模態(tài)、觸覺模態(tài)和嗅覺模態(tài)依次疊加發(fā)展，形成了以視覺模態(tài)、聽覺模態(tài)為主，觸覺模態(tài)和嗅覺模態(tài)為輔的多模態(tài)數(shù)字出版形態(tài)，并朝著綜合全感模態(tài)的數(shù)字出版形態(tài)發(fā)展。

（一）數(shù)字出版的基礎(chǔ)視覺模態(tài)：文字和圖像的數(shù)字化

如果將抄本書籍或者印刷書籍視為閱讀行為的對象，那么書籍的出版和閱讀便可追溯至公元前5世紀。抄本書籍作為重要的媒介載體，突破了口語傳播的局限，使信息得以更為廣泛和持久地傳播；隨著印刷技術(shù)的發(fā)展，文字和圖像得以被快速地大量復(fù)制，印刷書籍進一步推動了知識的傳播。馬歇爾·麥克盧漢（Marshall McLuhan）認為，印刷書籍的歷史大約只占西方書籍史的三分之一，但是，不管是抄本書籍還是印刷書籍，讀者都是通過眼睛獲取書籍的內(nèi)容信息。對于傳統(tǒng)出版物而言，無論是文字還是圖像，無論是抄本書籍還是印刷書籍，首先要保證其在視覺維度是可見的。梅洛-龐蒂（Merleau Ponty）在通過繪畫論述眼睛和身體的關(guān)系時也表明，“不知者求教于一個懂得一切的視覺”。梅洛-龐蒂重視視覺的觀點也從側(cè)面反映出“觀看”對于信息獲取、知覺感知和行為活動等的重要性。繪畫作為出版物的一種內(nèi)容類型和文字一樣，都是以視覺的模態(tài)傳遞信息，脫離了視覺模態(tài)，人類好像就無法感知到傳統(tǒng)出版物所帶來的知識和信息。由于媒介技術(shù)的限制，在大多數(shù)情況下，傳統(tǒng)出版物只能帶給讀者視覺模態(tài)的感知。

在數(shù)字出版的浪潮下，視覺模態(tài)作為一種基礎(chǔ)的閱讀模態(tài)首先實現(xiàn)了跨越式發(fā)展。原本的紙質(zhì)出版物被電子化、數(shù)字化為電子出版物和數(shù)字出版物。從早先的電子書、電子閱讀器，再到今天的移動閱讀、融合出版客戶端，視覺模態(tài)已經(jīng)完成媒介形式的拓展，即將紙質(zhì)書籍拓展為電腦、閱讀器、手機等電子設(shè)備。除了媒介的變化，人們對視覺模態(tài)的感知體驗也得到大幅度提升。由于紙質(zhì)印刷物的機器、紙張、油墨等因素，書籍出版物的形式往往會受到一定限制，比如印刷不清晰、出現(xiàn)色差等問題，但是在數(shù)字出版物中，這些問題基本上都得到了解決。由于媒介技術(shù)的發(fā)展，電子屏幕清晰度、色彩度不斷提升，相較于紙質(zhì)出版物而言，數(shù)字出版物不僅便于攜帶、便于保存，還可提供更為清晰、多彩的閱讀體驗。并且，數(shù)字出版物的一大優(yōu)勢就是其文字和圖像不僅是靜態(tài)的，還可以進行動態(tài)化呈現(xiàn)。亞馬遜公司就曾在2017年推出了Kindle in Motion（KiM）格式，在原本靜態(tài)的電子書籍中加入動畫、視頻等動態(tài)的視覺效果。這樣一來，數(shù)字出版物便大大豐富了讀者的視覺體驗。隨著VR、MR、AR等技術(shù)的發(fā)展，數(shù)字出版已經(jīng)開始打破虛擬和現(xiàn)實的界限，借助VR眼鏡等設(shè)備，用戶可進行全息式的數(shù)字閱讀。范雨竹和周安平認為，借助可穿戴設(shè)備，閱讀不僅是二維的“平面閱讀”，還可以是三維的“立體閱讀”?！傲Ⅲw閱讀”是一種“沉浸傳播”，可以使觀眾主動進行閱讀探索。從二維到三維，調(diào)動的仍然是讀者的視覺模態(tài)，但就閱讀體驗而言，數(shù)字出版提供了一種更為形象、真實、立體的視覺模態(tài)，這與傳統(tǒng)出版物的視覺體驗存在顯著差異。

（二）數(shù)字出版的拓展聽覺模態(tài)：有聲書籍的聽讀

由于媒介技術(shù)的局限和人類獲取信息的慣習(xí)等因素，書籍出版物在兩千多年的歷史中主要是以“可看”的視覺模態(tài)傳播，直到進入電子時代，聽覺才和書籍出版聯(lián)系在了一起。在早期的廣播中，就已經(jīng)有了“讀書”的節(jié)目，雖然這并不是今天意義上的數(shù)字出版物或者“有聲書籍”，但是“閱讀”從視覺模態(tài)向聽覺模態(tài)拓展的趨勢在那時就已初見端倪。隨著錄音帶、CD等聲音載錄技術(shù)的發(fā)展，今天意義上的有聲出版物應(yīng)運而生。宋青認為，在改革開放之初，“廣播長書”已經(jīng)開始“中興”，“在輯聽書”“網(wǎng)絡(luò)聽書”都是廣播長書融合發(fā)展的結(jié)果。在互聯(lián)網(wǎng)時代，有聲出版平臺不僅提供了暫停、回放等功能，還具備無限的“貨架空間”供用戶選擇和存儲，相較于之前的錄音帶、CD而言，用戶收聽更加便利，有聲出版物也因此得到飛速發(fā)展。

將文字的視覺閱讀轉(zhuǎn)換為可聽聲音的有聲出版物主要可分為兩種：一種是作為視覺閱讀的輔助模態(tài)，即在看書的過程中，可以同時聽書，常用于輔助近視、遠視等群體的閱讀；另一種則是在一定程度上脫離視覺模態(tài)的有聲出版物，常出現(xiàn)于駕駛、運動等視覺模態(tài)無法完全被數(shù)字出版物所調(diào)動的場景中。視覺模態(tài)和聽覺模態(tài)的協(xié)作和轉(zhuǎn)換為數(shù)字出版提供了極為豐富的功能和場景。《中國共產(chǎn)黨簡史（有聲版）》《新中國口述史（1949—1978）（有聲版）》《寫給青少年的黨史（有聲書）》等有聲讀物入選了國家新聞出版署“2021年全國有聲讀物精品出版工程”。這些紅色出版物以有聲書為形式，對重大主題的宣傳和教育進行了數(shù)字化出版創(chuàng)新，實現(xiàn)了思想、知識、藝術(shù)等方面的共贏。此外，還有一種有聲出版物引入了聽覺模態(tài)，但是其“有聲”并非體現(xiàn)在對視覺閱讀的模態(tài)轉(zhuǎn)換上，而是以配樂的形式出現(xiàn)。這里的配樂與出版物內(nèi)容無直接關(guān)系，但是可以起到營造閱讀環(huán)境、配合情節(jié)發(fā)展等作用，這種配樂式的有聲出版物在驚悚小說和兒童讀物領(lǐng)域比較常見，聽覺模態(tài)在此類數(shù)字出版物中也是一種輔助視覺模態(tài)敘事感知的方式。

早期的有聲書發(fā)展依托錄音帶、CD等媒介，進入互聯(lián)網(wǎng)時代后，有聲書便開始借助網(wǎng)絡(luò)平臺的傳播優(yōu)勢。在大數(shù)據(jù)、人工智能、物聯(lián)網(wǎng)等媒介技術(shù)高速發(fā)展的當(dāng)下，有聲書開始向個性化設(shè)計、個性化推薦等方向發(fā)展。比如，用戶可以通過自主操作，選擇有聲書的播送音色。很多有聲書App都提供了多位著名播音員、演員、歌手的聲音以供用戶選擇。這些音色具有較高的辨識度，相較于一般的有聲書籍而言，用戶的接受度和體驗感都會更高。不過，僅憑人工播讀，數(shù)字出版物的多模態(tài)處理效率難以保障。隨著人工智能技術(shù)的發(fā)展，機器可以根據(jù)算法程序?qū)崿F(xiàn)自動播讀，這便解決了傳統(tǒng)出版物在進行多模態(tài)處理時的效率問題。除此之外，用戶還可自主調(diào)節(jié)有聲書播送的語速、輔助閱讀的音效等等。在數(shù)字出版多模態(tài)化發(fā)展的當(dāng)下，有聲出版物不僅實現(xiàn)了對傳統(tǒng)出版物的模態(tài)擴展，其自身模態(tài)也在被不斷地開發(fā)和細化，以便更好地服務(wù)于用戶的數(shù)字閱讀，提升用戶數(shù)字閱讀的多模態(tài)化體驗。

（三）數(shù)字出版的互動觸覺模態(tài)：交互技術(shù)下的參與反饋

如果以多模態(tài)的視角梳理數(shù)字出版的相關(guān)文獻，現(xiàn)有的數(shù)字出版文獻主要集中在視覺模態(tài)和聽覺模態(tài)上，很少有學(xué)者關(guān)注視覺模態(tài)和聽覺模態(tài)以外的模態(tài)。但是隨著技術(shù)的發(fā)展，電子書、有聲書也積極探索新的出版形態(tài)，其中最常見的就是將觸覺模態(tài)的“交互”引入數(shù)字出版物。例如2020年由新華網(wǎng)推出，獲得第31屆中國新聞獎頁（界）面設(shè)計項目一等獎的《大河奔流——黃河流域生態(tài)保護和高質(zhì)量發(fā)展》就立足交互，結(jié)合3D動畫框架、海量數(shù)據(jù)可視化、VR全景等技術(shù)講述黃河文化和生態(tài)保護等方面的故事和知識，并通過視頻互動和嵌入地圖框架等方式與用戶進行互動，全網(wǎng)累計訪問3000余萬次，獲得了廣泛好評。用戶通過界面操作深度參與閱讀，這便反映出交互作為數(shù)字出版的重要模態(tài)具有巨大的應(yīng)用前景。

在數(shù)字閱讀的視野下，“閱讀”不僅是“可視”和“可聽”的，還是在觸覺上“可感”的。實際上，關(guān)于出版物的觸覺應(yīng)用并非新鮮事物，盲文書籍就是通過觸覺傳達信息的。由于盲文書籍的特殊性，觸覺模態(tài)自然是信息傳播的主要模態(tài)。廣東大音音像出版社使用國際前沿的DAISY（Digital AccessibleInformation System）技術(shù)，即數(shù)字無障礙信息系統(tǒng)技術(shù)，推出了“盲人中小學(xué)生無障礙閱讀工程”。通過數(shù)字轉(zhuǎn)化，出版物的文字內(nèi)容不僅可以以觸覺模態(tài)被感知，還可同時以聽覺模態(tài)被呈現(xiàn)?！懊と酥行W(xué)生無障礙閱讀工程”獲得了國家新聞出版署評選的第五屆中國出版政府獎，對無障礙閱讀的數(shù)字化發(fā)展具有重要意義。

除了盲文書籍以外，觸覺模態(tài)在傳統(tǒng)出版物中并不是很受重視，因為出版物主要的信息并不通過觸覺模態(tài)傳達；在感觀上，雖然裝幀、紙張等也通過觸覺模態(tài)傳遞著一定信息，但這一般很難給讀者帶來具有實際價值的信息。在數(shù)字出版時代，觸覺模態(tài)則在數(shù)字出版物中衍化出豐富的功能和體驗。從文本閱讀的過程來說，數(shù)字出版物依托電子或數(shù)字閱讀器，通過交互技術(shù)，向用戶提供加入書簽、跳轉(zhuǎn)頁面、添加筆記、標記內(nèi)容等多項使用功能，用戶只需要通過手指在屏幕上操作便可便捷地完成多種輔助閱讀行為。由于媒介載體的不同，“閱讀”從“翻閱式”拓展為以“點擊式”為主，并和“翻閱式”共存。無論是用鼠標還是用手指，“點擊式”閱讀均需要調(diào)動用戶的觸覺模態(tài)，使用戶進入數(shù)字出版物所建構(gòu)的“超文本”（HyperText）之中。超文本，即以超鏈接的形式互相連接的文本。超鏈接文本具有復(fù)雜的網(wǎng)狀結(jié)構(gòu)，通過點擊，用戶可以實現(xiàn)實時的頁面跳轉(zhuǎn)、在線查詢、文字翻譯等功能，而這些在傳統(tǒng)出版中是難以實現(xiàn)的。由此可見，用戶觸摸的感覺和反饋對于數(shù)字出版而言非常重要。從技術(shù)可供性的角度說，也正是觸覺模態(tài)的存在，才使用戶的想法得以在媒介上得到表達和反饋。觸覺模態(tài)的引入賦予了用戶極大的自主性，較之于傳統(tǒng)書籍，參與性和操作性更強的數(shù)字出版物提供給用戶更高的主體價值和使用體驗。為了提升用戶的使用體驗，開發(fā)觸覺模態(tài)便成為當(dāng)下數(shù)字出版實踐持續(xù)發(fā)力的目標之一。從高校數(shù)字出版人才培養(yǎng)來看，與交互編創(chuàng)素養(yǎng)培育相關(guān)的課程也已經(jīng)成為當(dāng)下數(shù)字出版人才培養(yǎng)體系的重要組成部分。以中國傳媒大學(xué)為代表的高校，就在數(shù)字出版人才培養(yǎng)體系中加入了多門交互設(shè)計類課程，以滿足業(yè)界對數(shù)字出版人才的技能要求。

當(dāng)然，對于數(shù)字出版物觸覺模態(tài)的探討不能僅停留在操作層面的機械反饋，觸覺模態(tài)強調(diào)互動，更強調(diào)如何通過互動調(diào)動用戶的觸覺感官，提升數(shù)字出版物的綜合閱讀體驗。比如在進行點擊、翻頁、調(diào)整背光等操作時的振動反饋，就從觸覺模態(tài)的維度強化了數(shù)字閱讀的體驗。從文本內(nèi)部來說，數(shù)字出版物經(jīng)常以振動反饋的形式喚起觸覺模態(tài)，輔助數(shù)字閱讀，建構(gòu)數(shù)字化閱讀語境，提升數(shù)字閱讀的交互體驗。在應(yīng)用中體現(xiàn)為根據(jù)數(shù)字出版物的內(nèi)容需要進行振動反饋，如遇到緊張的動作情節(jié)，可以通過一定頻率的振動幫助用戶進入閱讀節(jié)奏和閱讀環(huán)境。除了振動之外，技術(shù)還有望通過傳感器實現(xiàn)壓力、作用力、平衡、熱量、寒冷/潮濕、電擊、疼痛和瘙癢等觸覺體驗，這些不同的觸覺模態(tài)可能在未來給用戶帶來交互性更強、體驗感更為豐富的數(shù)字閱讀體驗。

（四）數(shù)字出版的前沿嗅覺模態(tài)：數(shù)字嗅覺信號與輔助閱讀

報紙從誕生之日起，就帶有一種油墨氣味。隨著印刷技術(shù)的提升，如今報紙、書籍很少再有濃重的油墨氣味。但是，由于紙張、裝訂方式等原因，傳統(tǒng)出版物還是經(jīng)常出現(xiàn)獨特的“書香”。不過，所謂的“書香”只是作為一種出版形態(tài)的標識，本身并不意圖傳遞特殊的信息意義。2011年，《洛陽晚報》推出了國內(nèi)首份“4D”報紙，嘗試將氣味作為傳遞信息的模態(tài)方式?！?D”報紙是在通過3D眼鏡觀看立體圖像的基礎(chǔ)上，增加了牡丹的花香氣味。牡丹是洛陽市市花，在報紙中引入牡丹氣味，對推廣牡丹文化、推動牡丹產(chǎn)業(yè)發(fā)展來說是一個巨大的創(chuàng)新嘗試，這也是對出版物多模態(tài)化的創(chuàng)新?！?D”報紙一經(jīng)發(fā)售便銷售一空，一時間“洛陽紙貴”，這說明嗅覺模態(tài)在出版物中具有一定的應(yīng)用價值。也有相關(guān)人士倡議，《錢江晚報》可以打造特定的氣味版面體現(xiàn)標志性的杭州味道。這些均是傳統(tǒng)出版物期望將嗅覺模態(tài)引入出版物，并通過氣味傳播特定信息的創(chuàng)新嘗試。

隨著DSP（Digital Signal Processor）等技術(shù)的發(fā)展，數(shù)字嗅覺開始進入研究視野。數(shù)字嗅覺的原理是將氣味信號轉(zhuǎn)換成數(shù)字信號，再將數(shù)字信號轉(zhuǎn)換為氣味信號。這一看似難以實現(xiàn)的過程在理論上可通過仿生學(xué)方法、數(shù)字化方法等實現(xiàn)。數(shù)字化后的氣味可通過電子路徑遠距離傳輸?shù)浇邮斩耍诮邮斩嗽俦贿€原成氣味信號。也有學(xué)者提出，可通過電子、熱感、磁力等數(shù)字方式對嗅覺進行刺激，以實現(xiàn)嗅覺模態(tài)的感覺交互。但是在技術(shù)實踐中，現(xiàn)階段數(shù)字氣味識別、存貯、再現(xiàn)等仍存在一定的技術(shù)難題。

有學(xué)者嘗試開發(fā)融合了嗅覺、味覺、觸覺等的多模態(tài)講故事系統(tǒng)。從用戶測試反饋的結(jié)果來說，多種模態(tài)的運用有效提升了通過數(shù)字講故事的吸引力，并且能有效增強學(xué)習(xí)動機，改善學(xué)習(xí)狀態(tài)。從理論上說，多種模態(tài)協(xié)同，不僅可以有效提升數(shù)字出版物的意義傳達效果，也有助于提升用戶數(shù)字閱讀的感官體驗。Aryballe、OW Smell Digital等公司早已開始探索數(shù)字嗅覺在元宇宙領(lǐng)域的應(yīng)用；在一些日用產(chǎn)品、家用電器、醫(yī)療用品、彩妝香水中，數(shù)字嗅覺甚至數(shù)字味覺已經(jīng)得到初步應(yīng)用，但由于現(xiàn)階段的技術(shù)并不是非常成熟，加之研發(fā)成本高、使用價格昂貴、支持相關(guān)功能的終端設(shè)備普及率較低等原因，所以數(shù)字嗅覺尚未被廣泛地應(yīng)用于數(shù)字出版。但隨著媒介技術(shù)的不斷發(fā)展和用戶閱讀體驗的不斷提升，數(shù)字嗅覺在未來很可能會像今日的觸覺模態(tài)一樣，作為一種提升閱讀體驗的擴展模態(tài)，流行于某些種類的數(shù)字出版物中；隨著傳感器技術(shù)的發(fā)展，數(shù)字味覺甚至也有望出現(xiàn)在特定種類的數(shù)字出版物中。

（五）數(shù)字出版的綜合全感模態(tài)：VR/AR/MR與場景閱讀

VR（虛擬現(xiàn)實）、AR（增強現(xiàn)實）、MR（混合現(xiàn)實）等技術(shù)嘗試打造融合視覺、聽覺、觸覺等模態(tài)的文化消費新場景。VR、AR、MR等技術(shù)不僅融合了多種感官的感知模態(tài)，其還建構(gòu)了一種跨越虛擬和現(xiàn)實的感知模態(tài)。萬安倫、王劍飛認為，VR、AR、MR等技術(shù)將沖破現(xiàn)實的阻礙，并重新建構(gòu)閱讀場景。在新技術(shù)建構(gòu)的虛擬閱讀場景中，用戶得以打破傳統(tǒng)閱讀的時間空間限制，擁有更高的自主性；用戶閱讀的姿勢不僅可以是“坐”或“站”，還可以是“運動”的。 VR、AR、MR等技術(shù)在數(shù)字出版中的初步應(yīng)用，提供給用戶一系列數(shù)字閱讀和文化消費的新場景。

隨著虛擬現(xiàn)實技術(shù)的發(fā)展，近年來已有一批出版社開始嘗試將VR、AR、MR等技術(shù)應(yīng)用于少兒圖書的出版，推出了《恐龍大世界（AR版）》《VR恐龍世界》《天工開物——給孩子的中國古代科技百科全書VR禮盒》等具有虛擬性和互動性的出版物，為兒童用戶提供集學(xué)習(xí)和游戲為一體的沉浸式、參與式閱讀。VR、AR、MR等技術(shù)建構(gòu)的文化消費和數(shù)字閱讀場景具有極高的參與性和趣味性，這對少兒出版物的未來發(fā)展具有重要意義。2022年2月9日，國內(nèi)第一家“元宇宙”虛擬雜志《MO Magazine》上線。《MO Magazine》創(chuàng)刊號主題為“曼塔沃斯”，音譯自“Metaverse”，并由真實演員井柏然和虛擬人AYAYI共同為創(chuàng)刊號拍攝封面。《MO Magazine》力圖通過VR的虛擬現(xiàn)實模態(tài)，呈現(xiàn)藝術(shù)、技術(shù)、商業(yè)的創(chuàng)新和趨勢，探索VR、AR、MR等技術(shù)為重構(gòu)現(xiàn)實閱讀場景并建構(gòu)新的虛擬閱讀場景所帶來的無限可能。

四、多模態(tài)對數(shù)字出版實踐的重構(gòu)

以視覺模態(tài)（如電子書）、聽覺模態(tài)（如有聲書）呈現(xiàn)的數(shù)字出版物可僅憑借單一一種模態(tài)傳遞信息意義，一部分以觸覺模態(tài)（如盲文書）呈現(xiàn)的數(shù)字出版物亦然，但是大部分觸覺模態(tài)和全部的嗅覺模態(tài)在數(shù)字出版物上的呈現(xiàn)，一般都是疊加在視覺模態(tài)和聽覺模態(tài)的基礎(chǔ)上。視覺模態(tài)和聽覺模態(tài)雖然可以憑借單一模態(tài)呈現(xiàn)數(shù)字出版的內(nèi)容，但是二者仍積極嘗試融入更多的模態(tài)以滿足用戶的體驗需求。隨著媒介技術(shù)的發(fā)展，各種新媒介層出不窮，這些新媒介均嘗試對模態(tài)進行擴展，比如廣播媒介在聽覺模態(tài)的基礎(chǔ)上引入視覺模態(tài)，VR媒介在視覺模態(tài)、聽覺模態(tài)、觸覺模態(tài)的基礎(chǔ)上開發(fā)嗅覺模態(tài)，等等。但是，從動因來看，數(shù)字出版多模態(tài)化的發(fā)展趨勢不僅是由于媒介技術(shù)的外在推進，還有著內(nèi)容創(chuàng)新、感官體驗等多方面的內(nèi)在驅(qū)動。多模態(tài)化的數(shù)字出版物生產(chǎn)和加工方式對用戶個人的信息接收過程產(chǎn)生了前所未有的影響，也對數(shù)字出版實踐的整體結(jié)構(gòu)進行了重構(gòu)。與多模態(tài)相關(guān)的數(shù)字出版技術(shù)實踐、數(shù)字出版流程體系、數(shù)字出版消費方式等均因模態(tài)的融合擴展而發(fā)生了重大改變，數(shù)字出版實踐整體也因此呈現(xiàn)出與傳統(tǒng)出版實踐存在顯著差異的結(jié)構(gòu)和特點。

就目前數(shù)字出版實踐的發(fā)展狀況和相關(guān)技術(shù)的成熟程度來說，當(dāng)下的數(shù)字出版物基本上仍是以視覺模態(tài)、聽覺模態(tài)為主要、基礎(chǔ)的閱讀模態(tài)，以觸覺甚至嗅覺模態(tài)為輔助的閱讀模態(tài)。但是，數(shù)字出版已呈現(xiàn)出向綜合全感模態(tài)的出版形態(tài)發(fā)展的趨勢。多模態(tài)為數(shù)字出版實踐帶來了新業(yè)態(tài)，也帶來了新挑戰(zhàn)。當(dāng)下，數(shù)字出版的多模態(tài)化發(fā)展仍存在很多技術(shù)難題，但是數(shù)字出版多模態(tài)化已經(jīng)成為當(dāng)下數(shù)字出版融合發(fā)展的必然趨勢。隨著媒介技術(shù)的不斷發(fā)展和用戶閱讀體驗的不斷提升，數(shù)字出版實踐必然要在早期多媒體化的基礎(chǔ)上融合升級，走向多模態(tài)化發(fā)展。因此，發(fā)展多模態(tài)相關(guān)理論和技術(shù)在數(shù)字出版實踐中的應(yīng)用，是我國數(shù)字出版產(chǎn)業(yè)積極地應(yīng)對數(shù)字時代的媒介技術(shù)挑戰(zhàn)、更好地滿足當(dāng)下用戶信息需求的重要舉措，這也有助于推動我國更快地邁向出版強國行列，使數(shù)字出版產(chǎn)業(yè)更好地服務(wù)于國家數(shù)字經(jīng)濟發(fā)展。

（作者吳煒華系中國傳媒大學(xué)新聞傳播學(xué)部教授、博士生導(dǎo)師；張海超系中國傳媒大學(xué)新聞傳播學(xué)部2020 級博士研究生）