多模態(tài)交互理念下黃河文化數(shù)字化傳承策略探究

張博文，李玉童

（鄭州輕工業(yè)大學(xué) 藝術(shù)設(shè)計學(xué)院，河南 鄭州 450002）

2020年8月，習(xí)近平總書記主持召開中共中央政治局會議，審議《黃河流域生態(tài)保護和高質(zhì)量發(fā)展規(guī)劃綱要》。他提出：“要大力保護和弘揚黃河文化，延續(xù)歷史文脈，挖掘時代價值，堅定文化自信?！保?］同年，文化和旅游部研究出臺的《關(guān)于推動數(shù)字文化產(chǎn)業(yè)高質(zhì)量發(fā)展的意見》，明確指出了培育云展覽、數(shù)字藝術(shù)、沉浸式體驗等新型業(yè)態(tài)的具體路徑［2］。弘揚黃河文化、推動黃河流域數(shù)字文化產(chǎn)業(yè)高質(zhì)量發(fā)展具有時代意義。要想發(fā)揮資源優(yōu)勢，首先就須盤活各類資源。數(shù)字技術(shù)正在深刻地改變我們的生活。在此背景下，要引入多模態(tài)交互理念，搭建令人震撼的虛擬場景，構(gòu)建動態(tài)展示系統(tǒng)，拓寬培育新業(yè)態(tài)的路徑，以實現(xiàn)黃河文化多角度呈現(xiàn)、多維感官傳達與體驗、活態(tài)傳承和保護，實現(xiàn)黃河文化的廣泛傳播。本文擬對多模態(tài)交互理念下黃河文化數(shù)字化傳承策略進行探討。

一、多模態(tài)交互理論與黃河文化數(shù)字化傳承

模態(tài)，英文為modality，即“感官”，由德國生理學(xué)家赫爾姆霍茨最早提出。生物依靠感知器官和體驗接收信息，感官是生物接收信息的一條重要渠道。對人體而言，眼耳口鼻手為基本模態(tài)，人通過視覺、聽覺、觸覺、嗅覺與味覺從外界獲得信息，在所獲信息中，這五種感知方式的貢獻，其占比分別是83%、11%、3.5%、1.5%與 1%。人體中，各個感覺系統(tǒng)都在不斷地接收來自不同刺激源的信號輸入，并根據(jù)這些信號做出恰當(dāng)反應(yīng)。把多種感官都調(diào)動起來，就構(gòu)成了所謂的多模態(tài)，也就是說，多模態(tài)是指兩個以上感官作用的融合。而多模態(tài)交互指的是人通過聲音、肢體語言、信息載體（文字、圖片、音頻、視頻）、環(huán)境等多個通道，與計算機交流，模擬人與人之間的溝通，采用人與人之間的交互方式來進行，不同模態(tài)通道內(nèi)的信息，最終會合并統(tǒng)一［3］。也就是說，多模態(tài)交互是指產(chǎn)生視覺、聽覺、嗅覺、味覺和觸覺的感官的交互，它通過眼、耳、鼻、嘴和皮膚的接觸來實現(xiàn)，其技術(shù)應(yīng)用也都圍繞人的這五個感官來展開。隨著科學(xué)技術(shù)的不斷進步，運用多模態(tài)交互形式和虛擬現(xiàn)實技術(shù)進行的跨場景搭建與多任務(wù)下多模態(tài)交互基礎(chǔ)模型的構(gòu)建逐漸成為現(xiàn)實，同時，在數(shù)字媒體藝術(shù)與多模態(tài)交互設(shè)計等方面亦有所突破，其應(yīng)用能夠促進感官認知恢復(fù)和文化體驗提升?；诖?，多模態(tài)交互成為當(dāng)前學(xué)術(shù)界研究的一個重點。

文化的傳承發(fā)展在很大程度上要通過媒介平臺傳播來實現(xiàn)，一種文化如果失去傳播的空間，就很有可能默默地消亡，所涉及的群體很有可能患上文化失憶癥。如今，數(shù)字技術(shù)已全方位滲透進人們的生活。技術(shù)創(chuàng)新一般都有人文創(chuàng)新伴隨，二者水乳交融?，F(xiàn)在，文化藝術(shù)與數(shù)字技術(shù)聯(lián)姻非常普遍，二者的聯(lián)系越來越緊密。實踐證明，數(shù)字化媒介可促進傳統(tǒng)文化的有效傳承［4］。講好黃河故事，推進黃河文化數(shù)字化傳承和創(chuàng)新性發(fā)展，是增強文化自信和民族凝聚力的現(xiàn)實需要，是時代賦予當(dāng)代人的光榮使命，同時它也是一個新的重要課題。要推動黃河文化傳播邁入新時代。如今，數(shù)字技術(shù)不斷取得突破。相應(yīng)地，人們的數(shù)字思維逐步升級。5G、人工智能、物聯(lián)網(wǎng)等新技術(shù)的廣泛應(yīng)用，推進了新一輪數(shù)字化。新技術(shù)為數(shù)字化藝術(shù)創(chuàng)作和數(shù)字文化產(chǎn)業(yè)發(fā)展提供了可能，也為黃河文化數(shù)字化傳播提供了可能，新的思維為黃河文化數(shù)字化傳承提供了新的思路和新的創(chuàng)意。數(shù)字體驗?zāi)Ｊ脚c黃河文化的聯(lián)姻是弘揚黃河文化的需要，是時代的需要，定能產(chǎn)生巨大的經(jīng)濟效益和社會效益。

二、多模態(tài)交互理念下傳統(tǒng)文化數(shù)字化傳承載體和模式

（一）沉浸式數(shù)字博物館

傳統(tǒng)博物館展示以單向的觀看和解說為主，參觀者與文物進行單向交流，參觀者獲取文物信息的自由度不高。而沉浸式數(shù)字博物館致力于通過搭建數(shù)字場景、打造多模態(tài)交互系統(tǒng)來激活歷史，通過新媒體與參觀者進行互動，給觀眾帶來身臨其境的沉浸式體驗。沉浸式數(shù)字博物館支持多種感官交互，它突破了時空限制，消融了文物展示與文化傳播有形的邊界，具有傳播手段豐富、傳播渠道多樣等優(yōu)勢，能夠滿足個性化觀展需求。

如今，數(shù)字技術(shù)手段層出不窮，文化藝術(shù)與數(shù)字技術(shù)融合已成為一種趨勢。打造沉浸式數(shù)字博物館，需要觸控交互、體感交互、3D Mapping、動態(tài)投影、VR/AR/MR、全息成像、多通道投影拼接融合等技術(shù)的支持。當(dāng)前，應(yīng)用最廣泛的技術(shù)包括全息投影、互動投影、虛擬現(xiàn)實、三維立體、數(shù)字沙盤等。

目前，國內(nèi)外均在進行沉浸式數(shù)字化博物館的研究和建設(shè)實踐。我國的故宮博物院較早進行了數(shù)字化探索，在這一方面堪稱典范，從1998年開始，故宮博物院就致力于運用信息技術(shù)來改造傳統(tǒng)的辦展方式，改變古建環(huán)境保護及文物展示、收藏、保護等方面的手工作業(yè)狀態(tài)，突破相關(guān)局限，打破條條框框，創(chuàng)新管理機制，向世界一流博物館邁進。緊接著，開展“數(shù)字故宮”系列建設(shè)，開通故宮博物院網(wǎng)站，完成 《天子的宮殿》《三大殿》《養(yǎng)心殿》《倦勤齋》《靈沼軒》等大型虛擬現(xiàn)實作品的創(chuàng)作，開發(fā)相關(guān)APP。特別是故宮博物院端門數(shù)字館的打造，非常成功?！皵?shù)字建筑”與可交互的“數(shù)字文物”的呈現(xiàn)，豐富了觀眾的觀展體驗［5］。故宮博物院已大步邁入世界一流博物館的行列。

（二）多感官交互裝置藝術(shù)

多感官交互裝置藝術(shù)是一種動態(tài)合作的藝術(shù)形態(tài)或者說藝術(shù)表現(xiàn)形式，它能提供包括視覺感官、聽覺感官、觸覺感官等感官在內(nèi)的多種感官互動體驗，能捕捉觀眾的語音、表情、姿勢等信息并實時反饋給觀眾，使觀眾沉浸在交互活動與交互環(huán)境中，實現(xiàn)藝術(shù)作品與觀眾更深層次的對話與交流，將藝術(shù)作品的文化內(nèi)核更有效地傳達給觀眾。觀眾在體驗多感官交互的同時，也成為完成交互裝置藝術(shù)作品的人，成為交互裝置藝術(shù)作品的一部分。展示不再是單方面的傳達，而是更深刻的交融?？傊喔泄俳换パb置藝術(shù)更加強調(diào)實時性、交互性與體驗性。

近年來，多感官交互裝置藝術(shù)與傳統(tǒng)文化相結(jié)合，這種創(chuàng)新給受眾帶來了不一樣的體驗。創(chuàng)作者運用多感官交互裝置藝術(shù)，充分展示與高效傳播了我國璀璨的傳統(tǒng)文化。例如由CCTV《國家寶藏》欄目組視覺團隊等創(chuàng)作集體共同打造的“東方智美”國寶數(shù)字體驗展這一全新的沉浸文化項目和體驗空間［6］。他們選取在《國家寶藏》欄目中展示過的9件國寶，以此為展示主體，結(jié)合多感官交互裝置藝術(shù)，打造多模態(tài)數(shù)字化演繹方式，給觀眾帶來了具有趣味性的多感官互動體驗。《江山新語》是整個展覽的開端。展示《千里江山圖》時，由宏觀視角向沉浸視角，進而又向微觀視角轉(zhuǎn)變，進行多維度演繹，營造人畫交融的氛圍，勾勒出一幅具有極致東方美學(xué)韻味的人與裝置跨時空對話的圖畫。展示《瓷裳》時，創(chuàng)作者建構(gòu)了一個虛實相生、雜糅的場域，傳遞出深厚的東方美學(xué)意蘊。通過特別打造的感官互動裝置，參觀者可領(lǐng)略中華傳統(tǒng)瓷器文化中最高水平的技術(shù)工藝，了解瓷器的釉彩變化，真切地感受國寶的魅力，進而充分認識國寶的價值。

三、黃河文化數(shù)字化傳承取得的成效以及當(dāng)前存在的問題

（一）成效

數(shù)字技術(shù)賦能，使黃河文化傳承發(fā)展之路越走越寬闊；在數(shù)字技術(shù)的助力下，弘揚黃河文化的活動項目取得了豐碩的成果。在新的時代背景下，文化、藝術(shù)與科技不斷擦出火花，黃河文化數(shù)字化傳承也出現(xiàn)新的形態(tài)與向度。例如，開封博物館對《清明上河圖》進行數(shù)字化演繹，《清明上河圖》在環(huán)狀大屏幕上變成一幅流動的圖景。大屏幕前面還有可觸摸小屏幕，受眾可以點擊小屏幕，選擇聽取方言講解或者普通話講解，在此交互過程當(dāng)中，進一步了解《清明上河圖》所表現(xiàn)的那個歷史時代，通過互動的方式，獲得全新的體驗和感受。再比如山西博物院推出的《“大河上下·民族根魂”黃河文化數(shù)字化展示傳播》項目［7］，以數(shù)字技術(shù)為支撐，以數(shù)字創(chuàng)意和動效、交互設(shè)計為特色，梳理黃河文化的脈絡(luò)，深挖黃河文化的內(nèi)涵和時代價值，從地質(zhì)演變、文明發(fā)展、人民生活三個層面展開，進行全新視角的呈現(xiàn)，給觀眾奉獻一場黃河文化盛宴，讓觀眾感到黃河文化觸手可及，使觀眾領(lǐng)略到黃河文化的無窮魅力。這一系列優(yōu)秀的數(shù)字創(chuàng)意作品不僅給觀眾帶來多重感官上的沖擊，更是引發(fā)了人們對傳統(tǒng)文化傳承模式的思考。

（二）問題

1.對黃河文化的內(nèi)涵與價值挖掘不夠深，對要素的提煉不夠精，導(dǎo)致數(shù)字轉(zhuǎn)化質(zhì)量不高

近年來，黃河文化數(shù)字化傳承得到充分重視，但是從整體上看，發(fā)展還不均衡，且作品項目的數(shù)字轉(zhuǎn)化質(zhì)量不高，同質(zhì)化嚴重，多模態(tài)呈現(xiàn)和數(shù)字化體驗的效果不佳。其根源在于黃河文化資源活化的意識不強。內(nèi)容決定形式，文化傳承內(nèi)容體系的構(gòu)建直接影響傳播展示與傳承的效果。所以，第一步要明確所要傳遞文化信息的價值。文化元素是指傳統(tǒng)文化或文化遺產(chǎn)的基礎(chǔ)構(gòu)件和象征符號［8］。黃河文化元素應(yīng)從黃河的物質(zhì)文化、非物質(zhì)文化以及精神品質(zhì)中提煉，突出地域特色、強調(diào)藝術(shù)價值。要拓寬黃河文化傳播渠道，注重表現(xiàn)形式和手段上的創(chuàng)新，給觀眾帶來更多數(shù)字化藝術(shù)體驗。

2.展示中的交互設(shè)計不足，導(dǎo)致受眾的體驗不充分，頭腦中無法形成記憶點

目前，黃河文化數(shù)字化傳承架構(gòu)、系統(tǒng)和模式還不夠健全，對數(shù)字環(huán)境中人與空間進行信息（包括文字、圖片、影像、聲音、燈光等）收集與傳遞的新界面的設(shè)計還不夠完善，導(dǎo)致受眾與文化項目作品的交互力度不夠大，受眾的體驗不充分，其反饋不及時，對二次自主傳播的參與性較弱，完整的傳播鏈條無法形成。另外，黃河文化數(shù)字化傳承方面，出圈和爆款的文化IP較少，也影響了傳播效果。

3.黃河文化數(shù)字化傳承中存在唯技術(shù)論的誤區(qū)

當(dāng)前，黃河文化數(shù)字化傳承中存在著重技術(shù)重形式而輕內(nèi)容的現(xiàn)象。其實，黃河文化數(shù)字化傳承不是單一的技術(shù)問題。數(shù)字技術(shù)固然重要，但還不是核心，“文化和人”才是核心。黃河文化數(shù)字化傳承要回到“黃河文化和人”這一核心上，設(shè)計作品與項目時，不僅要考慮技術(shù)性問題，還要注重活態(tài)性、傳統(tǒng)性、整體性和生態(tài)性，強調(diào)數(shù)字藝術(shù)交互中的情感化設(shè)計［9］。黃河文化數(shù)字化傳承中若缺失情感與內(nèi)容的溫度，就會直接影響精神層面的共鳴。

四、基于多模態(tài)交互理論的黃河文化數(shù)字化傳承策略

（一）提煉黃河文化元素，并進行數(shù)字化轉(zhuǎn)譯

應(yīng)基于對符號學(xué)的認知，挖掘和篩選黃河文化中具有典型性、傳播熱度高的元素符號，通過對不同類型的元素符號所代表的主題文化內(nèi)容的準(zhǔn)確解析、數(shù)字化轉(zhuǎn)譯、再設(shè)計，建立黃河文化與數(shù)字信息之間的聯(lián)結(jié)關(guān)系，并結(jié)合不同數(shù)字媒體的傳播特點，從篩選出的黃河文化元素符號中有針對性地提煉出現(xiàn)代化的形態(tài)化符號語言，實現(xiàn)黃河文化的數(shù)字化表達、傳播。

（二）推進黃河文化多維度數(shù)字傳播，增強黃河文化影響力

在多模態(tài)交互理念下，傳播者與受眾之間的關(guān)系發(fā)生變化，信息傳輸從以往的單向傳輸轉(zhuǎn)變?yōu)殡p向傳輸、互動，傳播模式亦由“中心化”傳播向“去中心”傳播演變?；诖?，應(yīng)充分利用互聯(lián)網(wǎng)和大數(shù)據(jù)等新技術(shù)手段，全面掌握受眾信息，對傳播市場進行立體化細分，準(zhǔn)確定位受眾。建立完善的信息反饋機制，拓寬互動交流渠道，運用品牌宣傳手段，提升黃河文化的影響力。推進協(xié)同聯(lián)動，構(gòu)建多維度、多主體、立體式黃河文化數(shù)字化傳播體系。推動數(shù)字平臺建設(shè)，整合各類數(shù)字化資源，建設(shè)黃河文化要素數(shù)據(jù)庫。加強文創(chuàng)產(chǎn)業(yè)園建設(shè)，不斷創(chuàng)新文化表達方式，推出更多形式各異的數(shù)字化交互藝術(shù)作品。

（三）建立黃河文化多模態(tài)展示交互系統(tǒng)，增加受眾體驗

應(yīng)運用虛擬現(xiàn)實、3D掃描與重建、動作捕捉等新技術(shù)，建立黃河文化多模態(tài)展示交互體驗系統(tǒng)，對黃河文化進行多維度數(shù)字化演繹與呈現(xiàn)，調(diào)動受眾的多種感官機能，融合多種感官的作用，密切各模態(tài)之間的聯(lián)系，促進多個模態(tài)串聯(lián)條件下的通感轉(zhuǎn)化，增加受眾的觀展體驗。應(yīng)加強數(shù)字化展示媒介與受眾之間的互動，創(chuàng)新交互形式，使受眾通過觸摸、直視、做手勢、發(fā)出指令聲音等方法就可以與展示裝置進行互動，促進多模態(tài)融合轉(zhuǎn)化?？傊?，要通過新穎、多樣的數(shù)字化藝術(shù)表現(xiàn)形式，突出黃河文化的特征和要素，將黃河文化有效傳播給受眾。

五、結(jié)語

傳承弘揚黃河文化需要與時俱進。新時代，應(yīng)深入挖掘黃河文化歷史資源，創(chuàng)新黃河文化傳承的載體，推進黃河文化沉浸式數(shù)字博物館建設(shè)，實現(xiàn)多模態(tài)交互理念下黃河文化數(shù)字化傳播，使受眾在與數(shù)字化展示媒介的互動中獲得豐富的多感官體驗，進而產(chǎn)生情感上的共鳴，提升傳承黃河文化的積極性和自覺性?？傊娣治霎?dāng)前黃河文化數(shù)字化傳承中存在的問題，從新的視角，從多個層面探討黃河文化數(shù)字化傳承策略、模式、路徑，以實現(xiàn)受眾的多感官體驗為目的，提供更多數(shù)字化產(chǎn)品和服務(wù)，增加與深化受眾對黃河文化的感知和認知，增強黃河文化影響力，推動黃河文化傳播邁入新時代。