AI共創(chuàng)的中國古詩詞文化VR體驗系統(tǒng)設計與實現(xiàn)

蔡新元 陳秋嬋 張 健

（華中科技大學建筑與城市規(guī)劃學院，武漢，430074）

引 言

2019 年科技部、中宣部、文化和旅游部等六部門印發(fā)《關于促進文化和科技深度融合的指導意見》，指出應加強人機交互、混合現(xiàn)實等關鍵技術開發(fā)，推動類人視覺、聽覺、語言、思維等智能技術在文化領域的創(chuàng)新應用，開發(fā)內容可視化呈現(xiàn)、互動化傳播、沉浸化體驗技術應用系統(tǒng)平臺與產品[1]。2022年，中共中央辦公廳、國務院辦公廳印發(fā)《關于推進實施國家文化數(shù)字化戰(zhàn)略的意見》，對國家文化數(shù)字化作出進一步戰(zhàn)略部署。數(shù)字化手段成為當前傳統(tǒng)文化保護的主流手段[2]。在記載和反映中國傳統(tǒng)文化以及中國文學藝術類別的演變過程中，詩詞作為一種綜合文化現(xiàn)象始終占據(jù)主流地位，并對其他文學藝術門類和中國大文化產生了不可估量的推動作用。數(shù)字化背景下，中國古詩詞文化的傳承、傳播亟須相關理念與技術的輔助與支撐。其中，虛擬現(xiàn)實（Virtual Reality，VR）技術在從傳統(tǒng)文本驅動向技術驅動轉型，破除傳統(tǒng)文化與現(xiàn)代技術壁壘，探索內在關聯(lián)與內驅力，用技術實現(xiàn)傳統(tǒng)文化的傳播與增值的過程中具有很大的應用空間。一方面，VR 技術基于三“I”即沉浸（Immersion）、交互 （Interaction）、構想（Imagination）等特性可提供真實的時間、空間感知，通過虛擬仿真進行交互實踐[3]；另一方面，后疫情時代，“在線+”成為生活常態(tài)，“臨場”“在場”體驗需求空前提升。而人工智能的快速發(fā)展，為應用VR 技術實現(xiàn)傳統(tǒng)文化數(shù)字化提供了有力支撐。

本文探索前述語境下借助人工智能、VR等技術對中國古詩詞文化進行數(shù)字化設計與傳播的可能，并通過中國古詩詞VR 體驗系統(tǒng)“黃鶴故詩”的設計實踐，探尋人工智能、VR 等融入傳統(tǒng)文化傳播與教育的方法與路徑。

1 中國古詩詞文化傳播現(xiàn)狀與問題

1.1 傳播手段落后

古詩詞的創(chuàng)作依賴于特定的歷史文化背景和詩人的個人情感因素。相較于現(xiàn)代漢語，古詩詞在聲、形、意、文法邏輯等方面具有特殊性，語言凝練且不易翻譯成現(xiàn)代漢語。從古詩詞傳播來看，相關教學與傳播手段落后，造成了傳播困境。其中，中小學語文課本收錄是古詩詞傳播的重要途徑。它遵循“解題意，知作者；釋難字，譯全文；明思想，齊背誦”的模式進行教學，無法突出詩詞美感，也導致學生學習興趣不足。有調研顯示，高中生群體中對古詩詞很有興趣的比例僅8.34%；在古詩詞、文言文、現(xiàn)代文和作文四個教學模塊中，對古詩詞最感興趣的學生僅占17.38%；高中生實際能背誦100 首以上古詩詞的僅占比46.02%[4]，而根據(jù)《中小學語文課程標準》要求，一個合格的小學畢業(yè)生就應該能背誦古詩詞120 首。近年來，也有將古典詩詞與現(xiàn)代傳播媒介融合的諸多嘗試。如電影《掬水月在手》，以文學紀錄片形式，將人物生命與古典詩詞有機聯(lián)結，表現(xiàn)詩詞之美。貓眼電影的購票評分榜數(shù)據(jù)顯示，該片以9.3 的評分始終占據(jù)評分榜前列；文化節(jié)目《中國詩詞大會》開播僅10 天，累計轉發(fā)3 萬余條微博，獲得了6 萬余條評論，18 萬余次轉發(fā)，以及超過33 萬的點贊量[5]?？梢?，根據(jù)古詩詞的本質特性選擇適配的數(shù)字化形式是新媒體時代的要求。

1.2 詩畫意境的體驗缺失

清代畫家石濤在《苦瓜和尚畫語錄》中有云：“字與畫者，其具兩端，其功一體”。它表達出字與畫通過視覺形態(tài)同構詩詞信息要素及傳遞詩人內在情感的能力，應和傳統(tǒng)心物感應、整合化一的文化藝術觀，引發(fā)詩畫同源的討論。宋代郭熙在《林泉高致》中談到的“詩是無形畫，畫是有形詩”，正是對這一關系的描述。文人畫宗師之一王維在《使至塞上》中借“大漠孤煙直，長河落日圓”詩句，擇大漠、孤煙、長河、落日等意象，造壯美之景，構雄渾意境?？梢姡娕c畫、情與景從創(chuàng)作開始就密不可分。

當前的古詩詞教育缺少的正是對這一詩畫意境的直觀體悟之道。學生在課堂上聆聽的是教師的字面解析，缺少可具身融入的畫面感與詩意體驗。虛擬現(xiàn)實技術構建的虛擬場景能夠為體驗者提供豐富的形象信息，并借助媒體交互這一形式，引導學習者“入畫”“入境”，彌補古詩詞學習中詩畫意境體驗缺失的不足。

2 人工智能驅動的古詩詞文化VR 系統(tǒng)優(yōu)勢

2.1 智能化的內容開發(fā)

人工智能（Artificial Intelligence，AI）綜合了計算機科學、信息論、生理學等學科優(yōu)勢；生成式AI（Generative AI）作為一種特定類型的AI，專注于批量數(shù)字內容的自動生成，在《2022 年新興技術成熟度曲線》中被列為最具影響力的五大技術之一[6]。生成式AI 通過機器學習（Machine Learning，ML）和人機協(xié)同（Human-in-the-loop，HITL）方法從數(shù)據(jù)中學習工件的組件，進而生成全新、原創(chuàng)、真實的產品、物品或任務。長期的專業(yè)生產內容（Professioral Generated Content，PGC）階段為AI 提供了豐富的學習數(shù)據(jù)，生成式AI 的出現(xiàn)使內容生產逐漸過渡到人機協(xié)同、相互校正機制下的人工智能創(chuàng)作內容（AI-Generated Content，AIGC）階段[7]，為古詩詞的教學創(chuàng)新提供了全新視角與實驗性方向，見圖1。

圖1 生成式AI 工作原理

古詩詞的學習和傳播需要大量的視頻、音頻、圖像資料，但內容開發(fā)的成本高、周期長、產能有限，所以教學中長期以抽象的語言、文字作為主要材料。而生成式AI 幾乎不需要人類參與就可以生成高質量的創(chuàng)造性內容，實現(xiàn)文本轉圖像、圖片或影片修復、語音合成、創(chuàng)建3D 虛擬環(huán)境等功能。不僅帶來零邊際成本的內容生產方式變革，極大提升生產力并創(chuàng)造巨大的經濟價值，而且可避免生產者主觀認識和經驗造成的個體偏差。生成式AI 主導的智能化內容開發(fā)能為古詩詞提供全新的數(shù)字內容生產和傳播機遇。

2.2 強互動與深度沉浸

穿戴設備拓展多感官強互動。虛擬現(xiàn)實體驗中的強互動以外部穿戴設備為接口，建立起人體生物信號與機器之間即時且有效的對話，引導用戶積極主動發(fā)生交互，具有實時性和自發(fā)性兩個特點。其實現(xiàn)有兩個關鍵點：一是注重人體生物信號的捕捉；二是提升互動發(fā)生的頻率。隨著人工智能技術的發(fā)展，腦電儀、眼動儀、生物力學傳感器等接口工具日益完善，虛擬現(xiàn)實強互動體驗逐步實現(xiàn)。將強互動運用于古詩詞教學能及時接收學習者的行為反饋，重新定義課堂互動的方式。

高仿真場景和虛擬化身促進深度沉浸。虛擬現(xiàn)實體驗下，用戶的眼睛、耳朵、皮膚等感官被高仿真場景和虛擬化身重塑為虛擬感官，從而達到無視外物存在的深度沉浸狀態(tài)。其實現(xiàn)主要仰賴虛擬現(xiàn)實技術的虛構性、視聽綜合性和三維仿真性三個特性。而人工智能通過生成式的內容開發(fā)、深度學習、動作捕捉等技術使古詩詞數(shù)字資源的生產趨于高效、高質，其利用高仿真場景和虛擬化身引發(fā)心靈共鳴，促進深度沉浸，讓學生在心流中體會詩詞之美。

2.3 顯性化知識教學

顯性化知識也稱編碼知識，知識顯性化的過程即將大腦中的隱性知識重新編碼，轉化為可描述的內容，并用易于傳播和共享的方式呈現(xiàn)出來[8]。虛擬現(xiàn)實體驗直觀可視、多通道、具身沉浸的特點有利于古詩詞知識的顯性化傳播，具體效用如下。

感性意象的可視化直觀。知識可視化的實質是把隱性的個體知識轉化成能夠直接作用于人的感官的外顯知識[9]。傳統(tǒng)教學手段中，圖文媒介的效率約為10%；多媒體教學形式的效率約為30%。古詩詞中包含諸多感性意象；VR 技術通過虛擬重構，能進一步還原其感官表征，提升學習效率。

復雜詩意的多通道傳達。根據(jù)認知負荷理論和感覺通道效應，外在認知負荷跟材料的組織與呈現(xiàn)方式有關，且隨著認知通道數(shù)量的增加而降低。古詩詞語言凝練、結構跳躍的特性導致其文意晦澀難懂。VR 技術具有多感官的特性，能對復雜詩意進行多通道傳達，從而有效降低認知負荷。

抽象意境的具身化沉浸。身體的形態(tài)結構、感覺系統(tǒng)、運動系統(tǒng)和神經系統(tǒng)都影響著人們的認知過程[10]。VR 技術通過構建虛擬化身與意境體驗，開發(fā)古詩詞教學的具身性與情境性，實現(xiàn)寓身于境的效果，實現(xiàn)沉浸式教學，促進具身認知的建構。

3 AI 共創(chuàng)的VR 體驗系統(tǒng)設計—以“黃鶴故詩”為例

坐落于古黃鵠磯上的黃鶴樓控兩江、踏三地，立九省之中，世稱“天下江山第一樓”。歷代文人登臨詠唱，流傳至今的“黃鶴詩詞”不計其數(shù)；出自李白之手的“故人西辭黃鶴樓，煙花三月下?lián)P州”，更是成為千古名句。黃鶴故詩項目借助人工智能與虛擬現(xiàn)實技術，融合相關詩詞學習內容、學習環(huán)境與學習活動，從教學內容、場景與交互體驗三個方面進行系統(tǒng)設計[11]，實現(xiàn)其內容具身認知、多感知情境與多通道交互融為一體，其設計思路如圖2 所示。

圖2 中國古詩詞文化VR 體驗系統(tǒng)設計思路

3.1 媒介與技術選擇：古詩詞場域營造

社會心理學的場域理論（Field Theory）認為人的每一個行為均被行為發(fā)生的場域影響。而場域則是指由心理和環(huán)境兩種因素構成的主－客混合環(huán)境或曰心物場（psychophysical field），其強調心理因素與客觀環(huán)境不可分割的連續(xù)性關系[12]。借助場域理論來剖析古詩詞，意在明確教學活動中各環(huán)節(jié)與要素的開放性與關聯(lián)性關系，促進對古詩詞意境感悟與體驗的有效思考?；诖?，我們區(qū)分出中國古詩詞場域的三重環(huán)境：其一，音聲。音樂與詩詞相輔相成，如唐宋以來的歌行、絕句、律詩和詞皆可歌可唱。其二，意境。意境是詩歌的靈魂，既是外部世界“境”的內化，又是內部世界“意”的具象化。其三，品格。品格是詩詞之基，能鑄造民族精神，踐行時代使命[13]。中國古詩詞文化便是基于音聲、意境、品格的詠吟場域與時代文化背景同構出的結果。由上述場域關系主導，項目的媒介與技術選擇如下。

生成式內容生產。生成式AI 能夠進行智能化的內容開發(fā)。其中，AI 繪畫憑借簡單的文字描述就能生成圖像?；诖?，項目選用AI 技術協(xié)同三維建模、實時渲染等技術先重構詩中之景。首先由AI 生成詩詞場景原畫，再由三維建模技術還原詩詞場景，最后由實時渲染技術營造詩中意境，打造從具象空間到宏觀背景的全方位沉浸式體驗。

多模態(tài)信息輸出。上述古詩詞詠吟場域與VR 技術沉浸性、交互性、想象性的特點相契合[14]，且VR 技術具有較高的兼容性，能協(xié)同多模態(tài)進行信息輸出。項目選用VR技術協(xié)同語音識別技術，引導學生讀出韻律，唱出美感，品出內涵，進行從淺表感知到深度認知的遞進式教學。人機交互技術的應用踐行教、學、做合一的觀念，塑造文化品格，實現(xiàn)從抽象品格到具體知行的轉化。

3.2 教學內容設計：詩詞要素分層遞進

根據(jù)教學對象特點對教學內容進行系統(tǒng)設計，是教學前的一個必由環(huán)節(jié)。通過分析教學問題和需求，有序安排諸要素，達成教學效果最優(yōu)化。古詩詞的語境與現(xiàn)代語境差異巨大，學習者對于“陌生感”強的文本難以發(fā)生知識和情境的遷移。中學生處于思維活動需要具體內容支持的具體運算階段，其理解力受認知發(fā)展限制。因此，對古詩詞的理解難以一步到位，需分層次完成。因此，項目將古詩詞教學分為由易到難的三個遞進式層級。

音聲誦讀。誦讀是一種“有藝術意味”的有聲閱讀[15]。古語有云“熟讀唐詩三百首，不會作詩也會吟”，其重要性可見一斑。通過有聲語言，學習者能對文本中蘊含的豐富語義有初步感知。系統(tǒng)在音聲教學層次收錄了30 余首黃鶴樓相關的經典詩詞及吟唱，引導學生誦讀感悟。

意境解析。詩詞通過“意合”的方式組織語言[16]，雖篇幅短小卻融景融情。因此，除了字面上的意思，還需對詩詞的弦外之音進行解讀。系統(tǒng)在意境教學層次設置虛擬教師，對詩詞中的特殊意象、典故等復雜內容進行條分縷析地解讀，模擬真實教學活動，利用情境認知加深學習者的理解[17]。

品格感悟。詩詞中蘊含著詩人對社會生活的反思與見解，對學習者的人格修養(yǎng)建設有著重要作用，對其進行提煉解讀，是實現(xiàn)知行合一的重要步驟。系統(tǒng)在品格教學層次設置貼近創(chuàng)作背景的情境，引導學生對作者生平及所處的時代背景進行挖掘，探尋詩詞背后的深層品格。

3.3 場景設計：詩畫意境數(shù)字化還原

VR 體驗中的場景是由虛擬的元素構成的敘事空間，用戶在此空間內完成虛擬現(xiàn)實體驗，其設計過程需關注構圖、視角、景別等要素。除上述內容外，黃鶴故詩的場景設計以還原詩畫意境為總體目標，結合關鍵詞詞頻分析和AI 圖像生成兩種方法，深化教學內容與虛擬場景間的聯(lián)系，具體分為以下三個步驟。

（1）詞頻分析驅動的關鍵詞提取，增強虛擬場景的文化認同。

詞頻分析（Word Frequency Analysis）是對文獻中重要詞匯出現(xiàn)的次數(shù)進行統(tǒng)計與分析，是文本挖掘的重要手段。項目通過詞頻分析提取詩詞中的關鍵詞，并基于此構筑虛擬場景。生成式AI 由數(shù)據(jù)驅動內容生產，樣本的質量與數(shù)量決定了場景的豐富性和準確性?；诖?，項目制定相關實施方案如下。

樣本數(shù)計算。過小的樣本量不具備統(tǒng)計學上的解釋意義，過大的樣本量將提升處理難度，確定合適的樣本數(shù)十分必要，根據(jù)樣本量計算公式，項目選定30 首詩詞中的167個詞作為分析樣本。

詞性篩選。古詩詞詞性分為實字詞（即今之所謂名詞）與虛字詞[18]。實者有意，是詩人感情幻化的實體，是情境構建的重要要素。因此，項目從樣本中擇選對場景構建有具象意義的名詞，作為AI 構建場景的主要語料。

語義誤差篩查。古詩詞在文體、語義等方面與現(xiàn)代漢語存在差異，如采用針對現(xiàn)代漢語的機器分詞方法，結果準確率較低。例如，“空余”被機器歸類為名詞，但從其語義層面理解應將其歸類為動詞。因此，在機器分詞處理結束后，應根據(jù)現(xiàn)代漢語釋義對結果進行二次詞性分類處理，有效降低語義引發(fā)的分類誤差。

樣本分類。場景是人與周圍景物關系的總和，其最為核心的要素是場所與景觀[19]。其中，景觀又包含自然景觀和在其基礎上附加人類活動痕跡形成的人文景觀?；诖耍椖繉⑺x名詞分為自然場所、自然景觀、人文景觀三類。

最終選取名詞11 個：黃鶴樓（14 次）、鸚鵡洲（5 次）、高樓（5 次）、白云（3 次）、青山（4 次）、煙水（3 次）、芳草（2 次）、櫻花（1 次）、煙花（1 次）、梅花（3 次）、黃鶴（13次）。并將其分為人文景觀、自然場所、自然景觀三類，主導AI 場景構建，見圖3-a 所示。

圖3 基于詩畫意境的場景設計邏輯解析圖

（2）人工智能驅動的詩詞意境構建，加強文化與場景有機融合。

人工智能繪畫是生成式AI 在藝術領域的新拓展，其基于“輸入文字-生成圖像”的創(chuàng)作過程，打通了信息與空間融合的渠道，實現(xiàn)了文化與場景的有機融合。本次設計使用Disco Diffusion 輔助場景構建，其原理是使用對比語言-圖像預訓練（Contrastive Language-Image Pre-Training，CLIP）- 導向擴散（Guided Diffusion），引導圖像不斷迭代朝向所指向的畫面，實施具體步驟如下。

文字提示（Promt）生成。將詞頻分析所得的關鍵詞植入模型化的文字描述中，生成位于圖像起點的文字提示，如“A beautiful painting of Yellow Crane Tower on hills and‘green：5’ mountains with ‘clouds and flowers：3’.”（引號內數(shù)字表示該單元內元素在畫面中的重要性比值）。

圖像文本編碼。對比語言- 圖像預訓練訓練了一個圖像編碼器和一個文本編碼器，以預測文本與圖像的配對關系，見圖4。其中，文本編碼器負責對基于“黃鶴詩詞”關鍵詞生成的Promt 進行拆分解碼；圖像解碼器負責將Promt 中的關鍵詞與數(shù)據(jù)庫中的圖像進行匹配，見圖5。圖像在多次迭代與再編碼后，由初始的噪聲圖像轉變?yōu)槲淖种赶虻那逦鷪D像。

圖4 圖像-文本編碼器預訓練路徑

圖5 圖像-文本編碼過程可視化

場景原畫擇選。因AI 繪畫作品具有隨機性和不可復制性，需在多次測試結果中進行二次擇選，以獲得理想解。項目通過對關鍵詞進行分類重組、調整權重等處理，生成不同的Promt 用以多次測試，最終生成21 張黃鶴故詩項場景原畫，并從中選擇3 張作為后期場景搭建的主要依據(jù)，見圖3-b。

虛幻引擎驅動的高仿真場景搭建，提升虛擬場景的沉浸深度。

虛幻引擎作為開源游戲引擎，能為場景搭建提供可視化材質編輯、高仿真實時渲染、易用的代碼架構等支持。其技術實現(xiàn)主要基于三個步驟：場景規(guī)劃和模型搭建，程序化材質制作，燈光及動態(tài)渲染，見圖3-c。項目希望充分發(fā)揮其高仿真優(yōu)勢，實現(xiàn)用戶在體驗過程中的深度沉浸。為解決詩意場景難定義和實時渲染難優(yōu)化的問題，制定解決方案如下。

風格化材質編譯。風格化場景主要依靠材質來定義。為保障詩意化場景的建成，項目以場景風格作為材質編譯的導向，強調材質與風格的適配性。例如，場景中的黃鶴樓是具有木架構體系的典型中式建筑，材質編譯時突出其木質肌理，并采用大面積、高飽和色塊體現(xiàn)其特性，以匹配古風、詩意的場景風格。

集成材質減少指令數(shù)。項目通過傳統(tǒng)的減少模型面數(shù)的方式實現(xiàn)優(yōu)化，還通過集成材質進一步優(yōu)化。首先將具有相似性的材質集成到同一主材質中，再創(chuàng)建材質實例來定義具體物體的外觀，使其能在父級外觀基礎上進行細節(jié)調整。此操作提供了統(tǒng)一且豐富的視效，且減少了材質指令數(shù)，進一步提升性能。

3.4 交互設計：差異信息的二元主體傳導

信息的有效傳達是教學的主要任務，教學過程中包含各類差異化信息。其中，知識性信息以教育和傳播為主要目的；感覺性信息則只需感受到事物運動表征的形式化方面，不需理解事物運動表征的邏輯含義和它的效用價值。VR 體驗中，交互是信息傳遞的重要途徑。為協(xié)調教學信息多元化特性和學生情緒體驗之間的沖突，項目從兩類信息的特征差異出發(fā)，來設計系統(tǒng)信息交互體驗方式。

圖形界面主導知識性信息交互。資源限制理論認為對刺激的識別需要占用認知資源；刺激越復雜或加工任務越復雜，占用的認知資源就越多[20]。在長期的人機交互歷程中，人類形成相對成熟的二維平面交互認知。因此，在處理較復雜的知識性信息時，項目選擇由機器界面主導交互，將信息搭載在二維面板，再置入VR 三維空間布局中，利用其桌面隱喻、直接操縱和所見即所得的特點[21]，釋放更多的認知資源來處理相對復雜的邏輯。

體感行為主導感覺性信息交互。感覺是認識過程的開端，是一切較高級、復雜的認識活動的基礎；人的情緒體驗也必須依靠人對環(huán)境和身體內部狀態(tài)的感覺[22]。因此，項目以虛擬現(xiàn)實體驗中的三維場景為載體，利用其多通道、多媒體特點，由用戶感官主導感覺性信息的交互。如通過在虛擬環(huán)境中執(zhí)行“開門”操作，完成場景之間的切換。用戶通過虛實結合的方式與場景交互，提升體驗的趣味性進而保障其情緒體驗。

4 結 語

本研究針對中國古詩詞文化傳播手段落后和詩畫意境體驗缺失兩個關鍵性問題，分析人工智能驅動下虛擬現(xiàn)實開發(fā)的優(yōu)勢以及對教育教學的影響，并以設計實踐項目“黃鶴故詩”為例，探究虛擬現(xiàn)實技術與中國古詩詞文化融合的路徑。其主要技術路徑是：經由古詩詞場域的營造，詩詞要素的分層遞進，詩畫意境的數(shù)字化還原，差異信息的二元主體傳導四步驟（對應媒介與技術選擇、教學內容設計、場景設計和交互設計四環(huán)節(jié)）來對相關信息內容進行數(shù)字資產生產；并據(jù)此探索源于詩歌和浪漫主義情懷的詩意表達、基于AI 算法和量化數(shù)據(jù)的理性表達、依托場景的沉浸式敘事表達三層面的差異化信息體驗融通方式。最終，經由多樣化技術協(xié)同，創(chuàng)新傳統(tǒng)文化的表現(xiàn)形式，拓寬其教育與傳播路徑，使傳統(tǒng)詩詞文化的教與學更具開放性和包容性。

未來的研究和實踐將致力于擴展平臺知識容量，使其成為一個具有普適性的中國詩詞文化體驗系統(tǒng)，完成由方法探究到教學應用的轉型；同時，進一步整合教育學、心理學知識，研究教育過程中的心理、生理機制，提升信息的傳達效率，以期充分利用數(shù)字手段助推中國古詩詞文化的傳承和發(fā)展。