論融合虛擬現(xiàn)實的可視化交互教輔工具的設計與實現(xiàn)

摘要：針對傳統(tǒng)教學輔助工具沉浸感薄弱和知識傳輸方式單一的問題，文章以一款詩詞教輔工具為例，探索基于虛擬現(xiàn)實技術(shù)（VR）的可視化教學輔助工具的設計與開發(fā)，以彌補傳統(tǒng)教學輔助工具的不足。文章以虛擬現(xiàn)實技術(shù)OpenXR為背景，結(jié)合虛擬現(xiàn)實應用的設計開發(fā)方法，重點研究虛擬現(xiàn)實教輔工具的設計與開發(fā)方案，并分析虛擬現(xiàn)實教輔工具的優(yōu)勢和劣勢。開發(fā)方案主要包括內(nèi)容策劃模塊、素材制作模塊、交互設計模塊、程序開發(fā)模塊和內(nèi)容管理模塊。內(nèi)容策劃模塊主要進行題材選擇和腳本策劃。素材制作模塊負責設計和制作三維模型、特效、音效等素材。由掌握虛擬現(xiàn)實技術(shù)的編程人員設計開發(fā)交互設計模塊和程序開發(fā)模塊。本項目還融入了語音識別技術(shù)，實現(xiàn)教輔工具的教、學、訓、考功能。內(nèi)容管理模塊主要負責教輔工具的后期維護?；谖鍌€模塊的設計與實施，文章總結(jié)一套可行的虛擬現(xiàn)實教輔工具設計與開發(fā)方案，研究者可以按照此方案設計開發(fā)融入高新數(shù)字化技術(shù)的教學輔助工具。同時，通過分析具體的虛擬現(xiàn)實詩詞教輔工具案例，得出融入虛擬現(xiàn)實技術(shù)的教輔工具在體驗感、交互性和教學內(nèi)容組織上具有明顯優(yōu)勢。模塊化的設計使具有沉浸感、構(gòu)想性和交互性的虛擬現(xiàn)實技術(shù)可以快速融入教輔工具的設計與開發(fā)，解決傳統(tǒng)教輔工具缺乏沉浸感、交互感和內(nèi)容形式單一的問題。

關鍵詞：虛擬現(xiàn)實；語音識別；可視化；教輔工具

中圖分類號：TP311 文獻標識碼：A 文章編號：1004-9436（2023）17-00-03

0 引言

傳統(tǒng)教學輔助工具是指現(xiàn)實世界中具體的、實體的物品，如教科書、練習冊、黑板、白板等，學生和教師可以通過觸摸、翻閱、書寫等方式與這些工具直接互動。這類教輔工具通常以線性方式組織和呈現(xiàn)教學內(nèi)容，學生在教師的指導下學習和理解知識，逐步積累和應用知識。隨著科技的發(fā)展，虛擬現(xiàn)實技術(shù)、人工智能技術(shù)、大數(shù)據(jù)技術(shù)為教育提供了更多的可能性［1］。這些技術(shù)能提供更多交互性、個性化學習的機會，并通過實時互動和智能化技術(shù)為學生提供更加便捷和豐富的沉浸式學習體驗［2］。

本課題依據(jù)虛擬現(xiàn)實技術(shù)OpenXR標準，以一款基于虛擬現(xiàn)實技術(shù)、語音識別技術(shù)和游戲開發(fā)技術(shù)的古詩詞教輔工具為例，分析虛擬現(xiàn)實教輔工具的設計與開發(fā)方案，旨在探索虛擬現(xiàn)實數(shù)字化教輔工具的設計與開發(fā)路徑。

1 設計與實現(xiàn)

當前，虛擬現(xiàn)實教輔工具的設計與開發(fā)通常遵循設計、開發(fā)、調(diào)試、使用、反饋、迭代的線性流程模式。但實際上，某些環(huán)節(jié)是并行發(fā)生的，因此線性生產(chǎn)流程逐漸被模塊化的生產(chǎn)模式取代［3］。為提升融合虛擬現(xiàn)實交互教輔工具的開發(fā)效率，促進開發(fā)團隊高效分工合作，本項目采用模塊化的設計與實現(xiàn)模式，主要包括以下五個模塊。

1.1 內(nèi)容策劃模塊

內(nèi)容策劃模塊是指教材出版社、課程組和文化傳媒組織合作完成的一系列任務，包括市場定位、題材選擇、版權(quán)獲取和內(nèi)容腳本策劃等。

本項目旨在通過新型的人機互動方式，幫助學生更好地理解和記憶古詩詞。用戶既可以通過誦讀古詩詞觸發(fā)語音識別技術(shù)變換沉浸式虛擬場景，又可以通過“游戲闖關”的方式，默寫古詩詞，考核古詩詞的掌握情況，在立體形象的沉浸式場景中呈現(xiàn)原本抽象的知識，實現(xiàn)“教—學—訓—考”一體化。

關于人教版語文課本中的古詩《漁歌子》，根據(jù)古詩詞的教學要求，項目在傳統(tǒng)的賞析、誦讀、練習、默寫四個部分進行了大膽設計和創(chuàng)新。在賞析部分：將歌曲《漁歌子》作為背景音樂，根據(jù)古詩描述的場景，使用三維建模技術(shù)和動畫技術(shù)創(chuàng)建三維古詩場景和動畫，利用虛擬現(xiàn)實技術(shù)使學生身處三維詩詞場景中，學生能夠更加直接地體會詩句描繪的場景。在誦讀部分：采用人工智能語音識別技術(shù)，識別用戶朗讀的詩句，觸發(fā)鏡頭變換相應的古詩場景，鼓勵學生誦讀、記憶詩句。在練習部分：采用益智類游戲幫助學生記憶古詩中的生字。在默寫部分：考查學生默寫古詩全文的情況，通過輸入古詩句等形式，評估學生的默寫情況。

1.2 素材制作模塊

素材制作模塊主要包括三維模型和場景、動畫、特效、音效、視頻等一系列元素的制作。

三維場景的制作：應用Unity游戲引擎中的地形組件，完成山脈、草地、樹木、河流的地形編輯。應用3Dmax建模軟件完成白鷺、魚、蓑翁的建模、貼圖、烘焙等操作，將模型以Fbx格式導出，導入Unity游戲引擎，如圖1所示。

三維動畫的制作：項目中的動畫分為兩類，一類是場景中攝像機運動軌跡動畫，每句古詩對應場景中的一個畫面，采用Unity中的Timeline插件完成攝像機的軌跡動畫。另一類是角色動畫，通過3Dmax建模軟件對白鷺和魚進行關鍵幀動畫的制作，完成白鷺飛翔和魚游動的動畫制作。

粒子特效的制作：場景中的粒子特效主要包括花瓣粒子特效、雨滴粒子特效、體積霧粒子特效。使用Unity中的粒子特效系統(tǒng)，導入花瓣和雨滴的紋理素材，調(diào)整粒子系統(tǒng)組件的參數(shù)完成特效制作。

1.3 交互設計模塊

項目的交互設計模塊主要分為界面交互設計、語音交互設計和虛擬現(xiàn)實交互設計。

界面交互設計：在項目界面中設計可點擊觸發(fā)的交互按鈕，用戶通過點擊首頁界面上的按鈕觸發(fā)場景的跳轉(zhuǎn)功能，進入不同教學環(huán)節(jié)。也可以點擊按鈕返回首頁，調(diào)整背景音樂音量，以及退出項目等。首頁交互界面設計如圖2所示。

語音交互設計：在誦讀模塊，用戶誦讀一句古詩，程序通過語音識別，完成古詩句匹配，如果詩句誦讀正確則跳轉(zhuǎn)相應場景畫面，否則不觸發(fā)畫面的轉(zhuǎn)換，實現(xiàn)效果如圖3所示。

虛擬現(xiàn)實交互設計：虛擬現(xiàn)實將學習者從傳統(tǒng)的二維界面拉入了三維的虛擬空間，因此，虛擬現(xiàn)實教輔工具與其他教輔工具的人機交互方式存在顯著差異。主要分為：頭部轉(zhuǎn)動交互方式、眼睛“凝視”交互方式、手勢交互方式、手柄等外設交互方式、空間定位、肢體交互方式等［4］。在本項目中，用戶佩戴VR頭盔，實現(xiàn)場景的360度賞析，融入虛擬世界，如圖4所示。在本項目中，因為要控制攝像頭的運動軌跡，所以并未設計虛擬現(xiàn)實中用戶的瞬移功能。

1.4 程序開發(fā)模塊

程序開發(fā)模塊包括編程開發(fā)、功能實現(xiàn)、封裝集成。Unity游戲引擎擁有方便靈活的編輯器、友好的開發(fā)環(huán)境、豐富的工具套件和良好的跨平臺特性［5］。項目主要是基于Unity游戲引擎，使用UI組件、碰撞檢測組件、剛體組件、粒子特效組件、動畫組件，時間線組件采用C#邏輯編程，完成了UI交互、碰撞檢測、物理效果、粒子效果、動畫觸發(fā)、攝像機按軌跡移動等基本功能。

SteamVR插件是Valve公司提供給Unity開發(fā)者的開發(fā)工具，虛擬現(xiàn)實功能主要是通過在Unity中加入SteamVR插件，通過該插件完成VR應用程序的開發(fā)，并運行在HTC Vive硬件設備上。

在Unity中使用Windows語音識別API，將誦讀識別后的文字與古詩詞匹配，實現(xiàn)實時語音識別，通過C#編程，根據(jù)識別結(jié)果，控制攝像機的移動軌跡。實現(xiàn)誦讀一句古詩，出現(xiàn)相應古詩場景的功能。

1.5 內(nèi)容管理模塊

內(nèi)容管理模塊主要涉及內(nèi)容管理、測試、運營、售后等方面。虛擬現(xiàn)實詩詞教輔工具在本模塊重點進行了實際的教學測試，根據(jù)測試結(jié)果，完善與迭代項目。該項目的主要受眾是少年兒童。從操作能力來看，一般小學生可以較為熟練地使用各種電子設備。從內(nèi)容來看，因為本項目的內(nèi)容是語文課本中的古詩詞，所以小學生可以高效接收教輔工具中的內(nèi)容，加深古詩詞記憶。本項目僅以一首古詩為例，如果要豐富教輔工具的教學內(nèi)容，就要創(chuàng)建統(tǒng)一的內(nèi)容管理平臺。

2 設計開發(fā)中的優(yōu)勢和不足

與傳統(tǒng)教輔工具相比，本項目的教輔工具融入虛擬現(xiàn)實、語音識別、數(shù)字游戲等技術(shù)，豐富了學生的學習互動體驗，提升了教學質(zhì)量。其優(yōu)勢主要體現(xiàn)在以下三個方面。

第一，沉浸式學習：虛擬現(xiàn)實教輔工具將知識的傳播方式從二維扁平的單一維度傳輸轉(zhuǎn)變?yōu)槎喔泄?、場景式的多維認知通道的傳播。通過創(chuàng)造虛擬或仿真情境，讓學習者置身其中，以體驗的形式學習。

第二，交互式學習：語音識別技術(shù)和交互界面技術(shù)，幫助學生更好地使用教輔工具，調(diào)動感官效能，使學生由被動的知識學習者轉(zhuǎn)變?yōu)橹鲃訉W習的體驗者和創(chuàng)造者。

第三，游戲式學習：將電子游戲元素融入教輔工具，使學生在游戲中獲得學習的成就感，通過趣味游戲答題“闖關”不斷鞏固知識，豐富知識傳輸方式，寓教于樂。

雖然與傳統(tǒng)的教學輔助工具相比，融入虛擬現(xiàn)實技術(shù)的教學輔助工具在沉浸感、交互性、游戲性上有明顯的優(yōu)勢，但也存在一些需要改善的問題。

第一，目前VR可穿戴設備還不夠輕便，長時間負載會引起生理不適，容易引發(fā)視覺疲勞，不利于學生的身心健康。年齡小的學生難以熟練使用設備，需要教師和家長的幫助。

第二，三維虛擬場景固定，難以充分展現(xiàn)所描述的內(nèi)容。例如，使用三維建模工具再現(xiàn)古詩詞描繪的場景，建模的場景是固定的，無法充分體現(xiàn)古詩詞的意象美學。如果能將人工智能技術(shù)融入場景塑造，使三維虛擬場景實時根據(jù)用戶的要求靈活創(chuàng)建，則更有利于展現(xiàn)古詩詞的韻味。

第三，缺少統(tǒng)一的素材收集、內(nèi)容制作、出版發(fā)行的教輔工具管理平臺。虛擬現(xiàn)實教輔工具的設計與開發(fā)的五個模塊，分屬于不同專業(yè)領域，設計開發(fā)過程中需要跨專業(yè)團隊的支持。高效的一體化教輔工具管理平臺，有利于制作和發(fā)行教輔工具，但目前市面上缺少這類平臺。

3 結(jié)語

融合虛擬現(xiàn)實技術(shù)的可視化交互教輔工具不僅使教師和學生獲得了身臨其境般的教學體驗，還補齊了傳統(tǒng)教輔工具缺乏互動、體驗感不強的短板，有效拓展了知識的傳播途徑。然而，目前此類教輔工具在硬件設備、內(nèi)容制作、平臺管理上存在不足，有待進一步完善。

參考文獻：

［1］ 張忠.現(xiàn)代職業(yè)教育生化類課程的教輔工具制作［J］.山西青年，2022（9）：51-54.

［2］ 鄭石，豐瑞.教育出版資源的融媒體轉(zhuǎn)化與創(chuàng)新［J］.中國出版，2022（14）：41-45.

［3］ 郭璐，王曉磊，周榮庭. OpenXR技術(shù)標準下增強現(xiàn)實出版物的融合創(chuàng)新［J］.科技與出版，2019（4）：71-75.

［4］ 劉振生.虛擬現(xiàn)實的教育應用現(xiàn)狀及面臨的挑戰(zhàn)［J］.長春師范大學學報，2022，41（5）：143-148.

［5］ 陳璜.基于Unity3D、VR等技術(shù)的機械設計虛擬仿真系統(tǒng)構(gòu)建研究［J］.長沙大學學報，2021，35（2）：20-25.

作者簡介：仲于姍（1988—），女，山東濟南人，碩士，副教授，研究方向：虛擬現(xiàn)實。