VR/AR技術(shù)在大學(xué)英語(yǔ)教學(xué)中的應(yīng)用

蔡綠妍

摘要：本文針對(duì)當(dāng)前大學(xué)英語(yǔ)教學(xué)缺乏有效信息可視化學(xué)習(xí)工具、難以滿足學(xué)習(xí)者對(duì)學(xué)習(xí)情境的構(gòu)建需求的現(xiàn)狀，提出基于三維數(shù)值模型、三維成像和力反饋技術(shù)的虛擬現(xiàn)實(shí)（VR）/增強(qiáng)現(xiàn)實(shí)（AR）教學(xué)方法，這種教學(xué)方法支持三維交互，學(xué)習(xí)者可身臨其境掌握英語(yǔ)知識(shí)，增加學(xué)習(xí)過程中的沉浸感和娛樂感，降低認(rèn)知負(fù)荷，從而提高英語(yǔ)教學(xué)質(zhì)量。同時(shí)，本文還介紹了國(guó)內(nèi)外虛擬現(xiàn)實(shí)（VR）/增強(qiáng)現(xiàn)實(shí)（AR）技術(shù)在語(yǔ)言學(xué)科中應(yīng)用的典型案例，并分析了虛擬現(xiàn)實(shí)（VR）/增強(qiáng)現(xiàn)實(shí)（AR）技術(shù)在語(yǔ)言學(xué)科中的優(yōu)勢(shì)和面臨的問題。

關(guān)鍵詞：虛擬現(xiàn)實(shí)（VR）;增強(qiáng)現(xiàn)實(shí)（AR）;多通道交互;語(yǔ)言類學(xué)科

中圖分類號(hào)：G434? 文獻(xiàn)標(biāo)識(shí)碼：A? 論文編號(hào)：1674-2117（2019）06-0093-04

引言

虛擬現(xiàn)實(shí)（Virtual Reality，VR）技術(shù)是利用計(jì)算機(jī)構(gòu)建的一種體驗(yàn)虛擬現(xiàn)實(shí)技術(shù)，它融合了計(jì)算機(jī)人機(jī)接口技術(shù)、傳感技術(shù)、多媒體等多種技術(shù)，創(chuàng)造的是一種交互性的三維立體行為的環(huán)境，使用戶可以身臨其境地感受到所設(shè)定的環(huán)境。在三維數(shù)值建模和三維展示技術(shù)的基礎(chǔ)上，VR技術(shù)涵蓋了對(duì)人體的感知、技能，環(huán)境的模擬，傳感技術(shù)等方面，是現(xiàn)代科技的綜合體現(xiàn)。[1]增強(qiáng)現(xiàn)實(shí)（Augmented Reality，AR）技術(shù)融合了三維建模、實(shí)時(shí)顯示監(jiān)控反饋、多媒體、三維跟蹤等技術(shù)，為用戶在現(xiàn)實(shí)畫面基礎(chǔ)上的多維度展示，其具有的虛實(shí)結(jié)合和自然交互特性能有效解決語(yǔ)言學(xué)科學(xué)習(xí)中情境性、交互性、生動(dòng)性、即時(shí)反饋等要求。

隨著虛擬現(xiàn)實(shí)、增強(qiáng)現(xiàn)實(shí)和多通道交互技術(shù)在計(jì)算機(jī)輔助語(yǔ)言學(xué)習(xí)領(lǐng)域的發(fā)展，語(yǔ)言學(xué)習(xí)理念和語(yǔ)言教學(xué)方法正在經(jīng)歷著變革?；赩R/AR技術(shù)的三維虛擬語(yǔ)言學(xué)習(xí)環(huán)境的設(shè)計(jì)與開發(fā)正在逐漸突破傳統(tǒng)語(yǔ)言學(xué)習(xí)費(fèi)時(shí)費(fèi)力、用戶粘性弱的局限，為語(yǔ)言學(xué)習(xí)者提供更加近似真實(shí)的語(yǔ)言應(yīng)用場(chǎng)景，真正做到實(shí)時(shí)交互、活學(xué)活用。語(yǔ)言是人們溝通交流的重要工具，而技術(shù)支持的語(yǔ)言學(xué)習(xí)是語(yǔ)言教學(xué)與教育技術(shù)學(xué)共同關(guān)注的領(lǐng)域之一。[2]基于AR技術(shù)進(jìn)行語(yǔ)言學(xué)習(xí)的應(yīng)用和專利近兩年備受關(guān)注。在國(guó)外，已有實(shí)證案例證明，AR在新語(yǔ)言的學(xué)習(xí)上發(fā)揮著不可忽視的作用。[3]

模仿是學(xué)習(xí)語(yǔ)言最初的形態(tài)，從觀察模仿到實(shí)際應(yīng)用，需要不斷地強(qiáng)化和反復(fù)，利用動(dòng)畫、聲音、文字等多感官刺激呈現(xiàn)形象生動(dòng)的事物，更能吸引學(xué)習(xí)者的學(xué)習(xí)興趣。在大學(xué)英語(yǔ)教育中，VR/AR技術(shù)平臺(tái)作為新的學(xué)習(xí)載體，使用自然方式和學(xué)習(xí)對(duì)象交互，支持泛在環(huán)境下的情境式學(xué)習(xí)，還可以通過將抽象的學(xué)習(xí)內(nèi)容可視化、形象化以及結(jié)合正式學(xué)習(xí)與非正式學(xué)習(xí)等手段，提升學(xué)習(xí)者的存在感、直覺和關(guān)注度。在語(yǔ)言學(xué)習(xí)過程中幫助學(xué)習(xí)者創(chuàng)設(shè)學(xué)習(xí)情境、提高興趣、集中注意力。

VR/AR技術(shù)在語(yǔ)言教學(xué)中的發(fā)展

國(guó)內(nèi)外將VR/AR技術(shù)運(yùn)用到語(yǔ)言學(xué)科的案例形式多樣，內(nèi)容豐富，從認(rèn)識(shí)詞匯到翻譯句子，甚至游戲設(shè)計(jì)均有學(xué)者進(jìn)行研究嘗試。當(dāng)前以歐盟VILL@GE項(xiàng)目和俄羅斯俄語(yǔ)虛擬世界為代表的三維虛擬語(yǔ)言學(xué)習(xí)環(huán)境都是VR技術(shù)在語(yǔ)言學(xué)習(xí)領(lǐng)域中的應(yīng)用典范。[4]葡萄牙Joao Barreira團(tuán)隊(duì)開發(fā)了一種用于學(xué)習(xí)語(yǔ)言的AR游戲，幫助學(xué)習(xí)者正確地拼出單詞。研究結(jié)果表明，使用AR游戲的學(xué)生比運(yùn)用傳統(tǒng)方法的學(xué)生有更好的學(xué)習(xí)效果，尤其是在口頭識(shí)別詞匯、概念理解、書寫方面。[5]法國(guó)維多利亞大學(xué)法語(yǔ)系Bernadette Perry團(tuán)隊(duì)創(chuàng)建了學(xué)習(xí)軟件Explorez，將校園變成了一個(gè)虛擬的法語(yǔ)世界，學(xué)生們與人物、物品和媒體互動(dòng)，提高法語(yǔ)技能并了解他們的校園。[6]

在國(guó)內(nèi)，北京郵電大學(xué)李鐵萌等人實(shí)現(xiàn)基于VR/AR技術(shù)的學(xué)前兒童中英文識(shí)字系統(tǒng)，包含訓(xùn)練模式、比賽模式和娛樂模式。實(shí)驗(yàn)結(jié)果表明，基于AR的識(shí)字系統(tǒng)能提升兒童的識(shí)字能力和對(duì)生字的記憶效果，且高年級(jí)學(xué)前兒童教學(xué)效果明顯優(yōu)于常規(guī)學(xué)習(xí)。[7]華東師范大學(xué)陳向東等人將AR技術(shù)融入游戲教育軟件，設(shè)計(jì)開發(fā)了“泡泡星球”，輔助學(xué)習(xí)者自主學(xué)習(xí)英語(yǔ)詞匯。游戲不僅提供社會(huì)性平臺(tái)分享功能，還能夠根據(jù)用戶的使用記錄診斷用戶在學(xué)習(xí)中的問題，通過消息推送幫助學(xué)習(xí)者鞏固薄弱環(huán)節(jié)。[8]北京師范大學(xué)“VR/AR+教育”實(shí)驗(yàn)室針對(duì)學(xué)齡前兒童開發(fā)了一款英語(yǔ)詞匯學(xué)習(xí)的應(yīng)用軟件——快樂記單詞，通過虛實(shí)結(jié)合的情境幫助學(xué)齡前兒童理解和表達(dá)語(yǔ)言;實(shí)驗(yàn)選取學(xué)齡前兒童需要掌握的高頻詞匯制作成卡片，結(jié)合AR技術(shù)，將中文釋義、生動(dòng)逼真的三維動(dòng)畫、準(zhǔn)確的發(fā)音系統(tǒng)等功能結(jié)合，配合使用移動(dòng)設(shè)備自帶的攝像頭即可便捷學(xué)習(xí)。[9]

綜上可見，在大學(xué)英語(yǔ)的教學(xué)活動(dòng)中，VR/AR技術(shù)的集成研究和應(yīng)用相對(duì)較少;大學(xué)教育是為國(guó)家培養(yǎng)人才的重要途徑，大學(xué)英語(yǔ)教學(xué)至關(guān)重要。VR/AR技術(shù)在大學(xué)英語(yǔ)教學(xué)中的應(yīng)用，不僅可以解決學(xué)生在課堂上學(xué)習(xí)死板的問題，更好地實(shí)現(xiàn)情景模擬教學(xué)法，還可以使學(xué)生足不出戶就能身臨其境地學(xué)習(xí)。

VR/AR技術(shù)在大學(xué)英語(yǔ)教學(xué)中的應(yīng)用

1.大學(xué)英語(yǔ)課堂

隨著探究式學(xué)習(xí)理論的普及，“以學(xué)生為主”的教學(xué)模式在大學(xué)教育中逐漸得到推廣。如今，在英語(yǔ)課堂上，教師可以利用VR/AR技術(shù)，將學(xué)生帶入到模擬的英語(yǔ)學(xué)習(xí)環(huán)境中，讓學(xué)生和自己喜歡的國(guó)外偉人、明星等人物在不同的場(chǎng)景下進(jìn)行面對(duì)面的交流和探討，讓學(xué)生高沉浸感地感受到英語(yǔ)帶來(lái)的歡樂。同時(shí)，虛擬現(xiàn)實(shí)技術(shù)的運(yùn)用，不僅提高了學(xué)生對(duì)英語(yǔ)學(xué)習(xí)的興趣，還可以激起教師授課的興趣，教師運(yùn)用虛擬現(xiàn)實(shí)技術(shù)將每節(jié)課程都編排得不盡相同，能使每次授課的經(jīng)歷都變得美妙。

2.戶外英語(yǔ)教學(xué)

VR/AR技術(shù)在大學(xué)英語(yǔ)教學(xué)中的應(yīng)用，可以大大提高學(xué)生的戶外實(shí)踐能力。例如，教師可以虛擬某些場(chǎng)景，如外資企業(yè)的應(yīng)聘現(xiàn)場(chǎng)、企業(yè)實(shí)際工作環(huán)境、國(guó)外商場(chǎng)、酒店等，讓學(xué)生在這些場(chǎng)景中進(jìn)行對(duì)話練習(xí)，這些真實(shí)的練習(xí)將讓學(xué)生身臨其境地感受到社會(huì)對(duì)英語(yǔ)人才的需求，體會(huì)到英語(yǔ)在社會(huì)中的實(shí)際運(yùn)用，大大提高學(xué)生畢業(yè)后在職場(chǎng)或生活中的英語(yǔ)實(shí)踐和應(yīng)用能力。

3.大學(xué)英語(yǔ)寫作

在大學(xué)英語(yǔ)教學(xué)中，寫作往往是學(xué)生和教師比較頭疼的問題。運(yùn)用VR/AR技術(shù)，在課堂上讓學(xué)生身臨其境地在虛實(shí)結(jié)合的環(huán)境中精確掌握英語(yǔ)單詞和語(yǔ)法，可以更加有效地刺激學(xué)生的感官并讓其更深刻地了解英語(yǔ)語(yǔ)法的運(yùn)用。教師還可根據(jù)學(xué)生的文章制作虛擬的情景，運(yùn)用虛擬現(xiàn)實(shí)技術(shù)將其呈現(xiàn)在學(xué)生面前，這樣能讓學(xué)生在以后的寫作中能更好地發(fā)揮想象，并運(yùn)用所學(xué)創(chuàng)作出更好的文章。

VR/AR技術(shù)開發(fā)要點(diǎn)

1.三維模型的創(chuàng)建及優(yōu)化

考慮到英語(yǔ)教學(xué)的實(shí)際需要，要盡可能真實(shí)地繪制系統(tǒng)的各個(gè)部件，建立高質(zhì)量的三維模型。首先，采集系統(tǒng)的數(shù)據(jù)，通過搜集場(chǎng)景所有系統(tǒng)相關(guān)圖紙和說明書，并拍攝大量的實(shí)物照片來(lái)獲得需要的數(shù)據(jù);其次，仔細(xì)分析采集的數(shù)據(jù)，通過量化標(biāo)定和整理，去粗取精。數(shù)據(jù)核實(shí)完畢后，開始建立三維模型，主要是利用3ds MAX、Solidworks等軟件對(duì)線條輪廓進(jìn)行渲染、擠出、切削、放樣等操作得到三維模型。用紋理映射、烘焙、貼圖等功能借助從實(shí)際設(shè)備上采集的照片對(duì)建立的三維模型進(jìn)行渲染，使虛擬場(chǎng)景與實(shí)際艙室環(huán)境相同，增強(qiáng)英語(yǔ)學(xué)習(xí)者對(duì)設(shè)備、場(chǎng)景認(rèn)識(shí)的真實(shí)感。

為了進(jìn)一步提高系統(tǒng)模型的運(yùn)行效率和逼真效果，需要對(duì)三維模型進(jìn)行優(yōu)化，這主要涉及到兩個(gè)方面：一是對(duì)于模型來(lái)說，減少三維模型的點(diǎn)、線、面的數(shù)目，降低系統(tǒng)運(yùn)算負(fù)荷;二是對(duì)于貼圖來(lái)說，使用UV貼圖并減小貼圖的大小。

2.VR漫游操作的實(shí)現(xiàn)

VR/AR系統(tǒng)虛擬場(chǎng)景具有自動(dòng)漫游、可控漫游兩種漫游方式。3D模型導(dǎo)出X文件是Directx SDK圖形框架中通用的三維模型文件格式，包含了三維模型所需要的大部分屬性，并且還可以進(jìn)行擴(kuò)展，使之更加完善。它采用左手坐標(biāo)系統(tǒng)，XNA繼承自Directx，提供了對(duì)這種格式的支持，正如XNA與DirectX的淵源與關(guān)系，X文件仍然是XNA主流的三維文件格式。另外3ds MAX創(chuàng)建的3D模型可以導(dǎo)出為X文件，能夠很好地將3D模型加載到XNA中。為了跟XNA基于同一平臺(tái)，方便實(shí)現(xiàn)仿真軟件與三維模型的互操作，系統(tǒng)仿真軟件可以在XNA基本框架下，在解決方案里添加Windows窗體、用戶控件、類庫(kù)等，以此來(lái)開發(fā)二維仿真軟件。

3.碰撞檢測(cè)

為了使學(xué)習(xí)場(chǎng)景更加真實(shí)，模型和觀察者應(yīng)該具有一定程度的互動(dòng)反應(yīng)，在場(chǎng)景中需要設(shè)置碰撞檢測(cè)。碰撞檢測(cè)技術(shù)主要是檢測(cè)觀察者是否與模型相碰撞，如果碰撞模型，觀察者會(huì)做出相應(yīng)的動(dòng)作，從而提高仿真效果。VR/AR系統(tǒng)中的碰撞檢測(cè)分為兩種，一種是借助鼠標(biāo)位置定義的射線來(lái)檢測(cè)是否與特定模型發(fā)生碰撞，另一種是通過檢測(cè)來(lái)防止觀察者與模型相碰撞，實(shí)現(xiàn)逼真的仿真效果。

在實(shí)際開發(fā)中，為了方便控制程序的編寫，本系統(tǒng)的可操作模型，如閥門、按鈕等的X文件單獨(dú)導(dǎo)入XNA，并且在XNA框架下單獨(dú)定義一個(gè)Operation類，用來(lái)實(shí)現(xiàn)具體的操作動(dòng)作，如鼠標(biāo)左鍵按下，模型按照設(shè)定的路線動(dòng)作，鼠標(biāo)右鍵按下則復(fù)位。

4.力反饋虛擬操作的實(shí)現(xiàn)

力反饋裝置和攝像機(jī)是虛擬漫游技術(shù)的關(guān)鍵環(huán)節(jié)。通過設(shè)計(jì)攝像機(jī)的位置和角度，學(xué)習(xí)者可以得到視覺效果很好的三維場(chǎng)景，如同置身于真實(shí)環(huán)境中漫步一樣。通過力反饋設(shè)備，使用者可以操作仿真系統(tǒng)中的各種訓(xùn)練項(xiàng)目，計(jì)算機(jī)對(duì)使用者的輸入信息作出反應(yīng)，并將力的作用反饋輸出;使用者感受到力的反饋?zhàn)饔茫缬H臨現(xiàn)場(chǎng)操作。

力反饋操作開發(fā)的通用流程如下：首先是虛擬場(chǎng)景和力反饋系統(tǒng)初始化，之后進(jìn)入主循環(huán)，等待事件響應(yīng)。一旦檢測(cè)到力反饋設(shè)備輸入信息，即進(jìn)入力反饋線程，進(jìn)行碰撞檢測(cè)及響應(yīng)計(jì)算，輸出反饋力，并將處理后的數(shù)據(jù)發(fā)送到主線程里的系統(tǒng)模型數(shù)據(jù)處理模塊，計(jì)算仿真結(jié)果，反饋到場(chǎng)景線程，實(shí)時(shí)渲染更新場(chǎng)景，保證觸覺和視覺的統(tǒng)一（如下圖）。為了提高系統(tǒng)的響應(yīng)速度，可采用多線程的工作方式;為了保證在某一時(shí)刻只有一個(gè)線程，在訪問共享資源時(shí)，系統(tǒng)可以設(shè)置互斥對(duì)象，保證在同一時(shí)刻，一個(gè)變量只能被一個(gè)線程訪問。

VR/AR技術(shù)帶來(lái)的挑戰(zhàn)

雖然VR/AR技術(shù)帶來(lái)的虛擬世界使學(xué)生能有機(jī)會(huì)在原有知識(shí)基礎(chǔ)上構(gòu)建新的概念和知識(shí)，但將該技術(shù)應(yīng)用于教學(xué)還存在許多問題。首先，科學(xué)的教學(xué)法和有意義的任務(wù)設(shè)置仍然是教學(xué)設(shè)計(jì)的重點(diǎn)，完全依賴科技的舍本逐末不能帶來(lái)良好的教學(xué)效果;其次，學(xué)生的個(gè)性同虛擬學(xué)習(xí)環(huán)境的體驗(yàn)有一定的聯(lián)系，原本焦慮、內(nèi)向型的學(xué)生可能會(huì)因虛擬身份的使用變得更善于交流，但也可能因技術(shù)使用的障礙而影響虛擬環(huán)境中的交際體驗(yàn)，因此，教學(xué)設(shè)計(jì)中個(gè)人氣質(zhì)和個(gè)性差異在虛擬環(huán)境中的浸入程度應(yīng)考慮在內(nèi);最后，虛擬現(xiàn)實(shí)有賴于技術(shù)的使用，因此網(wǎng)絡(luò)的流暢、虛擬場(chǎng)景設(shè)計(jì)的美觀、硬件的音效等都會(huì)影響到學(xué)生的實(shí)際學(xué)習(xí)體驗(yàn)。

結(jié)語(yǔ)

盡管由于受技術(shù)門檻、開發(fā)成本和系統(tǒng)投入等諸方面因素限制，VR/AR技術(shù)不能很快地被廣泛應(yīng)用于教學(xué)中，但是VR/AR技術(shù)在教育教學(xué)中的應(yīng)用無(wú)疑是一種趨勢(shì)。從課堂教學(xué)、寫作訓(xùn)練、綜合能力培養(yǎng)等各個(gè)方面來(lái)說，VR/AR技術(shù)都將為大學(xué)英語(yǔ)教學(xué)帶來(lái)不可估量的成效，可以提高學(xué)生對(duì)英語(yǔ)學(xué)習(xí)的興趣，提高學(xué)生自身的綜合實(shí)踐能力，同時(shí)還可以提高教師的綜合素質(zhì)和教學(xué)水平。

參考文獻(xiàn)：

[1]劉露露.虛擬現(xiàn)實(shí)技術(shù)在應(yīng)用型本科院校大學(xué)英語(yǔ)聽說課程中的運(yùn)用[J].電子測(cè)試，2016（23）：104，115.

[2]徐品香.技術(shù)支持的語(yǔ)言學(xué)習(xí)：三個(gè)案例分析[J].遠(yuǎn)程教育雜志，2011，29（4）：77-81.

[3]Bojórquez E M，Villegas O O V， Sánchez V G C， et al. Study on Mobile Augmented Reality Adoption for Mayo Language Learning[J].Mobile Information Systems，2016.

[4]馬沖宇，陳堅(jiān)林.虛擬語(yǔ)言學(xué)習(xí)環(huán)境VILL@GE的項(xiàng)目分析及其啟示[J].中國(guó)電化教育，2013（2）：121-125.

[5]BARREIRA J，BESSA M， PEREIRA L C， et al. MOW： Augmented reality game to learn words in different languages - Case study： Learning English names of animals in elementary school[J].2012，52（11）：1-6.

[6]PERRY B. Gamifying French Language Learning： A Case Study Examining a Quest-based， Augmented Reality Mobile Learning-tool☆[J].Procedia - Social and Behavioral Sciences，2015，174：2308-15.

[7]李鐵萌，蘇力博，呂菲，等.基于增強(qiáng)現(xiàn)實(shí)的學(xué)前兒童識(shí)字教育系統(tǒng)及實(shí)驗(yàn)研究[J].軟件，2015，36（4）：44-9.

[8]陳向東，萬(wàn)悅.增強(qiáng)現(xiàn)實(shí)教育游戲的開發(fā)與應(yīng)用——以“泡泡星球”為例[J].中國(guó)電化教育，2017（3）：24-30.

[9]HE J， REN J， ZHU G， et al. Mobile-Based AR Application Helps to Promote EFL Children's Vocabulary Study; proceedings of the Advanced Learning Technologies （ICALT）， 2014 IEEE 14th International Conference on， F，2014[C].IEEE.