面向SELL語料庫的AI虛擬英語口語訓(xùn)練系統(tǒng)研究

摘 要： 為了改善英語學(xué)習(xí)方式中的口語學(xué)習(xí)環(huán)境和效率，基于AI虛擬現(xiàn)實技術(shù)，建立了適用于中國英語語言特征的SELL語料庫。從VR交互界面、語音識別和智能對話3方面對系統(tǒng)設(shè)計進(jìn)行詳細(xì)闡述，最后選取某高校兩組學(xué)生班級進(jìn)行了一個學(xué)期的英語學(xué)習(xí)對比試驗。實踐發(fā)現(xiàn)：首先，虛擬現(xiàn)實英語學(xué)習(xí)系統(tǒng)邏輯清晰，基本實現(xiàn)了課程個性化定制和三維虛擬操作，并且支持外部VR設(shè)備，為英語學(xué)習(xí)者提供了沉浸式的英語學(xué)習(xí)平臺;其次，基于Kaldi語音識別工具訓(xùn)練后，修正的SELL語料庫測試集的準(zhǔn)確率基本上可以控制在12.1%，驗證集準(zhǔn)確率控制在11.5%;最后，對比英語學(xué)習(xí)實踐發(fā)現(xiàn)試驗組在聽力和口語表達(dá)方面成績有顯著提高，口語表達(dá)方面平均成績較之前提高了19.6%，聽力得分較之前提高13.3%，試驗結(jié)果表明該智能化虛擬現(xiàn)實學(xué)習(xí)訓(xùn)練系統(tǒng)效果較好。

關(guān)鍵詞： SELL語料庫; 虛擬現(xiàn)實; 英語口語

中圖分類號： TP319文獻(xiàn)標(biāo)志碼： A

Study on AI Virtual English Speaking Training System for SELL Corpus

LIN Hui

（Foreign Language Teaching and Research Department， Shanxi College of Communication Technology， Xian， Shanxi 710018， China）

Abstract： In order to improve the traditional study way of spoken English learning environment， AI is established first in China SELL corpus of English learning environment， and then from the VR interface design， design of speech recognition system and intelligent dialogue system are introduced in detail， finally by choosing a university to form two groups of students， the contrast test is carried out in one semester of English learning for evaluation. The research finds that first， the virtual reality English learning system has clear logic， basically realizes course customization and 3D virtual operation， and supports external VR equipment， providing an immersive English learning platform for English learners. Secondly， the accuracy of the modified SELL corpus test set can be basically controlled at 12.1%， while the accuracy of the verification set is controlled at 11.5%. Finally， it is found that the test group has a significant improvement in listening and oral expression. The average score of oral expression is 19.6% higher than before， and the listening score is 13.3% higher than before. The test results show that the intelligent virtual reality learning and training system has a better effect.

Key words： SELL corpus; virtual reality; oral English

0 引言

根據(jù)目前的統(tǒng)計數(shù)據(jù)，中國約有超過3億的英語學(xué)習(xí)者，其中包括2.2億普通英語學(xué)生和近8 000萬專業(yè)英語從業(yè)者[1-2]。作為中國最為普及的第二語言，英語測試中以口語作為衡量的考試相對較少，使得啞巴英語成為普遍現(xiàn)象。本文通過教學(xué)實踐發(fā)現(xiàn)，傳統(tǒng)的英語學(xué)習(xí)方式多著重于聽力和讀寫方面，缺乏口語語言環(huán)境和良好的訓(xùn)練方式。隨著AI虛擬現(xiàn)實技術(shù)在娛樂游戲、醫(yī)療輔助等領(lǐng)域已經(jīng)擁有實質(zhì)性的應(yīng)用和發(fā)展[3-7]，英語學(xué)習(xí)訓(xùn)練和教育方式同樣能夠得到應(yīng)用。AI和虛擬現(xiàn)實技術(shù)為人類的活動創(chuàng)造了一種沉浸式的感官體驗，用戶可以獲取身臨其境的參與感，通過與AR頭盔結(jié)合，英語學(xué)習(xí)者可以在虛擬的環(huán)境中實現(xiàn)純英語的交流學(xué)習(xí)環(huán)境，從而提高學(xué)習(xí)興趣、改善學(xué)習(xí)體驗。

因此，本文通過構(gòu)建適用于中國學(xué)習(xí)者的SELL（Second Language Learning，文中簡稱SELL）預(yù)料庫，以此為基礎(chǔ)設(shè)計虛擬現(xiàn)實界面交互方案，然后建立AI技術(shù)的英語學(xué)習(xí)交互系統(tǒng)，從而實現(xiàn)了沉浸式的英語學(xué)習(xí)環(huán)境。

1 系統(tǒng)總體架構(gòu)

1.1 系統(tǒng)結(jié)構(gòu)分層

系統(tǒng)結(jié)構(gòu)主要設(shè)定為3層，如圖1所示。

其中，第1層為表現(xiàn)層，該層主要面對外部用戶，實現(xiàn)的功能包括用戶注冊機(jī)登錄，系統(tǒng)數(shù)據(jù)配置，課程錄入編輯以及用戶信息的編輯等;第2層位邏輯層，該層分為四個模塊，每個模塊行使不同的功能，例如AI模塊實現(xiàn)對語言的識別以及對話、評估等，腳本模塊實現(xiàn)訓(xùn)練活動，圖形模塊實現(xiàn)系統(tǒng)的三維視覺效果，虛擬工具為用戶提供可編輯的操作方式;第3層位數(shù)據(jù)層，該層主要用于存儲和運(yùn)算，包括服務(wù)器數(shù)據(jù)，同步數(shù)據(jù)和文件存儲等。

1.2 虛擬現(xiàn)實場景

本系統(tǒng)通過虛擬兩個應(yīng)用場景來提供給學(xué)習(xí)者進(jìn)行英語學(xué)習(xí)和訓(xùn)練，如圖2所示。

（1） 演講場景，該場景中學(xué)習(xí)者會看到投屏中體現(xiàn)的示范性操作視頻，教授學(xué)習(xí)者如何進(jìn)行口語播放、暫停和學(xué)習(xí)動作。在訓(xùn)練模式中學(xué)習(xí)者可以根據(jù)提示反復(fù)練習(xí)課中的重要知識點(diǎn)，訓(xùn)練過關(guān)后進(jìn)入實景模式，實景模式中學(xué)習(xí)者不需要按照提示操作，而是面對虛擬的聽眾與其互動，通過口語訓(xùn)練交流，虛擬聽眾會根據(jù)學(xué)習(xí)者的水平做出相應(yīng)的反饋。

（2） 面試場景：學(xué)習(xí)者通過進(jìn)入一個國外某公司的面試環(huán)節(jié)中，根據(jù)虛擬面試官的提問進(jìn)行作答，并與面試官進(jìn)行互動，必要時可以提問。這一訓(xùn)練過程需要學(xué)習(xí)者提前復(fù)習(xí)面試所需要了解的公司背景知識以及相關(guān)的面試問題。

2 SELL語料庫構(gòu)建

AI虛擬英語學(xué)習(xí)環(huán)境的實現(xiàn)基礎(chǔ)是合適的英語語料庫，語料庫是幫助學(xué)習(xí)者和虛擬環(huán)境進(jìn)行交互的橋梁。由于每個學(xué)習(xí)者的英語水平和發(fā)音問題不一樣，語音識別準(zhǔn)確度較為關(guān)鍵，因此本位構(gòu)建基于中國英語語言環(huán)境的預(yù)料庫。

基于SELL語料庫，錄制了中國多個地區(qū)的英語測試人員的發(fā)音。其中語音采樣頻率為16～17 kHz，錄制時間長度在97.2 h，參與語言錄制的測試人員為300人（其中，男性152人，女性148人）。另外，語料庫還包括對錯誤發(fā)音的智能化檢測和轉(zhuǎn)化。語料庫音頻的收集基于微信小程序端口，平時測試人員在微信語音聊天和交流過程中規(guī)定其使用英語交流，這樣不會占用測試人員的大片時間，同時語料庫的廣度和范圍更加貼近生活實際，有效降低了語料庫的錄制成本。語料庫的構(gòu)建流程結(jié)構(gòu)，如圖3所示。

其大致構(gòu)建步驟如下：

（1） 文本收集，查找和下載英語口語化學(xué)習(xí)電子文件，將其制作成文本錄用文件;

（2） 音頻采集，介入微信小程序端口，讓被測試人員根據(jù)學(xué)習(xí)文本進(jìn)行口語化交流;

（3） 音頻數(shù)據(jù)審核，對音頻數(shù)據(jù)進(jìn)行重新梳理，剔除掉雜質(zhì)，并進(jìn)行降噪后返回;

（4） 素材標(biāo)記，根據(jù)不同性別和低于的音頻文件進(jìn)行分類和文字標(biāo)注。

整理完成后的語料庫包含約11 300條語句，句子涵蓋單因素、雙因素和三因素的比例分別為100%，95%和43%。為了驗證本文所收集的語料庫準(zhǔn)確性，采用Kaldi（基于C++編寫的語音識別工具包）進(jìn)行語料庫測試，用于驗證SELL語料庫的識別準(zhǔn)確性。本文使用4種模型進(jìn)行訓(xùn)練，分別為單音素、GMM模型（高斯混合模型）、LAD模型（線性絕對偏差模型）和SAT模型（隨機(jī)統(tǒng)計模型），測試結(jié)果如表1所示。

從統(tǒng)計的錯詞率來看，經(jīng)過四次訓(xùn)練后，SELL語料庫的語音識別率穩(wěn)步提高，在最后的SAT模型測試結(jié)果來看，其測試集的準(zhǔn)確率基本上可以控制在12.1%左右，驗證集準(zhǔn)確率控制在11.5%左右。

3 基于AI虛擬現(xiàn)實系統(tǒng)設(shè)計

3.1 VR交互界面設(shè)計

采用Unity編程軟件，該軟件本身攜帶人機(jī)交互UI系統(tǒng)，可以在3d空間中實現(xiàn)操作[8-10]。由于本文的研究系統(tǒng)還需要外設(shè)VR設(shè)備，因此需要進(jìn)行一定的改進(jìn)。

Unity軟件中主要由四個模塊構(gòu)成：Eventsystem模塊、Input模塊、Ray模塊和Graphic系統(tǒng)[11-12]。為了讓整個虛擬現(xiàn)實系統(tǒng)支持VR設(shè)備，對底層設(shè)備輸入進(jìn)行字典映射的方式進(jìn)行峰值，建立了設(shè)備管理模塊（Device模塊），該模塊位于Input模塊和Ray模塊之間，運(yùn)行過程中首先判斷其輸入來自于何種設(shè)備，然后經(jīng)過Device模塊進(jìn)行XML映射，以菜單欄的操作方式為例，其映射所調(diào)用的關(guān)鍵代碼為：

3.2 語音識別系統(tǒng)設(shè)計

基于神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)語音識別系統(tǒng)，其中語音識別過程中的神經(jīng)網(wǎng)絡(luò)原理為式（1）。

式中，xi表征音頻輸入?yún)?shù)，wi代表參數(shù)所對應(yīng)的權(quán)重值，兩者相城并累計求和后便得到神經(jīng)元輸出閾值u。為了確保神經(jīng)網(wǎng)絡(luò)的非線性輸入輸出功能，引入激活函數(shù)△（·），該函數(shù)實現(xiàn)了神經(jīng)元之間的循環(huán)。

采用神經(jīng)網(wǎng)絡(luò)模型（簡稱LSTM）方式模擬人類語言學(xué)習(xí)模式，在LSTM中遺忘門、輸入門和輸出門進(jìn)行循環(huán)嵌套，每個門都決定了神經(jīng)元的狀態(tài)，對語言識別具有良好的適用性。

3.3 智能對話系統(tǒng)設(shè)計

智能對話系統(tǒng)設(shè)計實現(xiàn)學(xué)習(xí)者在虛擬環(huán)境中的AI角色互動，當(dāng)學(xué)習(xí)者在場景中進(jìn)行走動均會觸發(fā)相應(yīng)的英語學(xué)習(xí)動作。例如，當(dāng)學(xué)習(xí)者觸發(fā)對話系統(tǒng)后，系統(tǒng)首先對麥克風(fēng)和揚(yáng)聲器進(jìn)行檢查，學(xué)者開始說話時進(jìn)行錄制，說話完畢立即進(jìn)行語音識別和處理，具體實現(xiàn)過程依據(jù)3.2節(jié)的LSTM模塊進(jìn)行。具體流程如圖4所示。

4 實例應(yīng)用和評估

為驗證該AI虛擬現(xiàn)實英語學(xué)習(xí)系統(tǒng)的效果，作者進(jìn)行了為期一個學(xué)期的英語學(xué)習(xí)綜合測試。測試選取陜西交通職業(yè)技術(shù)學(xué)院大一年級共4個班級的學(xué)生200人，這4個班級的學(xué)生基本能夠達(dá)到英語四級水平。因此，作者根據(jù)學(xué)生的性別、英語考試成績、地域評分分成A、B兩組。其中A組學(xué)生人數(shù)100人（男生58人，女生42人），所有學(xué)生英語期末平均成績75.2分（滿分100分），四級通過率89%，六級通過率5%;B組學(xué)生總數(shù)100人（男生55人，女生45人），所有學(xué)生期末英語成績均值為76.0分，四級通過率90%，六級通過率4%。從分組結(jié)果來看，兩組學(xué)生試驗前基本情況基本一致。

本次評估中，A組為試驗組，試驗時間段內(nèi)利用虛擬現(xiàn)實技術(shù)學(xué)習(xí)英語課程，B組為對照組，采用傳統(tǒng)的電腦上機(jī)自學(xué)模式進(jìn)行英語學(xué)習(xí)，學(xué)習(xí)時間為一學(xué)期，課時50學(xué)時，課程完成后進(jìn)行聽說能力測試，其成績統(tǒng)計結(jié)果如圖5所示。

從測試評估結(jié)果來看，A組（試驗組）在聽力和口語表達(dá)方面成績有顯著提高，尤其是口語表達(dá)方面，學(xué)生平均成績較之前提高了19.6%，聽力得分較之前提高約13.3%。但是，在寫作能力方面不論是試驗組還是對照組提高程度基本一致，應(yīng)用效果一般。

5 總結(jié)

英語口語一直是國內(nèi)英語學(xué)習(xí)和教育工作者面臨的難題，本文借助目前較為流行的虛擬現(xiàn)實技術(shù)，建立了基于中國地方方言的SELL語料庫，并基于AI虛擬現(xiàn)實技術(shù)實現(xiàn)了沉浸式英語學(xué)習(xí)系統(tǒng)，最后進(jìn)行了實例應(yīng)用和對比分析，結(jié)論如下：

（1） 本文通過設(shè)置表現(xiàn)層、系統(tǒng)邏輯層和數(shù)據(jù)層實現(xiàn)了虛擬現(xiàn)實英語學(xué)習(xí)系統(tǒng)的基本架構(gòu)，并建立了基于人工神經(jīng)網(wǎng)絡(luò)的虛擬現(xiàn)實場景。系統(tǒng)邏輯清晰，通過創(chuàng)建配置文件實現(xiàn)了課程個性化定制和三維虛擬操作，并且系統(tǒng)支持外部VR設(shè)備，為英語學(xué)習(xí)者提供了沉浸式的英語學(xué)習(xí)平臺。

（2） 基于SELL語料庫，錄制了中國多個地區(qū)的300名英語測試人員的發(fā)音，語音采樣頻率為16～17 kHz，錄制時間長度在97.2 h?；贙aldi語音識別工具訓(xùn)練后語料庫測試集的準(zhǔn)確率基本上可以控制在12.1%左右，驗證集準(zhǔn)確率控制在11.5%左右。

（3） 選取試驗組和對比組進(jìn)行為期一個學(xué)期的英語聽說課程訓(xùn)練，實踐發(fā)現(xiàn)試驗組在聽力和口語表達(dá)方面成績有顯著提高，口語表達(dá)方面平均成績較之前提高了19.6%，聽力得分較之前提高13.3%，試驗結(jié)果表明該智能化虛擬現(xiàn)實學(xué)習(xí)訓(xùn)練系統(tǒng)效果較好。

參考文獻(xiàn)

[1] 鄭佩蕓.網(wǎng)絡(luò)書面實時交流與口語能力培養(yǎng)研究[J].外語電化教學(xué)，2011（5）：32-37.

[2] 王莉梅.英語口語交際策略教學(xué)與研究[J].外語電化教學(xué)，2011（4）：61-65.

[3] 魏克俊.基于虛擬現(xiàn)實技術(shù)的模具教學(xué)系統(tǒng)研究與開發(fā)[J].計算機(jī)與現(xiàn)代化，2019（9）：102-105.

[4] 陶全勝.大學(xué)英語學(xué)業(yè)成績形成性評估改革調(diào)查研究[J].外語電化教學(xué)，2019（4）：81-85.

[5] 王佩.基于BIM和虛擬現(xiàn)實技術(shù)的建筑工程設(shè)計優(yōu)化[J].微型電腦應(yīng)用，2019，35（5）：89-91.

[6] 張飛云，張彤.虛擬現(xiàn)實技術(shù)在競技體育仿真中的應(yīng)用分析[J].自動化技術(shù)與應(yīng)用，2019，38（9）：162-164.

[7] 馬艷，鄧豪.基于虛擬現(xiàn)實的運(yùn)動訓(xùn)練矯正系統(tǒng)設(shè)計[J].信息技術(shù)，2019，43（9）：20-23.

[8] 閔亮.軟件工程中虛擬現(xiàn)實的啟示應(yīng)用及挑戰(zhàn)[J].微型電腦應(yīng)用，2018，34（11）：124-127.

[9] 徐志平.虛擬現(xiàn)實技術(shù)課程建設(shè)中的局限和應(yīng)對之道[J].計算機(jī)教育，2019（9）：96-98.

[10] 吳磊.基于虛擬現(xiàn)實技術(shù)（VR）的動畫交互性設(shè)計分析[J].信息技術(shù)，2019，43（7）：125-128.

[11] 孔琳.虛擬現(xiàn)實技術(shù)下的3D打印體驗系統(tǒng)設(shè)計研究[J].自動化技術(shù)與應(yīng)用，2019，38（10）：119-122.

[12] 陳良英.虛擬建筑室內(nèi)漫游動畫的設(shè)計與應(yīng)用[J].微型電腦應(yīng)用，2017，33（10）：30-32.

（收稿日期： 2019.09.20）

作者簡介：林輝（1985-），女，碩士，副教授，研究方向：英語課程與教學(xué)論。