基于深度學(xué)習(xí)的小學(xué)生英語(yǔ)口語(yǔ)能力評(píng)價(jià)系統(tǒng)理論綜述

【摘要】深度學(xué)習(xí)的語(yǔ)音識(shí)別技術(shù)具備學(xué)習(xí)、聯(lián)想、對(duì)比、推理和概括的能力，并且能夠逼近任意的非線(xiàn)性函數(shù)、并行化處理信息、容錯(cuò)能力強(qiáng)等優(yōu)點(diǎn)?；谏疃葘W(xué)習(xí)的小學(xué)生英語(yǔ)口語(yǔ)能力評(píng)價(jià)系統(tǒng)理論研究，將深度學(xué)習(xí)的基本原理與語(yǔ)音信號(hào)處理基礎(chǔ)理論的研究結(jié)合起來(lái)，為評(píng)測(cè)中小學(xué)生英語(yǔ)語(yǔ)音發(fā)音提供了新的理論依據(jù)。

【關(guān)鍵詞】深度學(xué)習(xí);英語(yǔ)口語(yǔ);理論研究

1.研究背景

2016年5月12日，北京教育委員會(huì)、中國(guó)青少年研究會(huì)共同下發(fā)了《中國(guó)少年兒童英語(yǔ)學(xué)習(xí)狀況調(diào)查白皮書(shū)》（下稱(chēng)《白皮書(shū)》）。白皮書(shū)公布的一項(xiàng)調(diào)查顯示，在隨機(jī)抽取的11775名少年中，有59.4%在小學(xué)階段就開(kāi)始接受英語(yǔ)教育;32.8%的未在小學(xué)階段學(xué)習(xí)英語(yǔ)。從《白皮書(shū)》的數(shù)據(jù)我們可以看到兒童英語(yǔ)學(xué)習(xí)在我國(guó)有著低齡化、普遍化和社會(huì)化的趨勢(shì)。在這種趨勢(shì)中，怎樣去規(guī)范少年兒童，尤其是中小學(xué)生的英語(yǔ)語(yǔ)音發(fā)音方式，提高他們的英語(yǔ)語(yǔ)音發(fā)音質(zhì)量，實(shí)現(xiàn)我國(guó)《義務(wù)教育英語(yǔ)課程標(biāo)準(zhǔn)（2017年版）》在中小學(xué)階段英語(yǔ)標(biāo)準(zhǔn)的要求，為之后有效的口語(yǔ)交際打下夯實(shí)的基礎(chǔ)，將是中小學(xué)階段英語(yǔ)學(xué)習(xí)中一個(gè)不可或缺的重要環(huán)節(jié)。但是由于英語(yǔ)和中文發(fā)音特點(diǎn)的差異性、師資的良莠不齊、國(guó)內(nèi)英語(yǔ)學(xué)習(xí)環(huán)境的缺乏以及傳統(tǒng)課堂受時(shí)間和地點(diǎn)的制約等種種因素都造成了英語(yǔ)教學(xué)和學(xué)習(xí)的一大堆難題。

隨著社會(huì)信息化不斷發(fā)展以及計(jì)算機(jī)技術(shù)的普及，越來(lái)越多的國(guó)內(nèi)外學(xué)者開(kāi)始進(jìn)行基于語(yǔ)音識(shí)別技術(shù)（Automatic Speech Recognition，ASR）的計(jì)算機(jī)輔助語(yǔ)言學(xué)習(xí)的研究。利用計(jì)算機(jī)軟件和硬件開(kāi)展英語(yǔ)教學(xué)，可以有效提高學(xué)生的學(xué)習(xí)效率，幫助學(xué)生掌握正確的發(fā)音技巧和方法，給學(xué)習(xí)者營(yíng)造一個(gè)相對(duì)專(zhuān)業(yè)而輕松的語(yǔ)言學(xué)習(xí)環(huán)境。語(yǔ)音識(shí)別技術(shù)經(jīng)歷了動(dòng)態(tài)時(shí)間規(guī)整算法（Dynammic Time Warping，DTW）到隱馬爾科夫模型（Hidden Markov Model，HMM），再到傳統(tǒng)的人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Networks，ANN或NN）[1]，技術(shù)在不斷取得新的發(fā)展與進(jìn)步但同時(shí)也進(jìn)入到了一個(gè)瓶頸期。這種瓶頸期的出現(xiàn)，一方面是由于技術(shù)的原因，另一方面則是英語(yǔ)語(yǔ)言發(fā)音特點(diǎn)和以及語(yǔ)音、語(yǔ)言能力評(píng)價(jià)指標(biāo)的設(shè)定原因。英語(yǔ)發(fā)音通常使用“后部發(fā)聲方法”，這與中文慣用的“前部發(fā)聲方法”有所不同，需要后部口腔發(fā)力，但是這個(gè)部位空間相對(duì)狹小，舌根運(yùn)動(dòng)幅度受到較大限制，這使得英語(yǔ)發(fā)音不清晰，不同音之間區(qū)別不大。此外，英語(yǔ)發(fā)音中還有連讀、弱讀、失去爆破、語(yǔ)調(diào)語(yǔ)境等語(yǔ)音現(xiàn)象的存在。我們會(huì)發(fā)現(xiàn)，由于技術(shù)、評(píng)判參數(shù)與語(yǔ)言特點(diǎn)的不完全融合，有些英語(yǔ)口語(yǔ)水平高的學(xué)習(xí)者在語(yǔ)音識(shí)別系統(tǒng)中的得分不高反低。因此，無(wú)論是在技術(shù)方面還是在對(duì)參數(shù)的設(shè)定上面，語(yǔ)音識(shí)別技術(shù)都還有進(jìn)一步完善的空間。

近年來(lái)，隨著大數(shù)據(jù)、云計(jì)算技術(shù)的發(fā)展，語(yǔ)音識(shí)別技術(shù)進(jìn)入了一個(gè)新的識(shí)別技術(shù)領(lǐng)域---深度學(xué)習(xí)（Deep Learning）。較傳統(tǒng)的語(yǔ)音識(shí)別技術(shù)，深度學(xué)習(xí)的語(yǔ)音識(shí)別技術(shù)具備學(xué)習(xí)、聯(lián)想、對(duì)比、推理和概括的能力，并且能夠逼近任意的非線(xiàn)性函數(shù)、并行化處理信息、容錯(cuò)能力強(qiáng)等優(yōu)點(diǎn)。

2.國(guó)內(nèi)外研究現(xiàn)狀及發(fā)展動(dòng)態(tài)分析

2.1國(guó)外研究現(xiàn)狀

上世紀(jì)五十年代，AT&T貝爾實(shí)驗(yàn)室研發(fā)出了一套語(yǔ)音識(shí)別系統(tǒng)，到了九十年代之后又產(chǎn)生了SPHINX系統(tǒng)。一直以來(lái)，國(guó)外都在摸索語(yǔ)音識(shí)別技術(shù)和口語(yǔ)自動(dòng)化評(píng)估技術(shù)。L.Neumeyer （1996）開(kāi)發(fā)了一套語(yǔ)音交互式語(yǔ)言學(xué)習(xí)系統(tǒng)VILTS，根據(jù)SRI語(yǔ)音識(shí)別系統(tǒng)Decipher（tm）生成的語(yǔ)音內(nèi)容來(lái)評(píng)估用戶(hù)發(fā)音準(zhǔn)確性。[2]系統(tǒng)一共包含四個(gè)評(píng)估維度：HMM相似性、發(fā)音準(zhǔn)確性、語(yǔ)音片循環(huán)和語(yǔ)速。之后，再根據(jù)評(píng)估結(jié)果對(duì)比來(lái)給出一個(gè)評(píng)測(cè)分?jǐn)?shù)。H.Franco（1997）重新改進(jìn)了上述系統(tǒng)，他使用基于HMM的后驗(yàn)概率提高了系統(tǒng)評(píng)測(cè)客觀(guān)性和正確率。到新世紀(jì)之后，隨著信息技術(shù)不斷進(jìn)步，語(yǔ)音識(shí)別技術(shù)也有很大的改進(jìn)，NVIDIA公司研發(fā)了一套新型計(jì)算機(jī)處理器，該處理器采用了并行計(jì)算結(jié)構(gòu)，大大減少了深度神經(jīng)網(wǎng)絡(luò)語(yǔ)音工作量，利用巨量語(yǔ)音數(shù)據(jù)庫(kù)提升了識(shí)別準(zhǔn)確性，極大的推動(dòng)了語(yǔ)音識(shí)別技術(shù)的發(fā)展。比較有代表性的是美國(guó)學(xué)者Li Deng（2012）等將多條件隨機(jī)場(chǎng)應(yīng)用到了語(yǔ)音識(shí)別系統(tǒng)當(dāng)中;利用深度神經(jīng)網(wǎng)絡(luò)技術(shù)改進(jìn)了馬爾科夫模型運(yùn)行概率，在此基礎(chǔ)上建模形成了DHH=HMM系統(tǒng)。同傳統(tǒng)GMM-HMM相比效果更顯著，這也是當(dāng)前語(yǔ)言識(shí)別技術(shù)發(fā)展的最新成果。[3]

在評(píng)估方面。從整句提升到了音素層面。SM.Witt（2000）從因素層面開(kāi)展學(xué)習(xí)效果評(píng)估，這樣做的好處就是能夠及時(shí)發(fā)現(xiàn)學(xué)習(xí)者的錯(cuò)誤發(fā)音，對(duì)學(xué)習(xí)者的發(fā)音與標(biāo)準(zhǔn)發(fā)音差異進(jìn)行評(píng)估，找出其中存在的根本性差異。采用基于相似性的GOP（Goodness of Pronunciation）方法，根據(jù)事前設(shè)置的平均目標(biāo)值來(lái)統(tǒng)計(jì)各個(gè)因素參數(shù)，并設(shè)置閾值進(jìn)行認(rèn)定。

總之，國(guó)外對(duì)于語(yǔ)音和口語(yǔ)評(píng)估的研究已經(jīng)相當(dāng)深入，除了上述提到的外，還涉及到重音檢測(cè)、語(yǔ)音錯(cuò)誤檢測(cè)、韻律等方面。

2.2國(guó)內(nèi)研究現(xiàn)狀

國(guó)內(nèi)的研究雖然起步較晚，但是近幾年來(lái)發(fā)展很快，研究水平也取得了很大的進(jìn)步。蘇鵬飛（2006）提出了“英語(yǔ)口語(yǔ)評(píng)估算法研究”[4]，該研究采用SPHINX-4自動(dòng)語(yǔ)音識(shí)別系統(tǒng)，對(duì)英語(yǔ)口語(yǔ)連讀部分和易混淆音部分進(jìn)行評(píng)估算法，直接把英語(yǔ)口語(yǔ)的評(píng)估深入到具體語(yǔ)法領(lǐng)域。陳一寧（2009）對(duì)英語(yǔ)口語(yǔ)學(xué)習(xí)中的語(yǔ)音識(shí)別技術(shù)進(jìn)行了改良與發(fā)展，采用HMM技術(shù)建立語(yǔ)音識(shí)別模型，生成語(yǔ)音Viterbi解碼，利用后驗(yàn)概率識(shí)別發(fā)音效果，最后對(duì)照專(zhuān)家數(shù)據(jù)庫(kù)糾正發(fā)音錯(cuò)誤，并建立了融整合解碼、評(píng)分與糾錯(cuò)于一體的語(yǔ)音評(píng)價(jià)系統(tǒng)。這種技術(shù)已在上海交大與SHARP株式會(huì)社共同推進(jìn)的“世博英語(yǔ)口語(yǔ)學(xué)習(xí)”項(xiàng)目中普及。

2013年，百度成立了深度學(xué)習(xí)研究院，這極大的拓展了深度學(xué)習(xí)研發(fā)領(lǐng)域。2014年底，百度首席技術(shù)官吳恩達(dá)發(fā)布了新技術(shù)深度語(yǔ)音識(shí)別（Deep Speech），之后語(yǔ)音助手也面世。百度宣布DNN（Deep Neurual Network）將會(huì)在百度語(yǔ)音助手中應(yīng)用，這就是深度學(xué)習(xí)在語(yǔ)音服務(wù)上的實(shí)踐，他們采用基于DNN的模型代替原有的基于高斯混合（Gaussian Mixture Models，GMM）的模型對(duì)共有語(yǔ)音與服務(wù)后臺(tái)進(jìn)行升級(jí)，升級(jí)后將識(shí)別范圍允許的次錯(cuò)率降低了10%，優(yōu)于谷歌Speech AP、Wit.AI、微軟Bing Speech[5]。除此之外，深度語(yǔ)音識(shí)別開(kāi)始也逐漸運(yùn)用在英語(yǔ)學(xué)習(xí)和教學(xué)中。張爽等在原有的單因子和三銀子模型上添加韻律因素，構(gòu)建了韻律模型方法，從而改進(jìn)發(fā)音質(zhì)量評(píng)價(jià)性能;蘇鵬飛通過(guò)對(duì)連讀和易混淆音兩個(gè)英語(yǔ)口語(yǔ)重要特征構(gòu)建評(píng)價(jià)模型來(lái)研究英語(yǔ)口語(yǔ)中的評(píng)估算法;李靖等（2008）在語(yǔ)音發(fā)音模型中引入了高斯混合模型和全局背景模型（UBM）算法，建立了一套全新的英語(yǔ)發(fā)音評(píng)價(jià)程序。實(shí)踐表明，在采集到的語(yǔ)音數(shù)據(jù)庫(kù)當(dāng)中，這種算法相似性達(dá)到0.7，大大高于其他評(píng)分程序[6]。

總之，隨著科技公司紛紛開(kāi)展相關(guān)研究，以及技術(shù)不斷進(jìn)步，深度學(xué)習(xí)與語(yǔ)音識(shí)別捆綁日益緊密，這也是未來(lái)社會(huì)發(fā)展趨勢(shì)和方向，具有廣闊的應(yīng)用前景。

3.已有現(xiàn)狀評(píng)述

首先，目前我國(guó)人工智能技術(shù)正在飛速發(fā)展，語(yǔ)音識(shí)別也將會(huì)走向更廣闊的應(yīng)用空間。深度學(xué)習(xí)作為一種現(xiàn)代智能技術(shù)，為語(yǔ)音識(shí)別提供了高準(zhǔn)確度、高速度的計(jì)算模式和方法，為智能語(yǔ)音交互創(chuàng)造了新的機(jī)遇。

其次，國(guó)內(nèi)外有關(guān)深度學(xué)習(xí)技術(shù)在英語(yǔ)音識(shí)別技術(shù)上的研究還處于起步和不斷完善的階段，主要體現(xiàn)在：對(duì)英語(yǔ)語(yǔ)種特點(diǎn)的把控度不高，這就造成了在進(jìn)行語(yǔ)音識(shí)別研究時(shí)，對(duì)英語(yǔ)語(yǔ)音單個(gè)因素識(shí)別技術(shù)的研究多，而忽略了英語(yǔ)口語(yǔ)能力的評(píng)測(cè)并非是單個(gè)發(fā)音因素的整合體;對(duì)評(píng)價(jià)參數(shù)精準(zhǔn)度的分析不透，現(xiàn)有的研究參數(shù)相對(duì)單一，不夠合理;研究對(duì)象的籠統(tǒng)化忽略了群體之間由于生理和心理特征造成的發(fā)音差異。

因此，基于深度學(xué)習(xí)的中小學(xué)生英語(yǔ)語(yǔ)音與口語(yǔ)能力評(píng)價(jià)系統(tǒng)研究是針對(duì)中小學(xué)生采取深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)技術(shù)建立語(yǔ)音識(shí)別模型，采用以語(yǔ)塊為最小的英語(yǔ)口語(yǔ)評(píng)價(jià)單位，對(duì)他們的英語(yǔ)語(yǔ)音發(fā)音質(zhì)量進(jìn)行監(jiān)控與評(píng)價(jià)從而提高英語(yǔ)語(yǔ)音、口語(yǔ)教學(xué)效率的研究。它可以大大提高語(yǔ)言信息處理能力，提升用戶(hù)獲取信息的效率，讓學(xué)習(xí)者有更好的用戶(hù)體驗(yàn)。

4.研究意義

4.1理論意義

第一，本研究將會(huì)在參考大量文獻(xiàn)資料的基礎(chǔ)上，通過(guò)對(duì)中小學(xué)生英語(yǔ)語(yǔ)音和口語(yǔ)現(xiàn)狀進(jìn)行調(diào)查，發(fā)現(xiàn)問(wèn)題，分析問(wèn)題，提出以語(yǔ)塊為最小評(píng)價(jià)單位的多參量英語(yǔ)語(yǔ)音評(píng)價(jià)體系，一定程度上揭示了中小學(xué)生英語(yǔ)語(yǔ)音發(fā)音的特殊性和規(guī)律性，豐富了英語(yǔ)語(yǔ)音教學(xué)理論。

第二，本研究將會(huì)基于深度學(xué)習(xí)的視角對(duì)語(yǔ)音識(shí)別做出更為細(xì)化的研究，將深度學(xué)習(xí)的基本原理與語(yǔ)音信號(hào)處理基礎(chǔ)理論的研究結(jié)合起來(lái)，為評(píng)測(cè)中小學(xué)生英語(yǔ)語(yǔ)音發(fā)音提供了新的方法。

4.2實(shí)踐意義

第一，本研究將會(huì)幫助中小學(xué)生注意英語(yǔ)口語(yǔ)表達(dá)過(guò)程中出現(xiàn)的英語(yǔ)語(yǔ)音現(xiàn)象，例如連讀、失去爆破等，并及時(shí)更正英語(yǔ)語(yǔ)音發(fā)音錯(cuò)誤，避免錯(cuò)誤經(jīng)多次重復(fù)而成為習(xí)慣，為學(xué)生提供更高效、更有趣的語(yǔ)言學(xué)習(xí)環(huán)境，從而極大提高了中小學(xué)生英語(yǔ)學(xué)習(xí)效率，充分調(diào)動(dòng)起學(xué)生學(xué)習(xí)英語(yǔ)的積極性，將獲得很大社會(huì)效益和市場(chǎng)價(jià)值。

第二，本研究將會(huì)幫助英語(yǔ)教育者甚至家長(zhǎng)提供一個(gè)簡(jiǎn)便、高效的英語(yǔ)語(yǔ)音發(fā)音質(zhì)量和英語(yǔ)口語(yǔ)能力的測(cè)評(píng)平臺(tái)，讓中小學(xué)英語(yǔ)教師和家長(zhǎng)對(duì)學(xué)生的英語(yǔ)語(yǔ)音學(xué)習(xí)和口語(yǔ)能力的提高有一個(gè)科學(xué)、全面的認(rèn)識(shí)，促進(jìn)學(xué)生在中小學(xué)階段的英語(yǔ)學(xué)習(xí)。研究結(jié)果還可以運(yùn)用在中小學(xué)生語(yǔ)音、口語(yǔ)能力測(cè)試中。

參考文獻(xiàn)：

[1]張瑞.英語(yǔ)語(yǔ)音合理性?xún)?yōu)化識(shí)別建模仿真研究[J].計(jì)算機(jī)仿真，2017，34（2）：289-292.

[2]梁穎紅，曹軍.文本語(yǔ)塊識(shí)別典型方法的比較與分析[J].計(jì)算機(jī)技術(shù)與發(fā)展，2008，18（11）：76-79.

[3]趙丹，鐘楠.在線(xiàn)連續(xù)交互式英語(yǔ)語(yǔ)音智能識(shí)別系統(tǒng)設(shè)計(jì)[J].現(xiàn)代電子技術(shù)，2017，40（15）：137-140.

[4]肖紅英.大學(xué)生預(yù)制語(yǔ)塊識(shí)別能力與閱讀理解水平的關(guān)聯(lián)性研究[D].贛南師范學(xué)院，2011.

[5]戴禮榮，張仕良，黃智穎.基于深度學(xué)習(xí)的語(yǔ)音識(shí)別技術(shù)現(xiàn)狀與展望[J].數(shù)據(jù)采集與處理，2017，32（2）：221-231.

[6]單敏.深度學(xué)習(xí)視閾下的英語(yǔ)發(fā)音質(zhì)量和語(yǔ)音識(shí)別探微[J].湖北函授大學(xué)學(xué)報(bào)，2017，30（20）：174-175.

基金項(xiàng)目：文章系2019年湖南省自然科學(xué)基金青年基金項(xiàng)目《基于深度學(xué)習(xí)的小學(xué)生英語(yǔ)口語(yǔ)能力評(píng)價(jià)系統(tǒng)研究》（編號(hào)2019JJ50679）結(jié)題成果。

作者簡(jiǎn)介：胡薇，女1982年7月出生，漢族，湖南益陽(yáng)，長(zhǎng)沙師范學(xué)院，碩士，副教授，研究方向：小學(xué)英語(yǔ)教學(xué)和教師教育。