英語口語機(jī)考評(píng)分系統(tǒng)研究與實(shí)現(xiàn)*

汪文棣，劉健剛，曹 蕾，董 靜，姜 浩

(1.東南大學(xué)教務(wù)處，南京210096;2.東南大學(xué)研究生院，南京210096;3.東南大學(xué)外國語學(xué)院，南京210096;4.東南大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院，南京210096)

楊晶佩宜在評(píng)述大學(xué)英語口語考試的文章中認(rèn)為，大學(xué)英語口語考試中的試題設(shè)計(jì)、考生在考試中的真實(shí)表現(xiàn)以及考試評(píng)估所存在的差異等仍然值得進(jìn)一步研究和討論［1］?；谟?jì)算機(jī)和網(wǎng)絡(luò)的大學(xué)英語四、六級(jí)考試項(xiàng)目于2008年12月20日在全國53所高校實(shí)施四、六級(jí)網(wǎng)考試點(diǎn)考試?；谟?jì)算機(jī)的英語口語考試則是英語四、六級(jí)網(wǎng)考中一個(gè)不可缺少的有機(jī)部分。然而，目前四、六級(jí)網(wǎng)考中的口語考試部分僅僅涉及“模仿”部分，不能含蓋英語口語考試的全部測試內(nèi)容，在考試內(nèi)容設(shè)計(jì)上存在漏洞［2］。

大學(xué)英語口語考試的目的在于測試中國全口制高等院校在校非英語專業(yè)大學(xué)生英語口語水平。根據(jù)全國大學(xué)英語考試委員會(huì)的規(guī)定，英語口語考試時(shí)間長度為20 min，考查內(nèi)容分為三個(gè)部分:(1)自我介紹(熱身練習(xí));(2)描述和評(píng)論一幅圖畫，并進(jìn)行討論;(3)指定話題提問。金艷認(rèn)為大學(xué)英語四、六級(jí)網(wǎng)考項(xiàng)目的總體目標(biāo)是建立“以試卷庫為基礎(chǔ)的計(jì)算機(jī)網(wǎng)絡(luò)系統(tǒng)，盡可能在適當(dāng)時(shí)間、適當(dāng)?shù)攸c(diǎn)為考生提供以聽力測試為主，包含說讀寫譯測試在內(nèi)、重點(diǎn)考查英語學(xué)習(xí)可持續(xù)發(fā)展能力的計(jì)算機(jī)考試”［3］。顯然口語測試在大學(xué)英語網(wǎng)考中占有一席之地.但是，“跟讀句子”是不能全部替代英語口語測試的全部內(nèi)容。英語口語測試的內(nèi)容必須還原于全國大學(xué)英語考試委員會(huì)規(guī)定的英語口語測試內(nèi)容。

口語考試可以以被定義為“一種能鼓勵(lì)人說話并且根據(jù)其話語內(nèi)容進(jìn)行評(píng)估的考核”［4］。對(duì)說話人內(nèi)容的評(píng)估顯然在口語考試中占有十分重要的地位，如果在測試中刪除了對(duì)內(nèi)容的評(píng)估，那么這樣的口語考試就沒有任何意義，從考試的效度上說是零效度，更談不上可信度。

本文重點(diǎn)研究的是在基于語音識(shí)別技術(shù)的最新成果，根據(jù)全國大學(xué)英語考試委員會(huì)規(guī)定的英語口語測試內(nèi)容，從技術(shù)實(shí)現(xiàn)的途徑上提出了一條可行的英語大學(xué)英語網(wǎng)考中口語考試的系統(tǒng)模型，從而設(shè)法解決英語網(wǎng)考口語單一“模仿評(píng)估”的低效度缺陷。

1 基于語種識(shí)別的方法實(shí)現(xiàn)

基于語種識(shí)別方法的實(shí)現(xiàn)在英語大學(xué)英語網(wǎng)考中口語考試的系統(tǒng)模型設(shè)計(jì)中很重要。東南大學(xué)前幾年試用了高等教育出版社的《大學(xué)體驗(yàn)英語?》，在原則與特點(diǎn)上注重實(shí)用口頭和書面表達(dá)能力的訓(xùn)練與培養(yǎng)，以適應(yīng)中國入世以后對(duì)外交往的需要，為英語教學(xué)網(wǎng)絡(luò)化及使用多媒體等現(xiàn)代化教學(xué)手段提供了立體、互動(dòng)的英語教學(xué)環(huán)境?！洞髮W(xué)體驗(yàn)英語?》的《聽說教程》首先以簡短的引導(dǎo)語(Leadin)，引出單元的主題。引導(dǎo)語后面一系列精美圖片展示了與主題有關(guān)的方方面面，為學(xué)生提供了聯(lián)系自我、“高談闊論”的素材(如圖1所示)。老師則進(jìn)入管理系統(tǒng)，對(duì)學(xué)生的學(xué)習(xí)和在線測試進(jìn)行管理(如圖2所示)。

圖1 口語測試素材示意圖

圖2 老師管理平臺(tái)示意圖

體驗(yàn)英語《聽說教程》的教學(xué)內(nèi)容和課程體系是東南大學(xué)在英語教學(xué)和測試改革方面所作的一次大膽嘗試，具有前瞻性和革命性，當(dāng)然，也存在著技術(shù)上的疏漏，包括本節(jié)要解決的問題:非英語語種識(shí)別問題。我們現(xiàn)在在校的學(xué)生大多是80后，創(chuàng)新意識(shí)強(qiáng)，具有突出的個(gè)性色彩與表達(dá)欲望。學(xué)生在堂下進(jìn)行網(wǎng)絡(luò)課程自學(xué)過程中會(huì)進(jìn)行各種“奇思妙想”，在進(jìn)行口語測試練習(xí)中，根據(jù)如圖1所上文提示的英文，不是進(jìn)行英語回答，而是用中文或老家土語進(jìn)行回答。于是，一傳十，十傳百，有些勇敢的學(xué)生就這個(gè)問題向老師提出質(zhì)疑，懷疑計(jì)算機(jī)進(jìn)行口語測試打分的可靠度和可信度。

對(duì)于這個(gè)問題，本文作者之一劉健剛和董靜老師在2011年8月在本刊上刊登了《英語口語機(jī)考系統(tǒng)中語種識(shí)別方法的研究》的文章，闡述了幾種語種識(shí)別的方法，這里就不累贅敘述。

2 基于語音識(shí)別的方法實(shí)現(xiàn)

語音識(shí)別技術(shù)在英語口語網(wǎng)考中占住著最重要的地位。語音識(shí)別技術(shù)過不去，英語口語網(wǎng)考中對(duì)說話人的內(nèi)容進(jìn)行評(píng)估就無從談起。因此基于語音識(shí)別的技術(shù)要根據(jù)口語評(píng)估的要求，在現(xiàn)有成熟技術(shù)的條件下，盡可能貼近實(shí)際測試內(nèi)容來展開。

基于特征比較的語音評(píng)分機(jī)制是英語口語學(xué)習(xí)系統(tǒng)的核心技術(shù)，主要用計(jì)算機(jī)來自動(dòng)評(píng)斷一個(gè)人的英語發(fā)音是否標(biāo)準(zhǔn)，并和標(biāo)準(zhǔn)音進(jìn)行匹配。全國大學(xué)英語考試委員會(huì)在這方面已經(jīng)做了大量工作，并得到了實(shí)證確認(rèn)，人、機(jī)評(píng)分對(duì)比的相似率高達(dá)82.7%(如圖3所示)。

圖3 人、機(jī)評(píng)分對(duì)比相似率示意圖

此方法的實(shí)現(xiàn)，通過對(duì)受試者的發(fā)音進(jìn)行評(píng)價(jià)，即對(duì)發(fā)音段中單個(gè)音素(如英語的音素)進(jìn)行評(píng)價(jià)，還對(duì)超發(fā)音段(英語的重音調(diào))、單詞的發(fā)音、句子中詞與詞之間的協(xié)同發(fā)音、句子的語速

和流利程度等進(jìn)行評(píng)價(jià)(如圖4所示)［6］。

圖4 (語音)跟讀評(píng)分實(shí)現(xiàn)示意圖

3 語音文本轉(zhuǎn)換文字文本的方法實(shí)現(xiàn)

語音識(shí)別系統(tǒng)是建立在語音技術(shù)、信號(hào)處理、模式識(shí)別等學(xué)科的有關(guān)數(shù)學(xué)模型基礎(chǔ)上，運(yùn)用不同的計(jì)算機(jī)算法來實(shí)現(xiàn)的。上世紀(jì)90年代初，IBM、Apple、AT＆T Bell和NTT等很多大企業(yè)都投巨資支持語音識(shí)別系統(tǒng)的實(shí)用化研究。

客觀地說，隨著3G手機(jī)、GPS導(dǎo)航設(shè)備等移動(dòng)通信終端和MP3、電子詞典等便攜式消費(fèi)電子產(chǎn)品的日益普及，語音識(shí)別技術(shù)在嵌入式設(shè)備中的應(yīng)用越來越廣泛，但是在教育系統(tǒng)的平臺(tái)卻始終落后于市場平臺(tái)，直到四、六級(jí)網(wǎng)考試點(diǎn)考試開始。即便如此，也僅僅停留在語音匹配的語音識(shí)別技術(shù)的層面，不敢越雷池一步，惟恐出現(xiàn)事故。

其實(shí)在2004年間，馮嘉禮、方紅峰提出的數(shù)學(xué)模型及軟件編程就已經(jīng)實(shí)現(xiàn)了英語語音轉(zhuǎn)換成英文文字［7］。其從語音文本到文字文本實(shí)現(xiàn)的技術(shù)途徑通過對(duì)聲音文本的語音(單個(gè)詞匯、連續(xù)詞匯、寂聲段時(shí)長以及聲調(diào))進(jìn)行處理，將語音標(biāo)點(diǎn)符號(hào)識(shí)別出來，從而為計(jì)算機(jī)轉(zhuǎn)化文字奠定了語法規(guī)范［8］。根據(jù)語言語法規(guī)范，將識(shí)別出來的文字進(jìn)行準(zhǔn)確斷句，然后生成文字(如圖5所示)。目前我國語音識(shí)別的技術(shù)實(shí)現(xiàn)率(未學(xué)習(xí)的樣本)，可以達(dá)到72%［7］。

圖5 語音文本轉(zhuǎn)換文字文本實(shí)現(xiàn)途徑示意圖

4 文字文本自動(dòng)評(píng)分的方法實(shí)現(xiàn)

在對(duì)72%實(shí)現(xiàn)率的語音轉(zhuǎn)換為文字文本后，我們通過數(shù)據(jù)挖掘的技術(shù)就可以對(duì)文字文本作自動(dòng)評(píng)分。一般而言，對(duì)于文本內(nèi)容的評(píng)估，考慮到受試者表達(dá)習(xí)慣、知識(shí)水平的不同，對(duì)同一個(gè)概念可能有不同的表達(dá)方式，我們采用LSA(Latent Sematic Analyser)的方法來檢測內(nèi)容。

LSA假設(shè)文字文本中存在某種潛在的語義結(jié)構(gòu)。這種潛在的語義結(jié)構(gòu)隱含在文字文本中詞語的上下文使用模式中，可通過利用統(tǒng)計(jì)方法獲得。其核心思想是通過奇異值分解，將文檔向量和詞向量投影到一個(gè)低維空間，使得相互之間有關(guān)聯(lián)的文字文本，在沒有相同詞匹配的情況下，也能獲得相同的向量表示［9］。以LSA為模型的文字文本內(nèi)容評(píng)估，基于東南大學(xué)外語教學(xué)中采集的大量作文集合。從這些大量的作文集合中，采用統(tǒng)計(jì)的方法可以計(jì)算出那些單詞對(duì)于評(píng)分較為關(guān)鍵。計(jì)算機(jī)自動(dòng)提取出那些對(duì)評(píng)分高低影響較大的單詞項(xiàng)作為特征項(xiàng)，從而來衡量文字文本與英語口語主題內(nèi)容的相關(guān)度。這樣的設(shè)計(jì)，有效防止了受試者回答問題偏題的棘手問題，也防止了一些與考題無關(guān)但語言方面優(yōu)秀的答案獲取高分評(píng)估。

在計(jì)算機(jī)自動(dòng)評(píng)分系統(tǒng)的平臺(tái)上，我們?cè)O(shè)計(jì)了嵌入式軟件，采用了語義詞典WordNet來作為語料庫，用來匹配與關(guān)鍵詞語義相關(guān)的詞。然后根據(jù)在受試者語音文本轉(zhuǎn)換為文字文本中文字命中率情況來對(duì)英語口語的內(nèi)容方面進(jìn)行評(píng)分。

5 英語口語機(jī)考評(píng)分系統(tǒng)的實(shí)現(xiàn)

系統(tǒng)依托我們開發(fā)的第一代智能語音交互技術(shù)，主要完成英語口語語音的智能評(píng)測和學(xué)習(xí)功能。測試功能大體上包括口語測試、聽力測試兩大部分;學(xué)習(xí)功能上主要包括英語朗讀，口語對(duì)話兩大部分。圖示如圖6。

圖6 第一代智能語音交互技術(shù)示意圖

為了開發(fā)第一代智能語音交互平臺(tái)和便于攜帶的英語評(píng)分系統(tǒng)，我們把語音識(shí)別等功能在基于DSP的硬件系統(tǒng)上進(jìn)行了實(shí)現(xiàn)。系統(tǒng)的DSP采用TMS320C54X系列芯片實(shí)現(xiàn)，它是TI公司于1996年推出的16 bit定點(diǎn)低功耗數(shù)字信號(hào)處理器。它采用先進(jìn)的修正哈佛結(jié)構(gòu)，片內(nèi)有8條總線、CPU、片內(nèi)存儲(chǔ)器和在片外圍電路等硬件，加上高專業(yè)化的指令系統(tǒng)和6級(jí)深度的指令流水線，使得C54X具有功耗小、高度并行等優(yōu)點(diǎn)［10］。本系統(tǒng)采用了C54X系列的TMS320C5416定點(diǎn)DSP來實(shí)現(xiàn)說話人識(shí)別裝置，其結(jié)構(gòu)如圖 7所示。因?yàn)門MS320C5416是定點(diǎn)的數(shù)字信號(hào)處理器，對(duì)定點(diǎn)數(shù)據(jù)處理很快，卻對(duì)浮點(diǎn)數(shù)據(jù)的處理卻很慢。為了能在實(shí)際應(yīng)用中滿足用戶的需求，說話人自動(dòng)識(shí)別系統(tǒng)應(yīng)能以盡可能快的速度來完成識(shí)別過程，最好能達(dá)到實(shí)時(shí)。因此在開發(fā)過程中，我們對(duì)所有的浮點(diǎn)數(shù)據(jù)進(jìn)行定點(diǎn)化，以提高程序執(zhí)行的效率。C5416 DSP的片上資源有限，片上數(shù)據(jù)存儲(chǔ)器為64 kbyte，片上程序存儲(chǔ)器也是64 kbyte。為了防止數(shù)據(jù)空間不夠，在該系統(tǒng)中我們把所有的提示語音存放在程序存儲(chǔ)器里，而所有的碼本及采樣的語音數(shù)據(jù)都存放在數(shù)據(jù)存儲(chǔ)器里。

圖7 DSP說話人識(shí)別裝置示意圖

系統(tǒng)的實(shí)現(xiàn)主要包括語音信號(hào)的預(yù)處理，特征提取，訓(xùn)練，測試和實(shí)時(shí)識(shí)別過程。在本設(shè)計(jì)中需要做的預(yù)處理及特征提取是預(yù)加重、加窗、分幀、求線性預(yù)測分析系數(shù)，最后求出LPC倒譜系數(shù)和倒譜系數(shù)的r階線性回歸系數(shù)以及估計(jì)基音和差值基音周期。

精度問題在定點(diǎn)DSP中是相當(dāng)重要的，它將直接影響到識(shí)別的效果，為了能使系統(tǒng)有很高的正確識(shí)別率同時(shí)又不消耗過多的時(shí)間和內(nèi)存資源，我們?cè)陂_發(fā)系統(tǒng)時(shí)盡可能地合理分配計(jì)算位數(shù)，在保住精度的同時(shí)減少資源消耗。在定點(diǎn)化的過程中對(duì)各模塊進(jìn)行了定點(diǎn)模擬并分析比較其誤差，確保計(jì)算的可靠性。

第1個(gè)實(shí)驗(yàn)是非特定人英語連續(xù)語音識(shí)別實(shí)驗(yàn)。利用日本電子協(xié)會(huì)標(biāo)準(zhǔn)噪聲數(shù)據(jù)庫中的行駛中的汽車(2 000 cc組，一般道路)內(nèi)的噪聲(平穩(wěn)噪聲)和展覽會(huì)中的展示隔間內(nèi)的噪聲(非平穩(wěn)噪聲)，把這些噪聲按一定的信噪比(SNR)疊加進(jìn)無噪連續(xù)數(shù)字語音中組成帶噪語音。識(shí)別結(jié)果如表1所示。

表1 連續(xù)英語語音識(shí)別結(jié)果 %

第2個(gè)識(shí)別實(shí)驗(yàn)是戶外實(shí)際場所的英語語音識(shí)別實(shí)驗(yàn)。實(shí)驗(yàn)是利用在學(xué)校門口、交通道路和學(xué)校食堂3種不同的環(huán)境下采集的英語語音進(jìn)行的。結(jié)果是這3種環(huán)境下的識(shí)別概率分別是86%、80.4%、82.4%，達(dá)到了較高的識(shí)別精度。

6 結(jié)論

文章論述了目前四、六級(jí)網(wǎng)考試點(diǎn)考試中口語測試中效度的不足。闡述了英語口語機(jī)考應(yīng)該像傳統(tǒng)的口語測試一樣，檢測評(píng)估受試者的語音、語法和內(nèi)容這幾個(gè)方面，而不應(yīng)該僅僅拘泥于“跟讀”模仿能力的評(píng)估。文章提出了英語口語機(jī)考評(píng)分實(shí)現(xiàn)途徑，既通過語種識(shí)別、語音識(shí)別、語音文本轉(zhuǎn)換文字文本、文字文本評(píng)分四個(gè)環(huán)節(jié)來實(shí)現(xiàn)英語口語機(jī)考的自動(dòng)評(píng)分。本文提出的方法能夠較好地實(shí)現(xiàn)四、六級(jí)網(wǎng)考中英語口語評(píng)估的難題，對(duì)大規(guī)模展開英語口語機(jī)考具有十分重要的指導(dǎo)作用和現(xiàn)實(shí)意義。

［1］楊晶佩宜.大學(xué)英語口語考試介評(píng)［J］.昆明學(xué)院學(xué)報(bào)，2010，32(1):135-137.

［2］Liu Jiangang，Zheng Yuqi，Chen Meihua，et al.A Study on the Feasibility of CET Oral Test Based on Automatic Essay Marking［J］.Journal of Southeast University(English Edition)，2012，28(4):410-414.

［3］金艷，吳江.大學(xué)英語四、六級(jí)網(wǎng)考的設(shè)計(jì)原則［J］.外語界，2009，133(4):61-68.

［4］Underhill N.Testing Spoken Language［M］.Cambridge:Cambridge University Press，1987:21.

［5］宮力，梁維謙，丁玉國.大規(guī)模英語口語考試跟讀題型采用機(jī)器閱卷的可行性分析與實(shí)踐研究［J］.外語電化教學(xué)，2009，126:10-21.

［6］黃曉勇，虞維.語音識(shí)別技術(shù)在外語口語學(xué)習(xí)中的應(yīng)用［J］.計(jì)算機(jī)系統(tǒng)應(yīng)用，2006，6:18-21.

［7］方紅峰，馮嘉禮，韋夢(mèng)蕓，等.英語語音轉(zhuǎn)換英文文字的軟件實(shí)現(xiàn)［J］.哈爾濱工程大學(xué)學(xué)報(bào)，2006，27:584-586.

［8］劉健剛，儲(chǔ)琢佳，趙力.語音文本的標(biāo)點(diǎn)符號(hào)特性初探［J］.語言科學(xué)，2013，12(2):405-410.

［9］黃濤.四、六級(jí)考試英語作文自動(dòng)評(píng)分研究［D］.南京:東南大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院，2011.

［10］彭啟.TMS320C54X實(shí)用教程［M］.成都:電子科技大學(xué)出版社，1999:189-215