語音檢測技術(shù)在高考外語聽說機考中的應用探析

呂鳴

（上海市教育考試院，上海 200433）

語音檢測技術(shù)在高考外語聽說機考中的應用探析

呂鳴

（上海市教育考試院，上海 200433）

本文介紹應用語音檢測技術(shù)實時甄別聽說機考語音異常的方法和策略：先由機器學習異常語音特征，再經(jīng)反復試驗，優(yōu)化檢測組件，最終集成入機考系統(tǒng)。上海市高考外語聽說機考的結(jié)果表明，應用語音檢測技術(shù)檢測聽說機考語音異常非常有效。

高考；外語聽說測試；計算機輔助考試；語音檢測技術(shù)

1 引言

依據(jù)2014年9月頒布的《上海市深化高等學?？荚囌猩C合改革實施方案》，從2017年起，上海市高考外語考試包括筆試和聽說測試，聽說測試部分采用人機對話的方式，一年舉行兩次，分別在每年1月和6月。高中生可最多參加兩次外語考試，選擇其中較好的一次成績計入高考總分[1]。由于外語聽說測試納入統(tǒng)一高考，并以多批次人機對話方式實施，使得考試安全管理內(nèi)容變得豐富而復雜，其重要性和高利害性不言而喻。從以往僅關(guān)注現(xiàn)場考試安全，發(fā)展為硬件環(huán)境的可靠性、考試系統(tǒng)的穩(wěn)定性和現(xiàn)場監(jiān)考的完整性三個方面，而現(xiàn)場監(jiān)考也分成了候考管理、現(xiàn)場監(jiān)考和留置管理三個環(huán)節(jié)，不僅環(huán)節(jié)增多、人員多樣，還要空間支撐，可以說這已經(jīng)不是原有管理方式或規(guī)則可以涵蓋的[2]。由于前幾年口語機考均在非標準化考場中進行，不同考點的考場環(huán)境各不相同，耳麥的選擇參差不齊，座位間距也各不相同，可能會因噪聲干擾或設(shè)備故障導致極個別考生答卷語音異常而影響評卷。為避免高考外語聽說機考中因設(shè)備原因?qū)е落浺舢惓?，需要通過技術(shù)手段，在系統(tǒng)收卷過程中實時發(fā)現(xiàn)可能的異常，及時進行人為干預，避免考試結(jié)束后某份答卷因錄音問題而影響評分。

2 語音檢測技術(shù)的設(shè)計與應用

2.1 設(shè)計思路

使用2016年上海市普通高中學業(yè)水平考試英語口語考試中已知的因設(shè)備故障影響評卷的語音樣本作為訓練集，分析并歸類異常類型，提取異常語音的特征，確定語音檢測組件的檢測對象，并初步調(diào)整其各項參數(shù)，盡可能多地覆蓋訓練集中的異常語音，然后使用調(diào)試過的語音檢測組件篩選出2013年至2015年所有考生答卷中存在的異常語音，分別與各年度的異常列表進行對比，優(yōu)化語音檢測組件的各項參數(shù)，并將語音檢測組件集成入機考系統(tǒng)，在隨后的全真模擬考試中測試其效果，最終應用于2017年1月高考外語聽說機考。

2.2 語音異常分類

在調(diào)整語音檢測組件各項參數(shù)前，首先需要對訓練集中的錄音異常樣本進行分析，找出可以作為機器學習的對象。通過對2016年因設(shè)備故障影響評卷的16個異常樣本逐一試聽后發(fā)現(xiàn)：其中1個樣本錄音正常，但答題錯位，判斷為考生錯拿鄰座耳麥答題造成，不能作為機器學習的對象；另外1個樣本錄音時長嚴重不足，需要強化考試系統(tǒng)對錄音設(shè)備的監(jiān)控，也不能作為機器學習對象；最終確定有14個語音樣本可以作為機器學習的對象。

人工反復試聽這14個異常樣本，可以將它們分成無語音、雜音多和信噪比低三大類（見表1）。機器可以通過分析異常語音樣本的各項物理參數(shù)，較為精確地找出這三類異常語音，并通過調(diào)整參數(shù)來實現(xiàn)判定尺度的松緊。

2.3 調(diào)校原則

所有答卷包中的語音文件經(jīng)過語音檢測組件篩選后，會生成疑似語音異常列表。將這個列表與答卷總數(shù)以及各年度已知的因設(shè)備故障影響評卷的異常列表進行關(guān)聯(lián)，可得到如下四個指標：

報出數(shù)：系統(tǒng)判定為疑似語音異常的樣本個數(shù)報出率：（報出數(shù)/實考總?cè)藬?shù)）×100%

召回數(shù)：系統(tǒng)判定為疑似語音異常樣本與該年因設(shè)備故障影響評卷的樣本交集中的樣本個數(shù)

召回率：召回數(shù)/該年因設(shè)備故障影響評卷的樣本數(shù)

在正式考試中，系統(tǒng)判定為疑似語音異常的答卷需要人工逐一小題試聽，因此報出數(shù)的多少將直接影響到每場考試的正常進行。一場考試如果僅有個別答卷被判定為語音異常，可以安排考生在后續(xù)批次的備用機上完成重考；但如果有超過5%的考生被判定為語音異常，那將造成重考考生過多而不斷積壓，影響后續(xù)場次考試的進行。召回率能直觀地反映語音檢測組件的準確性，召回率越高說明語音檢測異常越準確。經(jīng)實驗發(fā)現(xiàn)，召回率與報出率兩者間強相關(guān)，提高召回率將導致報出率的增加。因此，為了確保語音檢測組件不影響正?？荚囘M行，報出率必須經(jīng)過反復實驗并控制在一定范圍內(nèi)。

對于歷年異常列表中沒有被召回的部分，要分析遺漏的原因。如因訓練集中缺少某種異常類型，則要將其添加入訓練集，逐步提升語音異常檢測覆蓋的種類；如因檢測參數(shù)精度設(shè)定不合理，則需要調(diào)整組件參數(shù)。但某些參數(shù)之間存在一定的相關(guān)性，需要綜合考慮如何最大可能地提高檢測準確率，同時降低可能產(chǎn)生的負面影響，使語音檢測組件達到最優(yōu)。

2.4 判定策略

語音檢測的對象是單個語音文件，而整套試卷由12個小題構(gòu)成，因此每個考生答卷包中包含12個語音文件。一份答卷是否存在語音異常，不能簡單地根據(jù)每小題語音是否存在異常來判定，需要按語音異常類型和題塊類型制定判定策略。經(jīng)調(diào)試后的判定策略為：（1）有任意一個小題為靜音，則判定該答卷為語音異常。（2）為盡可能降低報出率，提高召回率，需要將小題語音組合成塊，以降低單個短語音報異常的權(quán)重。將12小題組合成4個題塊，如表2所示。只有題塊中所有語音均異常，才判定該題塊異常。異常的題塊數(shù)大于或等于3個，則判定該答卷為語音異常。

表1 訓練集異常情況

2.5 功能集成

將調(diào)試完畢的語音檢測組件集成入機考系統(tǒng)，原先的收卷流程會略微發(fā)生變化?？荚嚱Y(jié)束自動收卷時，答卷包會首先經(jīng)過語音檢測組件；如果發(fā)現(xiàn)疑似語音異常，系統(tǒng)會提示需要人工試聽。試聽后如所有小題錄音聲音或環(huán)境聲音清晰且完整，則判定為有效答卷，不需要重考，點擊“語音正?！焙笸顺鰴z查對話框；如有任一個小題的錄音聲音不清晰或不完整，則判定為無效答卷，需要安排考生重考，點擊“語音異常（安排重考）”后退出檢查對話框。流程如圖1所示。

表2 試卷各題塊情況

圖1 機考收卷流程圖

3 效果驗證

3.1 測試結(jié)果

使用調(diào)校完畢的語音檢測組件，對近四年所有考生答卷中的語音進行檢測，測試效果如表3所示?？梢钥闯觯形凑倩貥颖局兄挥幸粋€是檢測誤判造成的，其余均由于未滿足判定策略而未被召回。

通過對每年度所有考點及場次的報出數(shù)進行統(tǒng)計，列出報出數(shù)最多的前三名（見表4和表5）。可以看出，報出數(shù)較多集中在固定的幾個考點中，且每場次報出數(shù)最高不超過13個，絕大部分考點的報出數(shù)在合理范圍內(nèi)，可以基本忽略對考試組織的影響。

表3 調(diào)校后的語音檢測組件測試效果

3.2 未召回分析

語音檢測的目的就是要在考試現(xiàn)場迅速找出錄音存在異常的答卷，理論上召回率越接近100%越好。但提高召回率勢必會大幅增加報出率，可能會影響到考試的正常進行。從測試結(jié)果中可以看出，每年均有未被召回的異常。根據(jù)判定策略，只有異常的題塊數(shù)大于或等于3個，才判定該答卷為語音異常，絕大多數(shù)未召回的答卷中題塊異常數(shù)均小于3個，這些考生的答卷會被系統(tǒng)誤判為“語音正?！薄Ｒ虼?，判定策略還存在改進空間，需要通過反復試驗來驗證，確保報出率在正常可接受的范圍內(nèi)。

表4 2013—2016年按考點統(tǒng)計報出數(shù)前三名

表5 2013—2016年按場次統(tǒng)計報出數(shù)前三名

目前語音檢測組件在單個語音的判定上，還做不到100%的準確，存在誤判的可能：（1）由于運算精度的限制，目前語音檢測組件對于波形起伏與正常語音波形接近的異常判定準確度還有待提高。有時噪音波形看起來與正常語音的波形很類似，系統(tǒng)會誤判為正常語音。（2）由于采樣精度的限制，對于有些語音，從波形上看類似一條直線，應判斷為靜音，但經(jīng)放大后便可聽清語音。系統(tǒng)在此類情況下也容易出現(xiàn)誤判。

3.3 實戰(zhàn)效果

從以上數(shù)據(jù)分析可以看出，設(shè)備故障和判定策略是目前部分異常答卷未被召回的主要原因。其中，錄音時間不足的故障已由考試系統(tǒng)進行實時監(jiān)控并攔截，可降低因錄音設(shè)備故障導致的未被召回。

調(diào)試完畢的語音檢測組件最終應用于2017年1月高考外語聽說測試，總報出疑似語音異常數(shù)241個，占比0.47%。對所有考點及場次的報出數(shù)進行統(tǒng)計，列出報出數(shù)最多的前三名（見表6和表7）。可以發(fā)現(xiàn)，單考點、單場次的報出數(shù)相比往年有明顯下降，且最終所有答卷語音均正常，這得益于首次投入使用的外語聽說測試標準化考場。標準化考場使用考試專用USB耳機和全新的品牌電腦，并安裝有可升降式隔斷；采用高指向性拾音麥克風，當距離麥克風50 cm以上時，其拾音效果衰減10 dB，盡可能減少采集遠距離的噪音，提高了錄音效果。另外，在考試過程中，當耳機出現(xiàn)人為拔插時，監(jiān)考端會產(chǎn)生報警并記入日志，同時考試機退出考試狀態(tài)。這些舉措均能大幅降低設(shè)備的故障率，提高錄音質(zhì)量，確保錄音數(shù)據(jù)的完整性。

表6 2017年1月正式考試按考點統(tǒng)計報出數(shù)前三名

表7 2017年1月正式考試按場次統(tǒng)計報出數(shù)前三名

4 結(jié)論

通過對2016年上海市普通高中學業(yè)水平考試英語口語考試中已知的異常語音進行特征提取并由機器學習，然后在2013年至2015年所有樣本中進行反復試驗，不斷優(yōu)化檢測組件并集成入機考系統(tǒng)，在考試收卷過程中便可將錄音異常的答卷實時檢測出來。2017年1月高考外語聽說機考首次使用表明，語音檢測組件能非常有效地檢測出可疑異常，以便現(xiàn)場進行人工處理，最終所有答卷語音均正常。這也得益于外語聽說測試標準化考場的投入使用，在硬件上確保了可靠性。

由于語音檢測組件只能針對目前已知的異常進行檢測，在今后的考試中，難免會出現(xiàn)漏判或者誤判的可能性。因此，需要時刻對新的異常樣本保持關(guān)注，遇到新的異常情況，及時分析是否可以通過技術(shù)手段檢出。同時，還需要不斷改進判定策略，提高檢測的準確性。

[1]上海市人民政府.上海市深化高等學?？荚囌猩C合改革實施方案[EB/OL].（2014-09-18）[2017-03-29].http://www.shmec.gov.cn/html/xxgk/201409/420032014012.php.

[2]上海招考熱線.高考也進入了計算機時代[EB/OL].（2017-01-15）[2017-03-29].http://www.shmeea.edu.cn/page/17122/20170115/7780.html.

Exploratory Analysis of the Application of Voice Detection Technology in the Computerbased Test of Foreign Language Listening and Speaking for College Entrance

LV Ming
（Shanghai Education Examinations Authority,Shanghai 200433,China）

This article introduces the method and strategy of the application of voice detection technology in realtime screening of abnormal voices for computer-based testing of listening and speaking.To optimize the detection components,which will be ultimately integrated into the computer test system for the live test,the computer learns the abnormal voice features first,which are then confirmed through repeated trials.The result of the computerbased test of foreign language listening and speaking for college entrance in Shanghai shows that the use of the technology to detect abnormal voices is very effective.

College Entrance Examination;Testing Foreign Language Listening and Speaking;Computer-assisted Test;Voice Detection Technology

G405

A

1005-8427（2017）06-0055-5

10.19360/j.cnki.11-3303/g4.2017.06.009

（責任編輯：陳寧）

呂鳴（1982—），男，上海市教育考試院，工程師。