智能語音識(shí)別技術(shù)在聽力殘疾學(xué)生課堂教育中的應(yīng)用

摘要：作為人工智能領(lǐng)域中研究、使用最廣泛的技術(shù)之一，智能語音識(shí)別技術(shù)已經(jīng)服務(wù)于科研、制造、醫(yī)療、教育等行業(yè)。為實(shí)現(xiàn)教育信息的無障礙溝通，語音識(shí)別轉(zhuǎn)寫技術(shù)在特殊教育領(lǐng)域，特別是在聽力殘疾學(xué)生（又稱聽障學(xué)生、聾生）的課堂教學(xué)上得到應(yīng)用。文章通過探究語音識(shí)別轉(zhuǎn)寫技術(shù)在某省特殊教育職業(yè)院校聽力殘疾學(xué)生課堂教學(xué)中的實(shí)際應(yīng)用情況·發(fā)現(xiàn)語音識(shí)別轉(zhuǎn)寫技術(shù)在聽力殘疾學(xué)生課堂教學(xué)上的優(yōu)勢(shì)與不足，對(duì)語音識(shí)別轉(zhuǎn)寫技術(shù)在特殊教育領(lǐng)域的發(fā)展進(jìn)行展望，以期促進(jìn)人工智能與特殊教育事業(yè)更深層次的融合與發(fā)展。

關(guān)鍵詞：智能語音特寫；語音識(shí)別；聽力殘疾；特殊教育；聾生

中圖法分類號(hào)：TN912 文獻(xiàn)標(biāo)識(shí)碼：A

１ 概述

１．１ 智能語音識(shí)別技術(shù)

智能語音識(shí)別技術(shù)是人工智能領(lǐng)域中應(yīng)用較廣泛的一門技術(shù)，包含語音合成、語音識(shí)別、口語測(cè)評(píng)、語義理解、自然語言理解［１～２］ 、機(jī)器翻譯等語音識(shí)別技術(shù)，其將收集的語音轉(zhuǎn)換成文字進(jìn)行表達(dá)。

１．２ 國(guó)內(nèi)語音識(shí)別技術(shù)的發(fā)展

我國(guó)語音識(shí)別技術(shù)的發(fā)展起步較晚，“國(guó)家高技術(shù)研究發(fā)展計(jì)劃”（８６３ 計(jì)劃）和“國(guó)家重點(diǎn)基礎(chǔ)研究發(fā)展計(jì)劃”（９７３ 計(jì)劃）實(shí)施后，中科院聲學(xué)所等研究所、國(guó)內(nèi)頂尖高校及研究團(tuán)隊(duì)紛紛投入到語音識(shí)別技術(shù)的研究中。２０１５ 年，清華大學(xué)建立了第一個(gè)開源的中文語音數(shù)據(jù)庫。２０１６ 年，上海交通大學(xué)相繼提出了ＶＣＤＮＮ（Ｖｅｒｙ Ｄｅｅｐ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ） 和ＶＤＣＲＮ（ｖｅｒｙ Ｄｅｅｐ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｒｅｓｉｄｕａｌ Ｎｅｔｗｏｒｋｓ），在提高噪聲語音識(shí)別性能上做出貢獻(xiàn)。百度、科大訊飛、阿里巴巴等公司在語音識(shí)別的核心技術(shù)研發(fā)上持續(xù)投入了大量精力，并將研究成果快速落地［３］ 。

目前，國(guó)內(nèi)主流的語音識(shí)別技術(shù)主要依靠大詞匯量連續(xù)收集語言數(shù)據(jù)，并基于深度神經(jīng)網(wǎng)絡(luò)進(jìn)行模型構(gòu)建和訓(xùn)練。我國(guó)正處在大力發(fā)展信息技術(shù)的熱潮中，經(jīng)過幾十年的研究，如今，中文語音識(shí)別技術(shù)迅猛發(fā)展，已達(dá)到國(guó)際領(lǐng)先水平，基于智能語音識(shí)別技術(shù)的語音識(shí)別轉(zhuǎn)寫系統(tǒng)被廣泛應(yīng)用在制造、教育、醫(yī)療、辦公等領(lǐng)域，因其具備實(shí)時(shí)將語言有序、準(zhǔn)確、完整地識(shí)別轉(zhuǎn)換成文字，并將其記錄保存的強(qiáng)大功能，受到智能會(huì)議領(lǐng)域的青睞，對(duì)于打造“信息無障礙”的交流環(huán)境發(fā)揮了重要作用。

２ 智能語音識(shí)別轉(zhuǎn)寫技術(shù)在聽力殘疾學(xué)生課堂教學(xué)中的應(yīng)用與實(shí)踐

２．１ 傳統(tǒng)課堂教學(xué)現(xiàn)狀

因先天或后天因素影響，聽力殘疾學(xué)生的聽力功能低于健全學(xué)生。聽力殘疾學(xué)生難以直接用有聲的聽覺語言符號(hào)進(jìn)行交流溝通、傳遞信號(hào)、表達(dá)思想，取而代之的是各種視覺語言符號(hào)（如手語、文字、圖像等）。

手語是聽力障礙者使用的特殊語言，是聽力殘疾學(xué)生交流、學(xué)習(xí)、溝通的重要手段，也是聽力殘疾學(xué)生教育（包括聾校教育、特殊教育學(xué)校聾教育等）教師使用的主要教學(xué)語言之一。任課教師通過手語翻譯、黑板板書和多媒體圖像、教具展示等方式進(jìn)行課堂教學(xué)，在課堂教學(xué)中難免遇到各類問題。

２．２ 課堂教學(xué)中存在的問題

（１）特殊教育學(xué)校聽力殘疾學(xué)生的課堂大都以教師手語演示配合口型開展課堂教學(xué)，同時(shí)輔以多媒體技術(shù)和課程相關(guān)教具。為做好課堂教學(xué)工作，教師需將原本口語表達(dá)的知識(shí)翻譯成手語再進(jìn)行教學(xué)，備課和授課壓力巨大。

（２）由于各地手語習(xí)慣的不同，很多聽力殘疾學(xué)生并不能理解教師官方手語的含義，在手語交流學(xué)習(xí)中會(huì)因相互間不同的手語習(xí)慣增加了課堂教學(xué)交流難度，容易產(chǎn)生誤解。

（３）學(xué)生課堂學(xué)習(xí)質(zhì)量受教師手語能力影響明顯，手語能力好的教師在授課時(shí)更加游刃有余，手語通俗易懂，學(xué)生聽課質(zhì)量較高；相反，手語水平相對(duì)較弱的教師受手語能力限制，在講解時(shí)容易出現(xiàn)手語不熟、不會(huì)，表達(dá)錯(cuò)誤等情況，很難發(fā)揮出原本的授課水平，加大了學(xué)生理解消化課堂知識(shí)的難度。

３ 語音識(shí)別轉(zhuǎn)寫技術(shù)在聽力殘疾學(xué)生課堂教育中的應(yīng)用實(shí)踐

案例介紹：本研究以某省特殊教育高職院校２０２０年采購的智能語音轉(zhuǎn)寫系統(tǒng)為起點(diǎn)，通過調(diào)研２ 年間該校智能語音轉(zhuǎn)寫系統(tǒng)在聽力殘疾學(xué)生課堂上的應(yīng)用情況，探討智能語音識(shí)別技術(shù)在特殊教育領(lǐng)域的優(yōu)勢(shì)與不足。

研究對(duì)象：該校２０１９ 級(jí)計(jì)算機(jī)專業(yè)某聽力殘疾學(xué)生班級(jí)全體學(xué)生和任課教師。

研究時(shí)間：２０２０ 年９ 月～２０２２ 年６ 月。

研究方式：觀察法、問卷調(diào)查法、訪談法。

學(xué)情分析：如表１ 所列。

研究?jī)?nèi)容：研究該班級(jí)在不同課程的課堂教學(xué)上應(yīng)用語音轉(zhuǎn)寫系統(tǒng)的效果。具體如表２ 所列。

研究結(jié)果：通過在研究對(duì)象的課堂中引入智能語音識(shí)別技術(shù)，采用觀察法、問卷調(diào)查法、談話法等，得到以下調(diào)查結(jié)果。

在將智能語音轉(zhuǎn)寫軟件投入課堂使用后，對(duì)研究對(duì)象進(jìn)行問卷調(diào)查，現(xiàn)摘抄相關(guān)問卷題目如下，相關(guān)調(diào)查情況如圖１～圖９ 所示。

題目１：“你希望使用實(shí)時(shí)語音轉(zhuǎn)文字識(shí)別軟件嗎？”［單選題］

題目２：“你在平時(shí)學(xué)習(xí)中是否用過“語音轉(zhuǎn)文字工具”，如訊飛、音書等？”［單選題］

題目３：“你覺得在平時(shí)的課程教學(xué)中用哪種形式學(xué)習(xí)效果較好？”［單選題］

題目４：“你認(rèn)為在課堂上，教師使用實(shí)時(shí)語音轉(zhuǎn)文字的益處有哪些？”［多選題］

題目５：“你覺得采用‘語音轉(zhuǎn)文字工具結(jié)合手語教學(xué)與傳統(tǒng)的手語教學(xué)相比有哪些好處？”［多選題］

題目６：“你認(rèn)為在課堂上，教師使用實(shí)時(shí)語音轉(zhuǎn)文字上課時(shí)存在哪些問題？”［多選題］

題目７：“請(qǐng)問是什么原因?qū)е履銦o法／ 降低使用實(shí)時(shí)語音轉(zhuǎn)文字軟件？”［多選題］

題目８：“你覺得使用‘語音轉(zhuǎn)文字工具對(duì)你們學(xué)習(xí)交流有幫助嗎？”［單選題］

題目９：“你最希望語音轉(zhuǎn)文字識(shí)別軟件做出什么改進(jìn)？ 請(qǐng)?zhí)岢鼋ㄗh。”［多選題］

通過與任課教師進(jìn)行談話交流，針對(duì)“你最希望語音轉(zhuǎn)文字識(shí)別軟件做出什么改進(jìn)？”及“你還期望該語音轉(zhuǎn)寫系統(tǒng)擁有哪些輔助功能？”等問題，任課教師提出了軟件的使用應(yīng)與課堂教學(xué)進(jìn)一步融合等意見和建議。

通過將智能語音轉(zhuǎn)寫技術(shù)應(yīng)用到聽障學(xué)生課堂上的真實(shí)體驗(yàn)，加上各種調(diào)查方式輔助研究，得出了以下研究結(jié)論。

研究結(jié)論：智能語音轉(zhuǎn)寫技術(shù)在聽障學(xué)生課堂上的應(yīng)用實(shí)現(xiàn)了聽障學(xué)生課堂教學(xué)的“語音可視化”，對(duì)于構(gòu)建“信息無障礙”課堂有很大幫助。但智能語音技術(shù)的課堂應(yīng)用還受網(wǎng)絡(luò)、口音、操作等諸多因素的影響，在技術(shù)上仍有可改進(jìn)和進(jìn)步的空間。

結(jié)論一：語音識(shí)別轉(zhuǎn)寫技術(shù)實(shí)現(xiàn)了對(duì)手語的補(bǔ)償性作用。語音識(shí)別轉(zhuǎn)寫技術(shù)可以將一些難以用手語翻譯的專業(yè)術(shù)語、學(xué)術(shù)語言等，實(shí)時(shí)轉(zhuǎn)譯成文字呈現(xiàn)在課堂上，彌補(bǔ)手語翻譯的不足，幫助聽力殘疾學(xué)生進(jìn)行理解；也可以幫助手語不熟練的新入職教師快速適應(yīng)教師角色，在課堂教學(xué)中，可借助語音識(shí)別轉(zhuǎn)寫技術(shù)的字幕講解，解決手語不熟練的問題，破除師生間的交流障礙，提高學(xué)生課堂學(xué)習(xí)質(zhì)量。

結(jié)論二：聽障學(xué)生在軟件學(xué)習(xí)類課程上對(duì)于語音轉(zhuǎn)寫技術(shù)的需求更高。例如， 在學(xué)習(xí)如何使用Ｐｈｏｔｏｓｈｏｐ，ＩｎＤｅｓｉｇｎ 等軟件課程時(shí)，授課教師通常需要邊演示軟件使用教程邊講解知識(shí)點(diǎn)，既要用手操作軟件，又要用手進(jìn)行手語講解，在這類課堂教學(xué)上，教師容易“手忙腳亂”或“手足無措”。智能語音轉(zhuǎn)寫系統(tǒng)的應(yīng)用，可以將教師講解的知識(shí)點(diǎn)像字幕一樣實(shí)時(shí)、有序、準(zhǔn)確地展示出來，一方面解決了教師一邊操作計(jì)算機(jī)一邊手語演示的難題，另一方面也極大提高了課堂的教學(xué)質(zhì)量。

不過，智能語音轉(zhuǎn)寫技術(shù)并不是在所有的課堂上都大受歡迎。例如，在語文、思政等以理解為主的文化類課上，考慮到聽障學(xué)生先天在文字理解上的弱勢(shì)，為了讓聽力殘疾學(xué)生明白知識(shí)要點(diǎn)，首先會(huì)使用手口結(jié)合的手語并配合多媒體視圖等圖文并茂地進(jìn)行講解，在遇到極少數(shù)手語不太好講解的地方可采用語音轉(zhuǎn)寫系統(tǒng)輔助理解，在此類課程中，智能語音轉(zhuǎn)寫技術(shù)主要起到輔助教學(xué)的作用。

結(jié)論三：智能語音轉(zhuǎn)寫技術(shù)在聽障學(xué)生課堂教學(xué)應(yīng)用中仍存在較大的改進(jìn)空間。

語音識(shí)別轉(zhuǎn)寫系統(tǒng)的操作應(yīng)更簡(jiǎn)單易上手。

（１）案例中的語音識(shí)別轉(zhuǎn)寫系統(tǒng)由系統(tǒng)客戶端和展板客戶端２ 部分組成，需要多客戶端協(xié)同操作，操作步驟較為復(fù)雜，信息技術(shù)水平較低的人在使用時(shí)存在一定難度。

（２）案例中的語音識(shí)別轉(zhuǎn)寫系統(tǒng)在功能上更傾向于智能會(huì)議的記錄、實(shí)時(shí)字幕、編輯等，商用價(jià)值高，在聽障學(xué)生的課堂教學(xué)上，服務(wù)特殊教育、彌補(bǔ)特殊教育智能課堂的屬性不足。另外，轉(zhuǎn)寫展示的文字缺少實(shí)時(shí)交互的功能，教師不能在課堂上對(duì)實(shí)時(shí)轉(zhuǎn)寫后的文字進(jìn)行即時(shí)編輯（標(biāo)注、勾畫等），尤其是當(dāng)出現(xiàn)轉(zhuǎn)寫錯(cuò)誤時(shí)，任課教師也不能第一時(shí)間進(jìn)行書寫修正，容易出現(xiàn)理解錯(cuò)誤。

（３）受環(huán)境噪聲、回聲干擾、發(fā)音習(xí)慣和口音、網(wǎng)絡(luò)速度、語音內(nèi)容專業(yè)性強(qiáng)等因素影響，在實(shí)際使用中，語音實(shí)時(shí)識(shí)別轉(zhuǎn)寫的準(zhǔn)確率并沒有達(dá)到９０％以上，轉(zhuǎn)寫準(zhǔn)確率較低，影響聽力殘疾學(xué)生對(duì)于知識(shí)點(diǎn)的理解。

４ 展望

４．１ 打造個(gè)性化智能語音轉(zhuǎn)寫系統(tǒng)

受聽力功能障礙影響，聽力殘疾學(xué)生無法直接通過聲音與外界進(jìn)行信息交流，取而代之的是視覺捕獲。即無論手語、文字還是視頻圖像，聽力殘疾學(xué)生都需要用眼睛來捕獲信息，傳遞給大腦進(jìn)行分析理解，進(jìn)而形成反饋。

過度的用眼需求容易使聽力殘疾學(xué)生在視覺捕獲時(shí)出現(xiàn)用眼疲勞，而語音識(shí)別轉(zhuǎn)寫技術(shù)是將語音轉(zhuǎn)換成文字展示。在課堂學(xué)習(xí)時(shí)，學(xué)生既要看任課教師的手語演示，又要閱讀屏幕上的文字，大幅增加了聽力殘疾學(xué)生用眼睛去觀察和閱讀的難度。

研究發(fā)現(xiàn)，很多聽力殘疾學(xué)生本身對(duì)閱讀“缺乏內(nèi)心的渴望和興趣”，閱讀興趣并不濃厚，即使有一定的興趣，但受閱讀能力和理解能力的限制，聽力殘疾學(xué)生也不一定能完全理解文字的含義。因此，在語音快速的轉(zhuǎn)寫過程中，聽力殘疾學(xué)生既要關(guān)注授課教師的手語演示，又要理解、消化屏幕上轉(zhuǎn)寫的文字含義，無形中加大了聽力殘疾學(xué)生學(xué)習(xí)的難度。部分學(xué)生會(huì)因?yàn)橐暰€上的無法兼顧且文字內(nèi)容晦澀難懂而產(chǎn)生厭煩情緒，影響課堂學(xué)習(xí)。

４．２ 智能語音轉(zhuǎn)寫技術(shù)與課堂高效融合

由于市面上大多數(shù)具有語音識(shí)別轉(zhuǎn)寫技術(shù)的系統(tǒng)應(yīng)用都是為各種論壇、展覽、會(huì)議服務(wù)的，在功能上更傾向于對(duì)會(huì)議、論壇演講發(fā)言的全程語音記錄與實(shí)時(shí)轉(zhuǎn)寫。其既能保證會(huì)議記錄的完整性，打破會(huì)議記錄只能依靠人工速記的局限，又能以短延遲、高準(zhǔn)確率地實(shí)時(shí)轉(zhuǎn)寫上屏分享發(fā)言內(nèi)容，方便參會(huì)人員聽看結(jié)合，全面了解會(huì)議內(nèi)容。此系統(tǒng)針對(duì)會(huì)議資料，具有收集、整理和后期編輯功能，適合中小型會(huì)議的記錄與資料整理。因此，在實(shí)用功能上更多體現(xiàn)的是其商用和辦公價(jià)值。

在聽力殘疾學(xué)生課堂上應(yīng)用語音識(shí)別轉(zhuǎn)寫技術(shù)，可以提升聽力殘疾學(xué)生在課堂上接收知識(shí)的廣度，了解教師口語表述但未手語翻譯的內(nèi)容，尤其給手語基礎(chǔ)較弱的年輕教師帶來了便利。但在應(yīng)用過程中也暴露出一些問題。例如，針對(duì)上文中提到的操作不方便、缺少實(shí)時(shí)互動(dòng)、轉(zhuǎn)寫準(zhǔn)確率等實(shí)際問題，提出以下改進(jìn)建議。

（１）提升語音轉(zhuǎn)寫技術(shù)在展示時(shí)的靈活性，使講述人可根據(jù)講述內(nèi)容隨時(shí)決定中止、暫停、繼續(xù)語音轉(zhuǎn)寫展示。在授課時(shí)，任課教師以手語講授為主，在遇到不方便手語翻譯或手語授課困難時(shí)，靈活切換語音轉(zhuǎn)寫展示教學(xué)， 使任課教師可以更好地將手語與語音轉(zhuǎn)寫技術(shù)結(jié)合，既不過分弱化手語功能，又可以提高課堂學(xué)習(xí)質(zhì)量。

（２）改進(jìn)語音轉(zhuǎn)寫系統(tǒng)展示端窗口界面樣式，考慮更利于教育教學(xué)、人性化的窗口界面，增加標(biāo)記、畫筆等交互功能，提升展示端產(chǎn)品在課堂交互上的使用感。

（ ３）提高聲紋識(shí)別的準(zhǔn)確性，通過區(qū)分不同聲紋來篩選語音轉(zhuǎn)寫對(duì)象，屏蔽雜音，提高轉(zhuǎn)寫準(zhǔn)確率。

語音識(shí)別轉(zhuǎn)寫技術(shù)的發(fā)展和應(yīng)用，不僅存在巨大的發(fā)展?jié)摿?，在針?duì)聽障學(xué)生課堂的特殊教育領(lǐng)域的應(yīng)用和實(shí)踐上也存在可探討和改進(jìn)的空間，這需要科研人員和教育工作者的共同努力。

參考文獻(xiàn)：

［１］ 秦鳳枝．解讀人工智能語音轉(zhuǎn)寫技術(shù)在會(huì)議中的應(yīng)用［Ｊ］．電子世界，２０２０（２２）：１９０?１９１．

［２］ 馬晗，唐柔冰，張義，等．語音識(shí)別研究綜述［Ｊ］．計(jì)算機(jī)系統(tǒng)應(yīng)用，２０２２，３１（１）：１?１０．

［３］ 柳雯雯．特殊教育高職院校聾生閱讀能力的培養(yǎng)［Ｊ］．現(xiàn)代職業(yè)教育，２０１９（２０）：２７２?２７３．

作者簡(jiǎn)介：王蕭慧（１９８８—），碩士，工程師，研究方向：計(jì)算機(jī)教育應(yīng)用以及信息化設(shè)備、多媒體設(shè)備的運(yùn)維和管理。