智慧教室聲音處理研究

岳恩妮，周偉杰，朱守業(yè)

(1.江蘇師范大學(xué) 智慧教育學(xué)院；2.江蘇師范大學(xué) 數(shù)學(xué)與統(tǒng)計學(xué)院，江蘇 徐州 221000)

1 智慧教室概念

國外學(xué)者認為智慧教室是運用計算機對信息進行傳輸和處理，并提供即時反饋給教師和學(xué)生，促進個性化教學(xué)活動開展的教學(xué)環(huán)境。國內(nèi)關(guān)于智慧教室的代表性說法為：智慧教室是一種優(yōu)化教學(xué)內(nèi)容呈現(xiàn)、便利學(xué)習(xí)資源獲取、促進課堂交互開展、具有情境感知和環(huán)境管理功能的新型教室[1]。筆者認為智慧教室應(yīng)該至少有以下特點：

(1)技術(shù)先進。智慧教室需要綜合應(yīng)用物聯(lián)網(wǎng)、云計算、大數(shù)據(jù)、數(shù)據(jù)挖掘、虛擬現(xiàn)實、人工智能等先進技術(shù)手段，提高教學(xué)效果。

(2)資源豐富。能提供并便捷利用多元化數(shù)字資源和智能的學(xué)科專用工具，個性化地推送和共享資源，增進學(xué)生對學(xué)習(xí)內(nèi)容的深度認知加工。

(3)智能交互。在學(xué)生與學(xué)生、學(xué)生與教師、師生與環(huán)境、師生與資源的交互中，學(xué)生多感官融入環(huán)境，思維得到顯性化，將知識同化入原有認知結(jié)構(gòu)，認知結(jié)構(gòu)得到改變。

(4)類型多樣。不同學(xué)科、課程、課型有不同教學(xué)需求，所以智慧教室應(yīng)該根據(jù)不同教學(xué)模式及其需求變換多種類型與形式。

(5)人本關(guān)懷。教育培養(yǎng)目標應(yīng)該是“知情合一”的人，即既會運用理性思考，同時也善于感性思考。因此在教學(xué)過程中更要注重情感作用，營造良好課堂氣氛。

(6)虛實融合。在先進技術(shù)和豐富資源支持下，云端一體化的智慧學(xué)習(xí)空間架構(gòu)已經(jīng)成為現(xiàn)實，虛擬仿真實驗平臺、MOOC平臺、教學(xué)管理系統(tǒng)等多種虛擬學(xué)習(xí)空間和智慧教室融為一體，更加系統(tǒng)地為教學(xué)提供支持和服務(wù)。

2 系統(tǒng)架構(gòu)

智慧教室中聲音處理系統(tǒng)主要由物理環(huán)境模塊、語音處理系統(tǒng)、數(shù)據(jù)分析模塊、移動端與云平臺等模塊組成，系統(tǒng)整體構(gòu)成如圖1所示。

圖1 智慧教室系統(tǒng)架構(gòu)

2.1 物理環(huán)境

智慧教室在選擇材質(zhì)、空間布局、安放設(shè)備和色彩搭配等方面，應(yīng)力求整潔舒適、讓人賞心悅目；在環(huán)境管理方面，要做到實時監(jiān)測教室環(huán)境，智能設(shè)備根據(jù)狀況數(shù)據(jù)自動調(diào)整；在人機交互方面，學(xué)生可以通過簡便、友好的操作獲取到有價值的信息，促進學(xué)生與老師、學(xué)生與學(xué)生間的交流，構(gòu)建和諧平等的教學(xué)環(huán)境。

系統(tǒng)特別強調(diào)在聲音處理方面，墻紙和頂面均需采用吸音材料，例如墻面與頂面可采用防火型聚酯纖維綿或礦棉吸音板，盡可能提高降噪系數(shù)。并且，教室每個角落設(shè)置懸置麥克風(fēng)，一個教室一般設(shè)置4～6個麥克風(fēng)，這種懸置麥克風(fēng)的方式可最大限度實現(xiàn)對上課過程的零干預(yù)，保證聲音的全方位采集并提高聲音處理的準確性[2]。

2.2 語音處理系統(tǒng)

該語音處理系統(tǒng)主要是基于三個語音處理技術(shù)：聲紋識別技術(shù)、語音內(nèi)容識別技術(shù)、語音情感識別技術(shù)。對采集的聲音數(shù)據(jù)進行處理，識別說話人、說話內(nèi)容及說話情緒，對整個課堂進行全程跟蹤。

(1)聲紋識別。聲紋其實就是對語音中所蘊含的、能表征和標識說話人的語音特征，以及基于這些特征(參數(shù))所建立的語音模型的總稱，而聲紋識別是根據(jù)待識別語音的聲紋特征識別該段語音所對應(yīng)的說話人的過程[3]。因為每個人的發(fā)聲器官，例如舌頭、牙齒、口腔、聲帶、肺、鼻腔等在大小和形狀等方面都有所不同，以及個人年齡、性格、語言習(xí)慣等方面的不同，加之發(fā)音容量大小和發(fā)音頻率差異，因而每個人發(fā)出的聲音必然有著各自特點，每個人聲紋圖譜都不同。因此，聲紋識別技術(shù)又稱說話人識別技術(shù)，它是一種實現(xiàn)說話人檢測和識別的生物特征識別技術(shù)。聲紋識別主要任務(wù)包括：語音信號處理、聲紋特征提取、聲紋建模、聲紋比對、判別決策等[4]。

(2)語音內(nèi)容識別。在生活中，語音信號不僅是人們傳遞信息的最直接、便捷、高效的方式，也是人類思想和情感交流的最主要途徑。但是傳統(tǒng)的人機交互只是讓機器根據(jù)人類操縱鼠標和鍵盤指令去執(zhí)行命令，這種人機交互相比于人類的語音交互不自然且不方便。所以人們一直希望將人與人之間的語音交互推廣到人與機器的智能語音交互。語音識別一般有3種方法：①基于信道模型和語音知識的方法；②基于模板匹配的方法；③基于人工神經(jīng)網(wǎng)絡(luò)的語音識別方法。目前語音識別技術(shù)應(yīng)用非常廣泛，例如語音輸入、語音撥號、智能家電、語音翻譯等。

(3)語音情感識別。語音情感識別是指計算機自動識別輸入語音的情感狀態(tài)。不同人表達的語言信號不同，即使是同一人，不同時間表達的聲音信號在時間結(jié)構(gòu)、振幅結(jié)構(gòu)、基頻結(jié)構(gòu)和共振峰結(jié)構(gòu)等方面也有不同結(jié)構(gòu)特征和分布規(guī)律。因此，只要測量、計算和分析各種具體模式的語言聲調(diào)表情在時間構(gòu)造、振幅構(gòu)造、基頻構(gòu)造和共振峰構(gòu)造等特征方面的構(gòu)造特點和分布規(guī)律，并以此為基礎(chǔ)或模板，就可以識別出所有語言聲調(diào)中所隱含的情感內(nèi)容[5]。

2.3 數(shù)據(jù)分析系統(tǒng)

數(shù)據(jù)分析系統(tǒng)是在聲紋識別、語音識別、語音情感識別基礎(chǔ)上，統(tǒng)計記錄學(xué)生每次上課發(fā)言次數(shù)、發(fā)言時間、發(fā)言內(nèi)容概要、發(fā)音情況、發(fā)言時情緒等信息，為每個學(xué)生生成課堂報告與建立數(shù)字檔案，并為教師推送班級學(xué)生的學(xué)習(xí)情況及情緒狀態(tài)，為實現(xiàn)精確的個性化培養(yǎng)提供支撐。教師和學(xué)生雖然接收的分析結(jié)果源于同一份數(shù)據(jù)，但是分析角度及提供建議有所不同。

(1)學(xué)生需要通過課堂報告了解自己發(fā)音及知識體系的薄弱之處，在課后針對性練習(xí)。所以學(xué)生收到的課堂學(xué)習(xí)報告有以下內(nèi)容：上課發(fā)言次數(shù)的頻次變化；錯誤讀音及矯正；發(fā)言內(nèi)容分析結(jié)果并對發(fā)言內(nèi)容從知識正確性、回答條理性、自信程度、新穎程度進行評價；將上課發(fā)言情況結(jié)合每個學(xué)生的基本信息、學(xué)習(xí)風(fēng)格、學(xué)習(xí)情況推薦必要的課后資源。

(2)教師需要通過課堂報告掌握學(xué)生上課的積極程度及回答問題或研討時的情緒狀態(tài)，及時調(diào)整課堂活動并且在課后為易感焦慮的學(xué)生進行鼓勵和引導(dǎo)。教師收到的課堂教學(xué)報告有以下內(nèi)容：學(xué)生上課發(fā)言次數(shù)的頻次變化；不同教學(xué)內(nèi)容學(xué)生討論及發(fā)言頻次的統(tǒng)計；上課過程有異常情緒的學(xué)生及其情緒隨上課進程的變化情況。

這些分析結(jié)果對教學(xué)過程起著重要支持作用：①可以實時反饋給上課的教師和學(xué)生，實現(xiàn)對課堂全過程的智能檢測；②可以利用統(tǒng)計分析、數(shù)據(jù)挖掘等技術(shù)，研究不同教學(xué)模式對學(xué)生上課積極性的影響，幫助教師調(diào)整教學(xué)方式；③可以豐富教學(xué)系統(tǒng)中每位學(xué)生的畫像，為學(xué)情預(yù)警和教學(xué)干預(yù)提供數(shù)據(jù)來源。

2.4 移動端

移動端不僅是學(xué)生與教師的交互媒介，也是教師與整個教學(xué)環(huán)境、學(xué)生與整個教學(xué)環(huán)境的交互媒介。有研究表明移動端的使用能增強教學(xué)的情境性，可以更好地實現(xiàn)個性化教學(xué)。本文所強調(diào)的移動端的功能主要包括以下方面：

(1)作為課堂發(fā)言和討論數(shù)據(jù)分析結(jié)果實時反饋的呈現(xiàn)載體，在課堂互動過程中，實時將數(shù)據(jù)分析結(jié)果反饋給上課教師和學(xué)生，反饋內(nèi)容包括發(fā)言時長、發(fā)言內(nèi)容概要、讀音問題以及發(fā)言內(nèi)容的知識正確性、回答條理性、自信程度、新穎程度等評價。通過對課堂上課情況全過程智能檢測，有利于對學(xué)生發(fā)言及時反饋并且?guī)椭處煾鶕?jù)學(xué)生回答及情緒狀態(tài)掌控與調(diào)整課堂進展，營造良好課堂氣氛。

(2)作為課內(nèi)課外打通、線上線下融合的平臺，課后師生可以在此平臺討論沒有完成的或者討論過程中引出的新問題，課后查看自己的課堂生成報告進行針對性的個性化學(xué)習(xí)。

(3)作為實時獲取各類資源、工具與模擬教學(xué)情境的媒介，學(xué)生可通過移動端查找與接收各類資源，進行線上討論、視頻點播、在線測試等，幫助師生嘗試并適應(yīng)多形態(tài)的課堂教學(xué)。

2.5 云平臺

整個智慧教室教學(xué)系統(tǒng)直接通過云課堂平臺自動獲取學(xué)生的基礎(chǔ)信息、課程信息，并將行為記錄等信息與之關(guān)聯(lián)；課后的課堂發(fā)言與討論文本可以上傳至云平臺，供學(xué)生在復(fù)習(xí)時在線查看，不斷地實現(xiàn)教學(xué)資源的豐富和充分共享；云平臺中存儲的學(xué)生畫像和個人數(shù)據(jù)中心會自動根據(jù)智慧教室中采集的大數(shù)據(jù)更新，為教學(xué)管理、教學(xué)指導(dǎo)、教育監(jiān)測評估和智能決策等提供支持。

3 結(jié)語

智慧教室在建設(shè)的過程中應(yīng)該強調(diào)以學(xué)生為主體、追求個性化的有意義學(xué)習(xí)，彰顯以人為本的教育理念。本文基于聲紋識別技術(shù)、自動語音識別技術(shù)、語音情感識別技術(shù)建構(gòu)的智慧教室聲音處理系統(tǒng)，借助物理設(shè)備、移動端、云平臺實現(xiàn)了教學(xué)過程的實時監(jiān)測和個性化教學(xué)，體現(xiàn)了智慧教室虛實融合、智能交互、人本關(guān)懷的特點。本文提出的基于聲音處理技術(shù)的智慧教室系統(tǒng)架構(gòu)具有以下優(yōu)勢：

(1)借助語音處理技術(shù)，不需要學(xué)生與硬件設(shè)備直接接觸，即可實現(xiàn)零干預(yù)采集教學(xué)活動過程的聲音數(shù)據(jù)，促進師生在智慧學(xué)習(xí)空間中協(xié)作與交流。

(2)利用語音識別技術(shù)，有利于在語文與英語課堂對學(xué)生讀音進行及時反饋與針對性指導(dǎo)。

(3)利用語音情感識別技術(shù)，對學(xué)生發(fā)言時的情緒狀態(tài)進行檢測，特別是有無焦慮情緒，教師可在教學(xué)活動或策略上進行改變以營造良好課堂氛圍。

(4)相關(guān)數(shù)據(jù)分析結(jié)果會實時反饋給教師和學(xué)生，教師可以動態(tài)調(diào)整教學(xué)進程。

(5)多角度、多層次的統(tǒng)計分析可以更清晰展現(xiàn)出學(xué)生現(xiàn)有的知識結(jié)構(gòu)并且豐富學(xué)生畫像，為不同學(xué)生提供有針對性的預(yù)習(xí)資料、課后作業(yè)與資源等，實現(xiàn)個性化教學(xué)。