基于人工智能的課堂評價模式探究

郭曉旭

摘 要：時代和科技不斷發(fā)展，人工智能、“互聯(lián)網+”給教育帶來新的轉變，課堂教學評價模式也隨之帶來了新的變革。文章主要探討人工智能技術對課堂評價設計的應用，提升教學效果，完善評價機制。

關鍵詞：多模態(tài)；課堂評價；微表情識別；語音識別；動作識別

0 引言

目前，人工智技術能已經融入人們生活的各方面，在課堂評價模式上也可以利用人工智能技術使評價模式更加全面和人性化，課堂評價可以結合人臉檢測與識別、學生肢體動作識別和語音識別。通過視頻的人臉檢測與跟蹤和微表情識別實現(xiàn)對學生學習狀態(tài)的分析，除此之外結合學生的肢體動作進行肢體語言識別，將學生的表情狀態(tài)與肢體動作相結合評價學生學習的情況，通過語音識別輔助判斷目前課堂所處的積極狀態(tài)，實現(xiàn)對學生學習狀態(tài)的分析，促進課堂評價的全面性。

1 面部表情識別

微表情是一種持續(xù)時間非常短的表情，大多情況，很難察覺到它的存在。目前，微表情識別主要應用于深度學習。最初，研究者[1]利用CNN從微表情視頻中提取特征，并用SVM等分類器對微表情類別進行分類。這種結合方法與傳統(tǒng)手工提取特征相比，表現(xiàn)更好。后期，彭建國等設計了端到端的神經網絡，這種方法比傳統(tǒng)的方法（MDMO，F(xiàn)DM等）的識別率提升10%左右。懷謙等[2]提出用卷積層和遞歸層對微表情識別的訓練。目前，使用預訓練的殘差網絡用于微表情識別（見圖1）。

微表情數(shù)據集主要包括：芬蘭Oulu大學的SMIC（Spontaneous micro-expression corpus）和SMIC 2的兩個數(shù)據庫，中國科學院的3個數(shù)據集：CASME （Chinese Academy of Sciences micro-expression）[3]、CASME II[4] CAS（ME）2 、佛羅里達大學創(chuàng)建的USF-HD等數(shù)據庫。

2 人體動作識別

肢體動作的識別可以通過兩種方式來實現(xiàn)：第一種通過穿戴設備采集行為數(shù)據，這種方式因為需要設備支持因而較為昂貴；第二種是基于圖像識別對肢體動作進行識別，目前肢體動作識別有深度學習、圖像局部特征提取等方式，圖像局部特征提取主要通過將人體動作分解為軀干移動和關節(jié)運動的方式去處理。對于基于深度學習的肢體動作識別主要有CNN網絡、LSTM循環(huán)神經網絡和多網絡融合的網絡等去識別。

肢體動作識別主要是應用肢體動作數(shù)據庫對模型進行訓練，完成動作的識別，目前公開的肢體識別數(shù)據庫主要包括Weizmann數(shù)據庫[5]、AUT交互數(shù)據集、ADL數(shù)據庫[6]、HOHA數(shù)據庫等。

3 語音識別

語音識別是將人的語言轉換為機器理解的語言，語音識別技術最初使用馬爾科夫模型-高斯混合模型（HMMGMM）作為主要框架，后期隨著深度學習的發(fā)展，DNN模型的識別效果更好，形成HMM-DNN模型，但該模型會受到多方面因素的影響，逐漸出現(xiàn)端到端的模型（End-ToEnd），該模型更加簡化，用深層網絡代替模塊，實現(xiàn)從聲信號直接映射到標簽序列，簡化了語音識別模型的構建和訓練。

4 基于圖像識別與語音識別的課堂模式探討

在傳統(tǒng)教學質量評價方式中，學生學習內容、方式、目標被簡單地一致化，忽視學生個體的差異性[7-8]，制定統(tǒng)一的標準讓大家去遵循，缺乏彈性、變通性和寬容性，在教學評價過程僅從單一層面分析教學過程，缺少評價的公平與完整性，需要從學生的面部表情、肢體動作變化和語言多個角度分析，因而本文結合語音識別、微表情識別、肢體動作識別量化、細化教學環(huán)節(jié)的評價標準去綜合評價教學過程，教學評價的過程如圖2所示，從而從多個方面提升教學質量。如圖3所示，共分為如下步驟，分為兩個方面進行開展，分別從圖像識別與語音識別兩個方向開展，基于課堂上的監(jiān)控系統(tǒng)，采集課堂的視頻數(shù)據，分別對視頻中的圖像和語音綜合地分析，語音分析學生在課堂中情況，學生在討論過程中，是否出現(xiàn)本學科內容的關鍵詞，如果語音識別的內容占整體比重較少的話，說明課堂的整體狀態(tài)欠佳。圖像識別學生上課實時的面部表情，判斷其上課的狀態(tài)對這3個方面建立評價考核體系，根據不同的教學階段對3個方面設置不同權重，綜合實時地評價教學過程。

4.1 數(shù)據采集

通過教室的監(jiān)控系統(tǒng)采集學生上課的情況，監(jiān)控系統(tǒng)盡量在教室的中間，對學生正面的形象可以采集得比較清晰，同時讓學生保持放松的狀態(tài)，該部分也需要對課堂微表情數(shù)據進行采集，方便對模型進行訓練，更適應教學的環(huán)境和情景。

4.2 人臉檢測

教室光線環(huán)境復雜，人臉數(shù)目眾多，每一秒視頻又有很多幀圖像，這給人臉檢測與追蹤帶來了巨大的挑戰(zhàn)。人臉檢測的算法需要適用教室這個特殊的環(huán)境，并能實時有效快速地追蹤人臉是接下來進行課堂狀態(tài)分析的重要保障，因而需要選擇適應特定情況的算法，因為學生的臉的大小是不同的。

4.3 微表情識別

人臉表情復雜多樣，微表情又轉瞬即逝，學生課堂狀態(tài)的變化不容易被察覺，因而學生微表情的識別是關鍵部分，需要將人臉檢測與定位的人臉的圖片傳給微表情識別的模塊來完成對學生的課堂狀態(tài)進行分析，劃分教學狀態(tài)。

4.4 學生肢體動作識別

僅從學生的面部表情評價學生的狀態(tài)，過于片面，因而加入了學生的肢體動作檢測學生在課堂中的狀態(tài)，運用體感技術基于人體動作作為參數(shù)去評價每一位學生的學習狀況，因為如果學生在教學的過程中，出現(xiàn)大幅度的肢體動作變化，說明這個學生的狀態(tài)不好，因而將表情與肢體動作相結合使結果更為全面，抽取更適用于課堂評價的肢體語言動作，減少檢測模板庫的冗余。

4.5 語音識別

通過視頻中的收集語音信息，對每一部分的語音進行分析，查看語音內容是否包含了學科內容，根據學科內容的相關性去分析。語音識別可以用于檢測課堂狀態(tài)的積極性，建立課程相關的語料庫。在課堂中，學生的話語中出現(xiàn)的課程相關的詞匯，說明學生處在學習的積極狀態(tài)，當課堂中出現(xiàn)大聲喧嘩且討論內容與學習無關，說明課堂處在學習的消極狀態(tài)。

4.6 評價模型

采集到多方面的數(shù)據之后，需要綜合的建立評價方式，這里需要數(shù)學和統(tǒng)計學的方法科學地統(tǒng)計，運用研究數(shù)據去統(tǒng)計跟蹤每一位學生的上課聽講狀況，將每個學生的視覺和聽覺的數(shù)據采集/整合分析，發(fā)現(xiàn)群體的問題和規(guī)律，同時找到個體差異，以及每個人學習、上課階段的差異，更好地應用于學生上課狀況的跟蹤以及教師教學的調整，從而深化教學變革。

通過對上述數(shù)據的分析，對課堂的教學效果從實時分析學生學習狀態(tài)、階段性學生學習狀態(tài)、整節(jié)課學生的學習效果，在不同的階段實現(xiàn)對學生學習狀態(tài)分析，形成教學過程性的連續(xù)性的評價，將數(shù)據運用于教師講課水平的評價，使得每一位老師與每一位學生都保持著不可分割的聯(lián)系，激發(fā)學生的自信和課堂活躍程度，也可以通過不同的分數(shù)對應教學內容查看問題與提升，同時內容的評價給每一位老師提出建設性意見，推動實現(xiàn)智慧教室，實現(xiàn)教育信息化。

5 結語

面對當前的教學過程評價缺少過程性評價的問題，本文利用人工智能技術，將人臉識別、語音識別語音識別、肢體動作識別技術結合進行研究，實時獲取學生的面部表情、肢體動作語音內容進行分析，從實時和綜合整節(jié)課/段時間的三個維度給學生打分，輔助評價機構更加及時、準確、客觀地分析評價學生和教師，對教師的教學效果給予過程性評價，對學生的學習習慣進行實時分析，更容易發(fā)現(xiàn)問題，幫助教師對學生建立個性化的學習方式設計，精準分析學生學習的狀態(tài)變化，構建多維度的評價模型，對學生進行多維度的分析，實現(xiàn)對學生在教學過程中情緒的變化的監(jiān)控，促進學生的個性化發(fā)展。后續(xù)研究將會對教學過程進一步細化，豐富評價機制。

[參考文獻]

[1]D PATEL， HONG X， ZHAO G. Selective deep features for micro-expression recognition[C].Mexico：International Conference on Pattern Recognition，IEEE，2017.

[2]KHOR H Q， SEE J， PHAN R， et al. Enriched Long-term Recurrent Convolutional Network for Facial Micro-Expression Recognition[C].Xi’an：IEEE International Conference on Automatic Face & Gesture Recognition，arXiv，2018.

[3]YAN W J，WU Q，LIU Y J. CASME database：A dataset of spontaneous micro-expressions collected from neutralized faces[C]. Shanghai：Proceedings of the 10th IEEE International Conference and Workshops on Automatic Face and Gesture Recognition（FG 2013），2013 .

[4]YAN W J，LI X，WANG S J. CASME II：An improved spontaneous micro- expression database and the baseline evaluation[J]. Plos One，2014（1）：1-8.

[5]BLANK M，GORELICK L，SHECHTMAN E，et al.Actions as space-time shapes[C].Piscataway：Proceedings of IEEE International Conference on Computer Vision，IEEE，2005.

[6]MESSING R，PAL C，KAUTZ H.Activity recognition using the velocity histories of tracked keypoints[C].Piscataway：Proceedings of Recognition Using the Velocity International Conference on Computer Vision，2009.

[7]何祎.基于情感的課堂教學評價方法研究[D].錦州：渤海大學，2015.

[8]鄭延福.本科高校教師教學質量評價研究[D].徐州：中國礦業(yè)大學，2012.

（編輯 王永超）

Research on classroom evaluation model based on artificial intelligence

Guo Xiaoxu

（Beijing Vocational College of Economics and Management， Beijing 100102， China）

Abstract：In the times and the continuous development of science and technology， artificial intelligence， “Internet+” have brought new changes to education， and the classroom teaching evaluation model has also brought new changes. This paper mainly discusses the application of artificial intelligence technology to classroom evaluation design， improving teaching effect and perfecting evaluation mechanism.

Key words：multimodal； classroom evaluation； microexpression recognition； speech recognition； action recognition