基于表情識別的智慧教室授課評估系統(tǒng)

蔡玉寶 李德峰 連海根 馬留洋

摘要：本文詳細(xì)分析了目前教室授課評估系統(tǒng)存在的問題，采用監(jiān)控攝像頭配合人臉情緒識別技術(shù)，通過實(shí)時監(jiān)控學(xué)生情緒狀態(tài)變化評估課堂授課狀態(tài)。本文提出一種基于Python+ OpenCV+Dlib的面部情緒分析課堂授課評估系統(tǒng)的設(shè)計與實(shí)現(xiàn)，該系統(tǒng)實(shí)現(xiàn)的功能模塊包括人臉圖像采集、人臉檢測與定位、表情特征提取與識別、課堂活躍程度統(tǒng)計，授課狀態(tài)報表生成等。系統(tǒng)中人臉檢測與識別基于OpenCV的face_recognition模塊，采用開源庫Dlib進(jìn)行面部特征點(diǎn)提取，最后提取學(xué)生課堂情緒狀態(tài)。系統(tǒng)經(jīng)過運(yùn)行測試，結(jié)果表明該系統(tǒng)能夠滿足一般的基于人臉情緒識別的授課評估任務(wù)需求。

關(guān)鍵詞：表情識別;智慧教室;教學(xué)評估

中圖分類號：TP391.41? ? 文獻(xiàn)標(biāo)識碼：A? ? ? 文章編號：1007-9416（2020）10-0000-00

0引言

智慧教室體現(xiàn)在多媒體教室及網(wǎng)絡(luò)教室的組合，它是由物聯(lián)網(wǎng)技術(shù)、云計算技術(shù)和智能技術(shù)等新技術(shù)構(gòu)建起來的一種新型教室，這種新型的教室系統(tǒng)由有形的物理空間以及無形的數(shù)字空間組成，它通過各類智能裝備來輔助教學(xué)內(nèi)容呈現(xiàn)、便利學(xué)習(xí)資源獲取、促進(jìn)課堂交互開展，實(shí)現(xiàn)情境感知和環(huán)境管理功能的新型教室[1]。教學(xué)評價是根據(jù)教學(xué)目標(biāo)對教學(xué)過程和結(jié)果進(jìn)行判斷并為教學(xué)決策服務(wù)的活動。教學(xué)評價是研究教師教學(xué)和學(xué)生學(xué)習(xí)價值的過程。教學(xué)評價一般包括教學(xué)過程中對教師、學(xué)生、教學(xué)內(nèi)容、方法、環(huán)境、管理等因素的評價。然而，目前的教學(xué)評估工作幾乎等同于對教師教學(xué)工作的評估，嚴(yán)重忽視針對學(xué)生的關(guān)注[2]。諸多關(guān)注學(xué)習(xí)本身而忽視學(xué)生個性、情緒的現(xiàn)象使得教育偏離其本質(zhì)與根本追求，而教師本身的教學(xué)經(jīng)驗(yàn)等諸多人為因素對于學(xué)生情緒判斷也起到了一定的制約作用，從而影響到學(xué)生學(xué)習(xí)與成長，缺少有效的信息來判斷學(xué)生在校學(xué)習(xí)的過程中的具體情況。因此，如何能夠?qū)⑿畔⒒夹g(shù)與教育教學(xué)相結(jié)合，使得教學(xué)過程更加人性化、給予學(xué)生更全面的教育與培養(yǎng)，成為教育行業(yè)關(guān)注的重點(diǎn)課題。而基于表情識別的智慧教室授課評估系統(tǒng)作為智慧教室的一部分，能很好的監(jiān)視及評估學(xué)生接受新知識的狀態(tài)，方便授課教師實(shí)時調(diào)整授課方式，對教學(xué)工作展開及教學(xué)工作評估有很好的促進(jìn)作用。

1系統(tǒng)組成

系統(tǒng)由視頻采集模塊、情緒識別模塊及教學(xué)評估模塊組成，如圖1所示。其中視頻采集模塊由攝像頭實(shí)時采集授課教室中學(xué)生們的狀態(tài)信息，并進(jìn)行視頻預(yù)處理操作。情緒識別模塊通過分析學(xué)生的面部表情、肢體語言及其他狀態(tài)信息來進(jìn)行學(xué)生的情緒識別。教學(xué)評估模塊通過分析學(xué)生情緒的統(tǒng)計信息來進(jìn)行授課狀態(tài)的評估，在軟件界面能實(shí)時顯示學(xué)生授課狀態(tài)信息，同時能將學(xué)生授課狀態(tài)信息上傳至遠(yuǎn)程服務(wù)器進(jìn)行課后教學(xué)評估。

2視頻采集模塊

系統(tǒng)采用海康威視網(wǎng)絡(luò)高清攝像頭，采集課堂學(xué)生圖像信息。由于成本、環(huán)境等因素影響，所獲取的原始視頻質(zhì)量并不高，甚至很低。例如，由于環(huán)境、噪聲、光照、運(yùn)動等影響，往往所采集的圖像常常出現(xiàn)模糊、扭曲、噪點(diǎn)、太亮或太暗、彩色不鮮明等。對于這種質(zhì)量比較差的視頻，直接進(jìn)行情緒識別，往往識別效果不是特別明顯，尤其是通過人臉圖像去識別某個學(xué)生時，質(zhì)量較差的圖像，識別錯誤率會增加。因此，在現(xiàn)有的條件下提高采集的視頻質(zhì)量是本系統(tǒng)需要解決的一個問題，對攝像頭采集的視頻進(jìn)行預(yù)處理，可以提高視頻采集質(zhì)量，有利于后續(xù)的視頻處理，可以更有效的提取視頻中感興趣的信息。

預(yù)處理流程如圖 2所示，首先對每幀圖像進(jìn)行高斯濾波，依據(jù)霍夫變換計算圖像傾斜角，通過傾斜角對圖像進(jìn)行矯正，最后裁剪合適的圖像。

3情緒識別模塊

盡管情緒是人內(nèi)心狀態(tài)的體驗(yàn)，但是往往會伴隨一些外在的表現(xiàn)，如面部表情、身體姿態(tài)語言及其他外在表現(xiàn)等。根據(jù)表情的發(fā)生部位和方式的不同，可將表情分為面部表情、體態(tài)表情和言語表情[3]。面部表情是通過眼、眉、嘴和臉頰部肌肉變化來表現(xiàn)情緒狀態(tài);言語表情是指情感發(fā)生時個體在語言的聲調(diào)、節(jié)奏和速度等方面的特征;體態(tài)表情是身體各部分的表情動作。

本系統(tǒng)情緒識別包括人臉檢測模塊、人臉識別模塊及情緒識別模塊組成。在眾多人臉檢測算法中，基于Haar特征的Adaboost的人臉檢測分類器具有使用簡單、速度快、準(zhǔn)確率高等優(yōu)點(diǎn)[4]，OpenCV自帶的分類器是在大量的不同光照，不同表情的正樣本和其他負(fù)樣本訓(xùn)練而成的，能夠高效準(zhǔn)確的實(shí)現(xiàn)人臉的檢測，因此本系統(tǒng)中人臉檢測模塊采用基于OpenCV的基于Haar特征的Adaboost的人臉檢測分類器進(jìn)行人臉檢測。人臉識別利用開源API：face_recognition實(shí)現(xiàn)人臉識別，技術(shù)實(shí)現(xiàn)相對CNN更簡單，只需匹配對應(yīng)人臉庫即可。情緒識別模塊首先采用開源庫dlib作者訓(xùn)練好人臉特征檢測器，進(jìn)行面部68個特征點(diǎn)的信息獲取，在通過嘴巴張開距離占面部識別框?qū)挾鹊谋壤?，眉毛上揚(yáng)程度，瞇眼睛等信息來識別學(xué)生的情緒。將采集到的每幀圖像中，統(tǒng)計學(xué)生個體的情緒狀態(tài)，根據(jù)學(xué)生情緒狀態(tài)情緒識別模塊最終輸出三個課堂情緒值分別用H、N、S表示，其中H代表該學(xué)生課堂表現(xiàn)良好，N表示該學(xué)生課堂表現(xiàn)一般，S表示該學(xué)生課堂表現(xiàn)較差。

4教學(xué)評估模塊

實(shí)時統(tǒng)計情緒識別模塊輸出的學(xué)生個體課堂情緒狀態(tài)，統(tǒng)計信息包括學(xué)生個體實(shí)時課堂情緒值H/N/S占比、每一分鐘統(tǒng)計學(xué)生個體和學(xué)生群體課堂活躍情況。通過統(tǒng)計H的個數(shù)Ci（H），N的個數(shù)Ci（N），S的個數(shù)Ci（S），來計算課堂活躍情況。

學(xué)生個體實(shí)時課堂情緒值計算方式：

H占比

Ri（H） = Ci（H）/（ Ci（H） + Ci（N）+ Ci（S））

N占比

Ri（N） = Ci（N）/（ Ci（H） + Ci（N）+ Ci（S））

S占比

Ri（S） = Ci（S）/（ Ci（H） + Ci（N）+ Ci（S））

學(xué)生個體課堂活躍情況計算方式：

Ai = 0.5* Ri（H） +0.3* Ri（N） +0.2 *Ri（S）

整個教室學(xué)生群體課堂活躍情況計算方式：

根據(jù)以上計算結(jié)果在系統(tǒng)界面實(shí)時顯示，課堂結(jié)束后生成該節(jié)課的pdf報表圖，上傳至遠(yuǎn)程服務(wù)器。授課老師根據(jù)課堂活躍情況可以實(shí)時調(diào)整自己的授課方式，學(xué)校考評組可以根據(jù)服務(wù)器上的報表評估教師的授課情況。

5結(jié)語

本系統(tǒng)采用OpenCV中的face_recognition模塊進(jìn)行人臉檢測與識別，采用開源庫dlib進(jìn)行面部68個特征點(diǎn)信息獲取，通過計算嘴巴、眉毛及眼睛動作信息獲得學(xué)生的課堂情緒信息，統(tǒng)計學(xué)生個體及學(xué)生群體課堂活躍程度，最后生成課堂活躍信息的報表。授課老師可以通過觀察學(xué)生課堂活躍程度來實(shí)時調(diào)整自己的授課方式，同時可以對教師的授課情況進(jìn)行遠(yuǎn)程評估，對教學(xué)工作展開及教學(xué)工作評估有很好的促進(jìn)作用。

參考文獻(xiàn)

[1]楊紅云，雷體南.智慧教育 物聯(lián)網(wǎng)之教育應(yīng)用[M].北京：華文出版社，2016.

[2]曾小芹.智慧教室環(huán)境下基于學(xué)生微表情的教學(xué)評價機(jī)制的構(gòu)建[J].中國多媒體與網(wǎng)絡(luò)教學(xué)學(xué)報（上旬刊），2018（8）：22-23.

[3]何良華.人臉表情識別中若干關(guān)鍵技術(shù)的研究[D].南京：東南大學(xué)，2005.

[4]侯曉雨.視頻中的人臉檢測與識別系統(tǒng)的設(shè)計與實(shí)現(xiàn)[D].北京：北京郵電大學(xué)，2017.

收稿日期：2020-08-14

作者簡介：蔡玉寶（1989—），男，河南信陽人，碩士研究生，工程師，研究方向：人工智能。

Intelligent Classroom Teaching Evaluation System Based on Expression Recognition

CAI Yu-bao1，LI De-feng1，LIAN Hai-gen2，MA Liu-yang1

（1.The 27th Research Institute of China Electronics Technology Group Corporation， Zhenzhou Henan? 450000）

（2.Military Representative Office of the Army Equipment Department in Xi'an Region in Zhengzhou，Zhenzhou Henan? 450000）

Abstract：This paper analyzes the existing problems of the current classroom teaching evaluation system in detail. We use the monitoring camera and face emotion recognition technology to evaluate the classroom teaching state by monitoring the changes of students' emotional state in real time. This paper presents the design and implementation of a face emotion analysis classroom teaching evaluation system based on Python + OpenCV + Dlib. The functional modules of the system include face image collection， face detection and location， expression feature extraction and recognition， classroom activity statistics， teaching status report generation， etc. In the system， face recognition module based on OpenCV. We use Dlib to extract facial feature points， and finally extracts students' emotional state in class. The result of running test shows that the system can meet the needs of teaching evaluation task based on face emotion recognition.

Key words：expression recognition;intelligent classroom;teaching evaluation