基于微表情和頭部姿勢識別的學(xué)生課堂專注度評價平臺構(gòu)架研究

王鑫鑫 曾維佳 王奕霖 李樹緣 段鑄宸 扈淼

摘要：教育信息化逐漸成為全國關(guān)注的重要話題，通過教育信息化提高教學(xué)效率是教育事業(yè)中課程改革的重大目標(biāo)。課堂教學(xué)是教師與學(xué)生交流互動的空間，是教師指導(dǎo)學(xué)生學(xué)習(xí)和學(xué)生探索知識的主要途徑。以學(xué)生為主體的課堂教學(xué)中，學(xué)生的學(xué)習(xí)狀態(tài)與知識的獲取情況對于教學(xué)過程優(yōu)化顯得尤為重要。本文旨在通過采用基于深度學(xué)習(xí)的學(xué)生課堂表情和頭部姿勢的智能檢測和識別技術(shù)，結(jié)合課分析和評堂專注度與個性化學(xué)習(xí)理論，實現(xiàn)對課堂專注度自動技術(shù)價，為教師開展學(xué)情分析、改善教學(xué)方式、實現(xiàn)個性化教學(xué)提供有效途徑。

關(guān)鍵詞：教育信息化;智能檢測和識別技術(shù);課程專注度評價

一、研究目的與意義

（一）促進(jìn)學(xué)生個性化發(fā)展

近年來，我國的教育改革中始終強(qiáng)調(diào)以學(xué)生為中心，加強(qiáng)學(xué)生的個性化學(xué)習(xí)，促進(jìn)全面發(fā)展。個性化學(xué)習(xí)強(qiáng)調(diào)在學(xué)習(xí)的過程中針對學(xué)生的個性化特征與發(fā)展?jié)撃懿捎眠m當(dāng)?shù)姆椒?、手段、策略、?nèi)容和評價等，從而使學(xué)習(xí)者在各方面都能充分自由地發(fā)展。本文通過對學(xué)生在課堂學(xué)習(xí)過程中出現(xiàn)的表情以及頭部姿勢的變化，判斷學(xué)生在學(xué)習(xí)過程中的專注度變化，設(shè)置實時提示手段或課后反饋等方式，讓學(xué)生自我了解課堂學(xué)習(xí)中存在的問題并及時改進(jìn)。

（二）提高教學(xué)反饋質(zhì)量

在課堂教學(xué)中，學(xué)生的面部表情和姿勢反映了其心理活動和情感狀態(tài)的豐富信息。使用基于微表情與姿勢識別判斷學(xué)生專注度的輔助系統(tǒng)，可以對學(xué)生的情緒變化與姿勢變化進(jìn)行實時地記錄，更大程度地準(zhǔn)確判斷學(xué)生的學(xué)習(xí)狀態(tài)以及課堂情感起伏情況，從而幫助教師調(diào)整教學(xué)進(jìn)度，提高教學(xué)效率。

（三）推動教學(xué)評價體系改革

評價是高等學(xué)校監(jiān)控教師教學(xué)質(zhì)量和確保人才培養(yǎng)質(zhì)量的重要手段。良好的評價手段可以確保學(xué)校的教學(xué)計劃按照預(yù)期的培養(yǎng)目標(biāo)施行，可以保證教學(xué)質(zhì)量和教學(xué)效果處于較高的水平。

（四）構(gòu)建智慧教育發(fā)展平臺

技術(shù)的發(fā)展拓寬了教育的思考空間，豐富了教育的內(nèi)涵實質(zhì)，為智慧教育環(huán)境的發(fā)展提供了路徑。通過使用基于微表情與頭部姿勢的課堂專注度評價系統(tǒng)，可以較好地推動智慧教育的環(huán)境建設(shè)，以較為新穎的技術(shù)手段進(jìn)行數(shù)據(jù)的智能化收集，內(nèi)容的快速化分析，評價方式多樣化，評價手段全面化，最終促進(jìn)智慧教育的發(fā)展與實現(xiàn)。

二、學(xué)生課堂專注度分析方法

（一）學(xué)生課堂專注度分析方法研究

1.專注度等級劃分

根據(jù)所使用的面部表情識別系統(tǒng)的識別情況，本文將課堂中的表情分為7類進(jìn)行課堂專注度的判斷，通過對表情的積極程度進(jìn)行等級劃分，將其中不同的表情劃分到4個不同的專注程度中去;同樣地，根據(jù)課堂中學(xué)生頭部可能出現(xiàn)的仰俯與偏轉(zhuǎn)角度情況，將其進(jìn)行綜合判斷，從而劃分不同的專注程度中。

2.基于模糊綜合評價的矩陣算法

為了將較為模糊的專注度內(nèi)容進(jìn)行精確化地數(shù)據(jù)處理，選擇了模糊綜合評價的矩陣算法，對課堂專注度進(jìn)行分?jǐn)?shù)的評定，根據(jù)專注度等級情況分配權(quán)重，進(jìn)而將逐幀保存的數(shù)據(jù)以分?jǐn)?shù)的方式進(jìn)行展示。

（二）課堂微表情和頭部姿勢相關(guān)識別技術(shù)

1.課堂微表情識別技術(shù)

通過使用多任務(wù)訓(xùn)練的不同模板的CNN模型，從尺度不變、圖像分辨率和相關(guān)上下文信息三個方面完成自動人臉和姿勢檢測和定位，并采用基于面部表情和頭部姿勢識別的綜合深度學(xué)習(xí)框架FATAUVA-Net，通過動作單元、效價和喚醒空間實現(xiàn)課堂微表情和頭部姿勢識別。

2.微表情多維度評價體系

應(yīng)用中科院CASME微表情庫SectionA部分對微表情識別模塊的準(zhǔn)確率進(jìn)行驗證。同時，將課堂視頻作為輸入，驗證系統(tǒng)在整節(jié)課全部學(xué)生不同時間段專注度的評價效果，并與優(yōu)秀教師的評分進(jìn)行對比。

三、基于微表情識別的學(xué)生課堂專注度評價可視化平臺

（一）建立了基于微表情識別的學(xué)生課堂專注度評價可視化平臺

該平臺能夠幫助教師檢測每個學(xué)生在課堂中的表情變化，從而得到學(xué)生的專注度信息，及時反饋，以提升課堂教學(xué)質(zhì)量。研究成果可以豐富教學(xué)評價系統(tǒng)，對提高教學(xué)質(zhì)量等具有重要研究意義。以面部表情特征的分析方法，可以使學(xué)習(xí)狀態(tài)數(shù)據(jù)的采集和保存更加的全面，也能更好地用于學(xué)習(xí)狀態(tài)的分析，也給了教育工作者更加全面的分析指標(biāo)。同時，將機(jī)器學(xué)習(xí)用在課堂教學(xué)研究，對推進(jìn)教育大數(shù)據(jù)有重要的研究意義。

（二）完成對教學(xué)過程中的學(xué)生專注度自動跟蹤、監(jiān)控、分析以及課堂評價

通過分析學(xué)生在愉快等的表情狀態(tài)，結(jié)合喚醒和效果的強(qiáng)度，實現(xiàn)課堂專注度自動跟蹤，使用多任務(wù)訓(xùn)練的不同模板的CNN模型，實現(xiàn)課堂微表情監(jiān)控，基于Python和TensorFlow技術(shù)，便于教師進(jìn)行分析，將課堂視頻作為輸入，驗證系統(tǒng)在整節(jié)課全部學(xué)生專注度等的評價效果。

四、結(jié)語

通過采用基于深度學(xué)習(xí)的學(xué)生課堂表情和頭部姿態(tài)的智能檢測和識別技術(shù)，結(jié)合課堂專注度與個性化學(xué)習(xí)理論，實現(xiàn)對課堂專注度自動分析和評價，為教師開展學(xué)情分析、改善教學(xué)方式、實現(xiàn)個性化教學(xué)提供有效途徑。同時，秉著“人工智能+教育”的思路，將人臉表情分析技術(shù)應(yīng)用于課堂環(huán)境中，通過表情識別技術(shù)分析學(xué)生上課專注情況，從而幫助教師進(jìn)一步了解學(xué)生上課情況，使其能夠更合理安排教學(xué)內(nèi)容以及調(diào)整教學(xué)方式，這也進(jìn)一部分促進(jìn)教學(xué)信息化、智能化。

參考文獻(xiàn)

[1]彭樹風(fēng)，基于深度信息的監(jiān)控視頻人臉識別方法研究與實現(xiàn)[D]，北京郵電大學(xué)，2017

[2]李勇，基于跨連接LeNet-5網(wǎng)絡(luò)的面部表情識別[J]，自動化學(xué)報，2018，44（01）：176-182

[3]郭曉旭，基于微表情識別的學(xué)生課堂專注度分析系統(tǒng)研究[D]，云南師范大學(xué)，2019

項目信息：2021年度大學(xué)生創(chuàng)新創(chuàng)業(yè)訓(xùn)練項目國家級項目“基于微表情和頭部姿勢識別的學(xué)生課堂專注度評價可視化平臺”（項目編號：202113207009）

作者簡介：

劉欣宇，女，2002年3月，漢族，本科在讀，大連科技學(xué)院數(shù)字技術(shù)學(xué)院信息管理與信息系統(tǒng)專業(yè)2020級學(xué)生，研究方向信息管理與信息系統(tǒng)。

曾維佳，女，1984年3月，漢族，碩士，副教授，研究方向數(shù)據(jù)處理、信息安全、管理優(yōu)化。