基于行為表情識別的課堂教學(xué)質(zhì)量評估應(yīng)用

沈瀅

摘要：隨著人工智能與深度學(xué)習(xí)技術(shù)的飛速發(fā)展，其應(yīng)用場景越發(fā)廣泛，在各個領(lǐng)域中都取得了卓越的成果。本文旨在研究教學(xué)分析領(lǐng)域中的課堂教學(xué)質(zhì)量評估問題，基于深度學(xué)習(xí)技術(shù)的優(yōu)勢和特點，本文以實現(xiàn)更高質(zhì)量的師生交互，精準掌握教學(xué)過程為主要目標，重點探索人工智能視頻監(jiān)控分析技術(shù)在課堂教學(xué)質(zhì)量評估及課堂教學(xué)管理中的運用。本文設(shè)計并構(gòu)建了一套高效率、高準確、高穩(wěn)定的行為表情識別及分析系統(tǒng)，并將其運用于實際課堂教學(xué)中，對實現(xiàn)高質(zhì)量的課堂教學(xué)起到了有效的促進作用。

關(guān)鍵詞：深度學(xué)習(xí);行為管理;表情識別

提升課堂教學(xué)質(zhì)量是課程改革的重要抓手。實時把控課堂教學(xué)質(zhì)量、洞察學(xué)生對教學(xué)氛圍、教學(xué)形式、教學(xué)內(nèi)容的接受程度，有利于教師及時調(diào)整課程節(jié)奏或授課方式，突出以學(xué)生為主導(dǎo)，進而提升教學(xué)質(zhì)量和效率。

傳統(tǒng)教學(xué)中，教師與學(xué)生的互動和交流形式是極為有限的，教師往往只能通過設(shè)置提問環(huán)節(jié)，根據(jù)學(xué)生回答問題的表現(xiàn)情況獲得關(guān)于當前教學(xué)內(nèi)容接受程度的反饋，或通過主觀觀測來判斷學(xué)生對課堂教學(xué)的投入程度，這些交互形式在反饋信息的傳輸上均存在一定的片面性和滯后性。

近年來，人工智能與互聯(lián)網(wǎng)得到了飛速發(fā)展，其中計算機視覺與視頻監(jiān)控系統(tǒng)的結(jié)合在跟蹤、檢測、行為分析等領(lǐng)域場景中都展現(xiàn)出了極大的性能優(yōu)勢，提供了強大的實時、主動、精準分析能力。

受到智能監(jiān)控系統(tǒng)所取得的眾多應(yīng)用成果的啟發(fā)，本文以實現(xiàn)更高質(zhì)量的師生交互，精準掌握教學(xué)過程為主要目標，重點探索人工智能視頻監(jiān)控分析技術(shù)在課堂教學(xué)管理中的運用，提出利用深度學(xué)習(xí)算法實現(xiàn)對學(xué)生行為、表情等的識別與分析，實時評估并反饋課堂教學(xué)質(zhì)量，以滿足高效課堂教學(xué)的應(yīng)用需求。

一、行為表情識別在課堂教學(xué)質(zhì)量評估中的應(yīng)用及其價值

1.行為管理

學(xué)生的課堂行為形態(tài)是課堂教學(xué)效果的最直觀表現(xiàn)，學(xué)生在課堂中的行為形態(tài)可以初步劃分為：正常聽講、舉手、書寫、站立、俯身這五個類別，分別對應(yīng)于不同的聽講狀態(tài)。行為管理指通過一定的技術(shù)手段，對課堂上的學(xué)生行為進行精確檢測和分類，并通過統(tǒng)計方法對課堂教學(xué)進行可量化的評估。

本文提出利用基于深度學(xué)習(xí)的人體檢測與行為識別算法，采集、分析學(xué)生行為，然后將課堂整體交互狀態(tài)實時反饋給老師，老師根據(jù)結(jié)果可以更加有針對性的了解到當前課堂教學(xué)中師生的整體互動情況。同時，由于監(jiān)控系統(tǒng)能夠覆蓋整個課堂中的每一個學(xué)生個體，相比傳統(tǒng)課堂教學(xué)而言教師會得到更加細致更加全面的課堂教學(xué)分析，從而可以用來反思和改正自己教學(xué)方法中的不足。

本文提出的課堂行為管理方法中，對于學(xué)生行為最終會有五種分類，其中正常聽講和書寫兩種行為是一個較為普遍的行為，在正常的教學(xué)環(huán)節(jié)中，絕大多數(shù)的同學(xué)都會處于以上兩個狀態(tài)。而舉手、站立和俯身這三種行為，則是屬于較為特殊的類別。舉手和站立可以非常好的體現(xiàn)當前課堂的學(xué)生參與度情況。而俯身，也就是我們通常所說的打瞌睡，在反映了有同學(xué)開小差的同時，也一定程度能夠反映教師當前的課堂教學(xué)可能比較枯燥乏味，從而提示教師需要做出相應(yīng)的調(diào)整措施。

2.表情識別

表情識別指通過一定的算法自動、高效、準確地識別人臉表情狀態(tài)，進而分析人的情緒表達。心理學(xué)研究表明，面部表情在人類情感信息表達中占極其重要的地位。面部表情往往是一種不經(jīng)意的流露，卻通常更真實地反映了一個人的內(nèi)心活動。

本文在行為檢測的基礎(chǔ)上，提出通過進一步的表情分析，更細膩地了解學(xué)生的真實心理狀態(tài)，幫助教師掌握學(xué)生對課堂教學(xué)的感興趣程度，對當前知識點的關(guān)注程度以及理解程度，并根據(jù)反饋結(jié)果采取相應(yīng)的教學(xué)調(diào)控手段。

學(xué)生的情感狀態(tài)極大地影響著學(xué)生的學(xué)習(xí)認知過程，積極的情感狀態(tài)有利于認知的發(fā)生。在傳統(tǒng)課堂教學(xué)中利用先進的表情分析技術(shù)，從而推導(dǎo)學(xué)生的情緒及聽課狀態(tài)，有利于教師實施兼顧認知與情感的個性化教學(xué)，及時調(diào)整授課方式與節(jié)奏，主動引導(dǎo)學(xué)生學(xué)習(xí)的積極性，從教師作為課堂教學(xué)引導(dǎo)者的角度出發(fā)，提升教學(xué)質(zhì)量。

按照通常對于表情的定義，面部表情可以劃分為：高興、吃驚、悲傷、憤怒、厭惡和恐懼這六種類型。但是對于課堂教學(xué)這一特殊場景，這樣的類別劃分適用性不強。在本文的表情分析系統(tǒng)中，我們根據(jù)教學(xué)場景，重新定義了四種表情狀態(tài)，分別是：正常、疑惑、不滿、開小差，并對學(xué)生的表情狀態(tài)進行整體性的統(tǒng)計，為課堂教學(xué)反饋提供一個有利的指標，輔助教師開展更高效的課堂教學(xué)。

二、行為表情識別及分析系統(tǒng)的設(shè)計與構(gòu)建

教室課堂場景中對象人數(shù)較多，目標形態(tài)又較為復(fù)雜，對于系統(tǒng)的設(shè)計有一定的挑戰(zhàn)性。本文針對課堂教學(xué)場景設(shè)計了一套高效率、高準確、高穩(wěn)定的行為表情識別及分析系統(tǒng)。該系統(tǒng)主要由以下三個部分組成。分別是：圖像采集模塊、圖像處理模塊和數(shù)據(jù)分析模塊。

如圖l所示：

1.圖像采集模塊

整個系統(tǒng)中所有后續(xù)的模塊都是基于前端攝像頭捕獲的圖像進行處理。因此視頻監(jiān)控圖像的成像質(zhì)量尤為關(guān)鍵。為了保證后續(xù)模塊能拿到所有學(xué)生的正臉圖像，攝像機被安裝在了講臺的位置。同時為了保證每個人臉表情都能被準確的識別，人臉的最小尺寸要超過80*80。因此本文的系統(tǒng)選用4k高清球機攝像機進行監(jiān)控畫面拍攝。拍攝到的圖片通過網(wǎng)絡(luò)，以rtsp流的形式傳送到后臺的服務(wù)器上以供后續(xù)的處理。

2.圖像處理模塊

后臺服務(wù)器從攝像頭獲得監(jiān)控圖像之后，會對圖像進行一系列的處理。出于對學(xué)生隱私的保護，圖像不會被存儲或是展示。圖像最終會被轉(zhuǎn)化成為一個統(tǒng)計意義上的數(shù)字，不會具體針對到某一個學(xué)生個體。

圖像處理模塊主要分為兩個子模塊，行為管理模塊和表情分析模塊。這兩個模塊所用到的方法都是基于深度學(xué)習(xí)的方法。

基于深度學(xué)習(xí)的圖像處理，主要的方法是通過卷積神經(jīng)網(wǎng)絡(luò)對于圖像進行處理。卷積神經(jīng)網(wǎng)絡(luò)受到了生物過程的啟發(fā)，用網(wǎng)絡(luò)中的神經(jīng)元單元連接模式模擬動物視覺皮層中的組織。個體皮層神經(jīng)元只在被稱為感受野的視野受限區(qū)域?qū)Υ碳ぷ鞒龇磻?yīng)。不同神經(jīng)元的感受野部分重疊，覆蓋整個視野。深度卷積神經(jīng)網(wǎng)絡(luò)可以提取圖像深層的信息，從而得到人們想要的結(jié)果。

在這個系統(tǒng)中，神經(jīng)網(wǎng)絡(luò)的輸入就是攝像機捕獲的畫面，其輸出就是圖像中的人體位置和人臉位置。人體位置用于之后的行為識別，人臉位置則用于之后的表情識別中。

本文中的檢測算法采用voloV3網(wǎng)絡(luò)結(jié)構(gòu)，采用darknet53作為其主干網(wǎng)絡(luò)，其網(wǎng)絡(luò)的輸出是每一個檢測框在畫面中的位置，已經(jīng)檢測框?qū)?yīng)的類型。（在這里是兩類，分別是人臉或人體）。在輸入到y(tǒng)oloV3網(wǎng)絡(luò)之前，攝像機的頭像被縮放到608*608的大小，隨后經(jīng)過了歸一化和零均值操作之后送入網(wǎng)絡(luò)。網(wǎng)絡(luò)輸出的人體框，被送入后一級的行為識別網(wǎng)絡(luò)中;網(wǎng)絡(luò)輸出的人臉框，被送人后一級的表情識別網(wǎng)絡(luò)中。

行為識別網(wǎng)絡(luò)中，輸入為所有從監(jiān)控畫面中檢測得到的人體圖像，輸出是當前人體的行為分類。行為識別網(wǎng)絡(luò)也是一個典型的深度學(xué)習(xí)網(wǎng)絡(luò)，網(wǎng)絡(luò)接收圖像作為輸出，輸出是一個五維的向量，分別代表了當前人體行為是正常聽講、舉手、書寫、站立、俯身的概率，所有的概率之和為1。舉個例子，若輸出向量為（0.8，0.1，0.05，0.03，0.02），則可以看出當前人體圖像屬于第一類行為的概率是最高的（0.8），也就是說當前人體圖像被判斷為了正常聽講狀態(tài)。

表情識別網(wǎng)絡(luò)也是一樣的道理，輸入是監(jiān)控畫面中檢測得到的人臉圖像，對于每個人臉圖像，表情識別網(wǎng)絡(luò)都會輸出一個四維的向量，分別代表正常、疑惑、不滿、開小差的概率。

在行為識別網(wǎng)絡(luò)和表情識別網(wǎng)絡(luò)中，都采用的是resnet50作為其主干網(wǎng)絡(luò)，不同的是行為識別網(wǎng)絡(luò)最后一層全連接層的輸出是5維的，而表情識別網(wǎng)絡(luò)最后一層的全連接層的輸出是4維的。

3.數(shù)據(jù)分析模塊

通過上述系統(tǒng)的處理之后，攝像頭捕獲的課堂圖像被轉(zhuǎn)化為了結(jié)構(gòu)化的信息。信息中包含了所有學(xué)生的行為統(tǒng)計以及所有學(xué)生的表情統(tǒng)計。在系統(tǒng)的行為分類中，正常聽講、舉手、書寫、站立這四種行為均為積極的狀態(tài)，而俯身這一行為屬于較為消極的狀態(tài)。在系統(tǒng)的表情分類中，正常、疑惑屬于積極的表情，而不滿、開小差則屬于較為消極的表情。

系統(tǒng)能夠?qū)崟r拿到當前課堂中所有同學(xué)的行為和表情，這是一個具有統(tǒng)計意義的數(shù)字。系統(tǒng)會以柱狀圖的形式實時輸出當前課堂狀況。如表1和表2所示。

從表l和表2中可以得到一個對于當前課堂情況的詳細統(tǒng)計。對于課堂行為而言，一般情況下，“正常聽講”狀態(tài)一定是占據(jù)絕大多數(shù)的，若是發(fā)現(xiàn)“俯身”狀態(tài)突然增加的時候，則需要讓老師意識到可能當前的教學(xué)內(nèi)容過于乏味，需要及時調(diào)整上課節(jié)奏并適當提醒學(xué)生集中注意力。對于課堂表情管理而言，若發(fā)現(xiàn)“疑惑”狀態(tài)開始激增，教師就要反省自己是否當前的教學(xué)內(nèi)容不太容易被學(xué)生接受，是否需要及時調(diào)整教學(xué)策略等。而當“不滿”和“開小差”的數(shù)量比例開始增加時，說明教師的上課內(nèi)容和方式是否有些枯燥乏味，需要教師課后總結(jié)并改進。

不僅如此，對于每一個時刻，所有同學(xué)的所有行為和狀態(tài)都會給課堂質(zhì)量打分。在行為方面，“俯身”是一個扣分項。在表情方面，“不滿”和“開小差”是扣分項。在一堂課結(jié)束之后，系統(tǒng)會輸出整個上課過程中分數(shù)的變化情況。如表3所示。

從表中可以很明顯的分析出課堂中師生互動的情況。可以看出，在課堂開始后的一段時間，可能會有較多的學(xué)生反饋出“不滿”“開小差”等表情，說明老師在講述新知識的時候，學(xué)生一時間還并不一定完全可以接受。而課堂的中段都保持在90分左右的評分，說明學(xué)生在這段時間進入了一個較為平穩(wěn)的學(xué)習(xí)階段。而在接近尾聲的部分，課堂評分開始緩慢的下降，說明學(xué)生對于當前課堂可能覺得有些枯燥，或是注意力開始不集中。這時候老師應(yīng)該反省，如何讓學(xué)生在整堂課的過程中一直保持一個較為積極的學(xué)習(xí)狀態(tài)。

課堂評分表不僅是對學(xué)生的行為表情的打分，同時也是對教師的一種督促?？梢詫處煹膫湔n內(nèi)容，教學(xué)重點等起到輔助的作用。

三、結(jié)論

針對提高課堂教學(xué)質(zhì)量的需求，本文引入了一種基于視頻監(jiān)控圖像，分析得到當前課堂中所有學(xué)生行為、表情的系統(tǒng)。深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)方案的加入，使得人臉檢測、人體檢測的精度高、速度快，同時行為識別和表情識別也能達到非常高的準確度，保障了系統(tǒng)結(jié)果的高效可靠。本文中系統(tǒng)結(jié)合了行為和表情，對于課堂的每個時刻實時把控，在課程結(jié)束之后，也會對整個課堂進行評分總結(jié)，很好的幫助了教師發(fā)現(xiàn)自己教學(xué)中的不足之處。

[參考文獻]

[1]韓麗李洋周子佳宋沛軒課堂環(huán)境中基于面部表情的教學(xué)效果分析[J].現(xiàn)代遠程教育研究，2017（04）：99-105+114。

[2]馮滿堂，馬青玉，王瑞杰.基于人臉表情識別的智能網(wǎng)絡(luò)教學(xué)系統(tǒng)研究[J].計算機技術(shù)與發(fā)展，2011，21（6）.

[3]廖鵬劉宸銘蘇航李啟芳韓延巾基于深度學(xué)習(xí)的學(xué)生課堂異常行為檢測與分析系統(tǒng)[J].電子世界，2018（8）：97-98.

[4]王竑熹.學(xué)生課堂行為視頻圖像采集和識別系統(tǒng)[J].發(fā)明與創(chuàng)新（中學(xué)生），2018（6）.