課堂環(huán)境中基于面部表情的教學(xué)效果分析

韓麗　李洋　周子佳　宋沛軒

摘要：追求教學(xué)效率是教學(xué)的本質(zhì)特性，也是當(dāng)前課程改革的重要目標(biāo)；而課堂是教師提高教學(xué)質(zhì)量，實(shí)現(xiàn)有效教學(xué)的主戰(zhàn)場(chǎng)。當(dāng)前教師主要采用課堂觀察和提問(wèn)的方式與學(xué)生交互，無(wú)疑會(huì)因個(gè)人精力不足等原因，造成信息傳遞與反饋的片面性與滯后性。信息技術(shù)的高速發(fā)展，特別是視頻監(jiān)控系統(tǒng)的智能化發(fā)展，為彌補(bǔ)上述問(wèn)題提供了可能。結(jié)合現(xiàn)有智能監(jiān)控設(shè)備設(shè)計(jì)的課堂教學(xué)評(píng)價(jià)系統(tǒng)，利用多姿態(tài)人臉檢測(cè)和面部表情識(shí)別技術(shù)，及時(shí)獲取學(xué)生在學(xué)習(xí)過(guò)程中的情緒變化，反饋給教師，幫助教師準(zhǔn)確全面地掌握所有學(xué)生在課堂教學(xué)中的參與情況。該系統(tǒng)不僅能夠自動(dòng)跟蹤及分析教學(xué)過(guò)程中學(xué)生的整體狀態(tài)，有效掌控課堂教學(xué)過(guò)程；還可指定跟蹤對(duì)象，對(duì)指定對(duì)象在課堂中的狀態(tài)進(jìn)行統(tǒng)計(jì)分析，以便進(jìn)行個(gè)體的針對(duì)性指導(dǎo)以及學(xué)習(xí)問(wèn)題的及時(shí)矯正。

關(guān)鍵詞：課堂環(huán)境；人臉檢測(cè)；表情識(shí)別；高效課堂；教學(xué)評(píng)價(jià)

中圖分類號(hào)：G434 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1009-5195（2017）04-0097-08

一、引言

追求教學(xué)效率是教學(xué)的本質(zhì)特性，也是當(dāng)前課程改革的重要目標(biāo)，更是教育事業(yè)實(shí)現(xiàn)內(nèi)涵發(fā)展的必然要求。課堂教學(xué)是教師傳授知識(shí)、學(xué)生學(xué)習(xí)知識(shí)的場(chǎng)所，是師生、生生之間交往互動(dòng)的空間，是教師引導(dǎo)學(xué)生發(fā)展、探究知識(shí)的主渠道。因此，課堂教學(xué)是教師提高課堂教學(xué)質(zhì)量，實(shí)現(xiàn)有效教學(xué)的主戰(zhàn)場(chǎng)。作為課堂教學(xué)的主導(dǎo)者，教師希望在教學(xué)過(guò)程中能夠?qū)崟r(shí)地了解學(xué)生對(duì)于知識(shí)點(diǎn)的理解與掌握情況，以調(diào)整教學(xué)進(jìn)度，掌控教學(xué)過(guò)程。然而，目前教師一般采用課堂觀察以及提問(wèn)等方式與學(xué)生進(jìn)行交互，這無(wú)疑會(huì)造成信息傳遞與反饋的片面性以及滯后性。

計(jì)算機(jī)、互聯(lián)網(wǎng)技術(shù)的進(jìn)步以及圖像處理、模式識(shí)別等理論的發(fā)展，推動(dòng)了智能視頻監(jiān)控系統(tǒng)（范亞男等，2010）的應(yīng)用。視頻監(jiān)控系統(tǒng)的出現(xiàn)，大大彌補(bǔ)了人工監(jiān)控的不足，降低了失誤率與工作強(qiáng)度，提高了工作效率。視頻監(jiān)控系統(tǒng)不僅能起到記錄影像的作用，而且隨著社會(huì)對(duì)監(jiān)控應(yīng)用需求的不斷提高，還展現(xiàn)出實(shí)時(shí)、主動(dòng)、跟蹤以及分析等性能優(yōu)勢(shì)，使得監(jiān)控應(yīng)用邁入了智能化階段。智能化操作可以讓視頻監(jiān)控系統(tǒng)自動(dòng)進(jìn)行定位、識(shí)別與跟蹤，自動(dòng)根據(jù)監(jiān)控目標(biāo)的狀態(tài)反饋有用的信息，并自動(dòng)進(jìn)行一定的應(yīng)急操作。

然而，目前將視頻監(jiān)控技術(shù)與高效教學(xué)模式相結(jié)合的研究還較少，尤其高效課堂管理與視頻分析技術(shù)的融合更是罕見(jiàn)。因此，本文針對(duì)高效課堂教學(xué)的應(yīng)用需求，結(jié)合現(xiàn)有的智能監(jiān)控設(shè)備，提出了基于面部表情分析的高效課堂評(píng)價(jià)方法。

二、相關(guān)研究

心理學(xué)家Mehrabian指出，情感信息的表達(dá)=7%的語(yǔ)言+38%聲音+55%的面部表情（Mehrabian，1968）。由此可見(jiàn)，表情在人類情感判斷中的重要地位。表情識(shí)別技術(shù)是模式識(shí)別的一部分，它是指利用計(jì)算機(jī)研究一個(gè)自動(dòng)、高效、準(zhǔn)確的系統(tǒng)來(lái)識(shí)別人臉表情的狀態(tài)，進(jìn)而通過(guò)人臉表情了解人的情緒，比如高興、悲傷、憤怒、恐懼、驚訝、厭惡等（施徐敢等，2014）。表情識(shí)別在疲勞駕駛、商業(yè)宣傳、心理醫(yī)療、安防監(jiān)控等領(lǐng)域應(yīng)用廣泛。同樣表情識(shí)別可以應(yīng)用于教育領(lǐng)域中，通過(guò)觀察學(xué)生面部表情變化，了解學(xué)生的心理狀態(tài)，幫助教師掌握學(xué)生對(duì)知識(shí)點(diǎn)的關(guān)注度、理解度及興趣度等信息，以采取相應(yīng)的教學(xué)調(diào)控手段，提高教學(xué)質(zhì)量。

目前把表情識(shí)別分析作為教學(xué)評(píng)價(jià)方式的研究還不夠廣泛。大多數(shù)研究基于在線學(xué)習(xí)環(huán)境，通過(guò)面部表情識(shí)別分析來(lái)判斷學(xué)生情感狀態(tài)，再根據(jù)學(xué)習(xí)者的情緒狀態(tài)給出相應(yīng)的情感補(bǔ)償，從而彌補(bǔ)在線教育中的情感缺失問(wèn)題。如，馮滿堂等探索性地將表情識(shí)別技術(shù)引入傳統(tǒng)智能網(wǎng)絡(luò)教學(xué)系統(tǒng)中，實(shí)現(xiàn)了網(wǎng)絡(luò)環(huán)境下兼顧認(rèn)知和情感兩方面的個(gè)性化教學(xué)，從而提高網(wǎng)絡(luò)環(huán)境下的教學(xué)效率（馮滿堂等，2011）。程萌萌等構(gòu)建了包括教師、學(xué)生、課程、情感四部分的智能教學(xué)系統(tǒng)結(jié)構(gòu)模型，創(chuàng)新性地利用表情識(shí)別與視線跟蹤技術(shù)實(shí)現(xiàn)情感模塊的反饋，為網(wǎng)絡(luò)學(xué)習(xí)中情感反饋機(jī)制的發(fā)展提供技術(shù)支持（程萌萌等，2013）。孫波等通過(guò)將個(gè)體的人臉特征與表情特征相分離，排除無(wú)關(guān)因素對(duì)表情識(shí)別效果的干擾，提高了表情識(shí)別的準(zhǔn)確性，并將此應(yīng)用在三維虛擬學(xué)習(xí)平臺(tái)Magic Learning的師生情感交互子系統(tǒng)上，成功地實(shí)現(xiàn)了基于面部表情的學(xué)習(xí)者情感識(shí)別及情感干預(yù)功能（孫波等，2015）。詹澤慧開(kāi)發(fā)的基于智能Agent的遠(yuǎn)程學(xué)習(xí)者情感與認(rèn)知識(shí)別模型，結(jié)合了表情識(shí)別和眼動(dòng)追蹤技術(shù)，提高了遠(yuǎn)程環(huán)境下學(xué)習(xí)者狀態(tài)判斷的準(zhǔn)確率，改進(jìn)了Agent對(duì)學(xué)習(xí)者的情感和認(rèn)知支持（詹澤慧，2013）。

在傳統(tǒng)課堂中利用先進(jìn)技術(shù)手段提取學(xué)生面部表情，從而推導(dǎo)學(xué)生聽(tīng)課狀態(tài)的即時(shí)評(píng)價(jià)方式，當(dāng)前研究還較少。何祎建立了課堂教學(xué)評(píng)價(jià)指標(biāo)體系，創(chuàng)新性地將情感因素納入其中，通過(guò)情感計(jì)算技術(shù)圍繞面部表情、語(yǔ)音表情和動(dòng)作表情三個(gè)方面判斷學(xué)生的情緒狀態(tài)，同時(shí)把基于情感的評(píng)價(jià)指標(biāo)體系分別應(yīng)用到英語(yǔ)、數(shù)學(xué)、信息技術(shù)課堂，經(jīng)過(guò)驗(yàn)證得出該評(píng)價(jià)體系是準(zhǔn)確可行的；情感因素的引入是十分有必要的，它可幫助教師更加全面地了解學(xué)生的學(xué)習(xí)狀態(tài)（何祎，2015）。情感對(duì)認(rèn)知的影響很大，它既可以促進(jìn)認(rèn)知的發(fā)生又可以抑制認(rèn)知過(guò)程的順利開(kāi)展。因此，教師在課堂中對(duì)學(xué)生情感的掌控，有利于幫助其根據(jù)學(xué)生的情感狀態(tài)調(diào)整教學(xué)進(jìn)度、教學(xué)方法等，從而調(diào)動(dòng)學(xué)生學(xué)習(xí)的積極性，促進(jìn)有意義學(xué)習(xí)的發(fā)生。但是在實(shí)際課堂中，教師的主要精力在教學(xué)上，對(duì)學(xué)生情緒的關(guān)注缺乏全面性，因此需要先進(jìn)的智能技術(shù)幫助教師提取學(xué)生的表情特征，并自動(dòng)地分析出學(xué)生的情感狀態(tài)，借此輔助教師的教學(xué)，為課堂教學(xué)反饋提供一個(gè)有利的指標(biāo)。目前，侯洪濤對(duì)課堂環(huán)境下的表情識(shí)別算法進(jìn)行了簡(jiǎn)化，提高了算法的安全性和魯棒性，使其能夠更好地識(shí)別出學(xué)生的表情特征（侯洪濤，2015）。這些技術(shù)上的發(fā)展，使表情識(shí)別技術(shù)走進(jìn)課堂教學(xué)更加科學(xué)可行。

本文在已有研究基礎(chǔ)上，針對(duì)高效課堂教學(xué)的應(yīng)用需求，結(jié)合現(xiàn)有的智能監(jiān)控設(shè)備，提出了基于面部表情分析的高效課堂評(píng)價(jià)方法。該方法不僅能夠?qū)崟r(shí)智能檢測(cè)學(xué)生人臉信息并進(jìn)行高效的表情分析，推導(dǎo)出學(xué)生的聽(tīng)課狀態(tài)（傾聽(tīng)、疑惑、理解、抗拒、不屑等），而且可以進(jìn)一步統(tǒng)計(jì)學(xué)生在課堂教學(xué)中的參與度、關(guān)注度與活躍時(shí)間；不僅能夠輔助教師分析課堂教學(xué)效果，而且能夠跟蹤及分析教學(xué)過(guò)程中學(xué)生的整體狀態(tài)，從而有效地掌控課堂教學(xué)過(guò)程。該方法還可指定跟蹤對(duì)象，對(duì)指定對(duì)象在課堂中的狀態(tài)進(jìn)行統(tǒng)計(jì)分析，以對(duì)學(xué)生個(gè)體進(jìn)行針對(duì)性的指導(dǎo)以及學(xué)習(xí)問(wèn)題的及時(shí)矯正。

三、系統(tǒng)設(shè)計(jì)

以學(xué)生為中心的高效課堂教學(xué)過(guò)程，需要教師根據(jù)具體教學(xué)情況，靈活運(yùn)用各種教學(xué)方法，發(fā)現(xiàn)和培養(yǎng)創(chuàng)新人才，成為學(xué)生創(chuàng)造潛能的開(kāi)發(fā)者。調(diào)動(dòng)學(xué)生課堂學(xué)習(xí)的主動(dòng)性，教師要實(shí)時(shí)觀察學(xué)生狀態(tài)，鼓勵(lì)學(xué)生積極參與、獨(dú)立思考，讓學(xué)生獲得求知的愉悅感，最大限度激發(fā)學(xué)生的主體意識(shí)和主體精神。然而，一對(duì)多的課堂教學(xué)中難免會(huì)出現(xiàn)教師觀察學(xué)生的不全面性，學(xué)生反饋的不及時(shí)性，從而一定程度上影響教學(xué)效果。

為了提高課堂教學(xué)質(zhì)量，幫助教師實(shí)時(shí)分析學(xué)生的學(xué)習(xí)狀態(tài)，解決學(xué)生存在的學(xué)習(xí)問(wèn)題，本文提出利用視頻監(jiān)控系統(tǒng)的實(shí)時(shí)性與智能性，基于人臉實(shí)時(shí)檢測(cè)與表情分析課堂效果，輔助教師及時(shí)掌握課堂學(xué)生學(xué)習(xí)狀態(tài)，實(shí)現(xiàn)課堂教學(xué)的信息反饋實(shí)時(shí)性、信息傳遞高效性、信息處理智能性。其結(jié)構(gòu)如圖1所示。

視頻監(jiān)控模塊。保證對(duì)各教室的實(shí)時(shí)拍攝，達(dá)到監(jiān)看無(wú)盲區(qū)、圖像清晰，并將視頻信號(hào)通過(guò)專設(shè)線路傳輸?shù)街骺赜?jì)算機(jī)。研究初步采用了2臺(tái)固定攝像機(jī)安裝方式，負(fù)責(zé)教室寬景大角度錄制，有效避免目標(biāo)的遮擋。攝像頭具有多倍光學(xué)變焦和電子變焦，自動(dòng)光圈。自動(dòng)光圈調(diào)節(jié)功能，可以根據(jù)監(jiān)控現(xiàn)場(chǎng)光線的明暗來(lái)自動(dòng)調(diào)節(jié)光圈，清晰顯示圖象細(xì)節(jié)。

圖像采集模塊。通過(guò)設(shè)置頻率，自動(dòng)進(jìn)行視頻圖像采集，并輸送給圖像處理模塊。

圖像處理模塊。實(shí)現(xiàn)圖像的多目標(biāo)人臉檢測(cè)，提取臉部特征區(qū)域，進(jìn)行學(xué)生表情分析。

統(tǒng)計(jì)分析模塊。通過(guò)人臉與表情分析，分析學(xué)生對(duì)課程內(nèi)容的關(guān)注度、參與度、活躍時(shí)間等。

1.基于視頻圖像的人臉檢測(cè)方法

目前中小學(xué)校教室一般容納學(xué)生30～50人左右。在課堂教學(xué)中，每個(gè)學(xué)生會(huì)呈現(xiàn)不同的姿態(tài)與表情，因此監(jiān)控視頻影像具有場(chǎng)景復(fù)雜、目標(biāo)多態(tài)的特點(diǎn)。為了有效捕捉教室中每個(gè)學(xué)生的人臉信息，我們?cè)谏钊胝{(diào)研常用的視頻監(jiān)控系統(tǒng)設(shè)備及其架構(gòu)體系基礎(chǔ)上，結(jié)合教室實(shí)際情況，建立了具有安全穩(wěn)定性、技術(shù)先進(jìn)性、性價(jià)比合理性的高清全景視頻監(jiān)控系統(tǒng)。

給定一個(gè)靜態(tài)圖像或視頻序列，要求定位和檢測(cè)出一個(gè)或多個(gè)人臉或其五官的位置，需要三個(gè)步驟，即圖像分割、人臉的提取、特征的提取。由于人臉的個(gè)體差異，姿態(tài)不同，表情變化以及光照的影響，使得面部特征點(diǎn)的定位與跟蹤非常具有挑戰(zhàn)性?，F(xiàn)有的人臉特征點(diǎn)定位方法大致可以分為基于模型的定位和非模型的定位。其中，基于模型的定位方法是當(dāng)前的主流研究方法，AAM（Active Appearance Model，主動(dòng)外觀模型）模型（吳證，2007）因其準(zhǔn)確性和魯棒性成為特征定位最常用的方法。本文在引入AAM模型基礎(chǔ)之上，進(jìn)一步結(jié)合局部約束模型（Constrained Local Model）（翟倩茹，2012），實(shí)現(xiàn)了多姿態(tài)人臉特征的提取。

如圖2所示，AAM是通過(guò)對(duì)訓(xùn)練集中的關(guān)鍵點(diǎn)標(biāo)記，并利用主成分分析（Principal Components Analysis，PCA）降維提取平均形狀，作為形狀模型。為了使形狀模型能夠適應(yīng)人臉形狀的各種變化，訓(xùn)練集中的圖像需要盡可能包括人臉的姿態(tài)、表情和光照變化。局部約束模型的建立，提取訓(xùn)練集中的關(guān)鍵點(diǎn)局部紋理作為正確樣本，偏離關(guān)鍵點(diǎn)一定距離的區(qū)域圖像作為錯(cuò)誤樣本，利用支持向量機(jī)（Support Vector Machine，SVM）進(jìn)行訓(xùn)練，得到局部紋理模型。利用建立的局部約束模型對(duì)人臉圖像進(jìn)行特征點(diǎn)定位過(guò)程中，首先要進(jìn)行特征點(diǎn)位置初始化，計(jì)算局部響應(yīng)圖像，結(jié)合形狀模型的約束，不斷進(jìn)行迭代，以得到最終的特征點(diǎn)位置。

基于現(xiàn)有的AAM及CLM方法，融合形狀模型與局部紋理模型，進(jìn)行多姿態(tài)人臉特征的提取，有效解決了人臉姿態(tài)的多樣性，對(duì)遮擋目標(biāo)也呈現(xiàn)了較好的檢測(cè)效果。如圖3（a）所示，對(duì)于學(xué)生個(gè)體的特寫(xiě)圖像，本方法可有效地識(shí)別其頭部轉(zhuǎn)角，以及臉部特征區(qū)域，其中框及點(diǎn)為特征檢測(cè)的濾波區(qū)域及中心點(diǎn)。而且其對(duì)于眼鏡、手部遮擋等噪聲，體現(xiàn)了強(qiáng)穩(wěn)定性。圖3（b）為針對(duì)側(cè)面局部圖像進(jìn)行的多目標(biāo)人臉檢測(cè)結(jié)果，除了個(gè)別臉部偏轉(zhuǎn)或遮擋過(guò)大，其他學(xué)生的面部特征均可有效地獲取。圖3（c）為高清正面圖像的多目標(biāo)人臉檢測(cè)，驗(yàn)證了本方法的優(yōu)越性能。

（a）單目標(biāo)人臉檢測(cè)

（b）多目標(biāo)的人臉檢測(cè)

（c）高清正面人臉多目標(biāo)檢測(cè)

2.面部表情分析

（1）面部表情與心理狀態(tài)

表情是情緒的客觀外顯行為，也是研究人類情緒的客觀指標(biāo)（孟昭蘭，1987）。面部表情是可測(cè)量的，測(cè)量的對(duì)象是人臉面部肌肉運(yùn)動(dòng)本身（孟昭蘭，1987）。美國(guó)著名心理學(xué)專家保羅·艾克曼的面部感情記錄技術(shù)可以測(cè)量出愉快、驚奇、厭惡、憤怒、懼怕、悲傷6種情緒（孟昭蘭，1987）。但這6種情緒并不適用于教學(xué)。本文羅列了與教學(xué)有關(guān)的5種面部表情，即傾聽(tīng)、疑惑、理解、抗拒、不屑（見(jiàn)圖4）。課堂教學(xué)中，學(xué)生的表情向教師傳達(dá)了大量信息。學(xué)生傾聽(tīng)時(shí)面部表情是愉快的，身體會(huì)向前傾斜，這代表他對(duì)當(dāng)前學(xué)習(xí)內(nèi)容感興趣，愿意學(xué)習(xí)。當(dāng)學(xué)生不接受當(dāng)前所學(xué)習(xí)的內(nèi)容時(shí)，他們會(huì)表現(xiàn)出抗拒的姿態(tài)，比如長(zhǎng)時(shí)間低頭、課上睡覺(jué)等。學(xué)生聽(tīng)不懂學(xué)習(xí)內(nèi)容時(shí)則會(huì)出現(xiàn)皺眉的表情等。在這里還要提到一個(gè)概念——微表情。比起人們有意識(shí)做出的表情，“微表情”更能體現(xiàn)人們真實(shí)的感受和動(dòng)機(jī)。微表情（吳奇等，2010）（面部特征微表情）是心理應(yīng)激微反應(yīng)的一部分，它從人類本能出發(fā)，不受思想的控制，因此無(wú)法掩飾，也不能偽裝。

微表情應(yīng)用到司法領(lǐng)域，可以幫助警察判斷犯罪嫌疑人是否說(shuō)謊；應(yīng)用于臨床醫(yī)學(xué)，可以幫助治愈患者；應(yīng)用于教育領(lǐng)域，可以幫助教師了解學(xué)生情感狀態(tài)，從而進(jìn)行情感干預(yù)，激活學(xué)生的情感因素，讓其從內(nèi)心深處熱愛(ài)學(xué)習(xí)，愿意學(xué)習(xí)。課堂中，學(xué)生的微表情變化是教師無(wú)法全面捕獲的。

我們引入多姿態(tài)人臉檢測(cè)方法（吳蓓，2006）和面部表情識(shí)別技術(shù)，有效建立面部微表情與心理變化的關(guān)系，分析隱藏在微表情下的客觀與主觀心理狀態(tài)（如圖4）。最終，依據(jù)表情變化統(tǒng)計(jì)分析學(xué)生對(duì)于課堂教學(xué)內(nèi)容的關(guān)注度、參與度、活躍時(shí)間分布，便于教師準(zhǔn)確了解學(xué)生狀態(tài)，掌控教學(xué)過(guò)程。

（2）表情特征定義

通過(guò)調(diào)查問(wèn)卷及訪談，我們將學(xué)生在聽(tīng)課過(guò)程中存在的心理狀態(tài)分為傾聽(tīng)、疑惑、理解、抗拒、不屑5種狀態(tài)。依據(jù)伊扎德的最大限度辨別面部運(yùn)動(dòng)編碼系統(tǒng)（即Max），從眼、眉、嘴部以及頭部特征來(lái)測(cè)量5種情緒（孟昭蘭，1987）。這里主要根據(jù)學(xué)生頭部角度、眉毛兩端與眼睛中點(diǎn)夾角、唇部三部位特征變化來(lái)判斷這5種狀態(tài)，具體如上表。

為了有效觀察人臉的表情特征，主要針對(duì)提取的臉部特征點(diǎn)，計(jì)算其頭部姿態(tài)（轉(zhuǎn)角α）、唇部偏轉(zhuǎn)（d）及眉目角度（β）等參數(shù)進(jìn)行分析，具體如圖5。

圖6是把該方法引入到某高中課堂教學(xué)環(huán)境中，系統(tǒng)智能地檢測(cè)監(jiān)控全景圖像中人臉特征點(diǎn)與頭部姿態(tài)。這里，定義每個(gè)學(xué)生的初始化頭部姿態(tài)為-1，若檢測(cè)成功，則計(jì)算出對(duì)應(yīng)的頭部角度值。從圖中可了解到，大部分同學(xué)能夠成功地被系統(tǒng)捕捉到，系統(tǒng)自動(dòng)地標(biāo)出了他們的頭部角度值，即每位同學(xué)頭部位置標(biāo)注的數(shù)字；圖中學(xué)生的眉、眼、鼻和嘴等部位的點(diǎn)序列是學(xué)生的面部表情特征。根據(jù)上述對(duì)傾聽(tīng)、疑惑、理解、抗拒和不屑5種表情的定義，即綜合學(xué)生的眉目角度值、唇部偏轉(zhuǎn)值，以及頭部角度值，分析出每個(gè)學(xué)生的聽(tīng)課狀態(tài)，輔助系統(tǒng)下一步統(tǒng)計(jì)分析整體學(xué)生聽(tīng)課狀態(tài)。

四、基于面部表情的教學(xué)效果評(píng)價(jià)

本文將傳統(tǒng)認(rèn)知行為與學(xué)生頭部姿態(tài)及面部表情行為相結(jié)合，構(gòu)建整體、系統(tǒng)的學(xué)習(xí)效果評(píng)價(jià)體系。該體系從學(xué)生個(gè)體以及課堂整體兩方面對(duì)課堂教學(xué)效果進(jìn)行評(píng)價(jià)。

1.針對(duì)學(xué)生個(gè)體進(jìn)行頭部姿態(tài)分析

引入頭部在三個(gè)方向的夾角α進(jìn)行頭部狀態(tài)跟蹤。 如圖7為跟蹤學(xué)生個(gè)體A在時(shí)間t<2min內(nèi)的頭部姿態(tài)變化。圖8是學(xué)生A與整體學(xué)生頭部姿態(tài)變化的差異度分析。由圖7、8可直觀地看到，學(xué)生A姿態(tài)變化較小，均處于0～60度之間，處于積極聽(tīng)課狀態(tài)。

2.針對(duì)學(xué)生個(gè)體進(jìn)行面部表情分析

本文引入眉毛兩端與眼睛中心點(diǎn)的角度β進(jìn)行眉目特征分析：當(dāng)β<=120°，為眉目舒展?fàn)顟B(tài)；當(dāng)β>120°，為眉頭緊蹙狀態(tài)（如圖9所示）。對(duì)于唇部分析，可通過(guò)其嘴角特征線與中心線的正負(fù)偏差d獲得（如圖10）。

由圖9可見(jiàn)，在統(tǒng)計(jì)時(shí)間內(nèi)學(xué)生A的眉目大體上處于“緊蹙”狀態(tài)。結(jié)合頭部姿態(tài)可知，學(xué)生目前處于“積極的聽(tīng)課”狀態(tài)，但是多數(shù)時(shí)間心理感受是“疑惑”。圖10為學(xué)生的唇部狀態(tài)，進(jìn)一步印證了學(xué)生A對(duì)于課程內(nèi)容的理解困難狀態(tài)。

3.課堂整體教學(xué)效果評(píng)價(jià)

課堂效果的整體評(píng)價(jià)是通過(guò)計(jì)算學(xué)生的關(guān)注度、參與度、活躍時(shí)間及疑難程度來(lái)衡量。學(xué)生的關(guān)注度、參與度以及疑難程度的計(jì)算是對(duì)離散為各個(gè)t時(shí)刻間隔的影像進(jìn)行分析獲得。針對(duì)微表情的有效時(shí)間以及計(jì)算效率，設(shè)定采集圖像的頻率為t=2.5s?；钴S時(shí)間是針對(duì)整堂課程的時(shí)間進(jìn)行綜合分析獲得。其具體的統(tǒng)計(jì)公式如下：

針對(duì)課堂全景教學(xué)效果的分析結(jié)果，系統(tǒng)用不同顏色標(biāo)注，如黃綠色顯示當(dāng)前學(xué)生的整體關(guān)注度，淺藍(lán)色顯示學(xué)生的參與程度，紅色顯示當(dāng)前教學(xué)內(nèi)容的疑難程度。如果某一時(shí)刻學(xué)生的關(guān)注度、參與度和疑難程度都非常低，說(shuō)明學(xué)生聽(tīng)課不在狀態(tài)，教師要提高警惕，調(diào)整教學(xué)策略，活躍課堂氛圍來(lái)提高教學(xué)效率。該系統(tǒng)除了可對(duì)整體課堂狀態(tài)進(jìn)行即時(shí)評(píng)價(jià)，還可以檢測(cè)出處于消極情緒狀態(tài)（抗拒和不屑）的學(xué)生，向教師發(fā)送信號(hào)，引起教師注意。在這里，系統(tǒng)就似一個(gè)“警報(bào)裝備”，時(shí)刻拉起教學(xué)中的警鐘，提醒教師也提醒學(xué)生。

最后研究通過(guò)人工統(tǒng)計(jì)與系統(tǒng)檢測(cè)對(duì)比，驗(yàn)證了該系統(tǒng)對(duì)課堂整體的關(guān)注度、參與度、疑難度和活躍時(shí)間檢測(cè)的準(zhǔn)確性，實(shí)驗(yàn)結(jié)果如圖11。圖中白色代表實(shí)際值，黑色代表系統(tǒng)檢測(cè)值，關(guān)注度、參與度、疑難度以及活躍時(shí)間的準(zhǔn)確率分別為88%、87%、80%、85%，其準(zhǔn)確率均高于80%，表明本系統(tǒng)可以應(yīng)用到課堂教學(xué)中，并且可獲得較準(zhǔn)確的情感數(shù)據(jù)。

五、結(jié)論

針對(duì)高效課堂教學(xué)的應(yīng)用需求，結(jié)合目前視頻監(jiān)控技術(shù)以及人臉識(shí)別技術(shù)，本文研究了基于人臉檢測(cè)與表情分析的課堂教學(xué)評(píng)價(jià)系統(tǒng)。該系統(tǒng)融合了現(xiàn)有的主動(dòng)外觀模型與局部約束模型，提高了人臉檢測(cè)的多目標(biāo)、多姿態(tài)特性，解決了人臉遮擋、扭轉(zhuǎn)等噪聲帶來(lái)的影響。同時(shí)，研究全面調(diào)研了學(xué)生課堂上的常見(jiàn)面部表情與心理狀態(tài)，總結(jié)了人臉特征點(diǎn)與課堂學(xué)生心理狀態(tài)的關(guān)系，并進(jìn)一步定義了評(píng)價(jià)課堂效果的參與度、疑難度以及關(guān)注度等評(píng)價(jià)指數(shù)。文中把面部表情作為一種評(píng)價(jià)因素是一種創(chuàng)新，但還有很多相關(guān)問(wèn)題有待進(jìn)一步研究，比如如何進(jìn)一步提高教師與系統(tǒng)的人機(jī)交互性，如何提升教師與學(xué)生對(duì)系統(tǒng)功能的滿意度等。

參考文獻(xiàn)：

[1]程萌萌，林茂松，王中飛（2013）.應(yīng)用表情識(shí)別與視線跟蹤的智能教學(xué)系統(tǒng)研究[J].中國(guó)遠(yuǎn)程教育，（3）：59-64.

[2]范亞男，葛衛(wèi)麗（2010）.智能視頻監(jiān)控系統(tǒng)發(fā)展及應(yīng)用[J].價(jià)值工程，（17）：97-98.

[3]馮滿堂，馬青玉，王瑞杰（2011）.基于人臉表情識(shí)別的智能網(wǎng)絡(luò)教學(xué)系統(tǒng)研究[J].計(jì)算機(jī)技術(shù)與發(fā)展，（6）：193-196.

[4]何祎（2015）.基于情感的課堂教學(xué)評(píng)價(jià)方法研究[D].錦州：渤海大學(xué).

[5]侯洪濤（2015）.一種課堂環(huán)境下學(xué)生表情識(shí)別系統(tǒng)的研究[D].北京：北京工業(yè)大學(xué).

[6]孟昭蘭（1987）.為什么面部表情可以作為情緒研究的客觀指標(biāo)[J].心理學(xué)報(bào)，（2）：124-134.

[7]施徐敢，趙小明，張石清（2014）.人臉表情識(shí)別研究的新進(jìn)展[J].實(shí)驗(yàn)室研究與探索，（10）：103-107.

[8]孫波，劉永娜，陳玖冰等（2015）.智慧學(xué)習(xí)環(huán)境中基于面部表情的情感分析[J].現(xiàn)代遠(yuǎn)程教育研究，（2）：96-103.

[9]吳蓓（2006）.多姿態(tài)人臉檢測(cè)方法的研究[D].大連：大連理工大學(xué).

[10]吳奇，申尋兵，傅小蘭（2010）.微表情研究及其應(yīng)用[J].心理科學(xué)進(jìn)展，（9）：1359-1368.

[11]吳證（2007）.人臉特征點(diǎn)定位研究及應(yīng)用[D].上海：上海交通大學(xué).

[12]翟倩茹（2012）.不同姿態(tài)人臉配準(zhǔn)方法研究[D].大連：大連海事大學(xué).

[13]詹澤慧（2013）.基于智能Agent的遠(yuǎn)程學(xué)習(xí)者情感與認(rèn)知識(shí)別模型——眼動(dòng)追蹤與表情識(shí)別技術(shù)支持下的耦合[J].現(xiàn)代遠(yuǎn)程教育研究，（5）：100-105.

[14]Mehrabian， A.（1968）. Communication Without Words[J].Psychological Today，（2）： 53-55.

收稿日期 2017-03-22 責(zé)任編輯 汪燕

HAN Li， LI Yang， ZHOU Zijia， SONG Peixuan

Abstract： Pursuing teaching efficiency is the essential characteristics of teaching， and also an important goal of current curriculum reform. Furthermore， the classroom is the main battlefield where the teacher improves the teaching quality， and realizes the effective teaching. At present， teachers interacting with students mainly use classroom observation and questioning， which will result in the hysteresis of information transmission and one-sided feedback due to the limit of personal energy. It provides the possibility to make up for these problems because of the rapid development of information technology， especially the intelligent development of the video monitoring system. Teaching evaluation system with the existing intelligent monitoring equipment， uses multi-gesture face detection and facial expression to obtain timely emotional changes from students in the learning process and gives feedback to teachers， meanwhile it helps teachers grasp accurately the performance of all the students in the classroom. The system can not only automatically track and analyze the overall status of students， to control the teaching process of all the class effectively， but also specify the tracking object and make statistical analysis of the state， so as to carry out the specific guidance of the individual and correct learning problems timely.

Keywords： Classroom Environment； Face Detection； Facial Expression Recognition； Efficient Classroom； Instructional Evaluation