基于微表情追蹤的課堂教學(xué)效果即時(shí)反饋系統(tǒng)設(shè)計(jì)

崔小洛

(九州職業(yè)技術(shù)學(xué)院,江蘇 徐州 221116)

0 引言

課堂教學(xué)效果的反饋與檢驗(yàn)是課堂教學(xué)實(shí)施的最后一環(huán)節(jié),是課堂教學(xué)效果好壞的評(píng)價(jià)手段,也是實(shí)施教學(xué)策略調(diào)整的重要依據(jù)。因此,對(duì)于課堂教學(xué)反饋的方式與手段的研究至關(guān)重要?，F(xiàn)如今,人工智能技術(shù)迅猛發(fā)展,人臉識(shí)別與表情特征提取已廣泛應(yīng)用在非教育領(lǐng)域,此類技術(shù)也可與課堂教學(xué)效果反饋相結(jié)合,提供實(shí)時(shí)的效果反饋信息,教師可即時(shí)調(diào)整教學(xué)策略,達(dá)到實(shí)現(xiàn)教學(xué)目標(biāo)的目的。

1 課堂教學(xué)效果反饋方式分析

現(xiàn)階段,課堂教學(xué)效果評(píng)價(jià)手段方法多種多樣,具體有以下幾種。

1.1 課堂評(píng)價(jià)表

以調(diào)查問卷和李克特量表的形式檢驗(yàn)教學(xué)效果。申健等[1]設(shè)計(jì)出分別針對(duì)教師和學(xué)生的課堂評(píng)價(jià)反饋表,針對(duì)教師層面,從教學(xué)態(tài)度、教學(xué)內(nèi)容、教學(xué)方法、教學(xué)設(shè)計(jì)、課堂氣氛5個(gè)維度讓教師自身進(jìn)行自評(píng)。針對(duì)學(xué)生層面,從教師教學(xué)水平、教學(xué)能力、溝通能力,學(xué)生知識(shí)接受程度、知識(shí)有用程度、能力提升程度及教學(xué)滿意度等多維度,對(duì)教師及自身進(jìn)行課堂教學(xué)效果的反饋評(píng)價(jià)。

1.2 課堂測(cè)驗(yàn)

根據(jù)課程需要,采取的課堂測(cè)驗(yàn)的反饋形式也是多種多樣,例如紙質(zhì)試卷、實(shí)踐操作或利用智慧環(huán)境下移動(dòng)終端設(shè)備實(shí)時(shí)投屏顯示課堂呈現(xiàn)結(jié)果的形式。

1.3 學(xué)生自身總結(jié)及同行和專家聽課指導(dǎo)

依據(jù)以學(xué)生為中心的教育理念,學(xué)生在學(xué)習(xí)過程中的主體地位越來越明顯,所以課堂教學(xué)中學(xué)生自評(píng)與生生互評(píng)的形式越來越收到重視。讓學(xué)生自己能意識(shí)到自己的問題及自我表達(dá),是教育的目的與根本。除此之外,還有教師同行和領(lǐng)域?qū)＜业穆犝n方式來進(jìn)一步提升課堂教師自身意識(shí)不到的課堂教學(xué)問題。

1.4 基于情感的課堂教學(xué)效果反饋評(píng)價(jià)

有學(xué)者注重課堂教學(xué)中學(xué)生的情感表達(dá)與體驗(yàn)。何祎[2]提出基于情感的課堂教學(xué)評(píng)價(jià)指標(biāo)體系,分為學(xué)生的學(xué)習(xí)狀態(tài)、學(xué)習(xí)水平和學(xué)習(xí)效果。學(xué)生學(xué)習(xí)狀態(tài)的二級(jí)指標(biāo)又包括情緒狀態(tài)、參與狀態(tài)和交往狀態(tài)。其中情緒狀態(tài)又有面部表情、語言表情、動(dòng)作表情的指標(biāo)評(píng)價(jià)。參與狀態(tài)又有課堂出席人數(shù)、抬頭看黑板人數(shù)、提出問題情況和教師面對(duì)面交流次數(shù)的指標(biāo)評(píng)價(jià)。交往狀態(tài)又有是否樂于參與小組學(xué)習(xí)和發(fā)言次數(shù)統(tǒng)計(jì)等指標(biāo)評(píng)價(jià)。學(xué)生的學(xué)習(xí)水平又包括了回答問題次數(shù)總計(jì)、同一問題能否提出不同見解、是否勇于提出疑問、動(dòng)手能力與實(shí)踐能力等的評(píng)價(jià)指標(biāo)。判斷情感指標(biāo)方法有問卷法、訪談法、現(xiàn)場(chǎng)觀察法、李克特量表、情感計(jì)算、經(jīng)驗(yàn)定性。

2 表情識(shí)別應(yīng)用于課堂效果反饋的相關(guān)研究

針對(duì)課堂教學(xué)表情識(shí)別監(jiān)測(cè)的設(shè)計(jì)與應(yīng)用方面很多學(xué)者都做過相關(guān)的研究。馮滿堂等[3]為了彌補(bǔ)智能網(wǎng)絡(luò)教學(xué)系統(tǒng)中學(xué)習(xí)體驗(yàn)的情感反饋,利用二維Gabor小波變換特征提取算法對(duì)學(xué)生的學(xué)習(xí)表情進(jìn)行識(shí)別分類,進(jìn)而設(shè)計(jì)出基于人臉表情識(shí)別的智能網(wǎng)絡(luò)教學(xué)系統(tǒng),并利用VC6.0開發(fā)工具實(shí)現(xiàn)了系統(tǒng)的原型。為智能網(wǎng)絡(luò)教學(xué)系統(tǒng)中融入學(xué)生的情感反饋開辟了研究的方向。孫波等[4]基于張量分解的表情識(shí)別算法技術(shù),很好的排除了人臉差異對(duì)于表情識(shí)別的影響,并設(shè)計(jì)出師生情感交互結(jié)構(gòu)圖,針對(duì)學(xué)習(xí)者面部識(shí)別出的表情,做出相應(yīng)的情緒分析與計(jì)算,虛擬教師根據(jù)學(xué)生的情感表達(dá)來激活自身的情感表達(dá)狀態(tài)與方式。韓麗[5]等人基于AAM模型算法進(jìn)行人臉監(jiān)測(cè)與表情分析,與學(xué)生的學(xué)習(xí)心理狀態(tài)相聯(lián)系,進(jìn)一步定義了評(píng)價(jià)課堂效果的參與度、疑難度以及關(guān)注度等評(píng)價(jià)指數(shù)。

綜上所述,可以看出表情識(shí)別有多種實(shí)現(xiàn)的算法,結(jié)合人工智能技術(shù)迅猛發(fā)展,會(huì)有新的方法來提煉與識(shí)別面部表情,但其在識(shí)別的準(zhǔn)確率與精確度上有所增加。學(xué)者們關(guān)于教學(xué)即時(shí)反饋系統(tǒng)的設(shè)計(jì)與應(yīng)用主要停留在學(xué)生的表情識(shí)別的驗(yàn)證上,以及遠(yuǎn)程教學(xué)中針對(duì)遠(yuǎn)程學(xué)生的表情心理狀態(tài),虛擬教師應(yīng)做出的幾種有限回應(yīng)與反饋。關(guān)于課堂教學(xué)中教師根據(jù)反饋系統(tǒng)出現(xiàn)的數(shù)據(jù)與預(yù)警沒有真實(shí)的做出相關(guān)的具體策略的調(diào)整的設(shè)計(jì)。這也是接下來該領(lǐng)域需要的研究的重點(diǎn)內(nèi)容。

3 基于微表情追蹤的課堂教學(xué)效果即時(shí)反饋系統(tǒng)設(shè)計(jì)結(jié)構(gòu)模型

教師需要及時(shí)獲取到學(xué)生的學(xué)習(xí)反饋信息,及時(shí)做出對(duì)應(yīng)的調(diào)整策略。但這又要求在一對(duì)多的課堂教學(xué)中,教師過多的、無意識(shí)的話語干預(yù)學(xué)生主動(dòng)思考的學(xué)習(xí)過程,進(jìn)而無法完全落實(shí)這一教育理念及精神。

隨著視頻檢測(cè)技術(shù)和人臉檢測(cè)技術(shù)的普及應(yīng)用,實(shí)時(shí)監(jiān)測(cè)學(xué)生的學(xué)習(xí)狀態(tài)及表情成為可能,本文利用相關(guān)的人工智能檢測(cè)技術(shù),在課堂教學(xué)中實(shí)時(shí)監(jiān)測(cè)學(xué)生的表情及狀態(tài)的變化,設(shè)計(jì)出基于微表情追蹤的課堂教學(xué)效果即時(shí)反饋系統(tǒng)模型,為今后的開發(fā)與實(shí)現(xiàn)奠定理論基礎(chǔ)。

3.1 人臉檢測(cè)與表情分析模型

(1)課堂視頻錄制模塊。需要對(duì)教室內(nèi)的全部學(xué)生進(jìn)行實(shí)時(shí)的監(jiān)控錄制。要達(dá)到教室拍攝無死角、畫質(zhì)清晰的目的。并將視頻信號(hào)傳送到主控高性能計(jì)算機(jī)工作站上便于后續(xù)的圖像處理。攝像頭的位置應(yīng)該在教室正前方黑板偏上位置及教室左前方及右前方位置。攝像頭的功能應(yīng)為多倍光學(xué)變焦與自動(dòng)光圈的功能。不僅能拍攝出遠(yuǎn)距離的學(xué)生面部表情,也能根據(jù)外在光照明暗環(huán)境的變化自動(dòng)調(diào)節(jié)光圈來達(dá)到清晰顯示圖像的目的(見圖1)。

圖1 人臉檢測(cè)與表情分析模型

(2)實(shí)時(shí)圖像處理模塊。通過采集頻率的設(shè)置,對(duì)錄制的課堂視頻進(jìn)行打散實(shí)時(shí)轉(zhuǎn)化成為連續(xù)的多組圖片素材。并將生成的圖片素材轉(zhuǎn)移到人臉檢測(cè)識(shí)別模塊。

(3)人臉檢測(cè)識(shí)別模塊?；谏疃葓D卷積神經(jīng)網(wǎng)絡(luò)的人臉檢測(cè)與識(shí)別算法的實(shí)現(xiàn)。設(shè)計(jì)多層卷積神經(jīng)網(wǎng)絡(luò)對(duì)學(xué)生微表情進(jìn)行特征提取,每層卷積神經(jīng)網(wǎng)絡(luò)包括一個(gè)卷積層和一個(gè)平均池化層。然后利用提取到的特征,通過一個(gè)全連接層對(duì)微表情進(jìn)行分類,并得到每個(gè)微表情在所有類別上的輸出概率,概率值最大的類即為最終的識(shí)別結(jié)果。

(4)表情分析歸類模塊。運(yùn)用所設(shè)計(jì)的微表情追蹤模型將學(xué)生在課堂中的實(shí)時(shí)微表情分為5類:理解、傾聽、困惑、不聽、反感。每種微表情類型都有其特定的定義特點(diǎn)及方式。

(5)統(tǒng)計(jì)分析數(shù)據(jù)模塊。根據(jù)這5種微表情定義了4種課堂教學(xué)效果評(píng)價(jià)指標(biāo)分別為關(guān)注度、掌握度、困惑度、模糊度。

(6)實(shí)時(shí)數(shù)據(jù)反饋模塊。學(xué)生課堂微表情發(fā)生變化時(shí),深度圖卷積神經(jīng)網(wǎng)絡(luò)模型可進(jìn)行實(shí)時(shí)追蹤,并通過計(jì)算得出新的識(shí)別結(jié)果,實(shí)時(shí)反饋學(xué)生的學(xué)習(xí)狀態(tài)變化。

3.2 基于微表情追蹤的課堂教學(xué)效果即時(shí)反饋系統(tǒng)設(shè)計(jì)結(jié)構(gòu)模型

研究了人臉檢測(cè)與表情分析的算法設(shè)計(jì),如何構(gòu)建出基于微表情追蹤的課堂教學(xué)效果即時(shí)反饋系統(tǒng)成為可能,該系統(tǒng)不僅應(yīng)能夠分析歸類學(xué)生的實(shí)時(shí)微表情,而且還應(yīng)體現(xiàn)人機(jī)交互的模塊設(shè)置。

課堂實(shí)錄模塊對(duì)于多媒體及攝錄像設(shè)備有硬性的要求,課堂微表情識(shí)別與追蹤模塊會(huì)將課堂實(shí)錄視頻進(jìn)行實(shí)時(shí)圖像處理,基于深度圖卷積神經(jīng)網(wǎng)絡(luò)的人臉檢測(cè)與識(shí)別算法會(huì)自動(dòng)識(shí)別出相應(yīng)的理解、傾聽、困惑、不聽、反感5種微表情。

筆者根據(jù)這5種微表情定義了4種課堂教學(xué)效果評(píng)價(jià)指標(biāo)分別為(1)關(guān)注度:關(guān)注度能夠反映學(xué)生聽課狀態(tài)情況(聽課狀態(tài):理解、傾聽、困惑；非聽課狀態(tài):不聽、反感)。(2)掌握度:掌握度反映了學(xué)生對(duì)知識(shí)點(diǎn)的理解情況。(3)困惑度:困惑度體現(xiàn)的是學(xué)生對(duì)知識(shí)點(diǎn)的困惑程度。(4)模糊度:當(dāng)學(xué)生處于傾聽狀態(tài)時(shí),無法判斷其對(duì)知識(shí)點(diǎn)的掌握情況,因此,模糊度反映的是學(xué)生對(duì)知識(shí)點(diǎn)掌握的模糊程度。

人機(jī)交互設(shè)計(jì)模塊包含評(píng)價(jià)指標(biāo)閾值設(shè)置和個(gè)體/整體跟蹤分析兩個(gè)部分。評(píng)價(jià)指標(biāo)閾值設(shè)置是指教師可以自行對(duì)4種課堂教學(xué)效果評(píng)價(jià)指標(biāo)設(shè)置臨界值,如果課堂教學(xué)效果評(píng)價(jià)指標(biāo)反饋值超過設(shè)置的臨界值,即時(shí)反饋系統(tǒng)會(huì)對(duì)外輸出報(bào)警信號(hào),提醒教師此時(shí)的課堂教學(xué)有一定的問題,教師可以及時(shí)調(diào)整教學(xué)策略與方法。個(gè)體/整體跟蹤分析是指不僅可以對(duì)班級(jí)整體進(jìn)行課堂教學(xué)效果評(píng)價(jià)指標(biāo)的跟蹤與反饋,而且可以具體到學(xué)生個(gè)體,教師可以實(shí)時(shí)查閱學(xué)生個(gè)體的課堂教學(xué)效果評(píng)價(jià)指標(biāo),更能夠達(dá)到因材施教的學(xué)習(xí)效果。

4 結(jié)語

隨著人工智能及圖像處理技術(shù)日趨成熟,在課堂教學(xué)領(lǐng)域的應(yīng)用也越來越廣泛,本文是在相關(guān)文獻(xiàn)研究的基礎(chǔ)上,結(jié)合深度圖卷積神經(jīng)網(wǎng)絡(luò)的人臉檢測(cè)與識(shí)別算法,提出基于微表情追蹤的課堂教學(xué)效果即時(shí)反饋系統(tǒng)的設(shè)計(jì)模型,希望此模型的提出能為后續(xù)的課堂教學(xué)效果即時(shí)反饋系統(tǒng)的開發(fā)與應(yīng)用奠定理論基礎(chǔ)。