基于深度學(xué)習(xí)的課堂專注度檢測系統(tǒng)的設(shè)計(jì)

尚明 郭小燕

關(guān)鍵詞：深度學(xué)習(xí)；面部表情識別；行為特征識別；模糊綜合評價(jià)算法；課堂專注度

0 引言

目前，在課堂教學(xué)中，缺乏對學(xué)生學(xué)習(xí)專注度的量化評估技術(shù)方法，這使得教師很難客觀全面地了解學(xué)生的學(xué)習(xí)狀態(tài)。這對于評估課堂學(xué)習(xí)效率和教學(xué)質(zhì)量產(chǎn)生了重要的影響。因此，研究學(xué)生課堂專注度檢測方法變得至關(guān)重要。

該系統(tǒng)將面部表情識別模型和行為特征識別模型進(jìn)行融合[1]，構(gòu)建了一個(gè)基于面部表情識別和行為特征識別的課堂專注度模型。提升學(xué)生課堂專注度以及自主思考與學(xué)習(xí)能力，教師通過課堂專注度評價(jià)數(shù)據(jù)掌握學(xué)生對于課程的感興趣程度，從而及時(shí)了解學(xué)情，為改善教學(xué)方法與手段，提升教學(xué)效果提供客觀依據(jù)。

1 表情識別

表情識別主要包括人臉數(shù)據(jù)采集、圖像預(yù)處理、表情特征提取、表情分類和表情識別等五個(gè)處理步驟，如圖1所示。

通過攝像頭獲取的學(xué)生面部圖像，送入表情識別模型識別表情，獲取開心、驚訝、悲傷、害怕、生氣、厭惡和中性等以下7種表情，如圖2所示。

1.1 數(shù)據(jù)集

KDEF表情數(shù)據(jù)集是一個(gè)開源數(shù)據(jù)集，最初用于有關(guān)記憶、注意力、感知和情緒表達(dá)的心理學(xué)和醫(yī)學(xué)研究。數(shù)據(jù)集有4 900張圖像，包含7種表情，分別是開心、驚訝、悲傷、害怕、生氣、厭惡和中性[2]。

1.2 模型介紹

本文采用了遷移學(xué)習(xí)技術(shù)，基于預(yù)訓(xùn)練的VGG16 模型[3]，針對面部表情識別任務(wù)進(jìn)行了研究。利用VGG16模型在KDEF數(shù)據(jù)集上學(xué)習(xí)到的豐富面部表情特征，構(gòu)建了一個(gè)CNN表情分類模型。通過微調(diào)VGG16模型的卷積部分，并結(jié)合自定義全連接層，實(shí)現(xiàn)了對不同面部表情的準(zhǔn)確分類。

2 行為識別

在真實(shí)的課堂環(huán)境中，學(xué)生會不斷地移動(dòng)視角，攝像頭無法識別學(xué)生的面部表情。這時(shí)學(xué)生的頭部姿勢和各種行為可能會透露出一些關(guān)于他們專注程度的信息。例如，觀察學(xué)生面部和上半身的姿勢偏轉(zhuǎn)，可以獲取一些關(guān)于他們專注程度的信息。如果學(xué)生端正地保持面部和身體的姿勢，可能表明他們的注意力較為集中。然而，如果學(xué)生的面部和身體不端正，例如低頭看書、表現(xiàn)出心事重重或與他人交談，或者轉(zhuǎn)頭和轉(zhuǎn)身等，很可能表示他們的注意力沒有集中。因此，在面部表情識別的基礎(chǔ)上，將行為特征作為評價(jià)學(xué)生專注度的另一標(biāo)準(zhǔn)，從而提高課堂專注度檢測的準(zhǔn)確性。

行為特征識別是結(jié)合面部和身體特征為判斷基準(zhǔn)，將行為特征分為：頭部嚴(yán)重偏轉(zhuǎn)，身體嚴(yán)重偏轉(zhuǎn)，低頭睡覺，頭部身體無明顯偏轉(zhuǎn)，趴著等5種類別[4]。

行為特征識別主要包括視頻模塊、目標(biāo)檢測模塊、行為估計(jì)模塊、動(dòng)作分類模塊和標(biāo)注可視化模塊等5個(gè)模塊，如圖3所示。

2.1 模型介紹

AlphaPose[5]是一個(gè)精確的多人姿態(tài)估計(jì)器。在圖像或視頻中，人體重要位置的坐標(biāo)信息以及關(guān)鍵點(diǎn)的結(jié)構(gòu)是人體姿態(tài)估計(jì)算法的首要目標(biāo)，這些關(guān)鍵點(diǎn)的預(yù)測可以確定人體姿態(tài)。人體姿態(tài)估計(jì)算法根據(jù)不同的預(yù)測技術(shù)可分為自上而下和自下而上兩大類。

自上而下方法通過目標(biāo)檢測識別圖像中的每個(gè)人，然后在獲得目標(biāo)邊界框后估計(jì)每個(gè)目標(biāo)的單人姿態(tài)。然而，在多人場景中，自上而下的方法需要正確地將關(guān)鍵點(diǎn)分配給每個(gè)檢測到的人體，這會導(dǎo)致檢測速度降低。自下而上的方法首先將檢測環(huán)境中所有關(guān)節(jié)節(jié)點(diǎn)進(jìn)行組合，拼接得到骨架。自下而上的方法直接關(guān)注關(guān)鍵點(diǎn)的檢測，因此在處理遮擋、復(fù)雜背景和多人場景時(shí)通常更具魯棒性。然而，如果兩個(gè)人距離很近容易混淆，對全局信息的獲取也有一定欠缺，容易出現(xiàn)誤檢。

在多人姿態(tài)場景問題中，首先通過空間變換網(wǎng)絡(luò)接收人體邊界框，SDTN 產(chǎn)生人體推薦區(qū)域。并行的SPPE在訓(xùn)練階段有助于模型更準(zhǔn)確地捕捉關(guān)鍵點(diǎn)。其次，參數(shù)化姿態(tài)非最大抑制用于剔除冗余檢測框或關(guān)鍵點(diǎn)。最后，姿態(tài)引導(dǎo)的區(qū)域框生成器用來增強(qiáng)訓(xùn)練樣本。本文使用的Alp?haPose 代碼實(shí)際上是yolov3-spp 行人檢測、姿態(tài)關(guān)鍵點(diǎn)檢測和ReID進(jìn)行行人重識別算法的組合。AlphaPose的結(jié)構(gòu)如圖4所示。

2.2 數(shù)據(jù)集

Halpe136關(guān)鍵點(diǎn)數(shù)據(jù)集[6]是一個(gè)用于人體姿態(tài)估計(jì)的數(shù)據(jù)集。該數(shù)據(jù)集包含136個(gè)關(guān)鍵點(diǎn)，用于描述人體的姿態(tài)和動(dòng)作。每個(gè)關(guān)鍵點(diǎn)表示人體的特定部位，如臉部、全身、手部等。數(shù)據(jù)集中的圖像是從真實(shí)場景中采集的，包括各種不同的動(dòng)作和姿勢。其中面部關(guān)鍵點(diǎn)如圖5所示。

2.3 模型參數(shù)

Alphapose模型在訓(xùn)練時(shí)需要設(shè)置多個(gè)超參數(shù)，這些參數(shù)的設(shè)定會影響模型的收斂和精度。具體設(shè)置如表1所示。

3 課堂專注度模型建立

3.1 面部表情與行為類別及權(quán)重劃分

根據(jù)學(xué)生在課堂中的表現(xiàn)，將專注度評價(jià)劃分為三個(gè)等級，分別為專注、較專注和不專注，分別用符號Ⅰ、Ⅱ、Ⅲ表示，如表2所示。

在真實(shí)的課堂環(huán)境中，積極的表情通常與高專注度相關(guān)。當(dāng)學(xué)生專注時(shí)，他們可能會展現(xiàn)出興奮、興致勃勃的表情，表明他們對教學(xué)內(nèi)容感興趣并主動(dòng)參與。例如，他們可能展現(xiàn)出微笑、眉毛上揚(yáng)、眼睛睜大等積極的表情。相反，消極的表情往往與低專注度相關(guān)。當(dāng)學(xué)生注意力不集中時(shí)，他們可能表現(xiàn)出厭煩、倦怠或無聊的表情。例如，他們可能皺起眉頭、嘴角下沉、眼睛瞇起等消極的表情。

在表情識別的基礎(chǔ)上，行為特征一定程度上反映了學(xué)生的上課專注度程度。當(dāng)學(xué)生的頭部和身體偏轉(zhuǎn)程度較高時(shí)，可能意味著他們的專注度較低。這種偏轉(zhuǎn)可能是因?yàn)閷W(xué)生轉(zhuǎn)向他人交談、分心看周圍環(huán)境或其他不相關(guān)的事物，失去了對課堂內(nèi)容的關(guān)注。相反，當(dāng)學(xué)生的頭部和身體偏轉(zhuǎn)程度較低時(shí)，通常意味著他們的專注度較高。這種情況下，學(xué)生保持身體端正、面向教師或課桌，并且沒有明顯的分心行為。這表明他們將注意力集中在課堂內(nèi)容上，與教師和其他學(xué)生保持有效的目光接觸，展現(xiàn)出務(wù)實(shí)和專注的學(xué)習(xí)姿態(tài)。

將上述7種表情和五種行為類別以注意力集中程度為標(biāo)準(zhǔn)進(jìn)行劃分[7]，如表3所示。

課堂專注度評價(jià)中一級指標(biāo)分別是面部表情和行為特征，權(quán)重分別用 W1 和 W2 表示。二級指標(biāo)權(quán)重分別一一對應(yīng) W11、W12、W13 和 W21、W22、W23，如表4 所示。

3.2 課堂專注度模型建立

基于面部表情和行為特征分析，引用了模糊綜合評價(jià)算法[8]來計(jì)算學(xué)生的專注度分?jǐn)?shù)。該算法能夠根據(jù)不同因素的權(quán)重，綜合考慮學(xué)生在表情和行為方面的表現(xiàn)，定量評估他們的專注程度。

3.2.1 構(gòu)建單因素評價(jià)矩陣

1） 確定面部表情評價(jià)矩陣：

2） 確定行為特征評價(jià)矩陣：

3.2.2 確定因素權(quán)向量

1） 確定面部表情的權(quán)向量：

2） 確定行為特征的權(quán)向量：

3.2.3 建立綜合評價(jià)模型

1） 建立面部表情評價(jià)模型：

2） 建立行為特征評價(jià)模型：

3） 融合面部表情和行為特征的評價(jià)模型，得到課堂專注度評價(jià)模型[9]。

4） 計(jì)算課堂專注度得分：

本文使用VGG16遷移生成的表情識別模型用于學(xué)生課堂表情識別和AlphaPose姿態(tài)模型用于檢測學(xué)生行為并引入模糊綜合評價(jià)算法進(jìn)行學(xué)生專注度評估。專注度檢測模型結(jié)構(gòu)如圖6所示。

3.3 課堂專注度評價(jià)

首先，輸入視頻經(jīng)過采樣、檢測獲取學(xué)生的位置信息，分別進(jìn)行識別表情和行為特征，并應(yīng)用模糊綜合評價(jià)算法得到全體學(xué)生和整體課堂的專注度得分。專注度評價(jià)流程如圖7所示[10]。

本文利用專注度分?jǐn)?shù)來衡量學(xué)生在課堂上的專注程度。其中，專注度分?jǐn)?shù)越高表示學(xué)生個(gè)體越專注，而專注度分?jǐn)?shù)越低則表示學(xué)生個(gè)體的專注程度較低。這種分?jǐn)?shù)的計(jì)算通?；趯W(xué)生在課堂中行為和表現(xiàn)的觀察、記錄和評估。較高的專注度分?jǐn)?shù)暗示著學(xué)生在課堂上展現(xiàn)出積極地參與和專注態(tài)度，他們可能會積極參與討論、提出問題，并表現(xiàn)出對學(xué)習(xí)內(nèi)容的興趣和理解。而較低的專注度分?jǐn)?shù)則意味著學(xué)生可能表現(xiàn)出分心、不專注和缺乏參與度的行為。

通過聯(lián)合表情識別模型和人體姿態(tài)模型，并結(jié)合模糊綜合評價(jià)算法，能夠更全面地評估學(xué)生的專注度。表情識別模型可以捕捉學(xué)生的面部表情變化，而人體姿態(tài)模型則可以監(jiān)測學(xué)生的身體姿勢和動(dòng)作，使我們能夠更準(zhǔn)確地計(jì)算課堂專注度分?jǐn)?shù)。

3.4 開發(fā)環(huán)境

實(shí)驗(yàn)使用Linux操作系統(tǒng)作為實(shí)驗(yàn)環(huán)境。詳細(xì)情況如表5所示。

4 實(shí)驗(yàn)結(jié)果

4.1 表情檢測結(jié)果

通過攝像頭采集到的人臉數(shù)據(jù)，經(jīng)過預(yù)處理和特征提取等步驟，對人臉圖像進(jìn)行分析。然后，將提取到的特征輸入表情識別模型，輸出表情類別的結(jié)果，具體如圖8和圖9所示。

4.2 行為檢測結(jié)果

獲取到上半身的圖像，檢測面部和身體的關(guān)鍵點(diǎn)，將其輸入行為識別模型進(jìn)行分析和識別，然后得出行為類別，具體如圖10和圖11所示。

4.3 專注度評價(jià)結(jié)果

基于面部表情和行為特征兩種因素，通過模糊綜合評價(jià)算法得到專注度評價(jià)結(jié)果，具體如圖12所示。

5 結(jié)束語

本文設(shè)計(jì)了一種基于實(shí)時(shí)課堂教學(xué)的專注度評價(jià)模型，通過分析學(xué)生的課堂表情和行為特征來計(jì)算他們的專注度得分。在面部表情識別方面，采用了VGG16卷積神經(jīng)網(wǎng)絡(luò)模型；在行為特征識別方面，結(jié)合了面部和身體特征為判斷基準(zhǔn)。通過引入模糊綜合評價(jià)算法計(jì)算課堂專注度得分。教師可以借助這些得分來了解學(xué)生的學(xué)習(xí)狀態(tài)和需求，從而調(diào)整教學(xué)策略和方法，提高學(xué)生的學(xué)習(xí)效果。此外，基于學(xué)生群體的整體專注度得分，教師還可以評估和改進(jìn)課堂教學(xué)的質(zhì)量和效果。