如何開展深度學(xué)習(xí)驅(qū)動的多特征學(xué)生注意力評估？

引言

智慧教育是人工智能時代的教育新形態(tài)，旨在以數(shù)據(jù)治理為核心、以數(shù)智技術(shù)為驅(qū)動，提升教育現(xiàn)代化水平[]。然而，無論教育形態(tài)如何改變，學(xué)生注意力研究都是至關(guān)重要的。這是因?yàn)椋瑢W(xué)生的注意力會直接影響其學(xué)習(xí)效果，同時學(xué)生的注意力水平也是影響教師教學(xué)成效的關(guān)鍵因素之一[2]。近年來，作為教育過程性評估的核心觀測指標(biāo)，學(xué)生注意力已成為提升教學(xué)質(zhì)量的關(guān)鍵。但是，當(dāng)前學(xué)生注意力評估還存在若干局限，如在一對多的教學(xué)環(huán)境下，很難全面且及時地評價(jià)每個學(xué)生的注意力；評價(jià)手段單一，限制了對學(xué)生注意力影響因素的全面考量；評價(jià)標(biāo)準(zhǔn)不統(tǒng)一且缺乏一個有效的聯(lián)合模型，導(dǎo)致評價(jià)結(jié)果過于依賴某一標(biāo)準(zhǔn)，而未能有效減少評價(jià)誤差；表情識別技術(shù)在準(zhǔn)確性上的不足，也使得對學(xué)生注意力的評價(jià)出現(xiàn)了偏差[3]。

多特征學(xué)生注意力評估是指通過整合面部表情、頭部姿態(tài)、疲勞度等多維行為特征，對學(xué)生課堂認(rèn)知投入狀態(tài)進(jìn)行量化分析的研究范式。深度學(xué)習(xí)技術(shù)憑借其強(qiáng)大的特征提取與融合能力，為高效、動態(tài)地捕捉上述多維行為特征提供了關(guān)鍵的技術(shù)支撐?；诖?，本研究先設(shè)計(jì)多特征學(xué)生注意力評估路線，實(shí)施深度學(xué)習(xí)驅(qū)動的多特征學(xué)生注意力評估并對學(xué)生注意力進(jìn)行精準(zhǔn)量化分析。在此基礎(chǔ)上，本研究嘗試構(gòu)建深度學(xué)習(xí)驅(qū)動的多特征學(xué)生注意力評估模型，并進(jìn)行該模型的應(yīng)用與效果驗(yàn)證，以期通過實(shí)時且精準(zhǔn)的注意力評估，輔助教師動態(tài)調(diào)整教學(xué)策略，實(shí)現(xiàn)對課堂教學(xué)的個性化干預(yù)，同時為教育管理者提供數(shù)據(jù)驅(qū)動的決策依據(jù)，推動智慧教育環(huán)境下課堂教學(xué)模式的深度變革與優(yōu)化。

一多特征學(xué)生注意力評估路線的設(shè)計(jì)

為精準(zhǔn)評估一對多教學(xué)環(huán)境下學(xué)生的課堂注意力，有效改善現(xiàn)有評估方法在全面性、實(shí)時性、多維度考量、誤差控制及表情識別準(zhǔn)確性等方面的不足，本研究設(shè)計(jì)了“‘人臉檢測 $$ 表情識別 + 頭部姿態(tài)估計(jì)與疲勞度檢測’" 學(xué)生多維度特征融合”的多特征學(xué)生注意力評估路線，如圖1所示。該路線旨在通過系統(tǒng)整合面部表情、頭部姿態(tài)、疲勞度等多維行為特征，實(shí)現(xiàn)對學(xué)生注意力的精準(zhǔn)量化分析，并為后續(xù)構(gòu)建多特征學(xué)生注意力評估模型提供理論指導(dǎo)。

1人臉檢測

目前，我國課堂教學(xué)仍多為“大班教學(xué)”，即由一名教師對多名學(xué)生進(jìn)行教學(xué)和管理。在這種教學(xué)模式下，人臉檢測作為課堂教學(xué)數(shù)據(jù)采集的基礎(chǔ)環(huán)節(jié)，其檢測精度直接關(guān)系著后續(xù)算法的有效性和學(xué)生注意力評估結(jié)果的可靠性，其操作步驟如圖1的 ①～⑤ 所示。為構(gòu)建適用于真實(shí)課堂教學(xué)環(huán)境的神經(jīng)網(wǎng)絡(luò)模型，本研究采用RetinaFace人臉檢測模型，并結(jié)合WiderFace數(shù)據(jù)集開展訓(xùn)練——此數(shù)據(jù)集涵蓋高遮擋、多角度、低分辨率及復(fù)雜光照條件等多樣化場景下的人臉圖像樣本，能夠高度還原實(shí)際授課環(huán)境，有效提升RetinaFace人臉檢測模型在課堂場景下學(xué)生人臉識別任務(wù)中的魯棒性與準(zhǔn)確率。

2表情識別

完成人臉檢測后，便進(jìn)入表情識別環(huán)節(jié)，其操作步驟如圖1的 ⑥～? 所示?；贛ediapipe框架的468關(guān)鍵點(diǎn)面部特征檢測算法，本研究首先對 FER2013數(shù)據(jù)集進(jìn)行精細(xì)化重標(biāo)定，將面部表情分為排斥、聆聽、困惑、激動四種，并經(jīng)過人工復(fù)查，來確保分類的準(zhǔn)確性與合理性，獲得重標(biāo)定的面部表情識別數(shù)據(jù)集FER2013。為進(jìn)一步提升算法在教學(xué)環(huán)境中的適應(yīng)性，本研究同步構(gòu)建了自制表情數(shù)據(jù)集：通過攝像頭記錄15名志愿者學(xué)生的聽課視頻，從中提取初始視頻幀。在每段視頻中，志愿者學(xué)生以分鐘為單位分別展示排斥、聆聽、困惑、激動四種表情，構(gòu)成人臉表情圖像數(shù)據(jù)集。隨后，將重標(biāo)定的面部表情識別數(shù)據(jù)集FER2013和人臉表情圖像數(shù)據(jù)集按7：3的比例混合，作為本研究的初始數(shù)據(jù)集。最后，利用此初始數(shù)據(jù)集對融合了CBAM注意力機(jī)制模塊的ResNet表情識別模型進(jìn)行訓(xùn)練與優(yōu)化。

3頭部姿態(tài)估計(jì)和疲勞度檢測

頭部姿態(tài)估計(jì)和疲勞度檢測的操作步驟如圖1的 ?～? 所示，其中人臉關(guān)鍵點(diǎn)的精準(zhǔn)檢測與定位至關(guān)重要。本研究復(fù)現(xiàn)了Dlib 關(guān)鍵點(diǎn)檢測、手工訓(xùn)練的深度學(xué)習(xí)模型關(guān)鍵點(diǎn)檢測和Mediapipe關(guān)鍵點(diǎn)檢測三種方案，經(jīng)對比驗(yàn)證后選用Mediapipe關(guān)鍵點(diǎn)檢測作為最終方案。具體來說，先利用Mediapipe對步驟 ⑤ 得到的每幀圖像中的所有學(xué)生人臉進(jìn)行關(guān)鍵點(diǎn)檢測，獲取課堂中每名學(xué)生的468個人臉關(guān)鍵點(diǎn)信息；之后基于這些關(guān)鍵點(diǎn)信息，對每一名學(xué)生進(jìn)行頭部姿態(tài)估計(jì)和疲勞度檢測。

4學(xué)生多維度特征融合

學(xué)生多維度特征融合的操作步驟如圖1的 ? 所示。首先，系統(tǒng)地提取學(xué)生面部表情、頭部姿態(tài)、疲勞度三個維度（共7項(xiàng)）的指標(biāo)：一是面部表情維度，捕捉學(xué)生情緒的細(xì)微變化，具體為“排斥”（x1）、“聆聽”（x2）、“困惑”（x3）和“激動”（x4）這四種表情的累計(jì)出現(xiàn)次數(shù)；二是頭部姿態(tài)維度，分析學(xué)生的頭部朝向與角度，判斷其專注方向，具體為頭部姿態(tài)位于Pitch lt;-5^° 、 -15^°° 這一范圍內(nèi)的低頭次數(shù)（x5）；三是疲勞度維度，結(jié)合眼部和嘴部的開合程度，評估學(xué)生的精神狀態(tài)，具體為學(xué)生的打哈欠次數(shù)（x6）和閉眼次數(shù)（x7）。之后，將提取的7項(xiàng)指標(biāo)輸入機(jī)器學(xué)習(xí)算法——極限學(xué)習(xí)機(jī)（ExtremeLearningMachine，ELM），對學(xué)生的多維度特征進(jìn)行融合，實(shí)現(xiàn)對學(xué)生注意力的精準(zhǔn)量化。最后，構(gòu)建深度學(xué)習(xí)驅(qū)動的多特征學(xué)生注意力評估模型并進(jìn)行具體的教學(xué)應(yīng)用與效果驗(yàn)證。

二深度學(xué)習(xí)驅(qū)動的多特征學(xué)生注意力評估的實(shí)施與精準(zhǔn)量化

在學(xué)生注意力評估中，獲取多維表征信息是實(shí)現(xiàn)精準(zhǔn)評估的關(guān)鍵。按照多特征學(xué)生注意力評估路線，本研究選取面部表情、頭部姿態(tài)、疲勞度三個維度作為學(xué)生注意力評估的核心指標(biāo)。其中，面部表情評估是通過RetinaFace人臉檢測模型定位學(xué)生的面部區(qū)域，之后通過融合了CBAM注意力機(jī)制模塊的 ResNet表情識別模型，來識別學(xué)生進(jìn)行課堂學(xué)習(xí)的面部表情。而頭部姿態(tài)、疲勞度評估是采用頭部姿態(tài)估計(jì)和疲勞度檢測的方法，通過頭部朝向與角度、眼部和嘴部的開合程度，來量化分析學(xué)生的專注狀態(tài)與投入程度。

1學(xué)生面部表情識別

（1）RetinaFace人臉檢測模型

人臉檢測是表情識別的基礎(chǔ)。目前，學(xué)生人臉檢測面臨一系列挑戰(zhàn)，主要表現(xiàn)為： ① 人臉尺度方面，受教室布局和座位排列的影響，后排學(xué)生的面部在攝像頭中存在小尺度、低像素、多遮擋等問題，且隨著學(xué)生與攝像頭距離的增加，基于深度學(xué)習(xí)的人臉檢測算法性能明顯下降； ② 人臉姿態(tài)方面，由于攝像頭角度固定，且學(xué)生頭部動作較多，故課堂中存在大量不同姿態(tài)的人臉圖像，這使得人臉檢測難度大； ③ 光照環(huán)境方面，實(shí)際授課環(huán)境中陽光照射角度的變化和室內(nèi)燈光的不均勻等問題，也會對人臉檢測效果產(chǎn)生負(fù)面影響。對此，本研究應(yīng)用RetinaFace人臉檢測模型，通過模型的多尺度特征金字塔結(jié)構(gòu)處理小尺度人臉并用其預(yù)測的五個人臉關(guān)鍵點(diǎn)來增強(qiáng)檢測魯棒性，結(jié)合WiderFace數(shù)據(jù)集，進(jìn)一步提升學(xué)生人臉檢測效果。

（2）融合了CBAM注意力機(jī)制模塊的ResNet表情識別模型

盡管人臉表情識別技術(shù)日益成熟，但在大課堂這一特定場景下的識別效果仍不盡人意。而現(xiàn)有的學(xué)生表情識別分類體系難以反映真實(shí)課堂教學(xué)情境下的學(xué)生情感狀態(tài)，其分類標(biāo)準(zhǔn)也缺乏堅(jiān)實(shí)的理論基礎(chǔ)與科學(xué)驗(yàn)證[4]。因此，為訓(xùn)練出更貼合真實(shí)課堂場景的表情識別模型，本研究首先基于羅素情感模型[5]，對FER2013數(shù)據(jù)集進(jìn)行重標(biāo)定，并根據(jù)學(xué)生的課堂行為特征[6]，重新定義出“排斥”“聆聽”“困惑”“激動”四種標(biāo)簽，以精準(zhǔn)表征課堂上學(xué)生的情感狀態(tài)。之后，通過電腦攝像頭采集15名學(xué)生志愿者的動態(tài)表情視頻，構(gòu)建自制數(shù)據(jù)集，并將兩類數(shù)據(jù)集按7：3的比例混合，作為模型訓(xùn)練的初始數(shù)據(jù)集。最后，經(jīng)實(shí)驗(yàn)比較與驗(yàn)證，本研究選取ResNet34作為主干網(wǎng)絡(luò)，并引入CBAM注意力機(jī)制模塊[7，形成融合了CBAM注意力機(jī)制模塊的ResNet 表情識別模型，并利用初始數(shù)據(jù)集對此模型進(jìn)行訓(xùn)練與優(yōu)化，使其聚焦學(xué)生表情的細(xì)微變化與深層次特征，增強(qiáng)對學(xué)生不同面部表情的區(qū)分能力。

2學(xué)生頭部姿態(tài)估計(jì)和疲勞度檢測

學(xué)生頭部姿態(tài)估計(jì)和疲勞度檢測主要基于468個人臉關(guān)鍵點(diǎn)信息的分析來實(shí)現(xiàn)。本研究采用基于位姿矩陣的姿態(tài)檢測方法進(jìn)行學(xué)生頭部姿態(tài)估計(jì)——此方法結(jié)合Mediapipe檢測到的468個人臉關(guān)鍵點(diǎn)，應(yīng)用PNP 算法計(jì)算出學(xué)生頭部的三維信息值（即俯仰角Pitch值、航向角Yaw值、橫滾角Roll值）[8；同時，統(tǒng)計(jì)學(xué)生頭部處于不同姿態(tài)時三維信息值的分布范圍，界定出表征學(xué)生“低頭”姿態(tài)的三維信息值范圍?；谖蛔司仃嚨淖藨B(tài)檢測效果如圖2所示。

為更好地表征學(xué)生的疲勞度，本研究將一節(jié)課中每個學(xué)生的閉眼次數(shù)和打哈欠次數(shù)作為評價(jià)指標(biāo)來進(jìn)行疲勞度檢測。而學(xué)生是否閉眼、是否打哈欠，分別由描述眼部狀態(tài)的EAR值、描述嘴部狀態(tài)的MAR值進(jìn)行表征?；诒狙芯繄F(tuán)隊(duì)開發(fā)的代碼，結(jié)合實(shí)際教學(xué)視頻的數(shù)據(jù)分析，本研究提取15名志愿者學(xué)生的EAR序列和MAR序列，并同步記錄人工標(biāo)注的疲勞等級（ 1～3 級，分別為不疲勞、較為疲勞、嚴(yán)重疲勞）。采用 Spearman秩相關(guān)系數(shù)進(jìn)行分析，可以發(fā)現(xiàn)EAR均值與疲勞等級顯著負(fù)相關(guān) （r=-0.72，plt;0.01） ，MAR均值與疲勞等級顯著正相關(guān)（ _?=0.68 ， plt;0.01 ），可見EAR值、MAR值都能有效表征學(xué)生的疲勞度?；诖?，本研究設(shè)置了不同面部特征的EAR 閾值和MAR閾值（如表1所示）來判斷學(xué)生的疲勞度。

對兩種眼部狀態(tài)（睜眼、閉眼）和三種嘴部狀態(tài)（閉嘴、微張嘴、打哈欠）進(jìn)行兩兩搭配組合，即可得到六種面部狀態(tài)，如圖3所示。

三深度學(xué)習(xí)驅(qū)動的多特征學(xué)生注意力評估模型構(gòu)建

1圖像特征評測法與ELM算法

Brozina 等[0]的研究表明，學(xué)生的學(xué)習(xí)效果與其學(xué)習(xí)注意力之間存在顯著的正相關(guān)關(guān)系?？梢?，注意力是衡量學(xué)生學(xué)習(xí)效果的一個重要因素。Fredricks等11]提出，學(xué)生注意力可解構(gòu)為情感參與、認(rèn)知參與和行為參與三個維度。其中，行為參與作為可觀測的基礎(chǔ)要素，是衡量學(xué)習(xí)質(zhì)量的重要行為表征[12]，具體可通過學(xué)生上課時的外顯行為，如是否抬頭、眼睛是否注視黑板或教師、有何情感反應(yīng)等進(jìn)行多維度的學(xué)生注意力評估。如何通過可量化的行為特征實(shí)現(xiàn)對學(xué)生注意力的精準(zhǔn)評估，已成為智慧教育研究的關(guān)鍵課題。在當(dāng)前的評估研究中，操作行為評測法（如作業(yè)分析、問卷調(diào)查等）雖然易于實(shí)施且能收集主觀反饋，但受個體習(xí)性影響顯著且數(shù)據(jù)處理成本高[13]；生理參數(shù)評測法（如腦電、心率變異等）依賴精密儀器，易干擾學(xué)習(xí)狀態(tài)且實(shí)施門檻高4]。而相比之下，圖像特征評測法聚焦于捕捉學(xué)習(xí)者自然狀態(tài)下的外顯行為信號（如面部表情變化、頭部姿態(tài)異常、坐姿偏離等），具有非接觸、可擴(kuò)展性強(qiáng)、較為客觀、實(shí)施成本低等優(yōu)勢，成為了適配真實(shí)課堂復(fù)雜環(huán)境的理想選擇[15]。因此，本研究選擇圖像特征評測法，通過計(jì)算機(jī)視覺技術(shù)解析連續(xù)視頻流，為深度學(xué)習(xí)模型提供數(shù)據(jù)輸入，進(jìn)而量化分析與學(xué)生注意力密切相關(guān)的行為特征。

然而，在進(jìn)行實(shí)際應(yīng)用的過程中，本研究面臨如何運(yùn)用圖像特征評測法來高效融合面部表情、頭部姿態(tài)、疲勞度等多維度行為特征，并將其實(shí)時轉(zhuǎn)化為可解釋注意力評估結(jié)果的挑戰(zhàn)。對此，本研究引入ELM算法作為特征融合與建模的核心。ELM作為一種高效的單隱層前饋神經(jīng)網(wǎng)絡(luò)，其優(yōu)勢在于通過隨機(jī)初始化隱層節(jié)點(diǎn)參數(shù)并固定，僅需通過求解 Moore-Penrose廣義逆即可直接獲得輸出層的權(quán)重，這種無需迭代優(yōu)化的機(jī)制使其訓(xùn)練速度相較于傳統(tǒng)神經(jīng)網(wǎng)絡(luò)大幅提升，能夠滿足課堂評估對實(shí)時性的嚴(yán)苛要求，并且ELM算法能在極快的計(jì)算速度下達(dá)到最小訓(xùn)練誤差并保持良好的泛化性能，其算法結(jié)構(gòu)簡單、易于部署[]。為了使多特征學(xué)生注意力評估結(jié)果直接服務(wù)于課堂教學(xué)，本研究設(shè)計(jì)并開發(fā)了專用的上位機(jī)程序界面——本研究中的“上位機(jī)”專指運(yùn)行于教師端計(jì)算機(jī)、用于集成本研究用到的所有算法、能可視化分析結(jié)果并提供交互功能的應(yīng)用程序，教師可以通過上位機(jī)提供的直觀圖形界面實(shí)時獲取學(xué)生的注意力情況，有針對性地調(diào)整講授節(jié)奏或插入互動環(huán)節(jié)，及時進(jìn)行知識點(diǎn)復(fù)講或提供個性化指導(dǎo)，真正實(shí)現(xiàn)從“數(shù)據(jù)感知”到“教學(xué)干預(yù)”的閉環(huán)優(yōu)化，為智慧課堂中的動態(tài)教學(xué)決策提供量化支撐。

2模型構(gòu)建

綜合上述分析，本研究采用ELM算法，以多特征學(xué)生注意力評估路線為理論指導(dǎo)，構(gòu)建了深度學(xué)習(xí)驅(qū)動的多特征學(xué)生注意力評估模型（下文簡稱“評估模型”），如圖4所示。評估模型旨在為教師提供實(shí)時、精準(zhǔn)的課堂反饋，助力優(yōu)化教學(xué)策略，提高課堂教學(xué)效率，同時促進(jìn)學(xué)生學(xué)習(xí)效果的有效提升。

評估模型依托算力層提供的基礎(chǔ)計(jì)算能力，支撐其上的模型層集成關(guān)鍵算法組件；數(shù)據(jù)層匯聚在線慕課、微課等多元化真實(shí)課堂資源，為模型訓(xùn)練與驗(yàn)證提供數(shù)據(jù)基礎(chǔ)；算法鏈路層清晰地描繪了從學(xué)生視頻輸入，經(jīng)人臉檢測、表情識別、頭部姿態(tài)估計(jì)和疲勞度檢測，到ELM量化分析并最終輸出注意力評分的完整技術(shù)鏈路；應(yīng)用層將評估模型封裝為面向教育場景的智能服務(wù)模塊，包括提供AI助教、AI助學(xué)、AI助研和AI助評功能；最終到達(dá)服務(wù)層，服務(wù)于多元教育主體（包括AI教育研究中心、基礎(chǔ)教育學(xué)校、高等教育機(jī)構(gòu)等），為其提升教學(xué)質(zhì)量和優(yōu)化學(xué)習(xí)效果提供支持。在評估模型中，算力層、模型層與數(shù)據(jù)層共同構(gòu)成了支撐系統(tǒng)的“底層基礎(chǔ)”；算法鏈路層的技術(shù)模塊與應(yīng)用層的服務(wù)模塊共同組成可復(fù)用、可組合的“應(yīng)用積木”；而服務(wù)層提供的智慧教育服務(wù)及其致力于實(shí)現(xiàn)的頂層“智慧教育”目標(biāo)，則是對國家教育戰(zhàn)略的“政策呼應(yīng)”，最終形成“技術(shù)支撐-場景應(yīng)用-價(jià)值落地”的完整邏輯，賦能智慧教育發(fā)展。

四評估模型的教學(xué)應(yīng)用與效果驗(yàn)證

1教學(xué)應(yīng)用

基于深度學(xué)習(xí)驅(qū)動的多特征學(xué)生注意力評估模型，本研究通過編寫上位機(jī)界面，將算法與評估模型進(jìn)行集成，開發(fā)出智能教學(xué)評估軟件，并將其應(yīng)用于實(shí)際的課堂教學(xué)場景。上位機(jī)界面如圖5右半部分所示，其包含四大功能模塊，分別為表情識別模塊、頭部姿態(tài)估計(jì)模塊、疲勞度檢測模塊和注意力評估模塊。上位機(jī)能夠?qū)崟r讀取并在其界面中央?yún)^(qū)域顯示單人或多人的上課視頻，能自動繪制出與四大功能模塊相對應(yīng)的表情評分曲線、頭部姿態(tài)評分曲線、疲勞度評分曲線、注意力評估曲線。為檢驗(yàn)?zāi)Ｐ驮趯?shí)際教學(xué)場景中的應(yīng)用效果，本研究錄制了華東地區(qū)Z大學(xué)自動化專業(yè)的一堂專業(yè)必修課課程視頻（時長為40分鐘，參與學(xué)生有45人，均為大二學(xué)生），其中評估模型應(yīng)用的典型教學(xué)場景如圖5左半部分所示。

具體來說，評估模型首先共提取了三個維度的7項(xiàng)指標(biāo)： ① 面部表情維度，是基于ResNet+CBAM分類結(jié)果，統(tǒng)計(jì)排斥（x1）、聆聽（x2）、困惑（x3）和激動（ δ_X4 ）這四種表情的累計(jì)出現(xiàn)次數(shù)； ② 頭部姿態(tài)維度，是基于Mediapipe關(guān)鍵點(diǎn)和PNP 算法計(jì)算出Pitch 值和Roll值，統(tǒng)計(jì)頭部姿態(tài)位于Pitch lt;-5^° 、-15° ），并利用ELM通過隱藏層節(jié)點(diǎn)非線性映射實(shí)現(xiàn)多特征聯(lián)合建模。之后，將7項(xiàng)指標(biāo) X=[x1，x2，…，x7] 經(jīng)歸一化處理后，輸入ELM網(wǎng)絡(luò)，通過線性最小二乘法求出輸出層權(quán)重。最終，ELM經(jīng)過訓(xùn)練后，輸出結(jié)果為一個介于 0～1 之間的數(shù)值，這個數(shù)值代表了學(xué)生在聽課過程中的不同注意力狀態(tài)和課堂學(xué)習(xí)效果，其與ELM評分的關(guān)系如表2所示。

結(jié)合表2所示的關(guān)系，本研究在Z大學(xué)自動化專業(yè)的一堂專業(yè)必修課中進(jìn)行了評估模型的具體應(yīng)用。在課程開展的過程中，本研究基于時序隨機(jī)選取時間點(diǎn)為5分鐘、12分鐘、15分鐘、23分鐘、30分鐘、37分鐘的課程幀，然后應(yīng)用評估模型實(shí)時求解對應(yīng)時刻的評分（總分為1分），結(jié)果依次為0.95分、0.83分、0.56分、0.46分、0.12分、0.37分，如圖5左半部分所示。本研究將上述評分結(jié)果以日志形式存儲，并實(shí)時映射至上位機(jī)“學(xué)生注意力評估系統(tǒng)”窗格進(jìn)行可視化呈現(xiàn)；同時，為助力教師深度解析課堂數(shù)據(jù)、明晰課程注意力的內(nèi)在邏輯，上位機(jī)同步集成“表情評分曲線”“頭部姿態(tài)評分曲線”“疲勞度評分曲線”來實(shí)時展示課堂數(shù)據(jù)，為教師開展教學(xué)分析與改進(jìn)工作提供全方位支撐，如圖5右半部分所示。

2效果驗(yàn)證

（1）時序分析能力驗(yàn)證

本研究通過導(dǎo)出前文所提Z大學(xué)專業(yè)必修課的注意力評分日志，利用Python繪制了課堂單位周期內(nèi)學(xué)生注意力評分的時序曲線（如圖6所示），并計(jì)算其環(huán)比增長量，用于量化課堂單位周期內(nèi)學(xué)生注意力的波動程度。圖6顯示，評估模型得出的學(xué)生注意力的動態(tài)變化情況大致符合約翰·梅迪納[17]提出的“10分鐘法則”：學(xué)生在上課后的 10～15 分鐘注意力處于峰值，隨后因認(rèn)知疲勞或興趣減退而逐漸下降。這一結(jié)果證明評估模型能有效捕捉并精準(zhǔn)刻畫學(xué)生注意力的動態(tài)變化情況，且能及時反映因認(rèn)知生理機(jī)制（如好奇心滿足后的自然疲勞）或教學(xué)情境因素（如內(nèi)容吸引力變化）引起的注意力動態(tài)衰減規(guī)律。

（2）評分準(zhǔn)確性驗(yàn)證

為檢驗(yàn)多特征學(xué)生注意力評估模型的準(zhǔn)確性，本研究采用了基于專家評判的效標(biāo)效度驗(yàn)證方法，具體流程如下：首先，邀請5名具有十年以上教學(xué)經(jīng)驗(yàn)的教育學(xué)領(lǐng)域教授作為評分員。接著，將用于評估模型測試的同一段40分鐘課堂視頻按時間順序劃分為4個連續(xù)的10分鐘課堂時間段。隨后，每位專家獨(dú)立觀看這4個課堂時間段的視頻，并按照表2對這4個課堂時間段的學(xué)生注意力整體水平進(jìn)行量化評分——為減少個體主觀性評判差異的影響，本研究計(jì)算了4個課堂時間段視頻的專家評分均值，得到各課堂時間段視頻的人工注意力評分基準(zhǔn)值。最后，將4個課堂時間段視頻的專家評分與評估模型評分進(jìn)行對比分析，結(jié)果如圖7顯示，可以看出：評估模型評分與專家評分在四個課堂時間段均表現(xiàn)出高度的一致性，兩者的平均絕對誤差小于0.05。此結(jié)果驗(yàn)證了評估模型具有較高的評分準(zhǔn)確性，其評估結(jié)果能夠有效地逼近經(jīng)驗(yàn)豐富的專家基于直接觀察所做出的綜合判斷。

五結(jié)語

本研究設(shè)計(jì)了多特征學(xué)生注意力評估路線，通過面部表情識別、頭部姿態(tài)估計(jì)和疲勞度檢測，實(shí)現(xiàn)了對學(xué)生注意力的精準(zhǔn)量化分析。在此基礎(chǔ)上，本研究構(gòu)建了深度學(xué)習(xí)驅(qū)動的多特征學(xué)生注意力評估模型并進(jìn)行了其教學(xué)應(yīng)用與效果驗(yàn)證。此模型具有多維度、深層次、強(qiáng)耦合等特征，其構(gòu)建不僅為個性化教學(xué)的實(shí)時反饋與動態(tài)調(diào)整提供了技術(shù)支撐，也為推動新時代智慧教育生態(tài)的數(shù)據(jù)化、精準(zhǔn)化發(fā)展提供了實(shí)證支持。需要指出的是，目前深度學(xué)習(xí)驅(qū)動的多特征學(xué)生注意力評估模型尚未深度融合教育知識圖譜，難以挖掘注意力與知識結(jié)構(gòu)之間的潛在聯(lián)系；評估模型的多源特征融合僅限于學(xué)生的行為特征層面，而缺乏對語音、行為日志等多模態(tài)數(shù)據(jù)的整合；同時，也缺乏對評估模型與教師教學(xué)動態(tài)雙向關(guān)聯(lián)機(jī)制的深入探索，尚未形成教與學(xué)協(xié)同優(yōu)化的閉環(huán)。對此，后續(xù)研究可以拓展多模態(tài)數(shù)據(jù)的采集范圍與融合深度，提升評估模型的感知與分析能力；可以設(shè)計(jì)評估模型與教師教學(xué)的動態(tài)雙向關(guān)聯(lián)機(jī)制，探索教與學(xué)協(xié)同優(yōu)化路徑，助力教師科學(xué)做出教學(xué)決策并進(jìn)行個性化干預(yù)，為提升課堂教學(xué)質(zhì)量提供數(shù)據(jù)驅(qū)動的實(shí)施方案。

參考文獻(xiàn)

[1]中國科技網(wǎng).《中國智慧教育藍(lán)皮書》：智慧教育是數(shù)字時代的教育新形態(tài)[OL].

[2]卓鐵農(nóng)，英迪，趙暉.融合跨模態(tài)注意力與角色交互的學(xué)生課堂專注度研究[J].計(jì)算機(jī)科學(xué)，2025，（6）：1-18.

[3]石奕.基于人臉識別技術(shù)的學(xué)生課堂專注度評價(jià)模型研究[D].武漢：華中師范大學(xué)，2020：1.

[4]LiL，Zhang Y，ChiMY，et al.Spontaneous facial expresiondatabaseof learners'academic emotions inonline learingwith hand occlusion[J]. Computers and Electrical Engineering， 2022，97：107667.

[5]RussellJA.Acircumplex model ofaffct[J]. Jourmal ofPersonalityand Social Psychology，1980，（6）：1161-1178.

[6]陳雪.基于機(jī)器視覺的學(xué)生課堂注意力分析研究[D].哈爾濱：哈爾濱理工大學(xué)，2022：27.

[7]馬穎，伊力哈木·亞爾買買提，侯雪揚(yáng)，等.融合CBAM的雙向遞歸門控殘差圖像Copy-Move篡改檢測[J].哈爾濱工業(yè)大學(xué)學(xué)報(bào)，2025，（6）：1-11.

[8]陳平，皇甫大鵬，駱祖瑩，等.基于單幅圖像 PnP 頭部姿態(tài)估計(jì)的學(xué)習(xí)注意力可視化分析[J].通信學(xué)報(bào)，2018，（S1）：141-150.

[9]張闖，朱天軍，李學(xué)民.基于深度學(xué)習(xí)和面部多特征融合的駕駛員疲勞檢測研究[J].計(jì)算機(jī)測量與控制，2022，（12）：42-50.

[10]BrozinaC，KnightDB，KinoshitaT，etal.Engagedtoscced：Understandingfst-yearengineringsudentsoureengagement and performance through analytics[J]. IEEE Access， 2019，7：163686-163699.

[1]FredricksJA，BlumenfeldPC，ParisA H.Schoolengagement：Potentialoftheconcept，stateofthe evidene[J].Reviewof Educational Research， 2004，（1）：59-109.

[12]武法提，張琪.學(xué)習(xí)行為投入：定義、分析框架與理論模型[J].中國電化教育，2018，（1）：35-41.

[13]樊雅琴，周東岱，楊君輝，等.項(xiàng)目式 STEM教學(xué)中學(xué)生參與度測量研究[J].現(xiàn)代教育技術(shù)，2018，（1）：121-126.

[14]ChenCM， WangJY，YuCM.Assessingtheattentionlevelsofstudents byusinganoveattentionawaresystembasedonbrainwave signals[J]. British Journal of Educational Technology， 2017，（2）：348-369.

[15]莊立強(qiáng).基于計(jì)算機(jī)視覺的在線課堂學(xué)生注意力識別方法研究[D].蘭州：西北師范大學(xué)，2024：5.

[16]李剛生，高鐵剛，劉旭，等.基于極限學(xué)習(xí)機(jī)算法的學(xué)困生預(yù)測研究[J].現(xiàn)代教育技術(shù)，2018，（4）：34-40.

[17]（美）約翰·梅迪納著.楊光，馮立巖譯.讓大腦自由：釋放天賦的12條定律[M].北京：中國人民大學(xué)出版社，2009：61.

How to Carry out Multi-feature Student Attention Assessment Driven by Deep Learning？

YUHao-Wen1 ZHANG Ling2 LI Gang-Sheng3[Corresponding Author] FU Dong-Fei2

（1.College ofEducation， Zhejiang University， Hangzhou， Zhejiang， China 310058; 2. College of Engineering， Ocean University of China， Qingdao， Shandong， China 266500; 3.Department of Education， Ocean University of China， Qingdao， Shandong， China ）

Abstract： Inrecent years，student attentionassssment driven by deep learning has become one ofthe important paths to promotethereform of smart education. However， the existing student atention assessment models generallyhave problems suchas singleasessmentdimensions，weak modeladaptabilityanduntimelyfedback.Therefore，this paperfrstdesigneda multi-feature student attntion assessment route of“‘face detection $$ expression recognition + head posture estimation and fatigue degree detection $$ student multi-dimensional feature fusion\". After that， the paper selected facial expression， head posture and fatiguedegre as thecore indicators foratention assessment，implemented amulti-feature student atention assessment drivenbydeep learningand conducteda precisequantitativeanalysisofstudents’atention.Basedonthis，guided bythe multi-featurestudentattetionassessmentroute，thepaperconstrucedamulti-featurestudentatetionasssmentmodel drivenbydeep learning.Finally，te paperutilizedtheclassroomrecordingdatatoverifytheappicationeffectofthemodel in terms of temporalanalysis abilityandscoringaccuracy.Itwas foundthatthismodelcaneffctivelycaptureand preciselydepict the dynamic change situations of students’attention，can promptly reflect the dynamic decay law of attntion caused by cognitivephysiologicalmechansms or teaching contextualfactors，andhadarelativelyhighscoringaccuracy.The researchof this paper promoted the vertical extension of teachers’teaching and the horizontal expansion of students’learning styles， innovating the integration path of“AI + Education\".

Keywords：multi-eaturestudentateton;deepleang; expressrecogition;hadposure;ftiuedeg;clasrooast