基于人工智能技術(shù)的學(xué)生課堂學(xué)習(xí)行為監(jiān)測系統(tǒng)設(shè)計

摘要：人臉識別技術(shù)作為當(dāng)前計算機(jī)視覺中的研究熱點(diǎn)，被廣泛應(yīng)用在各個領(lǐng)域。計算機(jī)技術(shù)的發(fā)展和智能設(shè)備的普及，反而讓高校學(xué)生曠課、上課遲到、課堂學(xué)習(xí)精力不集中等問題加重。而現(xiàn)有的學(xué)生課堂學(xué)習(xí)行為管理方式以及行為監(jiān)測技術(shù)在應(yīng)用課堂學(xué)習(xí)環(huán)境中應(yīng)用時，受易遮擋、學(xué)生人體姿態(tài)多樣等問題的影響，無法充分滿足對學(xué)生課堂學(xué)習(xí)行為進(jìn)行監(jiān)測的要求。為了解決這一問題，本文結(jié)合人工智能技術(shù)提出了一種學(xué)生課堂學(xué)習(xí)行為監(jiān)測系統(tǒng)的設(shè)計方案，該系統(tǒng)能夠?qū)崿F(xiàn)個性化無痕監(jiān)測，且對學(xué)生課堂學(xué)習(xí)沒有任何影響。具體來說，該監(jiān)測系統(tǒng)的設(shè)計主要包含了注冊模塊、攝像模塊、存儲模塊、數(shù)據(jù)處理中心、體型檢測模塊、學(xué)生行為軌跡合成模塊以及課堂行為識別模塊等。經(jīng)驗(yàn)證明，該系統(tǒng)的設(shè)計，能夠高效、智能地實(shí)現(xiàn)對學(xué)生課堂學(xué)習(xí)行為進(jìn)行監(jiān)測。

關(guān)鍵詞：人工智能；學(xué)生課堂學(xué)習(xí)行為；監(jiān)測系統(tǒng)；行為識別；計算機(jī)視覺

一、引言

課堂教學(xué)作為高職院校教育教學(xué)的重要陣地，學(xué)生在課堂學(xué)習(xí)行為及表現(xiàn)是實(shí)現(xiàn)課堂教學(xué)評價的重要部分之一。因此，對學(xué)生的課堂行為狀態(tài)進(jìn)行監(jiān)測和管理顯得極為重要。對于課堂學(xué)習(xí)過程中、哪部分學(xué)生相對活躍、哪部分學(xué)習(xí)區(qū)域比較活躍以及學(xué)生的課堂學(xué)習(xí)行為等，任課教師無法實(shí)時進(jìn)行觀測，同理，對于學(xué)生的課堂學(xué)習(xí)行為坐姿以及學(xué)習(xí)狀態(tài)等，也無法得到科學(xué)合理地監(jiān)測?，F(xiàn)有的課堂學(xué)習(xí)行為監(jiān)測系統(tǒng)需要學(xué)生在課堂學(xué)習(xí)過程中穿戴特定的設(shè)備，才能夠采集與定位學(xué)生的行為數(shù)據(jù)。然而，這些穿戴設(shè)備對學(xué)生的坐姿以及課堂行為軌跡等無法實(shí)現(xiàn)無痕監(jiān)測，而且還會對學(xué)生的正常課堂學(xué)習(xí)體驗(yàn)造成一定程度的影響[1]?；诖?，本文提出了一種基于人工智能的學(xué)生課堂學(xué)習(xí)行為監(jiān)測系統(tǒng)設(shè)計方案，通過利用人工智能技術(shù)對學(xué)生的課堂學(xué)習(xí)行為進(jìn)行分析，以此促進(jìn)課堂教學(xué)質(zhì)量和管理水平得到提高。

二、學(xué)生課堂學(xué)習(xí)行為識別技術(shù)概述

基于人工智能技術(shù)提出的學(xué)生課堂學(xué)習(xí)行為識別方法，可以對學(xué)生在課堂中的不同課堂行為進(jìn)行全方位地采集與識別，具體學(xué)生課堂行為分類見圖1所示。

三、基于人工智能的學(xué)生課堂學(xué)習(xí)行為監(jiān)測系統(tǒng)設(shè)計研究分析

（一）系統(tǒng)總體框架設(shè)計

通過人工智能并結(jié)合高校學(xué)生的課堂行為分類模型，本文設(shè)計了學(xué)生課堂學(xué)習(xí)行為監(jiān)測系統(tǒng)，該監(jiān)測系統(tǒng)主要由注冊模塊、攝像模塊、存儲模塊、數(shù)據(jù)處理中心、人體監(jiān)測模塊和虛擬機(jī)器人模塊共六個部分組成。該系統(tǒng)利用課堂現(xiàn)場圖片或者拍攝的視頻作為輸入，記錄和分析學(xué)生的課堂出勤率、課堂學(xué)習(xí)專注度等，并為高校學(xué)生的課堂學(xué)習(xí)行為監(jiān)測和促進(jìn)行為改善提供了有效工具，具體監(jiān)測流程如圖2所示[2]。

注冊模塊用于在監(jiān)測系統(tǒng)中填寫學(xué)生的姓名、學(xué)號、班級等個人信息，并進(jìn)行人臉圖像的錄入、身份信息認(rèn)證綁定等。攝像模塊通過攝像頭裝置實(shí)現(xiàn)對整個教室的攝像，實(shí)時采集課堂中所有學(xué)生的面部和教室圖像，并對成功識別的學(xué)生進(jìn)行整體圖像采集。存儲模塊用于存儲攝像模塊采集的圖片或視頻。數(shù)據(jù)處理中心通過對攝像模塊提供的圖片或視頻進(jìn)行特征參數(shù)計算，進(jìn)行人臉識別和身份確認(rèn)對比，并識別已經(jīng)成功識別的學(xué)生的坐姿。人體監(jiān)測模塊依據(jù)學(xué)生在官方部分體驗(yàn)的檢測數(shù)據(jù)獲取學(xué)生的體形信息，并與學(xué)生的身份進(jìn)行綁定。虛擬機(jī)器人模塊作為監(jiān)測系統(tǒng)與外部交互的接口連接[3]。

（二）主要系統(tǒng)功能模塊設(shè)計

1.課堂行為分類及圖像采集模塊

根據(jù)調(diào)研的高職院校學(xué)生的課堂學(xué)習(xí)行為基本情況，可以將其劃分成玩手機(jī)、睡覺、做筆記和聽課等四種行為類型。根據(jù)采集的學(xué)生課堂學(xué)習(xí)行為的圖片或視頻，并按照行為類型進(jìn)行分類處理，可以形成學(xué)生課堂學(xué)習(xí)行為分類圖片庫。然后，結(jié)合圖片或視頻的用途，可以構(gòu)建學(xué)生人臉數(shù)據(jù)庫和課堂現(xiàn)場圖像采集庫，在對采集的圖片和視頻進(jìn)行分割預(yù)處理后，為后續(xù)分析學(xué)生課堂學(xué)習(xí)行為的專注度和考勤等提供基礎(chǔ)依據(jù)[4]。

2.學(xué)生信息數(shù)據(jù)庫設(shè)計

該數(shù)據(jù)庫主要由兩個部分組成：學(xué)生人臉數(shù)據(jù)庫和學(xué)生信息數(shù)據(jù)庫。其中，學(xué)生人臉數(shù)據(jù)庫主要存儲學(xué)生課堂學(xué)習(xí)行為分析的基礎(chǔ)樣本；而信息數(shù)據(jù)庫，主要存儲學(xué)生的基本個人信息（學(xué)號、班級、姓名及其他備注等）和課堂學(xué)習(xí)行為信息（學(xué)號、課堂編號、課程名稱、到課標(biāo)識、專注度、上課時間以及其他說明等），并且數(shù)據(jù)庫的結(jié)構(gòu)可以根據(jù)具體實(shí)際情況進(jìn)行拓展。

3.課堂位置圖片處理模塊

該模塊主要利用拍攝的圖片對學(xué)生人臉識別和標(biāo)簽備注，將識別成功后的學(xué)生基本信息與圖片關(guān)聯(lián)起來。

4.學(xué)生課堂行為軌跡合成模塊

該模塊主要針對監(jiān)測系統(tǒng)中每個成功注冊的學(xué)生，在預(yù)設(shè)的合成時間中進(jìn)行圖片合成處理，結(jié)合實(shí)際的需求設(shè)置合成時間段。而被用于合成的圖片主要來源于課堂位置圖片處理模塊，該模塊完成了學(xué)生基本信息的識別。同時，在預(yù)設(shè)合成的圖片上，如果存在超過設(shè)定閾值的重疊區(qū)域如果，需要對這部分進(jìn)行顏色標(biāo)記處理，以此得到學(xué)生在預(yù)設(shè)時間段內(nèi)的課堂學(xué)習(xí)行為軌跡圖。

5.坐姿匹配模塊

該匹配通過結(jié)合坐姿模型庫中的坐姿參數(shù)與監(jiān)測系統(tǒng)預(yù)設(shè)的坐姿參數(shù)進(jìn)行匹配，并輸出學(xué)生對應(yīng)的身體比例，由此計算得到關(guān)于學(xué)生的頭部、手部以及肩頸部等尺寸的比例值，再與系統(tǒng)預(yù)設(shè)的參數(shù)進(jìn)行匹配。

6.課堂行為識別與監(jiān)控模塊

學(xué)生課堂行為監(jiān)控模塊的設(shè)計實(shí)現(xiàn)了對學(xué)生課堂學(xué)習(xí)行為的實(shí)時監(jiān)控，并起到了督促作用，使得任課教師或教務(wù)處、系部檢查人員不再受到時間和空間的制約，都能夠?qū)W(xué)生課堂學(xué)習(xí)情況進(jìn)行檢查、判斷和評價。學(xué)生課堂學(xué)習(xí)行為識別模塊作為監(jiān)測系統(tǒng)的核心部分，主要利用計算機(jī)技術(shù)、圖像識別技術(shù)，對采集到的圖片或視頻進(jìn)行處理和分析。然而，在實(shí)際過程中，圖像識別和現(xiàn)實(shí)之間還存在較大差別，如端正坐姿的睡覺行為、遮擋類型的玩手機(jī)行為等情況，都會對監(jiān)控系統(tǒng)的識別造成很大的影響。因此，只有對比海量的原型才能夠得到正確可靠的數(shù)據(jù)資源。本文主要利用基于人工智能的監(jiān)測方法，對數(shù)據(jù)庫中的信息進(jìn)行檢測、分析和處理，以此來判斷學(xué)生的課堂學(xué)習(xí)行為，從而促進(jìn)課堂教學(xué)質(zhì)量的提升[5-6]。

7.虛擬機(jī)器人與信息反饋模塊

虛擬機(jī)器人與信息反饋模塊主要為學(xué)生課堂行為監(jiān)測系統(tǒng)和外部交互提供連接接口。同時，虛擬機(jī)器人的設(shè)計還包含了一個虛擬形象，將其和數(shù)據(jù)處理中心進(jìn)行連接，當(dāng)接收到相關(guān)查詢指令后，監(jiān)測系統(tǒng)就能夠及時調(diào)取數(shù)據(jù)處理中心所設(shè)定時間段內(nèi)的學(xué)生身份以及行為軌跡和坐姿異常情況，并匯報給用戶。通過虛擬機(jī)器人，還可以實(shí)現(xiàn)對任意學(xué)生的坐姿比例進(jìn)行異常閾值配置，并對超過閾值范圍的部分進(jìn)行對比，從而判斷學(xué)生的人體坐姿是否異常最后，通過智慧班牌進(jìn)行交互提醒，并向任課教師發(fā)送信息提醒。

四、實(shí)驗(yàn)與結(jié)果分析

（一）學(xué)生課堂學(xué)習(xí)的行為分析

為了進(jìn)一步驗(yàn)證基于人工智能的學(xué)生課堂學(xué)習(xí)行為監(jiān)測系統(tǒng)的可行性，本文以學(xué)生課堂學(xué)習(xí)專注度為例進(jìn)行驗(yàn)證分析。首先，通過對課堂中所有學(xué)生進(jìn)行集中人臉?biāo)阉?，以此達(dá)到考勤的目的，并將當(dāng)前課堂中每名學(xué)生的狀態(tài)都設(shè)置為課堂狀態(tài)變量，初始值為False。然后，借助學(xué)生課堂學(xué)習(xí)行為監(jiān)測模型，對目標(biāo)圖像進(jìn)行人臉?biāo)阉髯R別，包括人臉區(qū)域的監(jiān)測和學(xué)生身份的識別[7]，完成對某個學(xué)生的搜索后，將該學(xué)生的到課狀態(tài)變量更改為True。其次，利用間隔人臉?biāo)阉鞯姆绞浇y(tǒng)計學(xué)生課堂學(xué)習(xí)的專注度行為，為每名學(xué)生設(shè)置對應(yīng)的計數(shù)器，并設(shè)置系統(tǒng)每間隔一段時間（如2分鐘）采集上一組上課學(xué)習(xí)期間的圖片或視頻，將圖像按照每3張為一組的方式進(jìn)行組合，每張圖像間隔3秒。再借助學(xué)生課堂學(xué)習(xí)行為監(jiān)測模型，對每組圖像中的目標(biāo)進(jìn)行人臉?biāo)阉髯R別，在成功搜索到某個學(xué)生后，停止對該組圖像中該名學(xué)生的搜索，并將該名學(xué)生的計數(shù)器變量增加1。完成對所有學(xué)生的搜索后，根據(jù)公式計算得出每個學(xué)生的課堂學(xué)習(xí)專注度。

A = B/C×100% （1）

其中，A代表了當(dāng)前學(xué)生在課堂學(xué)習(xí)中的專注度，B代表了監(jiān)測系統(tǒng)統(tǒng)計后得到的該學(xué)生上完本節(jié)課之后的計數(shù)器變量的數(shù)值，C則代表了本節(jié)課該學(xué)生的專注度統(tǒng)計次數(shù)（圖像采樣分組數(shù)）。

（二）結(jié)果生成與分析

在完成對學(xué)生的課堂學(xué)習(xí)行為監(jiān)測分析后，可以從數(shù)據(jù)庫中獲取某一節(jié)課中學(xué)生的考勤統(tǒng)計數(shù)據(jù)和專注度數(shù)據(jù)，結(jié)合后續(xù)需求對其進(jìn)行統(tǒng)計和分析，計算該節(jié)課中學(xué)生的專注度數(shù)據(jù)，并輸出結(jié)果進(jìn)行評價。這不僅有助于學(xué)生及時了解自己在課堂學(xué)習(xí)過程中的具體情況，進(jìn)而調(diào)整學(xué)習(xí)方式，還能夠幫助任課教師及時了解課堂教學(xué)情況，優(yōu)化教學(xué)方式，提高教學(xué)質(zhì)量[8]。

五、結(jié)束語

綜上所述，課堂教學(xué)質(zhì)量是高校非常重視的問題，學(xué)生的課堂學(xué)習(xí)行為是教學(xué)質(zhì)量的重要表現(xiàn)之一。然而，傳統(tǒng)的行為監(jiān)測技術(shù)受限于易遮擋和學(xué)生人體姿態(tài)多樣性等問題，無法準(zhǔn)確監(jiān)測學(xué)生的課堂學(xué)習(xí)行為，而將人工智能技術(shù)和行為識別檢測技術(shù)相結(jié)合，構(gòu)建學(xué)生課堂學(xué)習(xí)行為檢測系統(tǒng)，并通過大量的樣本圖片構(gòu)建模擬訓(xùn)練，可以更好地實(shí)現(xiàn)對學(xué)生的課堂學(xué)習(xí)行為進(jìn)行智能化監(jiān)測。同時，該系統(tǒng)的設(shè)計還能夠幫助任課教師實(shí)時了解學(xué)生的課堂學(xué)習(xí)情況，必要時進(jìn)行干預(yù)，并對每個學(xué)生的情況進(jìn)行分析與反饋，從而實(shí)現(xiàn)個性化監(jiān)測。

作者單位：劉曉 廣西機(jī)電職業(yè)技術(shù)學(xué)院

參? 考? 文? 獻(xiàn)

[1]吳麗娟，任海清，關(guān)貴明，等.基于人臉姿態(tài)識別的課堂學(xué)習(xí)狀態(tài)反饋系統(tǒng)的設(shè)計與實(shí)現(xiàn)[J].沈陽師范大學(xué)學(xué)報（自然科學(xué)版），2022，40（2）：127-132.

[2]胡亮.基于情緒識別的大學(xué)生課堂學(xué)習(xí)狀態(tài)監(jiān)控系統(tǒng)[J].現(xiàn)代電子技術(shù)，2022，45（21）：140-144.

[3]張鑫褆.基于多維特征融合的學(xué)生課堂行為識別研究[D].陜西：西北大學(xué)，2021.

[4]趙春，舒杭，顧小清. 基于計算機(jī)視覺技術(shù)的學(xué)生課堂學(xué)習(xí)行為投入度測量與分析[J].現(xiàn)代教育技術(shù)，2021，31（6）：96-103.

[5]何秀玲，楊凡，陳增照，等.基于人體骨架和深度學(xué)習(xí)的學(xué)生課堂行為識別[J].現(xiàn)代教育技術(shù)，2020，30（11）：105-112.

[6]黃侃，朱業(yè)求.基于機(jī)器視覺及深度學(xué)習(xí)的學(xué)生課堂行為檢測系統(tǒng)的設(shè)計與實(shí)現(xiàn)[J].計算機(jī)產(chǎn)品與流通，2022（4）：268-270.

[7]黃冠.基于深度學(xué)習(xí)的學(xué)生課堂行為識別研究[D].江蘇：中國礦業(yè)大學(xué)，2021.

[8]李加軍.基于大數(shù)據(jù)的網(wǎng)絡(luò)學(xué)習(xí)行為監(jiān)測系統(tǒng)設(shè)計[J].信息與電腦，2022，34（19）：251-253.

項(xiàng)目：數(shù)字化轉(zhuǎn)型背景下高職學(xué)生學(xué)習(xí)能力的監(jiān)測系統(tǒng)構(gòu)建研究，2023年度廣西高校中青年教師科研基礎(chǔ)能力提升項(xiàng)目（編號：2023KY1117）。

劉曉（1989.10-），女，瑤族，廣西南寧，在職研究生，中級講師，研究方向：平面設(shè)計、網(wǎng)頁設(shè)計、數(shù)據(jù)庫管理系統(tǒng)。