摘 要:大學(xué)教學(xué)環(huán)境中,由于學(xué)生數(shù)量龐大而教師資源相對(duì)有限,導(dǎo)致教師難以實(shí)時(shí)、全面地了解每個(gè)學(xué)生的學(xué)習(xí)狀態(tài)和需求,這種信息的不對(duì)稱性使得教師難以提供個(gè)性化的教學(xué)服務(wù)。為了解決這一問(wèn)題,采用YOLOv8深度學(xué)習(xí)框架搭建檢測(cè)系統(tǒng),利用教室攝像頭或希沃課堂錄制等采集數(shù)據(jù),訓(xùn)練出可智能識(shí)別學(xué)生舉手、閱讀、書寫、玩手機(jī)、低頭以及打瞌睡六種課堂常見行為的檢測(cè)模型。采用PyQt5設(shè)計(jì)可視化UI界面,實(shí)現(xiàn)圖片檢測(cè)、視頻檢測(cè)及攝像頭實(shí)時(shí)跟蹤識(shí)別,識(shí)別結(jié)果可保存便于后續(xù)數(shù)據(jù)分析。經(jīng)實(shí)驗(yàn),系統(tǒng)可高效準(zhǔn)確地檢測(cè)出學(xué)生這六類課堂常見行為,界面友好,操作簡(jiǎn)便,使高校教師能夠更好地觀察學(xué)生的學(xué)習(xí)狀態(tài),優(yōu)化教學(xué)方法,進(jìn)而提高教學(xué)效果和學(xué)生的學(xué)習(xí)效率。
關(guān)鍵詞:學(xué)習(xí)狀態(tài);YOLOv8;智能識(shí)別;PyQt5;UI;課堂狀態(tài)檢測(cè)
中圖分類號(hào):TP39 文獻(xiàn)標(biāo)識(shí)碼:A 文章編號(hào):2095-1302(2025)08-00-06
0 引 言
據(jù)2024年最新高等教育統(tǒng)計(jì)數(shù)據(jù)顯示,中國(guó)高校教育師生比基準(zhǔn)為1∶14。然而實(shí)際情況是,很多高校的師生比低于這一標(biāo)準(zhǔn)。在245所專任教師數(shù)量超過(guò)1 000名的重點(diǎn)大學(xué)中,僅有41所大學(xué)的師生比在1∶14之內(nèi),占16.7%,83.3%的高校師生比低于此標(biāo)準(zhǔn)。隨著高等教育的擴(kuò)招,教師隊(duì)伍的建設(shè)在數(shù)量上已跟不上擴(kuò)招的速度,導(dǎo)致很多高校的師生比嚴(yán)重低于國(guó)家規(guī)定的標(biāo)準(zhǔn)。這可能會(huì)對(duì)高等教育的人才培養(yǎng)質(zhì)量產(chǎn)生不良影響。
在大學(xué)課堂上,教師往往需要面對(duì)數(shù)十甚至上百名學(xué)生,為了提高教學(xué)質(zhì)量,教師的首要任務(wù)是改善學(xué)生的聽課狀態(tài),這需要教師對(duì)學(xué)生的課堂表現(xiàn)進(jìn)行分析。由于視頻數(shù)據(jù)量龐大,單純依賴人力檢測(cè)難以實(shí)現(xiàn),因此采用自動(dòng)化解決方案,如深度學(xué)習(xí)和計(jì)算機(jī)視覺領(lǐng)域的前沿技術(shù)—YOLOv8(You Only Look Once version 8)算法框架來(lái)處理大規(guī)模圖像數(shù)據(jù)檢測(cè)問(wèn)題。
YOLOv8是一種先進(jìn)的“One Stage”目標(biāo)檢測(cè)算法,它繼承并顯著提升了YOLO系列算法的性能。其重要的優(yōu)勢(shì)是適應(yīng)性和靈活性,它向下兼容之前的YOLO版本,支持多種模型的導(dǎo)出格式,使得算法能夠靈活部署在各種平臺(tái)和設(shè)備上。無(wú)論是在邊緣設(shè)備還是云端,YOLOv8都能夠提供高效的目標(biāo)檢測(cè)能力。
本文提出了一款基于YOLOv8的學(xué)生上課行為檢測(cè)系統(tǒng),重點(diǎn)關(guān)注學(xué)生課堂上的六種行為:舉手、閱讀、書寫、玩手機(jī)、低頭和打瞌睡,實(shí)時(shí)監(jiān)測(cè)并評(píng)估學(xué)生的課堂行為,向教師提供即時(shí)反饋,協(xié)助他們改進(jìn)教學(xué)策略,提升課堂互動(dòng)效果。
1 研究現(xiàn)狀
傳統(tǒng)的學(xué)生課堂狀態(tài)監(jiān)測(cè)方法通常需要投入大量人力,準(zhǔn)確率低時(shí)效性較差。深度學(xué)習(xí)技術(shù)不僅能夠極大地減少人力資源的消耗,還能在保持快速響應(yīng)的同時(shí),實(shí)現(xiàn)更高的檢測(cè)準(zhǔn)確度。值得一提的是,深度學(xué)習(xí)方法對(duì)于使用環(huán)境的光照變化、拍攝角度差異等外部因素具有出色的適應(yīng)性和魯棒性,從而確保了監(jiān)測(cè)結(jié)果的穩(wěn)定性和可靠性。通過(guò)深度學(xué)習(xí)技術(shù),我們可以更精準(zhǔn)地捕捉學(xué)生在課堂上的參與度和注意力情況,為教學(xué)管理和學(xué)生學(xué)習(xí)提供有力的技術(shù)支持。
文獻(xiàn)[1]提出采用輕量級(jí)多人臉識(shí)別算法以適應(yīng)硬件條件較差的環(huán)境,從而快速、準(zhǔn)確地識(shí)別身份。通過(guò)開發(fā)多角度身份識(shí)別算法,解決非正面朝向攝像頭識(shí)別問(wèn)題,分析學(xué)生的課堂行為和心理壓力,提出行為識(shí)別方法。文獻(xiàn)[2]提出了一種基于深度學(xué)習(xí)的學(xué)生異常行為分析系統(tǒng)和方法,通過(guò)校園一卡通記錄學(xué)生消費(fèi)、就餐、就寢和學(xué)習(xí)等行為數(shù)據(jù),利用數(shù)據(jù)建模分析學(xué)生行為,挖掘有價(jià)值信息,輔助學(xué)校和教師加強(qiáng)學(xué)生管理和教學(xué)管理。文獻(xiàn)[3]研究了基于AWS SageMaker和DeepLens的高校課堂學(xué)生問(wèn)題行為自動(dòng)檢測(cè)方法,實(shí)驗(yàn)結(jié)果表明,結(jié)合云計(jì)算和智能攝像頭進(jìn)行行為識(shí)別,在成本效益和部署靈活性方面均具有較大優(yōu)勢(shì),有效突破了傳統(tǒng)計(jì)算機(jī)視覺的局限,促進(jìn)信息技術(shù)與課堂教學(xué)的融合。文獻(xiàn)[4]提出了一種基于改進(jìn)OpenPose的學(xué)生行為識(shí)別方法,通過(guò)高斯濾波降噪、注意力機(jī)制目標(biāo)檢測(cè)、改進(jìn)OpenPose提取骨骼點(diǎn)和ST-SVM分類,實(shí)現(xiàn)快速準(zhǔn)確識(shí)別學(xué)生行為狀態(tài)。實(shí)驗(yàn)結(jié)果顯示,該方法準(zhǔn)確率超99%,幀率超20 FPS,相比原模型幀率提升了50%,有效提高了模型的實(shí)時(shí)性和準(zhǔn)確率。文獻(xiàn)[5]提出了一種基于深度學(xué)習(xí)的學(xué)生打卡及上課狀態(tài)檢測(cè)系統(tǒng),包括數(shù)據(jù)采集、檢測(cè)和存儲(chǔ)可視化子系統(tǒng),通過(guò)確定學(xué)生身份和狀態(tài),實(shí)時(shí)輸出數(shù)據(jù)以提高教學(xué)質(zhì)量。系統(tǒng)具有結(jié)構(gòu)精簡(jiǎn)、計(jì)算量低、準(zhǔn)確性高的優(yōu)點(diǎn)。文
獻(xiàn)[6]提出一種基于深度學(xué)習(xí)的學(xué)生課堂狀態(tài)檢測(cè)算法,利用K-means++聚類分析候選框特征,構(gòu)建雙YOLO網(wǎng)絡(luò)模型分析課堂行為,實(shí)時(shí)精準(zhǔn)反饋學(xué)生學(xué)習(xí)狀態(tài),并進(jìn)行評(píng)分輔助教學(xué)評(píng)價(jià)。實(shí)驗(yàn)結(jié)果顯示,模型準(zhǔn)確率高達(dá)86.62%,單幀計(jì)算時(shí)間為0.2 s,可有效提升教學(xué)管理效率。文獻(xiàn)[7]提出了一種深度學(xué)習(xí)模型,其通過(guò)集成Ghost模塊實(shí)現(xiàn)輕量化,并引入坐標(biāo)注意力機(jī)制來(lái)增強(qiáng)檢測(cè)的準(zhǔn)確性。實(shí)驗(yàn)結(jié)果顯示,改進(jìn)模型在識(shí)別精度上提升了3.5%,推理時(shí)間減少了16.7%,參數(shù)量降低了35.5%,有效提升了課堂行為識(shí)別的速度和精度,滿足了智慧課堂的需求。
2 材料和方法
2.1 數(shù)據(jù)集制作
通過(guò)實(shí)景拍攝上課照片及網(wǎng)上搜索各類課堂圖片,以及教室監(jiān)控和希沃課堂視頻錄制上課視頻,圖片共計(jì)2 000余張,大小視頻時(shí)長(zhǎng)余200 h。圖1所示為采用圖像標(biāo)注工具labelme標(biāo)注分類訓(xùn)練圖片,標(biāo)注邊框及害蟲類別生成JSON文件,提取JSON文件中的label和point數(shù)據(jù),并將生成文件轉(zhuǎn)化成txt文件(YOLO系列標(biāo)準(zhǔn)讀取的文件為txt類型),如圖2所示。
本系統(tǒng)可識(shí)別出高校課堂6種常見的學(xué)生上課狀態(tài),分別為:舉手、閱讀、書寫、玩手機(jī)、低頭以及打瞌睡,設(shè)置編號(hào)0~5。模型劃分為三類數(shù)據(jù)集,分別為train數(shù)據(jù)集,val(驗(yàn)證)數(shù)據(jù)集,test數(shù)據(jù)集,按照7∶1∶2的比例進(jìn)行隨機(jī)劃分,部分圖像數(shù)據(jù)如圖3所示。
本系統(tǒng)可識(shí)別的圖片文件為jpg,png,jpeg,bmp四種常見格式。視頻格式為.avi,.mp4,.wmv,.mkv。使用OpenCV(通常通過(guò)CV2模塊)讀取攝像頭信息并捕獲視頻流,使用VideoCapture()函數(shù)捕獲視頻,采用read()方法讀取幀圖像,借助imshow()顯示捕獲的幀。
2.2 YOLOv8算法模型
YOLOv8是一款創(chuàng)新的圖像分類、物體檢測(cè)和實(shí)例分割模型,它不僅延續(xù)了YOLO系列的卓越性能,還引入了多項(xiàng)創(chuàng)新功能和優(yōu)化措施,進(jìn)一步提升了模型的性能和靈活性。它是一種高效的實(shí)時(shí)目標(biāo)檢測(cè)算法,能夠快速準(zhǔn)確地在圖像中識(shí)別出多個(gè)目標(biāo)的類別和位置。
YOLOv8由三部分組成:主干網(wǎng)絡(luò)(Backbone)、頸部網(wǎng)絡(luò)(Neck)和檢測(cè)頭(Head)。主干網(wǎng)絡(luò)負(fù)責(zé)提取圖像的關(guān)鍵特征,頸部網(wǎng)絡(luò)整合主干網(wǎng)絡(luò)提取的信息,檢測(cè)頭負(fù)責(zé)完成目標(biāo)的定位和分類。
YOLOv8采用CSPDarkNet作為主干網(wǎng)絡(luò),引入了高效的雙流FPN結(jié)構(gòu)作為頸部網(wǎng)絡(luò),并采用了無(wú)錨點(diǎn)(Anchor-Free)的檢測(cè)頭設(shè)計(jì),這種設(shè)計(jì)可以減少超參數(shù)的數(shù)量,有助于提高模型的泛化能力[8]。此外,YOLOv8還引入了全新的骨干網(wǎng)絡(luò)和損失函數(shù),進(jìn)一步優(yōu)化了檢測(cè)精度和效率,為圖像分類、物體檢測(cè)和實(shí)例分割任務(wù)提供了解決方案。
本系統(tǒng)所用YOLOv8網(wǎng)絡(luò)架構(gòu)參數(shù)如圖4所示,0~9層
為Backbone,包含了一系列卷積層和可能的池化層,用于提取輸入圖像的特征;10~21層為Head,主要負(fù)責(zé)目標(biāo)檢測(cè)任務(wù);第22層為輸出層,用于最終檢測(cè)分類。
2.3 模型配置及訓(xùn)練
CPU型號(hào):Intel Core i5-12500,主頻3.00 GHz。
GPU型號(hào):NVIDIA GeForce RTX 3060。
顯卡驅(qū)動(dòng)版本:536.67。
操作系統(tǒng):Windows 11。
CUDA庫(kù)版本:12.1。
深度學(xué)習(xí)框架:Python 3.9和PyTorch 1.9.0。
新建模型配置文件程序如圖5所示。
修改系統(tǒng)模型Ultralytics文件夾下settings.yaml的datasets_dir,修改為當(dāng)前數(shù)據(jù)文件目錄。新建模型配置文件程序data.yaml,如圖5所示,將類別數(shù)量nc修改為6,并存放需要檢測(cè)的學(xué)生課堂行為類別英文名,同時(shí)存儲(chǔ)train數(shù)據(jù)集和val數(shù)據(jù)集的絕對(duì)路徑,加載運(yùn)行該配置文件。
設(shè)置訓(xùn)練epochs為250輪,訓(xùn)練批次batch為4,patience為50,圖片尺寸分辨率為640×640像素,運(yùn)行圖6所示train.py文件進(jìn)行模型訓(xùn)練。
如圖7所示,模型訓(xùn)練驗(yàn)證運(yùn)行結(jié)束后,結(jié)果存放在runs文件夾下,含模型與所有過(guò)程內(nèi)容,其中./weights目錄下有最好的模型權(quán)重參數(shù)best.pt,后續(xù)檢測(cè)任務(wù)需要使用該參數(shù)。
圖8所示為train數(shù)據(jù)集和val數(shù)據(jù)集的運(yùn)行結(jié)果,定位損失box_loss用于衡量模型預(yù)測(cè)的邊界框與真實(shí)標(biāo)定框之間的偏差程度,cls_los用于區(qū)分不同目標(biāo)類別的準(zhǔn)確性,以及動(dòng)態(tài)特征損失dfl_loss。由圖8可以看出這三類損失值隨著Epoch的不斷迭代,都在收斂減小,反映了模型在定位、分類和動(dòng)態(tài)特征處理方面的性能有所提升,能夠較好地實(shí)現(xiàn)精確的目標(biāo)檢測(cè)。
2.4 模型評(píng)價(jià)方法
本文以平均精度均值(mAP)作為衡量模型檢測(cè)準(zhǔn)確度的主要標(biāo)準(zhǔn),使用平均精度(AP)來(lái)評(píng)估每個(gè)單獨(dú)類別的檢測(cè)性能。
mAP的計(jì)算過(guò)程包括如下四個(gè)主要步驟:
(1)計(jì)算交并比IoU
IoU是評(píng)估預(yù)測(cè)區(qū)域與真實(shí)標(biāo)注區(qū)域之間匹配程度的重要指標(biāo),通過(guò)比較兩個(gè)區(qū)域的重疊部分與它們總面積的比例來(lái)計(jì)算。計(jì)算公式如下:
式中:SA∩SB表示預(yù)測(cè)區(qū)域SA和真實(shí)標(biāo)注區(qū)域SB的交集面積;SA+SB-(SA∩SB)表示兩個(gè)區(qū)域的并集面積,即總面積減去重疊部分的面積;IoU的范圍為0~1,IoU值越高表示預(yù)測(cè)區(qū)域與真實(shí)標(biāo)注區(qū)域的匹配程度越好,通過(guò)該指標(biāo),可以量化模型在目標(biāo)檢測(cè)任務(wù)中的表現(xiàn)。
(2)計(jì)算精確率P和召回率R
根據(jù)IoU值確定預(yù)測(cè)結(jié)果為真正例(TP)、假正例(FP)或假負(fù)例(FN)。
精確率(P)表示在所有預(yù)測(cè)為正的樣本中,實(shí)際為正樣本的比例,計(jì)算公式為:
式中:TP代表預(yù)測(cè)為正樣本且實(shí)際也為正樣本的情況;FP代表預(yù)測(cè)為正樣本但實(shí)際為負(fù)樣本的情況;FN代表預(yù)測(cè)為負(fù)樣本但實(shí)際為正樣本的情況。
召回率(R)表示在所有實(shí)際為正的樣本中,被預(yù)測(cè)為正樣本的比例,計(jì)算公式為:
(3)計(jì)算平均精度AP
平均精度(AP)是精確率-召回率曲線下的面積,通常通過(guò)在召回率軸上每隔0.01取101個(gè)點(diǎn)來(lái)計(jì)算,它反映了在不同置信度閾值下,模型預(yù)測(cè)精度與召回率的平衡關(guān)系。平均精度AP的計(jì)算公式為:
(4)計(jì)算平均精度均值mAP
平均精度均值(mAP)是所有AP的平均值,用于評(píng)估模型整體檢測(cè)精度的評(píng)價(jià),mAP值越高意味著模型的檢測(cè)能力越強(qiáng)[9]。mAP的計(jì)算公式為:
系統(tǒng)精確率P、召回率R、平均精度AP以及平均精度均值mAP隨著訓(xùn)練次數(shù)不斷迭代,值越來(lái)越大,最后趨于飽和,代表預(yù)測(cè)越來(lái)越準(zhǔn)確,查找出真樣本的能力越來(lái)越強(qiáng),模型在目標(biāo)檢測(cè)任務(wù)中性能越來(lái)越好,可以更好地識(shí)別出目標(biāo)類別。
訓(xùn)練過(guò)程中得到的P-R曲線如圖9所示,它直觀展示了精確率P與召回率R之間的關(guān)系,圖中各色細(xì)線代表了不同類別上課狀態(tài)的P-R曲線,而粗線則代表所有類別狀態(tài)的平均P-R曲線mAP。
本文針對(duì)交并比(IoU)閾值設(shè)定為0.5的情況,評(píng)估了模型的平均精度均值(mAP@0.5)。實(shí)驗(yàn)結(jié)果顯示,所提出的模型在mAP@0.5上達(dá)到了0.891。然而,系統(tǒng)性能的進(jìn)一步提升受樣本數(shù)量不足的限制,尤其在某些行為類別上,例如“舉手”動(dòng)作,樣本量較少導(dǎo)致其檢測(cè)精度相對(duì)較低,這反過(guò)來(lái)影響了整個(gè)系統(tǒng)的性能。為了進(jìn)一步提高系統(tǒng)的性能,我們計(jì)劃在未來(lái)的研究中增加樣本量,并確保各類別樣本的均衡性,以期達(dá)到更全面的優(yōu)化效果。
3 系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)
3.1 技術(shù)路線
本系統(tǒng)的前端用戶界面采用Python 3.9版本,基于PyQt5- 5.15.2框架進(jìn)行開發(fā)。PyQt5框架作為Qt5的Python綁定,致力于實(shí)現(xiàn)與Python語(yǔ)言的無(wú)縫集成,為桌面應(yīng)用程序的開發(fā)提供了一套全面的API和工具集。該框架的組件庫(kù),特別是“Qt Designer”,提供了一個(gè)可視化的拖拽界面設(shè)計(jì)工具,極大地簡(jiǎn)化了用戶界面的設(shè)計(jì)流程,從而提升了開發(fā)效率[10]。
通過(guò)Qt Designer,設(shè)計(jì)者能夠以圖形化的方式快速構(gòu)建用戶界面,并通過(guò)拖放組件等直觀操作,實(shí)現(xiàn)界面布局和組件配置。設(shè)計(jì)完成后,設(shè)計(jì)界面將被保存為.ui格式的XML文件。隨后,利用Pyuic5工具,將.ui文件轉(zhuǎn)換為Python代碼,以便在Python項(xiàng)目中進(jìn)行集成和使用。
在MainProgram.py文件中,我們將目標(biāo)檢測(cè)算法的邏輯與用戶界面進(jìn)行集成。具體實(shí)現(xiàn)包括編寫事件處理函數(shù),以響應(yīng)用戶的操作,如按鈕點(diǎn)擊事件。此外,還涉及加載圖像資源、執(zhí)行目標(biāo)檢測(cè)算法等關(guān)鍵功能。通過(guò)這種方式可確保用戶界面與后端邏輯的緊密結(jié)合,為用戶提供直觀、高效的交互體驗(yàn)。相關(guān)設(shè)置程序如圖10所示。
本系統(tǒng)最終呈現(xiàn)的用戶界面尺寸設(shè)定為770×480像素,以適應(yīng)不同分辨率的顯示需求。采用IoU閾值0.5作為評(píng)估標(biāo)準(zhǔn),系統(tǒng)選用基于狀態(tài)的顏色編碼機(jī)制,對(duì)不同狀態(tài)的目標(biāo)對(duì)象使用不同顏色的邊界框進(jìn)行標(biāo)注。此外,系統(tǒng)允許用戶將檢測(cè)識(shí)別的結(jié)果進(jìn)行存儲(chǔ),以便于后續(xù)的數(shù)據(jù)分析和處理。這一功能對(duì)于科研人員和數(shù)據(jù)分析師而言尤為重要,此舉大大簡(jiǎn)化了數(shù)據(jù)收集和整理的過(guò)程。
最終展示界面如圖11所示,它不但詳細(xì)展示了系統(tǒng)功能布局,而且為用戶提供了友好清晰的操作指引和直觀的結(jié)果反饋。
3.2 系統(tǒng)功能
用戶能夠通過(guò)三種方法輸入所需檢測(cè)的內(nèi)容,分別為導(dǎo)入圖像、播放視頻文件以及通過(guò)在線攝像頭實(shí)時(shí)獲取圖像。
3.2.1 圖片檢測(cè)
圖12所示為點(diǎn)擊“圖片”按鈕,選擇待檢測(cè)圖片數(shù)據(jù),可以通過(guò)導(dǎo)入圖片文件夾一次性檢測(cè)多張圖片。
檢測(cè)完畢后,界面顯示檢測(cè)用時(shí)、目標(biāo)物體個(gè)數(shù)。當(dāng)一張圖片里出現(xiàn)多個(gè)目標(biāo)物體時(shí),用戶可選擇需要顯示哪一個(gè)目標(biāo)對(duì)象的詳細(xì)信息,點(diǎn)擊“目標(biāo)選擇”即可。界面顯示出學(xué)生上課狀態(tài)的類別名稱,置信度大小以及目標(biāo)物體在圖片中的位置信息等[9-10]。
3.2.2 視頻檢測(cè)
如圖13所示,點(diǎn)擊“視頻”圖標(biāo)導(dǎo)入待檢測(cè)視頻文件,系統(tǒng)會(huì)自動(dòng)播放視頻識(shí)別結(jié)果。每一幀的視頻檢測(cè)都能夠精確地識(shí)別出相應(yīng)狀態(tài)類別。
3.2.3 在線攝像頭檢測(cè)
如圖14所示,選擇“攝像頭”icons后,打開監(jiān)控?cái)z像頭,系統(tǒng)實(shí)時(shí)顯示攝像頭拍攝到的視頻流檢測(cè)結(jié)果。
4 結(jié) 語(yǔ)
本文提出了一種基于YOLOv8的高校學(xué)生上課狀態(tài)檢測(cè)系統(tǒng),旨在解決高校課堂中學(xué)生數(shù)量龐大與教師資源有限的矛盾,通過(guò)智能化手段輔助教師實(shí)時(shí)、全面地了解學(xué)生的學(xué)習(xí)狀態(tài)和需求。系統(tǒng)通過(guò)教室攝像頭或課堂錄制視頻采集數(shù)據(jù),訓(xùn)練出了一個(gè)能夠智能識(shí)別學(xué)生舉手、閱讀、書寫、玩手機(jī)、低頭和打瞌睡六種常見課堂行為的檢測(cè)模型。利用PyQt5設(shè)計(jì)了可視化用戶界面,實(shí)現(xiàn)了對(duì)圖片、視頻以及攝像頭進(jìn)行實(shí)時(shí)跟蹤、檢測(cè)的功能,并能夠保存識(shí)別結(jié)果以便于后續(xù)的數(shù)據(jù)分析。實(shí)驗(yàn)結(jié)果表明,該系統(tǒng)能夠高效準(zhǔn)確地檢測(cè)出六類行為,實(shí)時(shí)性高,且界面友好、操作簡(jiǎn)便,有助于教師優(yōu)化教學(xué)方法,提高教學(xué)效果和學(xué)生學(xué)習(xí)效率。盡管本系統(tǒng)在實(shí)驗(yàn)中表現(xiàn)出色,但仍存在一些局限性和改進(jìn)空間。后期可以考慮將系統(tǒng)與更先進(jìn)的算法和模型結(jié)合,如集成學(xué)習(xí)、遷移學(xué)習(xí)等,以提高檢測(cè)的準(zhǔn)確性和魯棒性。此外,系統(tǒng)界面和用戶體驗(yàn)也將持續(xù)優(yōu)化,以適應(yīng)不同用戶的需求和操作習(xí)慣。此外,系統(tǒng)的應(yīng)用范圍可以進(jìn)一步擴(kuò)展,例如將其應(yīng)用于遠(yuǎn)程教育、在線課堂等場(chǎng)景,為教育領(lǐng)域提供更廣泛的技術(shù)支持。同時(shí),系統(tǒng)的數(shù)據(jù)收集和分析能力也將得到加強(qiáng),為教學(xué)管理和決策提供更深入的洞察視角。
參考文獻(xiàn)
[1]汪璠.基于深度學(xué)習(xí)的校園環(huán)境下學(xué)生狀態(tài)及異常行為識(shí)別方法研究[D].南京:南京師范大學(xué),2021.
[2]陳智林,盧昭金,李佳雯,等.一種基于深度學(xué)習(xí)的學(xué)生異常行為分析方法及系統(tǒng):CN202310805438.6 [P]. 2023-11-03.
[3]陸仟禧,梁文耀,李琳,等.基于AWS SageMaker和DeepLens的高校課堂學(xué)生問(wèn)題行為檢測(cè)方法研究[J].電腦知識(shí)與技術(shù),2022(1):18.
[4]蘇超,王國(guó)中.基于改進(jìn)OpenPose的學(xué)生行為識(shí)別研究[J].計(jì)算機(jī)應(yīng)用研究,2021,38(10):3183-3188.
[5]陳波,田曉華,王建民.一種基于深度學(xué)習(xí)的學(xué)生打卡及上課狀態(tài)的檢測(cè)系統(tǒng):CN201911138397.X [P]. 2022-04-12.
[6]史雨,辛宇,袁靜,等.基于深度學(xué)習(xí)的學(xué)生課堂狀態(tài)檢測(cè)算法與應(yīng)用[J].人工智能與機(jī)器人研究,2021,10(2):10.
[7]王禹鈞,馬致明.基于深度學(xué)習(xí)的學(xué)生課堂行為識(shí)別研究[J].軟件工程,2023,26(7):40-43.
[8]邵延華,張鐸,楚紅雨,等.基于深度學(xué)習(xí)的YOLO目標(biāo)檢測(cè)綜述[J].電子與信息學(xué)報(bào),2022,44(10):12.
[9]鄭偉成,李學(xué)偉,劉宏哲.基于深度學(xué)習(xí)的目標(biāo)檢測(cè)算法綜述[J].中國(guó)寬帶,2022(3):3.
[10]朱文偉. PyQt 5從入門到精通 編程語(yǔ)言[M].北京:清華大學(xué)出版社,2023.