基于卷積神經(jīng)網(wǎng)絡(luò)的學(xué)生課堂行為識(shí)別系統(tǒng)設(shè)計(jì)

摘 "要： 精準(zhǔn)的學(xué)生課堂行為識(shí)別結(jié)果有助于提升課堂教學(xué)效果，為此，設(shè)計(jì)一種基于卷積神經(jīng)網(wǎng)絡(luò)的學(xué)生課堂行為識(shí)別系統(tǒng)。系統(tǒng)的圖像采集模塊利用SZ?4K512M型攝像機(jī)，采集學(xué)生課堂行為的視頻圖像，并通過流式傳輸技術(shù)將標(biāo)記后的采集圖像傳輸至圖像預(yù)處理模塊；圖像預(yù)處理模塊對(duì)圖像進(jìn)行清洗和標(biāo)準(zhǔn)化處理后，傳送至行為識(shí)別模塊。行為識(shí)別模塊通過卷積層、池化層和全連接層構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)，以已標(biāo)記的學(xué)生課堂行為圖像作為基礎(chǔ)訓(xùn)練網(wǎng)絡(luò)，利用完成訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)識(shí)別學(xué)生課堂行為。實(shí)驗(yàn)結(jié)果表明，所設(shè)計(jì)系統(tǒng)可以精準(zhǔn)識(shí)別學(xué)生玩手機(jī)、睡覺、舉手等不同課堂行為，識(shí)別精度高于97%，說明該系統(tǒng)可以更好地掌握學(xué)生的心理活動(dòng)變化。

關(guān)鍵詞： 學(xué)生課堂行為； 識(shí)別系統(tǒng)； 卷積神經(jīng)網(wǎng)絡(luò)； 視頻圖像采集； 流式傳輸； 標(biāo)準(zhǔn)化處理

中圖分類號(hào)： TN711?34； TP391.41 " " " " " " " " " 文獻(xiàn)標(biāo)識(shí)碼： A " " " " " " " " "文章編號(hào)： 1004?373X（2024）06?0142?05

Design of student classroom behavior recognition system based on

convolutional neural network

LIU Lin1， 2

（1. Qinghai Normal University， Xining 810000， China; 2. Qinghai Vocational College of Police Officers， Xining 810000， China）

Abstract： Accurate student classroom behavior recognition results can help improve classroom teaching effectiveness. Therefore， a student classroom behavior recognition system based on convolutional neural networks is designed. In the image acquisition module of the system， an SZ?4K512M camera is used to capture video images of students' classroom behavior， and transmit the labeled collected images to the image preprocessing module by means of the streaming transmission technology. The image preprocessing module can clean and standardize the image and transmit it to the behavior recognition module. The behavior recognition module can construct a convolutional neural network by means of the convolutional layers， pooling layers， and fully connected layers. The network is trained based on labeled student classroom behavior images， and the trained convolutional neural network is used to recognize student classroom behavior. The experimental results show that the designed system can accurately recognize different classroom behaviors such as students playing with their phones， sleeping， and raising their hands， with a recognition accuracy of over 97%， indicating that this system can better grasp the changes in students' psychological activities.

Keywords： student classroom behavior; recognition system; convolutional neural networks; video image acquisition; streaming transmission; standardized processing

0 "引 "言

人體行為識(shí)別作為智能視頻分析領(lǐng)域必不可少的一部分[1?2]，已成為新的研究熱點(diǎn)，可以應(yīng)用于智能教室、在線學(xué)習(xí)平臺(tái)等教育場(chǎng)景，為教師提供個(gè)性化指導(dǎo)、學(xué)生評(píng)估和學(xué)習(xí)分析等支持，輔助教師確定學(xué)生的學(xué)習(xí)狀態(tài)，掌握學(xué)生的心理活動(dòng)。

目前，針對(duì)人體行為識(shí)別的研究數(shù)量直線增加[3?4]。黃勇康等將深度時(shí)空殘差卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于課堂行為識(shí)別中[5]，董琪琪等將SSD算法應(yīng)用于學(xué)生課堂狀態(tài)識(shí)別中[6]。兩種方法均可以實(shí)現(xiàn)學(xué)生課堂行為識(shí)別，但是存在運(yùn)算過程過于復(fù)雜、學(xué)生課堂狀態(tài)識(shí)別精度較差的缺陷。

卷積神經(jīng)網(wǎng)絡(luò)是人工智能技術(shù)中廣泛使用的重要技術(shù)，其具有無需預(yù)先提取學(xué)生課堂行為圖像特征、識(shí)別準(zhǔn)確率高的優(yōu)點(diǎn)。因此，本文設(shè)計(jì)一種基于卷積神經(jīng)網(wǎng)絡(luò)的學(xué)生課堂行為識(shí)別系統(tǒng)，利用卷積神經(jīng)網(wǎng)絡(luò)的高效識(shí)別性能，為提升教學(xué)質(zhì)量提供依據(jù)。

1 "學(xué)生課堂行為識(shí)別系統(tǒng)設(shè)計(jì)

1.1 "系統(tǒng)總體結(jié)構(gòu)

學(xué)生課堂行為識(shí)別系統(tǒng)的總體結(jié)構(gòu)如圖1所示。

通過圖1的學(xué)生課堂行為識(shí)別系統(tǒng)總體結(jié)構(gòu)圖可以看出，所設(shè)計(jì)系統(tǒng)的圖像采集模塊利用攝像機(jī)采集學(xué)生的課堂行為現(xiàn)場(chǎng)視頻圖像。標(biāo)記處理現(xiàn)場(chǎng)視頻圖像后，利用通信網(wǎng)絡(luò)將其傳送至圖像預(yù)處理模塊。圖像預(yù)處理模塊對(duì)圖像進(jìn)行清洗和標(biāo)準(zhǔn)化處理，再將預(yù)處理后的學(xué)生課堂行為圖像傳送至行為識(shí)別模塊。行為識(shí)別模塊利用卷積神經(jīng)網(wǎng)絡(luò)識(shí)別學(xué)生課堂行為，輸出學(xué)生課堂行為識(shí)別結(jié)果?？梢暬缑嬲故緦W(xué)生課堂行為識(shí)別結(jié)果，為課堂教學(xué)質(zhì)量評(píng)價(jià)等應(yīng)用提供基礎(chǔ)。

1.2 "系統(tǒng)硬件設(shè)計(jì)

1.2.1 "圖像采集模塊

系統(tǒng)圖像采集模塊結(jié)構(gòu)如圖2所示。

所設(shè)計(jì)的學(xué)生課堂行為識(shí)別系統(tǒng)的圖像采集模塊采用流式傳輸技術(shù)，持續(xù)、實(shí)時(shí)采集與傳輸學(xué)生課堂行為的視頻圖像。管理人員經(jīng)過系統(tǒng)授權(quán)后，獲取學(xué)生課堂行為的視頻圖像數(shù)據(jù)[7]，為學(xué)生課堂行為智能分析提供基礎(chǔ)。通過圖2可以看出，圖像采集模塊包括攝像機(jī)、圖像采集卡、流媒體服務(wù)器與流媒體客戶端。利用流媒體服務(wù)器將所采集的學(xué)生課堂行為數(shù)字視頻信號(hào)進(jìn)行壓縮處理，轉(zhuǎn)化為壓縮包，并采用壓縮包的形式傳輸數(shù)據(jù)。系統(tǒng)僅為用戶提供其所需的數(shù)據(jù)[8]，其余數(shù)據(jù)放入流媒體緩存區(qū)域內(nèi)，不必等待全部視頻圖像數(shù)據(jù)流傳輸完畢，即可開始學(xué)生課堂行為識(shí)別。

1.2.2 "視頻圖像采集攝像機(jī)

學(xué)生課堂行為識(shí)別系統(tǒng)中，采集學(xué)生課堂行為圖像的攝像機(jī)型號(hào)選擇極為重要。SZ?4K512M型號(hào)攝像機(jī)是深圳開視公司研發(fā)的4K錄播攝像機(jī)，其采集的4K畫面清晰度更高，便于獲取更加精準(zhǔn)的學(xué)生課堂行為識(shí)別結(jié)果[9]，滿足課堂應(yīng)用場(chǎng)景的使用需求。所以選取型號(hào)為SZ?4K512M作為采集學(xué)生課堂行為視頻數(shù)據(jù)的攝像機(jī)。

系統(tǒng)攝像機(jī)的參數(shù)設(shè)置如表1所示。

分析表1可知：所選取的攝像機(jī)的有效像素高達(dá)851萬；攝像機(jī)設(shè)置了鏡頭光圈，保證攝像機(jī)采集課堂行為圖像時(shí)，具有足夠的進(jìn)光量；光圈范圍為F1.6～F2.8，光圈范圍足夠大[10]，可以滿足不同時(shí)間段課堂環(huán)境變化時(shí)，不同光照度的學(xué)生課堂行為視頻圖像采集需求。

1.3 "基于卷積神經(jīng)網(wǎng)絡(luò)的課堂行為識(shí)別方法

系統(tǒng)的行為識(shí)別模塊利用卷積神經(jīng)網(wǎng)絡(luò)識(shí)別依據(jù)采集模塊采集到的學(xué)生課堂行為圖像，從中識(shí)別出學(xué)生的課堂行為。卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)圖如圖3所示。

通過圖3可以看出，卷積神經(jīng)網(wǎng)絡(luò)通過特征提取和分類器兩部分進(jìn)行學(xué)生課堂行為識(shí)別。

卷積神經(jīng)網(wǎng)絡(luò)的卷積核利用卷積操作，提取圖像特征。卷積神經(jīng)網(wǎng)絡(luò)卷積層輸出結(jié)果[xi，j]的計(jì)算公式如下：

[xi，j=fi∈Mjxl-1i?klij+blj] " " " " " " （1）

式中：[f·]表示輸出函數(shù)；[i]表示圖像序號(hào)；[Mj]表示與特征圖對(duì)應(yīng)圖像特征圖編號(hào)為[j]的圖像；[xl-1i]表示第[i]幅圖像在當(dāng)前卷積層數(shù)為[l-1]時(shí)的輸出結(jié)果；“[?]”表示卷積運(yùn)算；[klij]表示第[i]幅圖像中在當(dāng)前卷積層數(shù)為[l]時(shí)圖像特征圖編號(hào)為[j]的卷積核；[blj]為偏置。

利用式（1）對(duì)輸入的學(xué)生課堂行為圖像進(jìn)行卷積處理，并利用激活函數(shù)激活生成的特征圖作為卷積神經(jīng)網(wǎng)絡(luò)的第一個(gè)卷積層。采用平均值構(gòu)造方法構(gòu)造池化層，利用池化層縮小特征圖的維數(shù)。池化層選取局部求均值方法進(jìn)行特征圖的特征降維，池化層的輸出結(jié)果[Xl，ji]計(jì)算公式如下：

[Xl，ji=1Nj=1Nxi，j] " " " " " " "（2）

式中：[Xl，ji]表示池化層的輸出結(jié)果；[N]表示特征圖數(shù)量。

將上一個(gè)卷積層的輸出結(jié)果作為池化層的輸入，將池化層對(duì)學(xué)生課堂行為圖像的處理結(jié)果傳送至下一個(gè)卷積層中。卷積神經(jīng)網(wǎng)絡(luò)利用池化層計(jì)算學(xué)生課堂行為圖像特征圖中的局部值。相鄰的池化層通過移動(dòng)方式從局部區(qū)域讀取數(shù)據(jù)進(jìn)行降維，簡(jiǎn)化學(xué)生課堂行為識(shí)別的計(jì)算過程。

設(shè)置全連接層作為卷積神經(jīng)網(wǎng)絡(luò)的分類器，將所獲取的學(xué)生課堂行為圖像特征圖作為全連接層的輸入。卷積神經(jīng)網(wǎng)絡(luò)的分類器將輸入向量與權(quán)重向量進(jìn)行點(diǎn)積運(yùn)算并與偏置相加，利用激活函數(shù)輸出最終輸出層的狀態(tài)，即學(xué)生課堂行為識(shí)別結(jié)果。選取Sigmoid函數(shù)作為分類器輸出課堂行為識(shí)別結(jié)果的激活函數(shù)，其表達(dá)式如下：

[Sigmoid=11+e-x] " " " " " " " （3）

利用以上過程完成卷積神經(jīng)網(wǎng)絡(luò)的運(yùn)算。利用已標(biāo)記的學(xué)生課堂行為圖像訓(xùn)練網(wǎng)絡(luò)，通過網(wǎng)絡(luò)測(cè)試輸出學(xué)生課堂行為識(shí)別結(jié)果。

2 "系統(tǒng)測(cè)試

2.1 "測(cè)試設(shè)置

為了測(cè)試所設(shè)計(jì)的學(xué)生課堂行為識(shí)別系統(tǒng)對(duì)學(xué)生課堂行為的識(shí)別性能，選取某高校通信工程專業(yè)的學(xué)生作為研究對(duì)象，采集該專業(yè)的高等數(shù)學(xué)課程的學(xué)生課堂行為圖像，課程時(shí)間為9：00—9：40。高等數(shù)學(xué)是該專業(yè)學(xué)生需要學(xué)習(xí)的公共課程，課堂上學(xué)生人數(shù)較多，學(xué)生容易出現(xiàn)睡覺、玩手機(jī)等不正確的課堂行為。

在測(cè)試前，首先初始化設(shè)計(jì)系統(tǒng)的軟硬件環(huán)境：編程語言采用Python，深度學(xué)習(xí)框架選取TensorFlow。將采集到的圖像存儲(chǔ)到OpenCV圖像處理庫(kù)中。在上述環(huán)境中，本文系統(tǒng)利用4K錄播攝像機(jī)采集學(xué)生課堂行為的視頻圖像。從所采集的學(xué)生課堂行為視頻圖像中，隨機(jī)截取1幅圖像，如圖4所示。

通過圖4實(shí)驗(yàn)結(jié)果可以看出，本文系統(tǒng)可以利用設(shè)置的攝像機(jī)，采集學(xué)生課堂行為的視頻圖像信息。所采集的學(xué)生課堂行為圖像清晰度較高，可以作為學(xué)生課堂行為分析的圖像基礎(chǔ)。除上述準(zhǔn)備外，規(guī)定卷積神經(jīng)網(wǎng)絡(luò)參數(shù)為：網(wǎng)絡(luò)架構(gòu)為ResNet?50模型；輸入圖像尺寸為224×224像素；批處理大小為32；初始學(xué)習(xí)率為0.001。

2.2 "結(jié)果分析

本文系統(tǒng)的學(xué)生課堂行為識(shí)別結(jié)果如表2所示。

通過表2實(shí)驗(yàn)結(jié)果可以看出，本文系統(tǒng)可以有效識(shí)別學(xué)生在課堂上的玩手機(jī)、看書、說話等不同類型的課堂行為。本文系統(tǒng)在識(shí)別學(xué)生課堂行為的同時(shí)，指定了具體的學(xué)生，便于教師進(jìn)行課堂教學(xué)管理。

表2中，隨機(jī)選取本文系統(tǒng)對(duì)學(xué)生課堂行為識(shí)別結(jié)果為睡覺和玩手機(jī)的學(xué)生，統(tǒng)計(jì)與其對(duì)應(yīng)的識(shí)別結(jié)果，如圖5所示。

分析圖5的實(shí)驗(yàn)結(jié)果，本文系統(tǒng)識(shí)別的學(xué)生課堂行為結(jié)果為睡覺和玩手機(jī)行為的對(duì)應(yīng)圖像中，學(xué)生存在明顯的睡覺行為和玩手機(jī)行為。實(shí)驗(yàn)結(jié)果驗(yàn)證，本文系統(tǒng)可以有效識(shí)別學(xué)生的課堂行為，識(shí)別準(zhǔn)確性較高。

本文系統(tǒng)選取卷積神經(jīng)網(wǎng)絡(luò)方法識(shí)別學(xué)生的課堂行為，統(tǒng)計(jì)本文系統(tǒng)識(shí)別不同學(xué)生課堂行為的識(shí)別性能，結(jié)果如表3所示。

從表3實(shí)驗(yàn)結(jié)果可以看出，采用本文系統(tǒng)可以精準(zhǔn)識(shí)別學(xué)生玩手機(jī)、睡覺、舉手等不同類型的課堂行為，識(shí)別精度高于97%，識(shí)別精度較高。本文系統(tǒng)采用卷積神經(jīng)網(wǎng)絡(luò)識(shí)別學(xué)生課堂行為時(shí)，卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練耗時(shí)均低于30 s，不同類型課堂行為識(shí)別的測(cè)試耗時(shí)均低于1 s。實(shí)驗(yàn)結(jié)果驗(yàn)證，本文系統(tǒng)不僅具有較高的識(shí)別精度，還具有較高的識(shí)別實(shí)時(shí)性。本文系統(tǒng)利用高實(shí)時(shí)性、高精度的識(shí)別性能，提升系統(tǒng)在課堂中的應(yīng)用性。

3 "結(jié) "論

本文設(shè)計(jì)一種基于卷積神經(jīng)網(wǎng)絡(luò)的學(xué)生課堂行為識(shí)別系統(tǒng)。所設(shè)計(jì)系統(tǒng)利用攝像機(jī)采集學(xué)生課堂行為圖像實(shí)時(shí)信息后，利用卷積神經(jīng)網(wǎng)絡(luò)識(shí)別學(xué)生課堂行為。實(shí)驗(yàn)結(jié)果表明，所設(shè)計(jì)的學(xué)生課堂行為識(shí)別系統(tǒng)可以精準(zhǔn)識(shí)別學(xué)習(xí)、睡覺、玩手機(jī)等不同類型的課堂行為，可以作為提升課堂教學(xué)質(zhì)量的重要依據(jù)。

參考文獻(xiàn)

[1] 李秀智，張冉，賈松敏.面向助老行為識(shí)別的三維卷積神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)[J].北京工業(yè)大學(xué)學(xué)報(bào)，2021，47（6）：589?597.

[2] 蔣麗，黃仕建，嚴(yán)文娟.基于低秩行為信息和多尺度卷積神經(jīng)網(wǎng)絡(luò)的人體行為識(shí)別方法[J].計(jì)算機(jī)應(yīng)用，2021，41（3）：721?726.

[3] 云本勝，干瀟雅，錢亞冠.一種基于隨機(jī)森林和改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)流量分類方法[J].電信科學(xué)，2023，39（7）：80?89.

[4] 龍翔，韓蘭勝，王偉豪.基于深度卷積神經(jīng)網(wǎng)絡(luò)的異常行為快速識(shí)別[J].火力與指揮控制，2023，48（1）：26?32.

[5] 黃勇康，梁美玉，王笑笑，等.基于深度時(shí)空殘差卷積神經(jīng)網(wǎng)絡(luò)的課堂教學(xué)視頻中多人課堂行為識(shí)別[J].計(jì)算機(jī)應(yīng)用，2022，42（3）：736?742.

[6] 董琪琪，劉劍飛，郝祿國(guó)，等.基于改進(jìn)SSD算法的學(xué)生課堂 行為狀態(tài)識(shí)別[J].計(jì)算機(jī)工程與設(shè)計(jì)，2021，42（10）：2924?2930.

[7] 王瓊，王旭，劉云麟，等.基于改進(jìn)密集軌跡算法的人體行為識(shí)別[J].計(jì)算機(jī)仿真，2022，39（12）：284?289.

[8] 胡凱，陳旭，朱俊，等.基于多尺度3D卷積神經(jīng)網(wǎng)絡(luò)的行為識(shí)別方法[J].重慶郵電大學(xué)學(xué)報(bào)（自然科學(xué)版），2021，33（6）：970?976.

[9] 蘇超，王國(guó)中.基于改進(jìn)OpenPose的學(xué)生行為識(shí)別研究[J].計(jì)算機(jī)應(yīng)用研究，2021，38（10）：3183?3188.

[10] 錢興，張曉明.基于輕量卷積神經(jīng)網(wǎng)絡(luò)的步態(tài)識(shí)別系統(tǒng)[J].中北大學(xué)學(xué)報(bào)（自然科學(xué)版），2022，43（5）：474?480.

[11] 杜崢.基于深度學(xué)習(xí)的學(xué)生課堂行為識(shí)別與分析系統(tǒng)研究[D].邯鄲：河北工程大學(xué)，2023.

[12] 胡建華，張軍，吳偉美，等.基于深度學(xué)習(xí)的課堂行為識(shí)別系統(tǒng)[J].電子技術(shù)與軟件工程，2021（20）：103?105.

[13] 左國(guó)才，蘇秀芝，王海東，等.基于CNN深度學(xué)習(xí)模型的大學(xué)生課堂行為檢測(cè)研究[J].智能計(jì)算機(jī)與應(yīng)用，2020，10（2）：158?160.

[14] 吳麗娟，任海清，關(guān)貴明，等.基于人臉姿態(tài)識(shí)別的課堂學(xué)習(xí)狀態(tài)反饋系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J].沈陽(yáng)師范大學(xué)學(xué)報(bào)（自然科學(xué)版），2022，40（2）：127?132.

[15] 白茹.基于視頻流媒體的人臉識(shí)別課堂監(jiān)控系統(tǒng)[J].電子設(shè)計(jì)工程，2021，29（23）：166?170.

[16] 王禹鈞，馬致明.基于深度學(xué)習(xí)的學(xué)生課堂行為識(shí)別研究[J].軟件工程，2023，26（7）：40?43.