基于深度學(xué)習(xí)的智能課堂管理系統(tǒng)研究與實(shí)現(xiàn)

(湖北工業(yè)大學(xué)，湖北武漢 430000)

1 引 言

課堂教學(xué)是各高校各專業(yè)人才培養(yǎng)的主陣地，各高校都十分重視。當(dāng)前通過(guò)應(yīng)用考勤及課堂表現(xiàn)評(píng)價(jià)等多種手段的人工管理模式存在效率低下，評(píng)價(jià)不夠全面等缺點(diǎn)，難以做到因人施教，及時(shí)調(diào)整教學(xué)計(jì)劃與方法，真正有效促進(jìn)教學(xué)質(zhì)量提升。很多高校開始嘗試應(yīng)用各種軟件來(lái)促使學(xué)生勤到課堂，但這樣的機(jī)制并不能從根本上解決學(xué)生不愿意去課堂、對(duì)學(xué)習(xí)內(nèi)容不感興趣等課堂效率低下的嚴(yán)重問(wèn)題。如重慶理工大學(xué)的教師采用指紋考勤[1]，學(xué)生用指紋打卡機(jī)進(jìn)行簽到和簽退；吉林大學(xué)珠海學(xué)院教師甚至專門研發(fā)出一套基于藍(lán)牙的考勤系統(tǒng)，課前通過(guò)匹配學(xué)生的藍(lán)牙裝置進(jìn)行簽到[2]。此外，還有掃描二維碼簽到、發(fā)微博簽到、對(duì)號(hào)入座考勤等方式層出不窮。本文提出了一種智能化的課堂管理模式，構(gòu)建智能課堂管理系統(tǒng)，通過(guò)人臉檢測(cè)實(shí)現(xiàn)課堂簽到功能，通過(guò)識(shí)別面部表情，評(píng)估學(xué)生相關(guān)學(xué)習(xí)情緒狀況。通過(guò)系統(tǒng)測(cè)試及相關(guān)數(shù)據(jù)分析的結(jié)果，表明該系統(tǒng)有利于教師及時(shí)客觀評(píng)估學(xué)生個(gè)體學(xué)習(xí)表現(xiàn)，便于教師基于課程目標(biāo)改進(jìn)教學(xué)手段與方法，也可反映給相關(guān)部門，配合教師們來(lái)打造一個(gè)良好的學(xué)習(xí)氛圍。

2 系統(tǒng)構(gòu)成

智能化課堂管理系統(tǒng)主要包括視頻簽到、學(xué)習(xí)監(jiān)控與評(píng)估、學(xué)習(xí)資源管理，系統(tǒng)結(jié)構(gòu)圖如圖1所示。

圖1 智能課堂管理系統(tǒng)功能結(jié)構(gòu)圖

2.1 視頻簽到

視頻簽到是由課堂點(diǎn)名需求設(shè)計(jì)的功能，使教師知道課堂已到的學(xué)生、未到學(xué)生的情況及到課的人數(shù)并識(shí)別出到課學(xué)生的信息，從記錄信息的數(shù)據(jù)庫(kù)可知應(yīng)到課堂人數(shù)及人臉信息，可避免替人代答到等情況發(fā)生。據(jù)攝像頭抓拍的視頻，本系統(tǒng)單獨(dú)切分到課的學(xué)生人臉，通過(guò)數(shù)據(jù)庫(kù)識(shí)別匹配到課學(xué)生，與數(shù)據(jù)庫(kù)對(duì)比沒(méi)有照片顯示的就是未到課學(xué)生。

2.2 學(xué)習(xí)監(jiān)控與評(píng)估

實(shí)現(xiàn)當(dāng)場(chǎng)檢測(cè)。教師在課堂上直接打開攝像頭，而系統(tǒng)后端方可直接檢測(cè)人臉，課堂之外可進(jìn)行課堂監(jiān)控，了解課堂教學(xué)狀況。對(duì)有查課需求以及聽課需求的教師及他人是便捷的。

通過(guò)照片每個(gè)人的臉部表情，做出相關(guān)情緒分析：例如是否在認(rèn)真聽講、高興、傷心等。青春期少年易沖動(dòng)，本系統(tǒng)可知曉其心理狀況并未雨綢繆；可通過(guò)相關(guān)公式計(jì)算本節(jié)課堂聽課的效率，可反映給相關(guān)部門。

2.3 學(xué)習(xí)資源管理

本系統(tǒng)支持教師將課堂視頻和學(xué)習(xí)資料上傳到系統(tǒng)，方便學(xué)生及時(shí)瀏覽、復(fù)習(xí)，例如PPT、電子書等。學(xué)生可在系統(tǒng)中分享學(xué)習(xí)資料，教師根據(jù)學(xué)習(xí)資料的價(jià)值有權(quán)決定是否顯示該資料。

2.4 作業(yè)與交流功能

教師可在系統(tǒng)中公布課堂的作業(yè)，學(xué)生根據(jù)課堂效果在系統(tǒng)中給老師留言，且學(xué)生可在系統(tǒng)中分享學(xué)習(xí)心得。這樣形成了一個(gè)良好的學(xué)習(xí)與監(jiān)控系統(tǒng)。

3 系統(tǒng)核心功能設(shè)計(jì)

智能課堂系統(tǒng)的核心功能為視頻簽到和學(xué)習(xí)監(jiān)控與評(píng)估，具體包括人臉檢測(cè)、人臉對(duì)齊、人臉切分及臉部表情分析等。數(shù)據(jù)用攝像頭或手機(jī)獲取，數(shù)據(jù)幀作為系統(tǒng)的輸入，在系統(tǒng)實(shí)現(xiàn)輸出，即對(duì)課堂的追蹤描述、課堂人數(shù)情況以及學(xué)生狀態(tài)分析等。

該系統(tǒng)涉及到深度學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)，用代表模型P-NET、R-NET、O-NET來(lái)進(jìn)行人臉檢測(cè)及系列的功能實(shí)現(xiàn)。

3.1 人臉檢測(cè)

人臉檢測(cè)主要是MTCNN算法[3]，涉及神經(jīng)網(wǎng)絡(luò)和卷積神經(jīng)網(wǎng)絡(luò)。該算法用三個(gè)子網(wǎng)絡(luò)，即P-NET、R-NET、O-NET。P-NET：該網(wǎng)絡(luò)結(jié)構(gòu)主要獲得了人臉區(qū)域的候選窗口和邊界框的回歸向量。并用該邊界框做回歸，對(duì)候選窗口進(jìn)行校準(zhǔn)，然后通過(guò)非極大值抑制(NMS函數(shù))來(lái)合并高度重疊的候選框。R-Net：該網(wǎng)絡(luò)結(jié)構(gòu)還是通過(guò)邊界框回歸和NMS來(lái)去掉那些false-positive區(qū)域。由于該網(wǎng)絡(luò)結(jié)構(gòu)和P-Net網(wǎng)絡(luò)結(jié)構(gòu)有差異，多了一個(gè)全連接層，會(huì)取得更好的抑制false-positive的作用。O-Net：該層比R-Net層又多了一層卷積層，處理的結(jié)果會(huì)更精細(xì)。該層對(duì)人臉區(qū)域有更多的監(jiān)督，還輸出5個(gè)地標(biāo)。后一層的處理比前一層更精細(xì)，提取的圖像信息更準(zhǔn)確，最后提取到較重要的人臉信息。本項(xiàng)目還用到opencv算法，圖像的基本操作讀取、顯示、存儲(chǔ)：通過(guò)調(diào)用OpenCV中的cv2.imread()，cv2.imshow()，cv2.write()分別實(shí)現(xiàn)。本系統(tǒng)核心算法MTCNN結(jié)構(gòu)圖如圖2所示。

圖2 MTCNN結(jié)構(gòu)圖

the cross-entropy loss：

L=-[ylog(p)+(1-y){1-log(p)}]

p表示是網(wǎng)絡(luò)判定此處圖像檢測(cè)出來(lái)是一張人臉的概率，而y表示這個(gè)測(cè)試的圖像是否為人臉的正確標(biāo)簽值，y∈{0，1}。

3.2 人臉對(duì)齊

該系統(tǒng)有一大難題：人臉對(duì)齊技術(shù)。在實(shí)際應(yīng)用場(chǎng)景中，捕捉到的人臉可能是歪頭、斜臉、側(cè)臉等情況，為使檢測(cè)效果更好，會(huì)利用對(duì)齊技術(shù)將臉“掰正”。人臉對(duì)齊需要先對(duì)人臉進(jìn)行建模，可分為全局表觀和局部表觀的建模方式，例如之前已出現(xiàn)過(guò)的模型：產(chǎn)生式模型、判別式模型[4]，以上全是比較典型的主動(dòng)表觀模型：考慮如何建模整張人臉的表觀信息；而現(xiàn)在已出現(xiàn)的局部區(qū)域的表觀信息建模包括顏色模型、投影模型、測(cè)剖線模型等。

本項(xiàng)目結(jié)合mtcnn算法實(shí)現(xiàn)了人臉對(duì)齊技術(shù)：得出兩只眼睛形成的夾角并根據(jù)此夾角進(jìn)行圖像的旋轉(zhuǎn)，得到旋轉(zhuǎn)之后的圖片來(lái)估測(cè)人臉需要裁剪的高度，設(shè)定寬度比來(lái)確定裁出人臉的寬度，從而得到具體坐標(biāo)來(lái)實(shí)現(xiàn)人臉對(duì)齊。

3.3 表情分析

表情分析功能是基于MXNET庫(kù)利用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行人臉表情的分析[5]。臉部表情識(shí)別的應(yīng)用中，早年出現(xiàn)了CK++、MMI數(shù)據(jù)庫(kù)，近年也出現(xiàn)Affectnet，AFEW-VA，SFEW等數(shù)據(jù)庫(kù)，且這些數(shù)據(jù)庫(kù)中的人臉圖像對(duì)環(huán)境是無(wú)要求的，包含了姿態(tài)各異、風(fēng)格不同的圖片集。在人臉特征提取階段，首先要對(duì)人臉進(jìn)行特征點(diǎn)檢測(cè)，然后進(jìn)行人臉對(duì)齊技術(shù)，最后提取相應(yīng)的特征。之前出現(xiàn)的procrustes分析法是被用來(lái)消除出于頭部姿態(tài)和人臉個(gè)性化等一系列因素[6]，以便得到歸一化的人臉特征點(diǎn)，從而得到人臉面部特征向量，最后進(jìn)行表情識(shí)別，具體過(guò)程如圖3所示。

圖3 人臉表情分析過(guò)程圖

4 系統(tǒng)功能測(cè)試

本系統(tǒng)是以某高校教學(xué)管理平臺(tái)運(yùn)行視頻圖像數(shù)據(jù)為基礎(chǔ)，連接校園網(wǎng)人臉數(shù)據(jù)庫(kù)，利用智能課堂管理系統(tǒng)對(duì)學(xué)生課堂的簽到情況、課堂學(xué)習(xí)狀態(tài)進(jìn)行系統(tǒng)化的分析，進(jìn)而拿到對(duì)課堂所統(tǒng)計(jì)的各條例數(shù)據(jù)。

圖4 本課堂缺勤名單信息界面

智能課堂的的功能界面(課堂班級(jí)信息介紹、缺勤課堂以及班級(jí)名冊(cè)，名冊(cè)包括每個(gè)人的詳細(xì)信息：班級(jí)、學(xué)號(hào)、電話號(hào)碼等)依次如下：

下面是智能課堂系統(tǒng)進(jìn)行點(diǎn)到的部分，實(shí)現(xiàn)人臉檢測(cè)部分。

圖5 系統(tǒng)人臉檢測(cè)界面

將上課照片輸入到系統(tǒng)后，智能點(diǎn)課系統(tǒng)會(huì)把每一張人臉都標(biāo)上綠框，方便查課人員比對(duì)并分析臉部表情，從上圖中可看出該劃分效果很精確。

圖6是進(jìn)行人臉對(duì)齊，將上圖中人臉切分出來(lái)。

圖6 系統(tǒng)人臉切分

圖7 臉部表情分析結(jié)果

5 結(jié) 語(yǔ)

本項(xiàng)目在深度學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上，出色地完成了對(duì)提高課堂的效率，減輕老師的任務(wù)，監(jiān)督學(xué)生們自主自律地學(xué)習(xí)，方便輔導(dǎo)員了解課堂情況、做課堂記錄并且能隨時(shí)分析同學(xué)們的情緒狀況方便交流等相關(guān)功能的實(shí)現(xiàn)。實(shí)際應(yīng)用情況表明，系統(tǒng)運(yùn)行穩(wěn)定可靠，具有較高的實(shí)用價(jià)值。