基于深度學(xué)習人臉識別技術(shù)的課堂行為分析評測系統(tǒng)研究

左國才 韓東初 蘇秀芝 王海東 吳小平

摘 要：深度學(xué)習人臉識別技術(shù)已經(jīng)非常成熟，并且應(yīng)用廣泛，但是將深度學(xué)習人臉識別技術(shù)應(yīng)用于課堂行為分析評測的研究卻非常少。因此，本文提出一種基于深度學(xué)習人臉識別技術(shù)的課堂行為分析評測系統(tǒng)，并將該系統(tǒng)應(yīng)用于高職院校學(xué)生專業(yè)課程課堂行為分析。課堂行為分析評測系統(tǒng)從學(xué)生側(cè)臉專注度、學(xué)生抬頭低頭專注度、眼睛張合度專注度三個方面來判斷學(xué)生是否專注聽課，為課堂教學(xué)中的學(xué)生課堂行為評價提供客觀評價的依據(jù)。實驗證明基于深度學(xué)習人臉識別技術(shù)的課堂行為分析評測系統(tǒng)可以正確判斷學(xué)生的課堂行為，為課堂教學(xué)學(xué)生課堂行為評價提供依據(jù)，方便課堂教學(xué)管理與實施。

關(guān)鍵詞： 深度學(xué)習;人臉識別;課堂行為分析評測系統(tǒng)

【Abstract】 Deep learning face recognition technology has been very mature and widely used， but the application of deep learning face recognition technology in classroom behavior analysis and evaluation research is very few. Therefore， this paper proposes a classroom behavior analysis and evaluation system based on in-depth learning face recognition technology， and applies this system to the classroom behavior analysis of vocational college students' professional courses. Classroom behavior analysis and assessment system judges whether students concentrate on class from three aspects： students' side face concentration， students' head-up and head-down concentration， and their eyes opening and closing concentration. It provides an objective evaluation basis for students' classroom behavior evaluation in classroom teaching. Experiments show that classroom behavior analysis and evaluation system based on in-depth learning face recognition technology can correctly judge students' classroom behavior， provide a basis for students' classroom behavior evaluation， and facilitate classroom teaching management and implementation.

【Key words】 ?deep learning; face recognition; classroom behavior analysis and evaluation system

0 引 言

課堂行為是在課堂情境中的社會行為，是課堂專注度的外在體現(xiàn)[1]。學(xué)生的課堂行為反映學(xué)生的學(xué)習狀態(tài)和學(xué)習效率，與課堂教學(xué)質(zhì)量密切相關(guān)。研究層次主要集中在基礎(chǔ)教育、中等職業(yè)教育和基礎(chǔ)研究（社會科學(xué)）方面[2-3]。關(guān)于課堂行為的研究，國內(nèi)學(xué)界更多是把聚焦點放在教師行為和師生互動行為的研究上[4-7]，而對學(xué)生課堂行為的研究相對較少。

國內(nèi)關(guān)于高等教育領(lǐng)域的學(xué)生課堂行為研究很少，基礎(chǔ)教育課堂行為研究主要采用主觀報告和定性分析等研究方式，已有研究不適應(yīng)于復(fù)雜的高等教育領(lǐng)域的學(xué)生課堂行為研究。本課題擬將人工智能與教育教學(xué)研究相結(jié)合，設(shè)計研發(fā)基于深度學(xué)習人臉識別技術(shù)的課堂行為分析評測系統(tǒng)，對高職學(xué)生課堂行為進行客觀量化分析，更好地服務(wù)于教育學(xué)領(lǐng)域。

1 系統(tǒng)設(shè)計

1.1 課堂行為分析評測系統(tǒng)總體框架

課堂行為分析評測系統(tǒng)主要分為圖像采集模塊、圖像處理模塊、人臉識別模塊、人眼識別模塊、行為分析模塊等五大功能模塊。總體框架如圖1所示。

1.2 系統(tǒng)設(shè)計思路

綜前所述，本系統(tǒng)主要分為圖像采集模塊、圖像處理模塊、人臉識別模塊、人眼識別模塊、行為分析模塊。對于本系統(tǒng)的整體研發(fā)思路，可做闡釋分述如下。

首先，每一幀視頻中截取判斷目標專注度的圖片，并進行相關(guān)圖像處理操作。

然后，使用深度學(xué)習模型從圖像數(shù)據(jù)庫中來輔助地離線學(xué)習一般化的圖像特征，構(gòu)造深度特征提取器提取人臉圖像特征，構(gòu)建有監(jiān)督的深度學(xué)習模型，通過在線微調(diào)訓(xùn)練人臉圖像完成人臉識別任務(wù)。

最后，對目標人臉面部特征進行檢測，檢測分析目標人物的眼睛、鼻子、嘴巴特征，將目標在教室中表現(xiàn)出的姿態(tài)、神情、動作等特征轉(zhuǎn)為算法運算，對學(xué)生上課專注度進行定量評測。

1.3 課堂行為分析流程

本文設(shè)計的基于人臉識別技術(shù)的課堂行為分析評測系統(tǒng)，從3個方面實現(xiàn)專注度判斷，即學(xué)生側(cè)臉專注度的判定;學(xué)生抬頭、低頭專注度判定;眼睛的張合度判斷，從而全方位地判斷學(xué)生上課的專注度，用于研究現(xiàn)代學(xué)徒制班級學(xué)生課堂專注行為與學(xué)習效果的關(guān)系，為現(xiàn)代學(xué)徒制班學(xué)生課堂學(xué)習效果評價提供客觀依據(jù)，最終做出更真實有效的教學(xué)評價。學(xué)生課堂行為分析流程如圖2所示。

2 系統(tǒng)實現(xiàn)

設(shè)計基于人臉識別技術(shù)的課堂行為分析評測系統(tǒng)，課堂行為分析評測系統(tǒng)實現(xiàn)步驟詳見如下。

（1）提取到目標人臉，對人臉面部特征進行檢測，檢測到目標人物的眼睛、鼻子、嘴巴。

（2）以人眼為判斷專注度的主要特征，把鼻子作為輔助參考區(qū)域進行判斷。

（3）從學(xué)生側(cè)臉專注度、學(xué)生抬頭低頭專注度、眼睛張合度專注度三個方面來綜合判斷學(xué)生是否專注聽課，根據(jù)被檢測目標人眼的張合度大小判定其是否專注。

（4）通過目標在教室中表現(xiàn)出的姿態(tài)、神情、動作等特征轉(zhuǎn)換為算法運算，判斷求出學(xué)生上課的專注度。

2.1 數(shù)據(jù)庫設(shè)計

學(xué)生信息表：stuInfo（學(xué)號，姓名，性別，班級，照片，偏好）

圖像采集表（圖像ID，圖像名稱，圖像大小，圖像類型，抓取時間，存儲路徑，學(xué)號，處理標記）

圖像識別表（學(xué)號，識別號，圖像ID，存儲路徑，識別結(jié)果）

判定過程表（學(xué)號，識別號，判定結(jié)果，開始時間，結(jié)束時間）

專注情況表（學(xué)號，判定頻度，開始時間，結(jié)束時間）

專注統(tǒng)計表（學(xué)號，時間段，判定結(jié)果，圖像ID）

2.2 實驗環(huán)境

基于人臉識別的學(xué)生上課專注度判斷實驗環(huán)境主要包括硬件和軟件兩個方面。硬件方面，涉及視頻采集，采用了分辨率較高的網(wǎng)絡(luò)視頻監(jiān)控攝像機，軟件環(huán)境方面配置具體如下：操作系統(tǒng)為Windows7，64位，CPU為2.6 G，內(nèi)存為4 GB。深度學(xué)習實驗環(huán)境具體如下：CPU為i7-5830K，內(nèi)存為128 G，GPU為GTX1080，深度學(xué)習框架使用TensorFlow1.4 。開發(fā)語言：C++，數(shù)據(jù)庫：Mysql。

2.3 相關(guān)代碼

//對齊

FaceAlig：：FaceAlig（const char * model_path）{

faci_detec = new CCFAN（）;

if （model_path == NULL）

model_path = "facesb_fa.bin";

faci_detec->InitModel（model_path）;

float*facial_loc = new float[pts_num * 2];

faci_detec->FaciPoiLoc（gra_im.data， gra_im.width， gra_im.height， face_info， facial_loc）;

for （int i=0; i < pts_num; i++） {

points[i].x = facial_loc[i * 2];

points[i].y = facial_loc[i * 2 + 1]; }

delete[]facial_loc; }

//檢測

facesb：：FaceDete detec（"F：/faceSB/FaceDete/model/facesb_fd.bin"）;

facesb：：FaceAligt point_detec（"F：/faceSB/FaceAligt/model/facesb_fa.bin"）;

FaceIdent_recog（（MODEL_DIR + "facesb_fr.bin"）.c_str（））;

std：：string test_dir = DATA_DIR + "test_face_recog/";

cv：：Mat galle_img_color = cv：：imread（test_dir + "img/test1.jpg"， 1）;

cv：：Matgalle_img_gra;

cv：：cvtColor（galle_img_color， galle_img_gra， CV_BGR2gra）;

cv：：Mat probe_img_color = cv：：imread（test_dir + "img/test2.jpg"， 1）;

cv：：Mat probe_img_gra;

cv：：cvtColor（probe_img_color， probe_img_gra， CV_BGR2gra）;

2.4 實驗結(jié)果

課堂行為分析評測系統(tǒng)的主界面如圖3、圖4所示。

課堂行為分析評測系統(tǒng)從學(xué)生側(cè)臉專注度、學(xué)生抬頭低頭專注度進行檢測所得的結(jié)果如圖5所示。從圖5可看到，由于學(xué)生臉部有遮擋，并且距離較遠，一些學(xué)生沒有檢測識別出來，當大多數(shù)學(xué)生抬頭時，判定抬頭為專注行為，低頭為不專注行為。從眼睛張合度專注度進行檢測所得結(jié)果如圖6所示。從圖6可看到，由于距離較遠，人臉圖像較為模糊，有一個學(xué)生能識別人臉，但無法定位到人眼，所以判定為不專注行為，其余4個學(xué)生可以正確定位到人臉與人眼，其人眼張合度較大，判定為專注行為。

3 結(jié)束語

隨著信息技術(shù)的飛速發(fā)展，創(chuàng)新人才培養(yǎng)模式，同時提升高校課堂授課效率，則有著實際應(yīng)用價值和深遠意義。本次課題即對學(xué)生課堂專注行為和課堂專注度分布情況展開了研究。擬設(shè)計基于深度學(xué)習框架人臉識別算法的課堂行為分析評測系統(tǒng)，實現(xiàn)對人臉和人眼的定位與識別，能夠?qū)φ婧蛡?cè)面人臉進行識別，從3個方面判斷學(xué)生上課的專注度，并求得客觀量化的分析評測結(jié)果，同時提升人臉識別率、判斷的準確度以及識別速度，為課堂教學(xué)評價提供依據(jù)。在此基礎(chǔ)上，授課教師可以有針對性地設(shè)計教學(xué)方案，切實提高課堂教學(xué)質(zhì)量，從而達到預(yù)期教學(xué)效果。

參考文獻

[1]徐琳，嚴淑斐，史利濤，等.兩岸高校學(xué)生課堂行為比較研究—以東北師范大學(xué)與臺灣彰化師范大學(xué)為例[J].文教資料，2014（15）：157-159.

[2]胡衛(wèi)星，趙苗苗.多媒體教學(xué)過程中學(xué)生學(xué)習行為的實驗研究[J].中小學(xué)電教，2005（11）：50-51.

[3]崔允漷.有效教學(xué)[M].上海：華東師范大學(xué)出版社，2009.

[4]周敏.初中小班化教育背景下學(xué)生課堂問題行為的實證研究[D].寧波：寧波大學(xué)，2013.

[5]陳霞.語文課堂學(xué)生學(xué)習行為的研究[D].桂林：廣西師范大學(xué)，2007.

[6]趙慶紅，徐錦芬.大學(xué)英語課堂環(huán)境與學(xué)生課堂行為的關(guān)系研究[J].外語與外語教學(xué)，2012（4）：66-74.

[7]王會廷，張艷平，閻慧.大學(xué)生課堂行為的心理學(xué)研究[J].安徽工業(yè)大學(xué)學(xué)報（社會科學(xué)版），2012，29（3）：37-38.