基于人臉識(shí)別技術(shù)的現(xiàn)代學(xué)徒制學(xué)習(xí)效果評價(jià)研究

左國才，王海東，陳林書，蘇秀芝

（1湖南軟件職業(yè)學(xué)院軟件與信息工程學(xué)院，湖南湘潭411100；2湖南大學(xué)，長沙410082；3湖南科技大學(xué)，湖南湘潭411201）

0 引 言

教育部《關(guān)于開展現(xiàn)代學(xué)徒制試點(diǎn)工作的意見（教職成［2014］9號(hào)）》指出推進(jìn)現(xiàn)代學(xué)徒制，致力于提升職業(yè)院校人才培養(yǎng)質(zhì)量和專業(yè)服務(wù)產(chǎn)業(yè)的能力。近年來，現(xiàn)代學(xué)徒制試點(diǎn)在全國范圍內(nèi)陸續(xù)涌現(xiàn)，并取得了一定成效，但是，通過對國內(nèi)外課堂行為以及課堂學(xué)習(xí)專注度相關(guān)研究的學(xué)術(shù)史梳理，以及國內(nèi)外主流數(shù)據(jù)庫文獻(xiàn)相關(guān)研究動(dòng)態(tài)的關(guān)注得知，國內(nèi)關(guān)于高等教育領(lǐng)域的學(xué)生課堂行為及課堂專注度的研究較少，關(guān)于現(xiàn)代學(xué)徒制人才培養(yǎng)模式中基于學(xué)生課堂行為及課堂專注度探索學(xué)生學(xué)習(xí)效果評價(jià)的研究就更加少見，基礎(chǔ)教育課堂行為及課堂專注度的研究主要采用主觀報(bào)告和定性分析等技術(shù)手段，但這些研究方式不適應(yīng)于高等教育領(lǐng)域現(xiàn)代學(xué)徒制中復(fù)雜的學(xué)生課堂行為及課堂專注度研究?；诖?，本文擬將最新的人工智能技術(shù)與現(xiàn)代高等職業(yè)教育教學(xué)研究相結(jié)合，對高職基于現(xiàn)代學(xué)徒制模式下的學(xué)生課堂行為進(jìn)行客觀量化的分析，更好地服務(wù)于教育和教學(xué)領(lǐng)域。因此，開展基于人臉識(shí)別技術(shù)的學(xué)生課堂行為研究，對學(xué)生學(xué)習(xí)效果進(jìn)行客觀分析評測研究不但在實(shí)際應(yīng)用中表現(xiàn)出廣闊的前景，而且在理論研究中也具有較大的研究價(jià)值。這里，對此將給出研究論述如下。

1 人臉識(shí)別技術(shù)研究現(xiàn)狀

人臉識(shí)別是指通過計(jì)算機(jī)視覺從靜態(tài)圖像或者動(dòng)態(tài)視頻序列中檢測出人臉圖像，進(jìn)行人臉面部辨識(shí)。人臉識(shí)別研究起源于19世紀(jì)末，主要經(jīng)歷了3個(gè)階段：利用人工主觀操作和控制識(shí)別、人工檢測和計(jì)算機(jī)技術(shù)相結(jié)合識(shí)別、利用機(jī)器視覺進(jìn)行智能化人臉識(shí)別［1］。發(fā)展至今，人臉識(shí)別已推出多種方法，諸如經(jīng)典的基于幾何特征的人臉識(shí)別方法［2］、基于統(tǒng)計(jì)的人臉識(shí)別方法［3］、基于神經(jīng)網(wǎng)絡(luò)的人臉識(shí)別方法［4］和基于特征的彈性圖匹配的人臉識(shí)別方法［5］。眾所皆知，人臉識(shí)別現(xiàn)已成為計(jì)算機(jī)視覺領(lǐng)域中的研究熱點(diǎn)之一［6-7］，且已成功應(yīng)用于考勤、安全檢測等多個(gè)方面，但是，將人臉識(shí)別技術(shù)應(yīng)用到學(xué)生課堂專注度的研究成果卻仍寥寥可數(shù)，近幾年來，也有少數(shù)學(xué)者把人臉識(shí)別系統(tǒng)和教育相結(jié)合，文獻(xiàn)［8］提出將人臉檢測技術(shù)應(yīng)用于小學(xué)生課堂專注情況的研究，通過上課抬頭、低頭人數(shù)數(shù)據(jù)判斷小學(xué)生的課堂專注度，以此評價(jià)課堂教學(xué)效果。

綜上所述均為本文研究提供借鑒，本文將以此為前提，將基于深度學(xué)習(xí)框架的人臉識(shí)別技術(shù)與教育教學(xué)研究相結(jié)合，運(yùn)用人工智能技術(shù)對高職院?，F(xiàn)代學(xué)徒制模式下的學(xué)生課堂專注度進(jìn)行客觀的分析，得出學(xué)生學(xué)習(xí)效果的客觀評價(jià)結(jié)果，并可用于后續(xù)研究的調(diào)取使用。

2 基于人臉識(shí)別技術(shù)的學(xué)習(xí)效果評價(jià)算法

2.1 基于SDAE模型的人臉識(shí)別算法

算法思想可闡釋如下：

（1）設(shè)計(jì)基于堆棧式去噪自動(dòng)編碼器模型（SDAE）的人臉識(shí)別算法，從海量的圖像數(shù)據(jù)中來離線學(xué)習(xí)圖像的一般化特征，用于提取人臉特征。

（2）選擇人臉識(shí)別數(shù)據(jù)庫進(jìn)行有監(jiān)督的人臉識(shí)別，加入權(quán)重參數(shù)，使得特征學(xué)習(xí)更有針對性，以此構(gòu)建有監(jiān)督的人臉識(shí)別模型，完成人臉識(shí)別任務(wù)。

算法流程可分述如下：

（1）使用大規(guī)模圖像數(shù)據(jù)集通過離線方式訓(xùn)練SDAE模型，進(jìn)行無監(jiān)督學(xué)習(xí)圖像一般化特征。

（2）選擇人臉識(shí)別數(shù)據(jù)集進(jìn)行有監(jiān)督學(xué)習(xí)人臉特征，隨機(jī)選取其中80%的人臉圖像作為訓(xùn)練集，另外20%的人臉圖像作為測試集。

（3）使用訓(xùn)練數(shù)據(jù)集和非線性sigmoid（）轉(zhuǎn)換函數(shù)來激活和輸出隱藏層相應(yīng)的特征表示t｛n｝，研究可得數(shù)學(xué)公式如下：

其中，G為權(quán)重參數(shù)。

（4）預(yù)測圖像類別，其相應(yīng)公式具體如下：

判斷sigmoid（）分類層的分類結(jié)果，并且輸出人臉檢測識(shí)別結(jié)果。

2.2 學(xué)習(xí)效果評價(jià)算法實(shí)現(xiàn)

檢測到目標(biāo)對象的人臉特征后，對人臉的眼睛進(jìn)行識(shí)別。人眼是最直接反映學(xué)生上課專注狀態(tài)的面部特征，以人眼的張合度作為評測指標(biāo)，結(jié)合被測目標(biāo)在上課時(shí)的姿態(tài)、動(dòng)作等特征，判斷學(xué)生課堂學(xué)習(xí)專注度。

基于人臉識(shí)別技術(shù)的學(xué)習(xí)效果評價(jià)算法從學(xué)生抬頭的動(dòng)作和眼睛的張合度判定學(xué)生的專注度，并將該算法應(yīng)用于現(xiàn)代學(xué)徒制班的課堂學(xué)習(xí)效果評價(jià)中，研究該班學(xué)生的課堂專注度與學(xué)習(xí)效果的關(guān)系，為現(xiàn)代學(xué)徒制班學(xué)生課堂學(xué)習(xí)效果評價(jià)提供客觀依據(jù)，實(shí)現(xiàn)更真實(shí)有效的教學(xué)評價(jià)。研究內(nèi)容詳見如下。

2.2.1 總體框架

基于人臉識(shí)別技術(shù)的學(xué)習(xí)效果評價(jià)算法的總體設(shè)計(jì)框架如圖1所示。

圖1 總體框架圖Fig.1 Overall design frame

2.2.2 人眼張合度判定

人眼張合度是指人眼的張開度。眼睛張開度大，眼球的面積就大，人的專注度就越高。在課堂上采集學(xué)生抬頭時(shí)的圖像數(shù)據(jù)，通過人臉識(shí)別技術(shù)，獲得人臉特征，并提取人眼特征，再根據(jù)識(shí)別結(jié)果，計(jì)算人眼的張合度，如果張合度高則表示專注度的概率性大，否則專注度的概率性小。基于人眼張合度的專注度判斷流程即如圖2所示。

2.2.3 人眼張合度的專注度判定算法

采用SDAE框架進(jìn)行人臉識(shí)別，檢測目標(biāo)人臉的眼睛，將眼睛部分用矩形框標(biāo)識(shí)出來，計(jì)算被測目標(biāo)眼睛張合度，對其數(shù)學(xué)公式可表示為：

圖2 張合度判斷流程圖Fig.2 Judgement flow chart of the degree of convergence

其中，H表示眼睛張開的高度，W表示眼睛張開的寬度。

基于人眼張合度來判定被測目標(biāo)課堂專注度算法是根據(jù)被測目標(biāo)眼睛張開程度，眼球的面積來判斷其是否專注課堂，把被測目標(biāo)眼睛近似為一個(gè)橢圓進(jìn)行計(jì)算，將被測目標(biāo)圖像中眼睛張合度與其最大的眼睛張合度相比，由此得出其課堂專注度。該方法可解析為如下數(shù)學(xué)公式：

當(dāng)被測目標(biāo)YJZKD的值大于15%時(shí)，可以判斷其課堂專注度較高；當(dāng)被測目標(biāo)YJZKD的值小于15%時(shí)，可以判斷其課堂專注度較低。

3 測試序列及實(shí)驗(yàn)結(jié)果分析

基于人臉識(shí)別技術(shù)的學(xué)生課堂學(xué)習(xí)效果評價(jià)算法的實(shí)驗(yàn)環(huán)境主要包括2個(gè)方面，分別描述為：硬件環(huán)境，采用了視頻監(jiān)控?cái)z像機(jī)；軟件環(huán)境，采用深度學(xué)習(xí)實(shí)驗(yàn)平臺(tái)，CPU為 i7-5830K，內(nèi)存為128 G，GPU 為 GTX1080，框架為 TensorFlow1.4，語言為Python3.6。

實(shí)驗(yàn)中隨機(jī)選取15組學(xué)生課堂學(xué)習(xí)的視頻序列。針對課堂學(xué)習(xí)視頻序列中的每一幀圖像進(jìn)行人臉識(shí)別和人眼識(shí)別，分析被測目標(biāo)課堂學(xué)習(xí)時(shí)人眼張合度。根據(jù)被測目標(biāo)基于人眼張合度的專注度算法，結(jié)合其課堂的神情、姿態(tài)，最終得出被測目標(biāo)課堂專注度結(jié)果。實(shí)驗(yàn)結(jié)果如圖3所示，課堂學(xué)習(xí)中，大多數(shù)的學(xué)生都是抬頭狀態(tài)，眼睛張合度大，神情專注，表示課堂專注度較高，有一位學(xué)生正在看電腦，眼睛張合度低，則表示課堂專注度較低。

圖3 張合度測試結(jié)果圖Fig.3 Test results of the degree of convergence

4 結(jié)束語

本文對現(xiàn)代學(xué)徒制班的學(xué)生課堂專注度進(jìn)行研究。設(shè)計(jì)中基于SDAE框架人臉識(shí)別技術(shù)的專注度算法，對人臉進(jìn)行檢測與識(shí)別，并計(jì)算人眼張合度來綜合判斷課堂專注度，實(shí)現(xiàn)學(xué)生課堂學(xué)習(xí)效果的客觀評價(jià)，為學(xué)生學(xué)習(xí)效果提供客觀量化的分析評測結(jié)果，同時(shí)基于SDAE框架的深度特征提取還可以提升人臉識(shí)別率與識(shí)別的準(zhǔn)確度。不僅如此，本次研究還將兼具為課堂教學(xué)做出評價(jià)的功能和作用，據(jù)此指導(dǎo)教師可有針對性地準(zhǔn)備教學(xué)方案，組織設(shè)計(jì)更為有效的課堂教學(xué)，切實(shí)提高課堂教學(xué)質(zhì)量。將人工智能與教育教學(xué)研究相結(jié)合，對高職院?；诂F(xiàn)代學(xué)徒制模式的學(xué)生課堂專注度進(jìn)行客觀量化的分析，在一定程度上有助于高職院校教育學(xué)領(lǐng)域教與學(xué)相關(guān)的質(zhì)量認(rèn)證與人才培養(yǎng)體系的進(jìn)一步規(guī)范和完善。