基于人臉識別的課堂教學(xué)監(jiān)控系統(tǒng)分析

何 源

（黃岡師范學(xué)院，湖北 黃岡 438000）

近幾年來，人工智能、大數(shù)據(jù)、云計算、網(wǎng)絡(luò)建設(shè)等新技術(shù)、新產(chǎn)業(yè)的迅速發(fā)展，給我們的生活帶來了巨大的變化，作為當(dāng)代中國學(xué)生的基本形式，課堂教學(xué)對學(xué)生知識和技能結(jié)構(gòu)的形成有著深遠(yuǎn)的影響，在教學(xué)過程中，控制學(xué)生的課堂教學(xué)，改善教學(xué)方法是一個重要問題。傳統(tǒng)課堂控制方法包括現(xiàn)場錄制、課堂教學(xué)、課堂教學(xué)和課堂教學(xué)，而采用普通的手工監(jiān)控方式，需要大量的人力資源，班級點名系統(tǒng)、智能控制系統(tǒng)等應(yīng)用于課堂教學(xué)質(zhì)量控制系統(tǒng)的設(shè)計與開發(fā)，該系統(tǒng)利用教室內(nèi)的通用攝像設(shè)備，采集課時的圖像，分析學(xué)生的學(xué)習(xí)成績，提出學(xué)生的綜合學(xué)習(xí)評價結(jié)果[1]。

一、系統(tǒng)架構(gòu)

本系統(tǒng)利用教室內(nèi)部署的視頻監(jiān)控設(shè)備，為學(xué)生采集視頻數(shù)據(jù)，識別界面，并統(tǒng)計識別出視頻中的人臉和情緒，系統(tǒng)應(yīng)用可以更好地跟蹤學(xué)生的變化，通過課堂視頻監(jiān)控滿足學(xué)生的需要，限制了部分學(xué)生不積極參與課堂或制造騷亂的機(jī)會，并通過手機(jī)圖像評價教學(xué)質(zhì)量；視頻采集、人臉檢測、人臉識別和統(tǒng)計反饋的子系統(tǒng)。

視頻采集存儲模塊主要用于學(xué)生課堂視頻的采集和保存，圖像預(yù)處理功能是對圖像進(jìn)行相應(yīng)的處理和校正，為了更好地識別圖像中的人臉，人臉檢測子系統(tǒng)由圖像分割、人臉檢測和人臉去重三個要素構(gòu)成，從而更好地對學(xué)生面部表情進(jìn)行切割、校正，人臉檢測子系統(tǒng)由圖像分割、人臉檢測和人臉權(quán)重?fù)p失三個要素構(gòu)成，從而更好地對學(xué)生面部表情進(jìn)行檢測，將人臉檢測結(jié)果傳送到子系統(tǒng)，對學(xué)生面部進(jìn)行人臉識別、人臉情感的分析，從而更好地對學(xué)生面部表情進(jìn)行分析、觀察等。

二、系統(tǒng)關(guān)鍵技術(shù)

1.圖像分割

設(shè)計了一個人臉識別系統(tǒng)，能夠更好、更全面地識別所有學(xué)生的面部。但是人臉子系統(tǒng)有它的缺點。這一模塊的設(shè)計難點在于如何進(jìn)行回收系數(shù)的驗證，即在教學(xué)中任何一個學(xué)生都不可錯過。由于人臉識別技術(shù)在數(shù)量龐大的情況下不能保證撤銷率，所以這些方法不能直接應(yīng)用到課堂上。本文介紹了一種基于遞歸裁剪的人臉識別方法。

根據(jù)部分匹配原理，將圖像沿長邊切割成三幅子圖像，保證圖像切割后不破壞長寬平衡，部分重疊保護(hù)，剪切后的子空間盡可能完整。剪影過程實際上創(chuàng)建了一棵有三個分支的樹，每個節(jié)點代表一幅剪切圖像。樹深表示剪切量，其大小取決于圖片中的數(shù)量。對多個面的圖像，n可以設(shè)置成較高的值，這樣就可以使原始圖像中較小的人臉在子圖像中以較高比例出現(xiàn)，從而提高了反饋驗證的水平[2]。

2.人臉識別

這套系統(tǒng)采用了交互式人臉識別界面，與其他開放式人臉識別界面相比，可以識別具有高度認(rèn)同感的人。確認(rèn)身份前，將所有學(xué)生面部資料上傳至開放平臺，建立學(xué)生身份數(shù)據(jù)庫，平臺返回最像人臉的學(xué)生ID，以及情緒、焦點等信息，系統(tǒng)將個人信息帶回數(shù)據(jù)庫，分析學(xué)生的學(xué)習(xí)質(zhì)量（詳見表1）。資料庫中的每一項都包含個人信息，其中包括人名、三維空間的面部角度、面部表情圖像的采集時間、識別可靠性等。

表1 人臉信息數(shù)據(jù)表

人臉檢測不僅是人臉識別技術(shù)中的第一步，也是最困難的一步，它直接影響到后續(xù)人臉檢測過程中人臉檢測中涉及人臉定位、物體防護(hù)、光線變化等問題，目前的研究主要是克服這些干擾。以知識為基礎(chǔ)的方法主要是基于人臉鼻、口、眼的數(shù)量等形狀特性，用Boost算法對灰度特征進(jìn)行分類，并結(jié)合膚色特征，提高了控制速度和控制效率，減小了不同空間和光線變化對人臉的影響。因為光度影響膚色而非面部行為的性質(zhì)，使得基于知識的人臉識別方法的有效性有限。

通過建立神經(jīng)網(wǎng)絡(luò)來區(qū)分個體區(qū)域和非個體區(qū)域，對難以表達(dá)的規(guī)則有很好的處理能力，訓(xùn)練樣本越多，發(fā)現(xiàn)效果越好，但是運(yùn)行速度卻變慢。應(yīng)用最廣泛的是AdaBoost模型，它由多個弱分類器組成，其錯誤率低，效率高，且基于SVM方法分辨率高，但在對人臉進(jìn)行保護(hù)時，SVM比神經(jīng)網(wǎng)絡(luò)模型具有更好的泛化能力，能更好地表達(dá)復(fù)雜特征。

3.課堂教學(xué)分析

通過提取課程中所有學(xué)生的個人信息，并以網(wǎng)頁和手機(jī)應(yīng)用終端的形式提供統(tǒng)計數(shù)據(jù)來評估學(xué)生的學(xué)習(xí)狀況。其中包括入學(xué)動態(tài)、所有學(xué)生分布情況和趨勢測試率、每個學(xué)生的個人觀點、情緒分布和面部變化趨勢以及無焦慮人群。

對全部學(xué)生成績指標(biāo)進(jìn)行動態(tài)統(tǒng)計，主要用來分析課堂教學(xué)中學(xué)生的比例。不同年級的及格學(xué)生比例各不相同。如果發(fā)現(xiàn)，則可以通過面部表情視圖的分布和變化趨勢來分析其面部表情的高低。通過學(xué)生的表情分布和變化，分析學(xué)生的笑臉，從而確定活動的活躍程度。在此提醒下，教師可以檢查他是否早退或有沒有認(rèn)真聽講。

4.人臉預(yù)處理

由于網(wǎng)絡(luò)攝像機(jī)等圖像采集工具獲得的圖像中含有人像、背景等信息，影響了網(wǎng)絡(luò)面部的識別，增加了識別時間。圖像輸入網(wǎng)絡(luò)前需先進(jìn)行預(yù)處理。圖像預(yù)處理主要包括光照、直方圖對齊、人臉檢測和人臉比對。本文提出了圖像處理的一個重要環(huán)節(jié)，有待進(jìn)一步完善。經(jīng)過處理的圖像能最大限度地反映出人臉的共有特征，并利用人臉識別圖像中某些區(qū)域的特征。但是事實是，聚集在一起的人往往會水平和垂直的移動，導(dǎo)致面部不能持久保持，這就產(chǎn)生了一些困難。利用簡單的圖像中心對人臉圖像進(jìn)行旋轉(zhuǎn)，就可以將人臉圖像轉(zhuǎn)換成人臉圖像，以下是關(guān)于人臉識別前圖像的預(yù)處理步驟。第一，要對人進(jìn)行人臉檢測，即對人進(jìn)行檢測。在此基礎(chǔ)上，通過68點的面形特征檢測點對人臉進(jìn)行展平，獲得水平旋轉(zhuǎn)和垂直旋轉(zhuǎn)的描述，利用旋轉(zhuǎn)圖像來垂直對齊人臉，利用水平旋轉(zhuǎn)角度計算出人臉的水平旋轉(zhuǎn)角度，對訓(xùn)練和存儲模型進(jìn)行分類，以實現(xiàn)特征固定，在圖像區(qū)域固定一些人臉特征可以加快模型收斂速度。

三、系統(tǒng)性能分析

1.系統(tǒng)運(yùn)行效果

現(xiàn)在，該系統(tǒng)已經(jīng)在一些高校的軟件教育機(jī)構(gòu)試用，大多數(shù)教室可以容納50名學(xué)生，其中每班30-40名學(xué)生，視頻采集設(shè)備的設(shè)置見表2。

表2 攝像頭主要參數(shù)

本研究采用人臉反饋系數(shù)測驗方法，針對各班座位分配不同的情況，針對學(xué)生成績不高且無法核實的特殊情況，對100張圖像進(jìn)行人臉檢測，如圖1所示。

圖1 不同圖像切割深度時人臉召回率

正如圖1所示，當(dāng)剪切深度急劇增加時，人臉召回率顯著提高，當(dāng)剪切深度為5時，反饋分?jǐn)?shù)可達(dá)99.8%，完全能滿足課堂控制的要求。

2.系統(tǒng)性能分析

需要檢測人臉的圖像數(shù)量隨著圖像裁剪次數(shù)的增加呈指數(shù)增長。如果切割深度是5時，則需要檢測364個圖像。根結(jié)點的尺寸在這些圖像中是最大的。用OpenCV進(jìn)行人臉識別需要80ms左右，隨著切片深度的增加，圖像尺寸的減小，人臉檢測時間大大減少，第五部分后葉節(jié)圖像檢測時間減少到4ms，單圖像人臉識別總時間不到4S。通過人臉檢測，通過使用“百度”軟件中的在線人臉識別界面進(jìn)行，在帶寬較好的情況下穩(wěn)定地實現(xiàn)每秒9—10次調(diào)用，對于約40人的班級，人臉識別所需的總時間不到6S，時間的消耗完全符合課堂教學(xué)控制系統(tǒng)的要求。

結(jié)語

伴隨著我國經(jīng)濟(jì)的發(fā)展和綜合實力的提高，我國在計算機(jī)領(lǐng)域取得了重大突破。本文設(shè)計并開發(fā)了課堂教學(xué)人臉識別監(jiān)控系統(tǒng)，該系統(tǒng)將作為課堂教學(xué)的一部分在將來逐步推廣，由于學(xué)生人數(shù)眾多，現(xiàn)場人員大量地檢查自己的臉，反饋率較低，這已成為一個主要問題。針對多人場景識別中可見性不強(qiáng)的問題，提出了一種基于圖像的遞歸剪裁與opencv人臉識別方法，通過對學(xué)生表情的識別，對課堂情況進(jìn)行分析。介紹了確定召回率的試驗結(jié)果，并對人臉檢測與識別時間進(jìn)行了分析。經(jīng)過對系統(tǒng)的檢查，發(fā)現(xiàn)了一些有待改進(jìn)的地方。第一，如何感知學(xué)生在課堂上的分布，并對學(xué)生多的領(lǐng)域進(jìn)行更深層次的回歸，是一個值得研究的問題。第二，場地的分布、照明等因素會對環(huán)境產(chǎn)生影響。