“FACE監(jiān)管助教”系統(tǒng)的研究與構(gòu)建

（湖北師范大學(xué) 湖北·黃石 435000）

0 緒論

“學(xué)習(xí)質(zhì)量”已經(jīng)成為當(dāng)前教育工作者研究及實(shí)踐的熱點(diǎn)。當(dāng)前，各大高校規(guī)模不斷擴(kuò)大，擴(kuò)招的學(xué)生數(shù)量急速增加。由于硬件設(shè)施建設(shè)跟不上學(xué)生擴(kuò)招的速度，教師對學(xué)生的管理心有余而力不足，課堂上教師需要借助信息化手段來監(jiān)管課堂。目前，高校大學(xué)生課堂上的“非學(xué)習(xí)”行為愈加普遍，其表現(xiàn)形式多種多樣，課堂上玩手機(jī)的問題尤為凸顯。因此，人們對教學(xué)模式上的需求逐漸轉(zhuǎn)變?yōu)閷虒W(xué)質(zhì)量提升的迫切呼吁，如何提高學(xué)生的學(xué)習(xí)質(zhì)量是擺在各大高校面前的現(xiàn)實(shí)問題。

《基于面部特征的學(xué)生學(xué)習(xí)狀態(tài)檢測系統(tǒng)設(shè)計》一文提出智能教育可以對學(xué)生課堂數(shù)據(jù)進(jìn)行采集，通過大數(shù)據(jù)分析，更加全面地了解到學(xué)生對課堂的感興趣度、學(xué)習(xí)習(xí)慣以及學(xué)習(xí)狀態(tài)?！癋ACE監(jiān)管助教”系統(tǒng)基于人臉識別技術(shù)，主要有智能考勤、專注力監(jiān)控和學(xué)情監(jiān)控三種功能，教師可以對學(xué)生的出勤情況、上課時的專注度、上課時的狀態(tài)進(jìn)行全面的了解，基于實(shí)時采集的課堂數(shù)據(jù)調(diào)整教學(xué)策略，從而提高課堂教學(xué)質(zhì)量。

1 系統(tǒng)框架設(shè)計

FACE監(jiān)管助教系統(tǒng)主要由圖像采集、人臉識別、考勤記錄三大功能模塊組成，如圖1所示各模塊之間的底層架構(gòu)和所采用的技術(shù)框架。圖像采集模塊負(fù)責(zé)通過硬件設(shè)備來讀取和收集學(xué)生的人臉和表情信息。人臉識別和表情識別模塊將捕捉到的人臉信息跟數(shù)據(jù)庫的信息進(jìn)行對比，識別出當(dāng)前學(xué)生的相關(guān)信息和當(dāng)前該學(xué)生在課堂中的學(xué)習(xí)情況?？记谟涗浤K實(shí)現(xiàn)讀取和自動記錄考勤表(EXCEL表格)。

圖1：“FACE監(jiān)管助教”系統(tǒng)構(gòu)建

2 系統(tǒng)功能介紹

2.1 智能考勤

區(qū)別于傳統(tǒng)的考勤方式，即繁瑣的人工點(diǎn)名或者是指紋打卡，運(yùn)用“FACE”監(jiān)管助教系統(tǒng)的智能考勤，更為簡單、便捷、高效。首先學(xué)生進(jìn)入教室入座后，系統(tǒng)可直接根據(jù)學(xué)生人臉庫的人像進(jìn)行對比，對比結(jié)果反饋至教師端。同時系統(tǒng)采用活體檢測，有效的抵御照片、蠟像等作弊手段。最后，智能考勤在節(jié)省考勤檢查時間，提高課堂考勤管理工作效率的同時，還可以實(shí)現(xiàn)相關(guān)數(shù)據(jù)的信息化存儲與共享，為后續(xù)的學(xué)情分析等工作采集基礎(chǔ)數(shù)據(jù)。

2.2 專注力監(jiān)控

“FACE”監(jiān)管助教系統(tǒng)根據(jù)Yolo(v3)人臉識別功能對學(xué)生進(jìn)行實(shí)時監(jiān)控，然后通過表情識別，每隔一段時間掃描學(xué)生的面部表情。偵測分析他們的神情變化，是開心、驚訝、生氣，是反感、害怕、擔(dān)憂。如果發(fā)現(xiàn)學(xué)生的某種心理狀態(tài)達(dá)到某個臨界值，系統(tǒng)會實(shí)時反饋給講臺上的教師端，教師便可以根據(jù)這些數(shù)據(jù)來調(diào)整教學(xué)方式和內(nèi)容，提高學(xué)生學(xué)習(xí)專注力。

2.3 學(xué)情監(jiān)控

“FACE”監(jiān)管助教系統(tǒng)持續(xù)性的判斷學(xué)生學(xué)習(xí)狀態(tài)和衡量學(xué)習(xí)效率，生成學(xué)生學(xué)習(xí)動態(tài)記錄表。通過此項(xiàng)系統(tǒng)功能，教師可以實(shí)時了解學(xué)生學(xué)習(xí)狀態(tài)，及時進(jìn)行課堂管理；依據(jù)生成的學(xué)習(xí)態(tài)度記錄表，直觀化了解學(xué)生學(xué)習(xí)狀態(tài)、洞察學(xué)習(xí)者學(xué)習(xí)心理、發(fā)現(xiàn)學(xué)生學(xué)習(xí)規(guī)律；同時也對教師的教學(xué)過程做出分析反饋，從而優(yōu)化教學(xué)策略，更好地指導(dǎo)教師的教學(xué)行為，促進(jìn)信息化教學(xué)質(zhì)量的提高。

3 系統(tǒng)功能實(shí)現(xiàn)

3.1 圖像集制作

在win10+GPU的環(huán)境下訓(xùn)練收集的圖片信息，具體步驟如下：

（1）用攝像頭來采集學(xué)生的面部圖片，大小為416*416，方便后期作為網(wǎng)絡(luò)的輸入；

（2）將采集完的圖片添加到LabelImg軟件中，在predefined_classes.txt文件中添加自己需要標(biāo)記的類別，最后每張圖片的信息將會轉(zhuǎn)存到JPG文件、XML文件、TXT文件中；

（3）根據(jù)預(yù)先設(shè)置的權(quán)重來訓(xùn)練經(jīng)過處理之后的圖片信息，在訓(xùn)練的過程中不斷調(diào)整相關(guān)參數(shù)使得訓(xùn)練的結(jié)果能夠盡量接近真實(shí)情況。

圖2：圖片信息展示

3.2 人臉識別

本系統(tǒng)采用Yolo(v3)框架來作為人臉識別的技術(shù)支撐。YOLO(You Only LookOnce)是一種基于深度卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測器。它擁有75個卷積層，還有skipconnections和上采樣Upsampling層，使用步幅為2的卷積層對特征圖進(jìn)行下采樣，而不是使用池化層，這樣有助于防止通常由池化層導(dǎo)致的低級特征丟失。

Yolo(v3)工作原理 在YOLO中，預(yù)測是通過1*1的卷積層完成的，所有每次輸出的特征圖都和之前的特征圖是一樣大小，因此在YOLO上，預(yù)測圖就是每個可以預(yù)測固定數(shù)量邊界框的單元格。對于網(wǎng)絡(luò)的深度，特診圖包含(B*(5+C))個條目，B代表每個單元可以預(yù)測的邊界框數(shù)量。這些邊界框中的每一個都可能專門用于檢測某種對象。每個邊界框都有5+C個屬性，分別描述每個邊界框的中心坐標(biāo)，維度，objectness分?jǐn)?shù)和C類置信度。

如果對象的中心位于單元格的感受野內(nèi)，特征圖的每個單元格都可以通過其中一個邊界框預(yù)測對象。（感受野是輸入圖像對于單元格可見的區(qū)域）因?yàn)橹挥幸粋€邊界框負(fù)責(zé)檢測任意給定對象，所以首先必須確定這個邊界框?qū)儆谀膫€單元格。因此，我們需要切分輸入圖像，把它拆成維度等于最終特征圖的網(wǎng)格。如圖3所示，其中輸入圖像大小是416×416，網(wǎng)絡(luò)的步幅是 32。特征圖的維度會是13×13。隨后，我們將輸入圖像分為13×13個網(wǎng)格。

圖3：Yolo(v3)工作原理

3.3 系統(tǒng)各項(xiàng)功能實(shí)現(xiàn)

（1）系統(tǒng)硬件設(shè)計在“FACE監(jiān)管助教”系統(tǒng)中，硬件主要是圖像采集設(shè)備、網(wǎng)絡(luò)傳輸設(shè)備以及服務(wù)器等。其中圖像采集設(shè)備為攝像頭（一般的智慧教室采用2個至少1300萬以上像素的攝像頭即可），當(dāng)學(xué)生就坐完畢，攝像頭會自動進(jìn)行拍攝，從而完成圖像采集；針對所需的網(wǎng)絡(luò)環(huán)境，不需要重新建設(shè)，可以使用已有的校園網(wǎng)；服務(wù)器既可以選用虛擬服務(wù)器，也可以選擇實(shí)體服務(wù)器。攝像頭將采集到的圖像，經(jīng)校園網(wǎng)傳給服務(wù)器，并由服務(wù)器上的Yolo(v3)人臉識別模塊來完成考勤工作，同時反饋出學(xué)生學(xué)習(xí)狀態(tài)數(shù)據(jù)，用以學(xué)情分析。

（2）智能考勤功能設(shè)計智能考勤模塊由兩部分組成，分別是學(xué)生身份信息識別和教室考勤。其中學(xué)生身份信息識別是核心部分。當(dāng)系統(tǒng)載入人臉特征庫之后，會將待識別的人臉與特征儲存的圖像集中的人臉信息進(jìn)行對比，之后系統(tǒng)會自行判斷該學(xué)生是否與信息源相匹配。若是成功識別，則可獲得與該人臉對應(yīng)的標(biāo)識信息，即學(xué)生的學(xué)號等相關(guān)信息，從而完成識別過程。而成功識別的結(jié)果，會被自動更新至考勤表當(dāng)中，識別成功的學(xué)生會在考勤表中被標(biāo)識為“已到”，未能成功識別的學(xué)生則會在考勤表中顯示“未到”。同時，考勤系統(tǒng)會按照課程的時間，自動終止考勤，并生成考勤結(jié)果。在圖像對比功能的具體實(shí)現(xiàn)過程中，使用File對象的WriteAllBytes方法將本次采集到的學(xué)生照片文件保存至終端電腦上的另一個臨時文件夾中。在成功獲取到現(xiàn)場拍攝的照片文件之后，即可將該文件讀取并轉(zhuǎn)換為property類所定義的多項(xiàng)特征信息，并存儲在property變量中。

（3）專注力與學(xué)情監(jiān)控功能設(shè)計此功能部分首先實(shí)現(xiàn)了視頻圖像的采集、視頻圖像的分解及預(yù)處理、Yolo(v3)人臉識別處理、AMM算法的面部特征分析。使用該系統(tǒng)，教師可以時刻了解學(xué)生學(xué)習(xí)狀態(tài)，并及時調(diào)整教學(xué)方式和內(nèi)容。系統(tǒng)功能實(shí)現(xiàn)步驟如下：

步驟一：圖像采集和預(yù)處理。通過安裝在教室的攝像頭實(shí)時采集學(xué)生的動態(tài)上課視頻，然后通過OpenCV對視頻圖像進(jìn)行分解轉(zhuǎn)化為單幀圖像，對分解得到的每一幀圖像進(jìn)行圖像去噪處理并保存到本地文件夾中，為后續(xù)的人臉檢測和識別作鋪墊。

步驟二：人臉檢測和識別。采用卷積神經(jīng)網(wǎng)絡(luò)對課堂中的學(xué)生進(jìn)行人臉檢測和標(biāo)注，檢測出人臉的大體位置和人臉個數(shù)，并用矩形框框出人臉的位置，當(dāng)人臉個數(shù)出現(xiàn)異常情況時，系統(tǒng)給予提醒；若為正常情況時，則進(jìn)行下一步的人臉識別操作。采用改進(jìn)的Alex Net網(wǎng)絡(luò)進(jìn)行學(xué)生的人臉識別，識別出具體的學(xué)生名字；面部特征分析。使用AAM算法對識別到的人臉進(jìn)行人臉特征點(diǎn)跟蹤標(biāo)定（前面的人臉檢測的精準(zhǔn)度會直接影響特征點(diǎn)標(biāo)定的準(zhǔn)確度）。檢測眼睛和嘴巴特征點(diǎn)，并設(shè)計眼睛睜閉狀態(tài)判斷算法，利用PERCLOS值的P80標(biāo)準(zhǔn)和眨眼頻率可以判斷學(xué)生的疲勞程度設(shè)計嘴巴張閉狀態(tài)判斷算法以及嘴角弧度判斷算法。

步驟三：學(xué)習(xí)狀態(tài)分析。將眼睛和嘴巴的參數(shù)變化作為特征輸入，采用支持向量機(jī)訓(xùn)練學(xué)生的學(xué)習(xí)狀態(tài)，并對學(xué)習(xí)狀態(tài)進(jìn)行分類和識別。

4 結(jié)論

本文提出了一種兼具智能考勤、學(xué)生專注力監(jiān)控與學(xué)情監(jiān)控功能的“FACE”監(jiān)管助教系統(tǒng)。該系統(tǒng)不僅可以使教師能夠及時的了解學(xué)生的上課狀態(tài)，更能對教師和教學(xué)機(jī)構(gòu)開展科學(xué)的學(xué)情分析提供技術(shù)支撐，對提升高校教學(xué)水平和深化教育信息化有著重要意義。