基于人臉識(shí)別的課堂教學(xué)監(jiān)控系統(tǒng)分析

王艷玲

（長(zhǎng)春光華學(xué)院，吉林長(zhǎng)春，130031）

0 引言

本文主要講述了在現(xiàn)代化教學(xué)的背景下，給予人臉識(shí)別的堂課教學(xué)效果以及教學(xué)質(zhì)量，該系統(tǒng)的出現(xiàn)可以節(jié)約教師的時(shí)間，將更多的精力放在教學(xué)上，而且使用人工智能技術(shù)可以分析學(xué)生的課堂情況，通過(guò)攝像設(shè)備可以更加直觀的看到每一個(gè)學(xué)生的變化是否集中注意力聽(tīng)課，以提高教學(xué)效果，并且也可以評(píng)估學(xué)生的學(xué)習(xí)情況。該系統(tǒng)的優(yōu)勢(shì)在于：首先，基于攝像設(shè)備的人臉檢測(cè)方法，以提高學(xué)生上學(xué)的人數(shù)。其次，基于攝像設(shè)備的圖像分析可以提高課堂的教學(xué)質(zhì)量和教學(xué)效率。

1 系統(tǒng)架構(gòu)

此系統(tǒng)的應(yīng)用可以更好地觀察學(xué)生的變化，通過(guò)教室的視頻監(jiān)控設(shè)備可以滿足學(xué)生的需求，對(duì)一些上課不積極的學(xué)生或者是搗亂的學(xué)生也是一種制約，還可以通過(guò)手機(jī)圖像來(lái)評(píng)估教學(xué)質(zhì)量。而此系統(tǒng)主要分為四部分：視頻采集、面部檢測(cè)、面部識(shí)別和統(tǒng)計(jì)反饋，子系統(tǒng)的劃分如圖1所示。

如圖1所示，視頻采集子系統(tǒng)包含兩個(gè)部分：視頻采集和存儲(chǔ)以及圖像預(yù)處理。其中，視頻采集儲(chǔ)存模塊的功能是將學(xué)生在課堂上的視頻采集到后保存到硬盤(pán)上。圖像預(yù)處理的功能是將采集的視頻進(jìn)行相應(yīng)的處理和校正。人臉校測(cè)子系統(tǒng)包括三方面，即：圖像分割、人臉檢測(cè)、人臉去重，其主要的目的是更好的切割或者檢測(cè)薛恒的面部表情，將面部檢測(cè)的結(jié)果傳遞到子系統(tǒng)。面部識(shí)別子系統(tǒng)使用百度AI開(kāi)放平臺(tái)界面提供面部識(shí)別和面部情感識(shí)別。在此模塊中，可以查看當(dāng)前教室中的學(xué)生是否在聽(tīng)。統(tǒng)計(jì)反饋?zhàn)酉到y(tǒng)包括兩個(gè)部分，即對(duì)教育和反饋的總體質(zhì)量的評(píng)估，這樣不僅可以將學(xué)生的實(shí)際情況更清楚、更直觀的反饋給教師，讓老師可以觀察到學(xué)生的變化。

圖1 子系統(tǒng)劃分

2 系統(tǒng)關(guān)鍵技術(shù)

2.1 圖像分割

面部檢測(cè)子系統(tǒng)的目的是更好的、更全面的檢測(cè)學(xué)生的面部情況，但是面部子系統(tǒng)也有其弊端，其缺點(diǎn)在于如何確保測(cè)試召回率，換句話說(shuō)，如何將教室中每一個(gè)學(xué)生都不落下。這些人臉檢測(cè)方法并不是因?yàn)楫?dāng)前的人臉檢測(cè)方法無(wú)法保證當(dāng)有很多人臉時(shí)的召回率。圖像遞歸切割的示意圖如圖2所示。

圖2 圖像遞歸切割

如圖2所示，根據(jù)半重疊原理沿長(zhǎng)邊切割圖像，并將每個(gè)圖像切割成三個(gè)子圖像。沿長(zhǎng)邊裁切可防止裁切圖像破壞長(zhǎng)度和寬度之間的平衡，并且一半的重疊使裁切的子圖像具有盡可能完整的臉部。深度表示剪切的數(shù)量，可以根據(jù)圖像中人臉的數(shù)量動(dòng)態(tài)調(diào)整此值。 對(duì)于具有大量面部的圖像，將N設(shè)置為較大的值將在子圖像中的原始圖像中顯示較大比例的較小面部，從而提高了測(cè)試的召回率。

2.2 人臉檢測(cè)

圖像分割完成后，對(duì)每幅圖像執(zhí)行人臉檢測(cè)。基于圖像遞歸切割的人臉檢測(cè)算法如算法1所示。

算法1基于圖像遞歸切割的人臉檢測(cè)算法

該算法首先使用OpenCV庫(kù)中的CascadeClassifier分類(lèi)器檢測(cè)當(dāng)前節(jié)點(diǎn)圖像中的面部，然后將檢測(cè)到的面部添加到面部集。在相加過(guò)程中，根據(jù)圖像中臉部的位置，刪除重復(fù)的臉部。最后，對(duì)每個(gè)子圖像進(jìn)行算法處理，直到對(duì)圖像進(jìn)行分割并達(dá)到設(shè)置的圖像分割深度為止。面部檢測(cè)完成后，將獲得一個(gè)包含所有面部的面部集合，用于面部識(shí)別和情感識(shí)別。

2.3 人臉識(shí)別

該系統(tǒng)使用百度AI開(kāi)放平臺(tái)在線人臉識(shí)別界面來(lái)識(shí)別人臉。 與其他公眾面部識(shí)別界面相比，該界面具有更高的識(shí)別率，并提供諸如情感識(shí)別的功能。在識(shí)別面部之前，必須將所有學(xué)生面部上載到百度AI開(kāi)放平臺(tái)以構(gòu)建學(xué)生面部數(shù)據(jù)庫(kù)。在識(shí)別過(guò)程中，面部經(jīng)過(guò)Base64編碼并發(fā)送到指定的URL。課堂人臉信息數(shù)據(jù)表設(shè)計(jì)如表1所示。

表1 人臉信息數(shù)據(jù)表

數(shù)據(jù)庫(kù)中的每個(gè)記錄都存儲(chǔ)信息，例如面部所屬的學(xué)生的姓名，三維空間中面部的角度，面部表情，圖像收集時(shí)間和識(shí)別可靠性。

2.4 課堂教學(xué)分析

該模塊在課程中為所有學(xué)生捕獲面部信息，評(píng)估學(xué)生的學(xué)習(xí)狀態(tài)，并以兩種格式顯示統(tǒng)計(jì)結(jié)果：網(wǎng)頁(yè)和手機(jī)APP。統(tǒng)計(jì)信息包括班上所有學(xué)生的檢出率的變化，特定學(xué)生的檢出率，所有學(xué)生的面部角度分布和變化趨勢(shì)，特定學(xué)生的面部角度分布以及面部情感分布。包括變化趨勢(shì)，缺少面部警報(bào)等。

所有學(xué)生的檢出率變化趨勢(shì)主要用于分析在課堂上所有學(xué)生的檢出率。統(tǒng)計(jì)結(jié)果將幫助學(xué)生認(rèn)真聆聽(tīng)并確定他們是否在學(xué)習(xí)中。特定學(xué)生的檢出率是指在整個(gè)班級(jí)中檢測(cè)到的特定學(xué)生的百分比，其結(jié)果與特定學(xué)生在班上的熱情有關(guān)?？梢苑治鰧W(xué)生面部的角度分布和趨勢(shì)，以查看檢測(cè)到面部時(shí)頭部是否朝下。在課堂中，學(xué)生面部表情的變化可以直觀的看到學(xué)生的變化，學(xué)生是否在學(xué)習(xí)，課堂是否活躍，如果面部丟失警報(bào)響起就證明學(xué)生沒(méi)有集中注意力，或者學(xué)生可能在睡覺(jué)，或者早退。

3 系統(tǒng)性能分析

3.1 系統(tǒng)運(yùn)行效果

該系統(tǒng)已在大學(xué)軟件學(xué)校的智能教室中開(kāi)發(fā)和測(cè)試。教室可容納50名學(xué)生，每堂課30至40名學(xué)生。

為了測(cè)試該系統(tǒng)的面部檢測(cè)方法的召回率，在教室監(jiān)視過(guò)程中隨機(jī)捕獲了100張圖像進(jìn)行測(cè)試。四個(gè)班級(jí)中有20個(gè)捕獲了100張圖像，每個(gè)班級(jí)的學(xué)生座位分配各不相同。消除了在特殊情況下未檢測(cè)到學(xué)生的臉部（例如學(xué)生在上課時(shí)鞠躬）后，面部總數(shù)為3143。系統(tǒng)的面部檢測(cè)算法在這100張圖像上運(yùn)行，以計(jì)算去除重復(fù)面部后的面部召回率，以及切割的圖像深度與面部召回率之間的關(guān)系?？梢钥闯?，圖像中的切入深度越大，面部的召回率就越高。圖像深度為5時(shí)，面部回憶率達(dá)到99.8%，足以滿足課堂教學(xué)監(jiān)控的需求。

3.2 系統(tǒng)性能分析

隨著圖像切割數(shù)量的增加，需要以指數(shù)方式檢測(cè)面部的圖像數(shù)量也會(huì)增加。如果圖像的裁剪深度為5，則檢測(cè)到的圖像數(shù)量為364。在這些圖像中，根節(jié)點(diǎn)具有最大的圖像大小，并且使用OpenCV進(jìn)行面部檢測(cè)大約需要80毫秒。隨著切割深度的增加，圖像尺寸呈指數(shù)減小，并且耗時(shí)的人臉檢測(cè)也急劇減小，一張圖像的總面部檢測(cè)時(shí)間少于4秒。

面部檢測(cè)后，將調(diào)用BaiduAI的在線面部識(shí)別界面來(lái)執(zhí)行面部識(shí)別。企業(yè)級(jí)應(yīng)用程序的此接口的QPS限制為10。也就是說(shuō)，每秒最多允許10個(gè)呼叫。該系統(tǒng)使用多線程方法來(lái)調(diào)用此接口。憑借良好的帶寬，可以始終如一地每秒實(shí)現(xiàn)9-10個(gè)呼叫。對(duì)于一個(gè)大約有40名學(xué)生的課程，考慮到20%的冗余度，面部識(shí)別的總時(shí)間少于6秒。該耗時(shí)完全滿足了課堂教學(xué)監(jiān)控系統(tǒng)的耗時(shí)要求。

4 結(jié)論

隨著經(jīng)濟(jì)的發(fā)展以及我國(guó)綜合國(guó)力的增強(qiáng)，我國(guó)在計(jì)算機(jī)領(lǐng)域有了很大的突破，本文主要講述了課堂教學(xué)的監(jiān)控系統(tǒng)，在未來(lái)的教學(xué)中將慢慢普及，成為課堂教學(xué)不可或缺的一部分，但是在教學(xué)中由于課堂學(xué)生較多，多人場(chǎng)景下人臉檢測(cè)的召回率較低，成為了主要的問(wèn)題之一，針對(duì)此問(wèn)題，我們提出了基于圖像遞歸切割和OpenCV的人臉檢測(cè)方法，以了解學(xué)生的學(xué)習(xí)情況。此外，我們通過(guò)視頻采集的方式，可以分析面部檢測(cè)召回結(jié)果，以及面部檢測(cè)所需的時(shí)間。其中，需要改進(jìn)的地方包括：首先，如何將課堂上的學(xué)生更好的、更全面的識(shí)別，以及學(xué)生分布不均勻的問(wèn)題。其次，在攝像頭拍攝的過(guò)程中陽(yáng)關(guān)的光線和其他的一些因素也對(duì)其有一定的影響。