基于視頻流媒體的人臉識別課堂監(jiān)控系統(tǒng)

白茹

（西安航空職業(yè)技術(shù)學(xué)院，陜西西安 710000）

課堂考勤與監(jiān)控是課堂管理中重要的一環(huán)，能夠在一定程度上保證學(xué)生按時上課，確保學(xué)習(xí)質(zhì)量[1]。目前，課堂考勤主要依靠老師或班委人工點名的方式，這種方式不僅浪費時間且不能避免早退、代課等情況的出現(xiàn)，無法對課堂進行全面監(jiān)督[2]。針對上述問題，文中在分析數(shù)據(jù)流媒體技術(shù)的基礎(chǔ)上，建立了一種基于視頻流媒體的人臉識別課堂監(jiān)控系統(tǒng)。該監(jiān)控系統(tǒng)充分發(fā)揮數(shù)據(jù)流媒體的優(yōu)勢，利用圖像預(yù)處理中的灰度化及雙邊濾波算法對視頻流進行處理，使其能夠更優(yōu)地進行人臉識別。測試結(jié)果表明，文中設(shè)計的系統(tǒng)除了能夠較好地實現(xiàn)視頻流的發(fā)送與接收等基本需求外，還可以較好地完成學(xué)生的上課考勤以及課堂的實時監(jiān)控。該系統(tǒng)為實時監(jiān)測學(xué)生遲到、早退、代課和曠課等現(xiàn)象，對課堂進行全面監(jiān)督等提供了一種可行性方案。

1 視頻流媒體

視頻流（Video Streaming）是一種基于流體化技術(shù)的視頻數(shù)據(jù)傳輸形式[3]。流體化技術(shù)的思想為：服務(wù)器在向用戶傳輸視頻文件時，首先按時間順序?qū)⑵浞譃椴煌钠?，再將這些片段依次發(fā)給用戶。采用視頻流的傳輸方式，可以實現(xiàn)用戶對已接收部分?jǐn)?shù)據(jù)的先期處理[4-6]。這種協(xié)同傳輸與處理的方式，保證了監(jiān)控系統(tǒng)內(nèi)數(shù)據(jù)傳輸?shù)膶崟r性，提高了視頻信息迅速處理的能力[7]。

流媒體（Streaming Media）又稱為流式媒體，是一種將視頻、聲音、文本等媒體數(shù)據(jù)壓縮并通過互聯(lián)網(wǎng)進行分段發(fā)送，能夠?qū)崿F(xiàn)數(shù)據(jù)實時傳輸?shù)囊环N多媒體傳輸技術(shù)[8]。視頻流媒體就是將視頻流進行數(shù)據(jù)壓縮，并實現(xiàn)實時處理與發(fā)送的一種網(wǎng)絡(luò)傳輸技術(shù)。視頻流媒體綜合了視頻流與流媒體的特征，主要體現(xiàn)在以下幾個方面[9-11]：

1）視頻信號可以不經(jīng)過任何轉(zhuǎn)換直接采用流式傳輸?shù)姆绞竭M行迅速傳輸；

2）對系統(tǒng)所部署的服務(wù)器緩存容量的要求較低，這主要是由于其內(nèi)部是以傳輸數(shù)據(jù)包為基礎(chǔ)的異步傳輸；

3）視頻流媒體傳輸?shù)膶崿F(xiàn)依賴于特定的傳輸協(xié)議，最大程度保證數(shù)據(jù)傳輸?shù)膶崟r性、連續(xù)性和時序性。

視頻流媒體的傳輸流程如圖1 所示。

圖1 視頻流媒體的傳輸流程

其中，Web 瀏覽器端（客戶端）是一個對視頻流進行操作的可視化界面，負(fù)責(zé)給用戶提供一個輸入輸出接口[12]；Web 服務(wù)器端則用來獲取客戶端中用戶的輸入，并根據(jù)輸入請求將獲取到的資源反饋給用戶，這些資源包括視頻流媒體的服務(wù)器地址、資源路徑以及數(shù)據(jù)編碼/解碼方式等；流媒體服務(wù)器端與Web 服務(wù)器、流媒體播放器端相連接，主要負(fù)責(zé)處理Web 服務(wù)器端的數(shù)據(jù)獲取請求，并為播放器端提供視頻流數(shù)據(jù)；流媒體播放器端受客戶端的控制，負(fù)責(zé)播放用戶所請求的視頻流數(shù)據(jù)。同時，流媒體播放器與流媒體服務(wù)器之間的數(shù)據(jù)通過傳輸協(xié)議進行交換，常用的傳輸協(xié)議[13]包括實時流媒體協(xié)議（RTSP）、資源預(yù)留協(xié)議（RSVP）、微軟流媒體服務(wù)協(xié)議（MMS）以及實時傳輸控制協(xié)議（RTCP）等。

視頻流媒體的播放方式總共分為3 種：單播[14]、廣播及組播。其中，單播是指系統(tǒng)每個Web 瀏覽器端與流媒體服務(wù)器之間均有一個獨立的數(shù)據(jù)傳輸通道，每個數(shù)據(jù)包只能被發(fā)送到一個瀏覽器端。對于用戶，這種播放方式能夠滿足其個性化需要，如隨時停止、快進、后退等控制功能。但對于服務(wù)器而言，單播會造成數(shù)據(jù)冗余，極大地增加服務(wù)器的運行負(fù)擔(dān)。尤其當(dāng)用戶較多時，服務(wù)器響應(yīng)時間較長，甚至停止運行。廣播是用戶被動接收視頻流數(shù)據(jù)的播放方式，是對單播方式的一種改進，采用該方式系統(tǒng)的所有用戶均接收到了相同的流數(shù)據(jù)。這種方式雖然減少了系統(tǒng)中流數(shù)據(jù)的拷貝，但未充分考慮各用戶的需求，有些無用的流數(shù)據(jù)被發(fā)送給用戶，浪費了系統(tǒng)的網(wǎng)絡(luò)帶寬。組播是基于單播和廣播可以實現(xiàn)數(shù)據(jù)有效共享的一種播放方式，該方式允許多個客戶端同時訪問同一數(shù)據(jù)包，極大地減少了系統(tǒng)中的數(shù)據(jù)包總量[15]。該方式使得單個服務(wù)器能夠同時向幾十萬臺客戶機實時地傳輸視頻流數(shù)據(jù)，并提高系統(tǒng)使用效率。

2 監(jiān)控系統(tǒng)設(shè)計

設(shè)計該系統(tǒng)最重要目的在于通過視頻流媒體及人臉識別技術(shù)有效監(jiān)督高校學(xué)生的遲到、早退等考勤情況，保證課堂質(zhì)量，為實現(xiàn)課堂自動化考勤提供新的思路。下面主要是建立監(jiān)控系統(tǒng)總體框架，并對其中的關(guān)鍵模塊進行分析。

2.1 系統(tǒng)架構(gòu)設(shè)計

針對上述所提到的需求，該文設(shè)計的基于視頻流媒體的人臉識別課堂監(jiān)控系統(tǒng)的總體架構(gòu)如圖2所示。

圖2 監(jiān)控系統(tǒng)總體架構(gòu)

該系統(tǒng)可以分為3 個模塊：監(jiān)控端、服務(wù)器端以及客戶端。其中監(jiān)控端的功能是實時采集課堂狀況，并將獲取到的視頻流數(shù)據(jù)實時發(fā)送到服務(wù)器端，流數(shù)據(jù)的交換采用RTSP 實時流媒體傳輸協(xié)議；服務(wù)器端負(fù)責(zé)接收和處理監(jiān)控端傳輸來的視頻流數(shù)據(jù)，同時進行人臉識別；客戶端則是人機交互的界面，包括用戶登錄、監(jiān)控視頻播放、考勤記錄等。

2.2 RTSP傳輸協(xié)議

實時流媒體協(xié)議（Real Time Streaming Protocol，RTSP）是TCP/IP 協(xié)議體系中的一個應(yīng)用層協(xié)議，該協(xié)議規(guī)定了如何通過IP 網(wǎng)絡(luò)有效地發(fā)送視頻流數(shù)據(jù)[16]。RTSP 為視頻流媒體提供了暫停、快進等功能，但其主要用于實現(xiàn)遠(yuǎn)程控制服務(wù)器。采用TCP或UDP 中的RTP 協(xié)議來完成實際數(shù)據(jù)的傳輸工作，數(shù)據(jù)傳輸與控制采用不同協(xié)議的優(yōu)勢在于播放流媒體的客戶機和控制流媒體播放的客戶機可以為不同的計算機。系統(tǒng)流媒體服務(wù)協(xié)議體系架構(gòu)如圖3 所示。RTSP 在架構(gòu)上位于RTP 和RTCP 之上，同時利用TCP/RTP 傳輸協(xié)議在IP 網(wǎng)絡(luò)上完成視頻等多媒體數(shù)據(jù)的傳輸。

圖3 流媒體服務(wù)協(xié)議體系架構(gòu)

RTSP 與HTTP 的相似之處在于兩者均是通過純文本進行信息傳輸，且兩者的編程語法相近，使得RTSP能夠較好地兼容基于HTTP協(xié)議所形成的代碼。兩者的區(qū)別在于RTSP協(xié)議是有狀態(tài)的。在進行一個新的RTSP 命令時，需要了解當(dāng)前所處的狀態(tài)，發(fā)送的指令也是按照一定的順序執(zhí)行的，不會出現(xiàn)連接斷開的情況。而HTTP 每發(fā)送一個指令后，連接就會斷開，且各指令之間不存在明顯的依賴關(guān)系。同時RTSP協(xié)議通常使用554 端口，HTTP 協(xié)議則使用80 端口。

2.3 人臉識別技術(shù)

人臉識別是整個監(jiān)控系統(tǒng)尤為重要的一部分，其包括圖像獲取、圖像預(yù)處理、特征提取、人臉檢測與識別等過程。在該文的設(shè)計中，圖像預(yù)處理分為兩步：首先對視頻進行灰度化處理，降低彩色圖像的數(shù)據(jù)量；然后利用雙邊濾波算法去除圖像噪聲，進而突出圖像特征。人臉識別算法采用基于Haar 特征的Adaboost 算法，對應(yīng)人臉識別模塊的工作流程如圖4 所示。

圖4 人臉識別模塊工作流程

首先是人臉圖像采集，在該系統(tǒng)中代表接收到的實時課堂視頻圖像；然后利用Adaboost 算法對傳入圖像進行人臉檢測，判斷該幀圖像中是否存在人臉，為了減輕服務(wù)器壓力，系統(tǒng)對每10 幀的圖像進行一次檢測操作；若存在人臉，則進行人臉特征的提取并進行特征的比對，確定是否為該課堂中已經(jīng)錄入的人臉。如果是，則記錄該學(xué)生信息，完成考勤并進行監(jiān)控；如果不是，則記錄該異常信息。其中所用到的基于Haar 特征的Adaboost 算法的人臉識別流程如圖5 所示。

圖5 人臉識別算法流程

該算法的人臉識別流程可以描述為：首先計算系統(tǒng)服務(wù)器端接收到的監(jiān)控視頻流的Haar 特征，Haar 特征在本質(zhì)上是基于積分圖像的矩形特征，主要用來描述圖像某一區(qū)域灰度值在方向和尺度上的差異，是人臉識別和目標(biāo)檢測領(lǐng)域中最常使用到的一種特征；然后利用提取到的Haar 特征求出Adaboost 算法各弱分類器的參數(shù)，通過訓(xùn)練迭代選取每輪最優(yōu)的弱分類器，并記錄對應(yīng)的迭代權(quán)值。完成訓(xùn)練后將得到的所有弱分類器根據(jù)加法模型組合成強分類器，強分類器通過級聯(lián)的方式產(chǎn)生一個用于人臉檢測的復(fù)雜模型。

3 系統(tǒng)測試

為了驗證該文設(shè)計的基于視頻流媒體的人臉識別課堂監(jiān)控系統(tǒng)的有效性與可靠性，文中通過3 個實驗內(nèi)容對該系統(tǒng)進行測試，包括視頻流發(fā)送接收測試、人臉識別測試和課堂考勤測試。

3.1 視頻流發(fā)送接收測試

該實驗內(nèi)容主要測試系統(tǒng)監(jiān)控端的視頻拍攝與視頻流發(fā)送以及服務(wù)器端的視頻流接收功能，為進一步處理流數(shù)據(jù)進行人臉檢測與識別奠定基礎(chǔ)。系統(tǒng)該部分的實驗測試結(jié)果如表1 所示。

表1 視頻流發(fā)送接收測試

由表1 可以看出，系統(tǒng)監(jiān)控端能夠較好地完成課堂視頻拍攝與視頻數(shù)據(jù)流發(fā)送。同時，服務(wù)器端可以在低延遲的情況下，實現(xiàn)對視頻流的實時接收。

3.2 人臉識別測試

該實驗內(nèi)容主要測試文中系統(tǒng)對單人臉進行識別的準(zhǔn)確程度，驗證所采用的人臉識別算法的有效性。測試?yán)瞄_源的LEW 數(shù)據(jù)集、Megaface 數(shù)據(jù)集以及教室攝像頭實拍的數(shù)據(jù)集Rtd，其中LEW 數(shù)據(jù)集中總共包括13 233 幅圖像、5 749 人。所有圖像均來源于現(xiàn)實，涉及到的人物均為公眾人物。Megaface 數(shù)據(jù)集中的圖像大多數(shù)為普通人，更接近真實環(huán)境。Rtd 為利用教室攝像頭實拍的課堂視頻集，從中選取了5 000 幀，表2 為對不同數(shù)據(jù)集的實驗測試結(jié)果。

從表2 可以看出，該文系統(tǒng)所采用的基于Haar特征的Adaboost 人臉識別算法準(zhǔn)確率均能達到95%以上，充分說明了該算法的有效性以及人臉識別的可靠性。

表2 不同數(shù)據(jù)集人臉識別準(zhǔn)確率

3.3 課堂考勤測試

該項目主要測試系統(tǒng)在真實課堂環(huán)境中的表現(xiàn)情況，包括課堂考勤的成功率及學(xué)生上課時間統(tǒng)計。其中課堂考勤的成功率是指對正常上課學(xué)生的準(zhǔn)確識別，同時對旁聽與未選該課的學(xué)生進行區(qū)分?？偣策M行了4 組實驗，實驗結(jié)果如表3 所示。其中，教室總?cè)藬?shù)是指該課堂應(yīng)到的人數(shù)與旁聽該課人數(shù)之和；課堂考勤的成功率計算則是識別成功人數(shù)除以課堂應(yīng)到人數(shù)×100%的結(jié)果。

表3 課堂考勤成功率實驗結(jié)果

由表3 可知，該系統(tǒng)的課堂考勤成功率較高，能夠達到96%以上，具有較好的實用性。

學(xué)生上課時間統(tǒng)計是指通過視頻流確定上課學(xué)生出現(xiàn)在監(jiān)控畫面中的時長，以此判斷學(xué)生是否有出現(xiàn)打卡之后逃課的情況，進而完成對學(xué)生上課情況的監(jiān)控。表4 為上課時段中52 個學(xué)生的上課時間統(tǒng)計數(shù)據(jù)。

表4 學(xué)生上課時間統(tǒng)計

由表4 可知，52 名學(xué)生中有49 名學(xué)生能夠滿足課堂要求。同時發(fā)現(xiàn)有上課時間不足20 min 的學(xué)生，判定這些學(xué)生存在逃課行為。

4 結(jié)束語

該文通過介紹與分析視頻流媒體技術(shù)，開發(fā)了基于視頻流媒體的人臉識別課堂監(jiān)控系統(tǒng)。該系統(tǒng)充分利用視頻流媒體的優(yōu)勢，同時采用Adaboost算法進行人臉識別。系統(tǒng)視頻流發(fā)送接收測試、人臉識別測試及課堂考勤測試，三項測試結(jié)果說明，該系統(tǒng)能夠較好地完成學(xué)生的上課考勤與課堂的實時監(jiān)控，驗證了該監(jiān)控系統(tǒng)的有效性和可靠性。