基于大數(shù)據(jù)的高校機(jī)考平臺(tái)學(xué)生面部識(shí)別信息分析

陳梅

摘要：本應(yīng)用系統(tǒng)主要針對(duì)學(xué)生考試過(guò)程中的人臉信息進(jìn)行圖片采集，解析圖片得到相應(yīng)的數(shù)據(jù)信息，最后將數(shù)據(jù)可視化呈現(xiàn)，為考試結(jié)果提供輔助性參考信息。根據(jù)開(kāi)發(fā)要求，本系統(tǒng)用于完成采集學(xué)生的面部信息，如表情、眼鏡以及偏向程度等，基于騰訊優(yōu)圖提供的人臉檢測(cè)與分析、人臉關(guān)鍵點(diǎn)定位與追蹤以及人臉驗(yàn)證等技術(shù)，提取出圖片中人臉的有效信息提取出圖片中人臉的有效信息來(lái)對(duì)高校機(jī)考平臺(tái)學(xué)生面部數(shù)據(jù)進(jìn)行采集分析。

關(guān)鍵詞：大數(shù)據(jù);人臉識(shí)別;圖片分析;學(xué)生面部信息

中圖分類(lèi)號(hào)：TP399 文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1009-3044（2020）10-0183-04

1緒論

1.1研究背景

1.1.1人臉識(shí)別的現(xiàn)狀

如今，信息技術(shù)愈發(fā)滲透我們的生活，人們?cè)絹?lái)越享受科技帶來(lái)的樂(lè)趣。云計(jì)算、物聯(lián)網(wǎng)和人工智能技術(shù)變革式發(fā)展，相關(guān)應(yīng)用百花齊放。人臉?lè)治鲎鳛樵S多智能化應(yīng)用的核心環(huán)節(jié)，近幾年越來(lái)越受到學(xué)者關(guān)注，其中的關(guān)鍵技術(shù)包括人臉檢測(cè)、人臉跟蹤、人臉特征提取、特征匹配和人臉?lè)诸?lèi)Ⅲ等。并且人臉識(shí)別技術(shù)在社會(huì)安全得到了廣泛的使用，如刷臉買(mǎi)票和刷臉安檢等。同時(shí)在醫(yī)學(xué)方面也發(fā)揮著很大的作用，如防止冒領(lǐng)養(yǎng)老保險(xiǎn)問(wèn)題等。所以，人們?cè)谘芯咳斯ぶ悄芊较蛟絹?lái)越把人臉識(shí)別技術(shù)放在重要的研究位置。

在人的大腦機(jī)制中，可以很清楚地記住并分辨出很多張人臉信息，但是要計(jì)算機(jī)去處理人臉信息卻很麻煩，因?yàn)槿四樞畔⑹菚?huì)隨著年齡、光線等問(wèn)題發(fā)生變化，為計(jì)算機(jī)識(shí)別的準(zhǔn)確性增加了不少難度。并且人臉具有相似度的特性，所以人臉識(shí)別算法就愈發(fā)的難以完善。如今，人臉識(shí)別技術(shù)在當(dāng)今是一個(gè)非常具有挑戰(zhàn)性并且非常值得研究的技術(shù)。

1.1.2人臉識(shí)別的應(yīng)用場(chǎng)景

在信息全球化的背景下，ATM機(jī)器刷臉取款、智能機(jī)器人服務(wù)以及刷臉出入逐漸成為現(xiàn)實(shí)。人臉識(shí)別技術(shù)已被炒得火熱，它正在被廣泛地應(yīng)用到各個(gè)領(lǐng)域，默默地影響著我們的生活，如智慧教育、智慧金融、智慧社保、智慧公安等諸多方面，極大程度上方便著我們的生活。

在互聯(lián)網(wǎng)中，人臉識(shí)別更是發(fā)揮了更大的優(yōu)勢(shì)，并且有很多相關(guān)的研究分析，如圖片鑒黃工作、廣告過(guò)濾工作等。但是至今還沒(méi)有一套完善的基于人臉識(shí)別技術(shù)對(duì)考試過(guò)程學(xué)生面部數(shù)據(jù)進(jìn)行采集分析與研究的解決方案，基于上述情況，本系統(tǒng)應(yīng)運(yùn)而生。

1.2研究意義

人臉識(shí)別是人類(lèi)非常重要的感知能力。隨著計(jì)算機(jī)技術(shù)的發(fā)展，人類(lèi)渴望賦予計(jì)算機(jī)理解情感、感知外部世界的能力，自動(dòng)人臉識(shí)別技術(shù)的研究應(yīng)運(yùn)而生。人臉識(shí)別研究具有重大的理論意義和應(yīng)用價(jià)值。人臉識(shí)別研究既可以促進(jìn)心理學(xué)上對(duì)人類(lèi)自身人臉識(shí)別機(jī)制的研究，也可以促進(jìn)圖像識(shí)別技術(shù)的研究，幫助實(shí)現(xiàn)人工智能。

計(jì)算機(jī)人臉識(shí)別技術(shù)也就是利用計(jì)算機(jī)分析人臉圖像，進(jìn)而從中提取出有效的識(shí)別信息，用來(lái)“辨認(rèn)”身份的一門(mén)技術(shù)。自動(dòng)人臉識(shí)別利用計(jì)算機(jī)分析人臉圖像，從中提取出有效的識(shí)別信息，用來(lái)辨認(rèn)身份的一種技術(shù)嘲，各行各業(yè)將人臉識(shí)別處理技術(shù)運(yùn)用到各個(gè)領(lǐng)域中數(shù)不勝數(shù)。

另外，大學(xué)計(jì)算機(jī)上機(jī)考試將成為趨勢(shì)，它大大推進(jìn)了無(wú)紙化考試，具有環(huán)保，節(jié)省資源，操作簡(jiǎn)單，沒(méi)有人為干擾，直接出成績(jī)，效率高，方便成績(jī)統(tǒng)計(jì)等特點(diǎn)。所以在這個(gè)比較成熟的環(huán)境下，可以通過(guò)分析學(xué)生考試過(guò)程中的行為信息來(lái)獲取相應(yīng)的參考信息給老師，來(lái)了解學(xué)生的考試情況。

基于上述情況，系統(tǒng)將基于人臉識(shí)別技術(shù)對(duì)考試過(guò)程中的人臉行為進(jìn)行分析，對(duì)識(shí)別出來(lái)的結(jié)果進(jìn)行數(shù)據(jù)整理分析，最后形成分析報(bào)表參考信息，來(lái)進(jìn)一步完善機(jī)考設(shè)施制度?；谌四樧R(shí)別對(duì)機(jī)考平臺(tái)中學(xué)生面部信息的收集分析，可以幫助老師了解學(xué)生對(duì)于該堂考試的具體情況、具有針對(duì)性的改善本學(xué)科的教學(xué)任務(wù)

1）分析學(xué)生拿到試卷時(shí)候的面部信息。在考試剛開(kāi)始，通過(guò)收集學(xué)生大致瀏覽題目后所表現(xiàn)出來(lái)的如興奮、難過(guò)、沮喪等面部表情，分析出該學(xué)生的大致所想，是題目難度過(guò)難、適中還是容易等情況。

2）分析考試過(guò)程中學(xué)生的轉(zhuǎn)向情況。在考試過(guò)程中，通過(guò)收集學(xué)生面部信息，來(lái)分析出頭的轉(zhuǎn)向信息。如頭的轉(zhuǎn)向角度、轉(zhuǎn)向方向、是否依然處在攝像頭規(guī)定區(qū)域位置等來(lái)綜合分析出該學(xué)生的轉(zhuǎn)向信息。通過(guò)判斷偏向角度、偏向距離、偏向角度等來(lái)分析出學(xué)生考試行為是否正常等信息。

3）分析考試過(guò)程中學(xué)生的認(rèn)真情況。考試過(guò)程中通過(guò)拿到學(xué)生的面部信息坐標(biāo)后，分析學(xué)生一直盯著電腦屏幕的頻率以及轉(zhuǎn)向幅度等行為分析出做題認(rèn)真思考程度，認(rèn)真思考的時(shí)間曲線范圍，對(duì)待考試是否認(rèn)真等情況。

4）分析考試結(jié)束后學(xué)生看到成績(jī)時(shí)的面部信息。在學(xué)生提交考試后，一直捕捉到該學(xué)生離開(kāi)座位，分析該學(xué)生在那段期間的面部信息，如高興、失望、平靜等通過(guò)圖表信息反饋出來(lái)。

5）分析考試過(guò)程學(xué)生是否中途換人。在考試過(guò)程中通過(guò)人臉對(duì)比，來(lái)分析出學(xué)生中途是否換人的情況。

6）后期擴(kuò)展。將系統(tǒng)作為實(shí)時(shí)監(jiān)控考試過(guò)程，老師直接通過(guò)管理終端就可以看到該位學(xué)生的具體情況，若發(fā)現(xiàn)異常便可以直接切換到該學(xué)生的攝像頭信息，若情況屬實(shí)，可以直接通過(guò)系統(tǒng)提示該學(xué)生。這樣便直接可以在管理終端便掌握管理一切情況。

2需求分析

2.1系統(tǒng)可行性分析

2.1.1技術(shù)可行性分析

目前在已有的人臉研究方向體系中，已經(jīng)有很多做得比較成熟的技術(shù)成果，如Face++、商湯、依圖、云從、百度人臉識(shí)別和騰訊優(yōu)圖等，并且大部分平臺(tái)已經(jīng)開(kāi)放了圖片處理接口。在通過(guò)比較所有平臺(tái)接口的可用性、穩(wěn)定性以及可靠性之后，本系統(tǒng)選擇騰訊優(yōu)圖作為后臺(tái)處理圖片和信息分析的算法支撐。

騰訊優(yōu)圖開(kāi)放平臺(tái)擁有世界領(lǐng)先的人臉識(shí)別技術(shù)，自研Uface深度訓(xùn)練模型技術(shù)，提供業(yè)界最好最優(yōu)的人臉識(shí)別服務(wù)，云上構(gòu)建VIP體系服務(wù)，為產(chǎn)品引入商務(wù)模式，建立智能識(shí)別的生態(tài)系統(tǒng)。騰訊優(yōu)圖在人臉檢測(cè)與識(shí)別等領(lǐng)域有著比較優(yōu)秀的能力，提供的云服務(wù)已經(jīng)可以滿足本系統(tǒng)的大部分需求，符合系統(tǒng)技術(shù)選型。

3技術(shù)選型及開(kāi)發(fā)環(huán)境

3.1前端框架

3.1.1 Freemarker+5JSP

JSP是官方標(biāo)準(zhǔn)，用戶(hù)群廣，有豐富的第三方JSP標(biāo)簽庫(kù)，并且支持EL表達(dá)式，但是唯一缺點(diǎn)就是可以在JSP頁(yè)面中編寫(xiě)Java代碼，如果使用不當(dāng)會(huì)破壞MVC結(jié)構(gòu)，所以本系統(tǒng)在此基礎(chǔ)上引進(jìn)了Freemarker模板引擎技術(shù)。它具有支持JSP標(biāo)簽、可以進(jìn)行復(fù)雜的運(yùn)算以及性能更佳等幾個(gè)優(yōu)勢(shì)。所以可以采用Freemarker+JSP的方式作為前端頁(yè)面的數(shù)據(jù)渲染技術(shù)。

3.2后端框架

后臺(tái)使用Java進(jìn)行編碼，Java是一種面向?qū)ο蟮木幊陶Z(yǔ)言，它具有支持分布式、強(qiáng)大的安全性、結(jié)構(gòu)中立性、高可移植性、性能非常出色以及支持多線程等特性。Java的一次編譯的運(yùn)行時(shí)功能使其成為跨平臺(tái)和降低成本的絕佳選擇?？偠灾?，Java語(yǔ)言有兩個(gè)特點(diǎn)：功能強(qiáng)大且易于使用嘲。以下是系統(tǒng)使用到的一些比較出色的Java開(kāi)源框架。

3.2.1 Mybatis持久層框架

MyBatis是一個(gè)持久性框架，主要負(fù)責(zé)與數(shù)據(jù)庫(kù)進(jìn)行通信并簡(jiǎn)化數(shù)據(jù)庫(kù)訪問(wèn)的操作。它可以高度定制SQL語(yǔ)句，這完全避免了需要手動(dòng)設(shè)置JDBC的參數(shù)的方式，簡(jiǎn)化了配置。通過(guò)MyBatis可以編寫(xiě)更為簡(jiǎn)單的SQL語(yǔ)句，讓開(kāi)發(fā)者不再花更多心思去拼接參數(shù)而擔(dān)心SQL注入等安全問(wèn)題，達(dá)到簡(jiǎn)單易維護(hù)的目的。

3.2.2 Shiro安全管理框架

在Java體系的安全管理框架中，比較主流的就是spring se-curity框架和Apache Shiro框架，對(duì)比兩個(gè)框架，Shiro更加輕量級(jí)，在系統(tǒng)搭建配置上更加靈活，而Spring Security顯得更為笨重，所以本系統(tǒng)選擇Shiro作為安全管理框架。Shiro作為一個(gè)安全管理框架，不僅提供了身份認(rèn)證、授權(quán)、會(huì)話以及加密等功能，還可以根據(jù)系統(tǒng)業(yè)務(wù)邏輯高效的自定義基于RBAC模型的權(quán)限框架設(shè)計(jì)，可以很方便地?cái)U(kuò)展系統(tǒng)的可用性嘲。

4系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)

4.1圖片上傳邏輯

在學(xué)生考試過(guò)程中，系統(tǒng)會(huì)收集大量的學(xué)生面部圖片。而拍攝照片的工作，本系統(tǒng)采用的是調(diào)用電腦自帶的攝像頭來(lái)進(jìn)行拍照，然后將圖片處理成Base64格式，因?yàn)榫W(wǎng)頁(yè)上普通的圖片資源如果采用HTFP形式的RUL的話都會(huì)額外發(fā)送一次請(qǐng)求，網(wǎng)頁(yè)發(fā)送的HTTP請(qǐng)求次數(shù)越多，會(huì)造成頁(yè)面加載速度越慢，而采用Base64轉(zhuǎn)碼過(guò)后則可以避免這種情況。本系統(tǒng)主要用到的攝像頭插件是iquery-webcam-plugin，它將攝像頭功能進(jìn)行了封裝，可以很方便實(shí)現(xiàn)拍照上傳功能。

4.2新聞數(shù)據(jù)爬取邏輯

實(shí)現(xiàn)網(wǎng)頁(yè)信息爬取，Jsoup是一個(gè)很好用的工具，它可以通過(guò)很簡(jiǎn)單的語(yǔ)法就可以很輕松地把網(wǎng)上的數(shù)據(jù)爬取下來(lái)。該框架是一個(gè)Java編寫(xiě)的輕量級(jí)框架，它完全類(lèi)似于iQuery的語(yǔ)法，提供了一套非常省力的API，可以很快地讓人熟悉該框架。在抓取網(wǎng)上新聞數(shù)據(jù)的時(shí)候后，后端進(jìn)行數(shù)據(jù)渲染。

4.3圖片處理算法

4.3.1優(yōu)圖簡(jiǎn)介

在眾多開(kāi)源項(xiàng)目中，在人臉的處理上，都是從人臉檢測(cè)、五官定位和人臉對(duì)比三個(gè)方向做研究，比較出名的開(kāi)源項(xiàng)目有騰訊優(yōu)圖和中科院山世光老師開(kāi)源的Seetaface人臉識(shí)別引擎。騰訊優(yōu)圖是騰訊在2012成立的實(shí)驗(yàn)室，是騰訊內(nèi)部專(zhuān)注于圖像處理、機(jī)器學(xué)習(xí)的團(tuán)隊(duì)，優(yōu)圖并發(fā)限制為10個(gè)每秒，并且云服務(wù)免費(fèi)，滿足本系統(tǒng)需求。故在對(duì)比眾多開(kāi)源項(xiàng)目后本系統(tǒng)選擇騰訊優(yōu)圖作為圖片的處理算法。

4.3.2算法原理

騰訊優(yōu)圖在人臉檢測(cè)、五官定位和人臉對(duì)比的算法均采用了人臉識(shí)別經(jīng)典算法中的Boosting算法，該算法是一種用來(lái)提高弱分類(lèi)算法準(zhǔn)確度的方法，作為一種框架算法，它在通過(guò)對(duì)樣本集的操作并獲得樣本子集后，在樣本子集上通過(guò)弱分類(lèi)器算法訓(xùn)練生成基分類(lèi)器，在獲得若干個(gè)基分類(lèi)器后，將其加權(quán)融合，產(chǎn)生一個(gè)結(jié)果分類(lèi)器。騰訊優(yōu)圖在此基礎(chǔ)上進(jìn)行的人臉識(shí)別技術(shù)方面主要是采用了傳統(tǒng)方式和深度學(xué)習(xí)相結(jié)合的兩種途徑進(jìn)行算法實(shí)現(xiàn)，優(yōu)圖的人臉識(shí)別流程圖如圖1所示。

本系統(tǒng)采用優(yōu)圖提供的人臉檢測(cè)接口、五官定位接口和人臉對(duì)比接口進(jìn)行圖片的分析處理，下面將詳細(xì)介紹幾種接口的使用方法。

5研究成果

5.1圖片庫(kù)

5.1.1基本信息查看

在系統(tǒng)生成的所有圖片中，圖片庫(kù)的功能就是整理圖片信息，以便更好地觀看圖片資源。教師可以以考試、班級(jí)、個(gè)人為單位查看所包含的圖片信息，這里面不僅分頁(yè)列出了所有的圖片信息，而且還單獨(dú)列出了每張圖片采集后的基本信息，如圖片名稱(chēng)、采集時(shí)間等，也列出了人臉檢測(cè)的基本信息，如微笑程度、魅力、年輪等臉部屬性信息，以供教師可以很清晰的瀏覽。

5.1.2人臉檢測(cè)和五官定位信息采集

由瀏覽器上傳圖片后，系統(tǒng)默認(rèn)對(duì)所有圖片是沒(méi)有做任何操作的，還需要教師角色手動(dòng)對(duì)圖片進(jìn)行信息的采集工作，因此圖片庫(kù)頁(yè)面提供了人臉檢測(cè)和五官定位的信息采集功能，可以對(duì)圖片進(jìn)行批量采集工作，將解析數(shù)據(jù)錄入數(shù)據(jù)庫(kù)。

5.2采集成功率

采集成功率主要是系統(tǒng)針對(duì)所有圖片的采集情況做一個(gè)匯總，這里包含了人臉檢測(cè)信息、五官定位信息、人臉對(duì)照信息的匯總。主要包括采集成功率、采集失敗率以及未采集占比情況。采集成功的標(biāo)準(zhǔn)圖片傳送到優(yōu)圖服務(wù)器后能夠返回正確的圖片數(shù)據(jù)信息，采集失敗率則是包括優(yōu)圖解析圖片失敗，返回了錯(cuò)誤的信息或者因網(wǎng)絡(luò)問(wèn)題在傳輸過(guò)程中丟失了數(shù)據(jù)信息而造成的錯(cuò)誤數(shù)據(jù)，未采集圖片則就是指系統(tǒng)還沒(méi)有對(duì)圖片做任何采集工作，采集成功率效果如圖2所示。

5.3面部表情分析

面部表情分析主要是提取出人臉屬性中的表情，獲取到面部微笑程度，系統(tǒng)為其劃分區(qū)間，主要按照10為臨界點(diǎn)分為：“黯然傷神”，“半嗔半喜”，“似笑非笑”，“笑逐顏開(kāi)”，“莞爾一笑”，“喜上眉梢”，“眉開(kāi)眼笑”，“笑盡妖嬈”，“心花怒放”，“一笑傾城”一共10個(gè)等級(jí)，然后提取出每個(gè)區(qū)間的占比率。后臺(tái)統(tǒng)計(jì)標(biāo)準(zhǔn)為將圖片請(qǐng)求到優(yōu)圖的人間檢測(cè)接口，利用返回的Ex-pression字段值做一個(gè)統(tǒng)計(jì)，可以很方便地統(tǒng)計(jì)出學(xué)生在某個(gè)時(shí)間段的表情分布情況，面部表情分析效果圖如圖3所示。

5.4眼鏡分析

眼鏡分析功能主要適用于以考試、班級(jí)為單位的分析，統(tǒng)計(jì)出戴眼鏡、墨鏡以及未戴眼鏡的比例情況，統(tǒng)計(jì)出學(xué)生的眼鏡近視程度分布情況，后臺(tái)統(tǒng)計(jì)標(biāo)準(zhǔn)主要是將圖片請(qǐng)求到優(yōu)圖的人臉檢測(cè)接口，利用返回的Glasses字段值做一個(gè)統(tǒng)計(jì)，分析效果圖如圖4所示。

5.5面部表情走勢(shì)分析

面部表情走勢(shì)分析主要是針對(duì)個(gè)人進(jìn)行分析，還原出該學(xué)生在考試過(guò)程中的面部表情走勢(shì)，用折線圖展現(xiàn)出來(lái)。此功能區(qū)別于上面的表情分布功能，表情走勢(shì)分析可以清楚地了解到學(xué)生在那一時(shí)段的變化情況，利用此功能可以設(shè)置到如下兩個(gè)時(shí)間段：學(xué)生剛剛拿到題庫(kù)的時(shí)候和學(xué)生交卷得到成績(jī)的時(shí)候。在這兩個(gè)比較特殊的時(shí)間段，可以拿到學(xué)生諸多有效的信息，如學(xué)生剛剛拿到考題時(shí)候的那個(gè)時(shí)間段，臉部呈現(xiàn)出來(lái)的表情和他心理的是否匹配，與他心理的期望值是多少等，同理在學(xué)生交卷得到成績(jī)的時(shí)刻都可以做相同的數(shù)據(jù)統(tǒng)計(jì)，這樣教師可以根據(jù)大部分學(xué)生的情況可以了解到考題出的難易程度是否合適，學(xué)生對(duì)成績(jī)的滿意程度等做出相應(yīng)的教學(xué)整改工作。

5.6轉(zhuǎn)向情況分析

轉(zhuǎn)向情況分析主要是將學(xué)生在考試過(guò)程中的偏移情況用折線圖展現(xiàn)出來(lái)，系統(tǒng)主要將學(xué)生的位置分布在左、中、右三個(gè)位置，左邊和右邊又分為兩個(gè)臨界值，分析出學(xué)生的轉(zhuǎn)向情況，如偶爾處于臨界值則屬于正常情況，長(zhǎng)期處于臨界值則屬于有問(wèn)題，通過(guò)這樣的統(tǒng)計(jì)可以得出學(xué)生在考試過(guò)程中的一個(gè)臉部位置分布大致情況，轉(zhuǎn)向情況走勢(shì)分析圖如圖6所示。系統(tǒng)在后臺(tái)的統(tǒng)計(jì)規(guī)則是取出圖片中人臉的鼻子的x坐標(biāo)值進(jìn)行統(tǒng)計(jì)，可以進(jìn)行某一段時(shí)間的集中分析，也可以對(duì)全部時(shí)間的情況分析，通過(guò)條形圖可以很清楚地看到學(xué)生的具體轉(zhuǎn)向情況，如處于某一個(gè)臨界值位置是否過(guò)于密集等情況。

6總結(jié)

本系統(tǒng)基于Java語(yǔ)言技術(shù)，采用SSM框架，使用人臉檢測(cè)與分析以及人臉驗(yàn)證等技術(shù)對(duì)學(xué)生上機(jī)學(xué)習(xí)或者考試過(guò)程中的人臉信息進(jìn)行采集分析，對(duì)解析的圖片數(shù)據(jù)進(jìn)行可視化呈現(xiàn)。本系統(tǒng)將人臉識(shí)別共劃分為四個(gè)部分，分別是表情分析（劃分為10個(gè)維度）、表情走勢(shì)分析、轉(zhuǎn)向分析（左、中、右偏離度數(shù)）基于人臉識(shí)別對(duì)機(jī)考平臺(tái)學(xué)生面部信息的收集分析，可以幫助老師了解學(xué)生對(duì)于該堂考試的具體情況、具有針對(duì)性的改善本學(xué)科的教學(xué)任務(wù)以及進(jìn)一步完善機(jī)考設(shè)施制度。