基于動態(tài)人臉識別的智慧班牌系統(tǒng)的設(shè)計與實現(xiàn)＊

廈門華廈學(xué)院 洪小堅 陳志聰

智慧班牌是教育信息化和“互聯(lián)網(wǎng)+”、物聯(lián)網(wǎng)深度融合的信息終端之一，能夠呈現(xiàn)和采集數(shù)據(jù)信息，硬件部分主要以耗電少、功能強的Advanced RISC Machines微處理器為核心，進行數(shù)據(jù)存儲模塊、串口WiFi模塊、通訊模塊、液晶顯示觸摸模塊的拓展，使用基于USB Video Class協(xié)議的通用USB攝像頭采集人臉圖像。通過智慧班牌在智慧校園信息云平臺中的應(yīng)用，能夠呈現(xiàn)豐富多彩的校園特色和班級文化數(shù)據(jù)，為學(xué)生、老師和家長架設(shè)溝通、互動媒介，打通智慧校園應(yīng)用管理平臺通道，促進班級、師生間形成“VR+”社區(qū)，真正發(fā)揮出智慧校園生態(tài)教育優(yōu)勢。為促使智慧校園在上課簽到、考勤打卡和信息查詢、信息發(fā)布等環(huán)節(jié)上，生成“數(shù)字化”“智慧化”“人性化”屬性，文章基于動態(tài)人臉識別技術(shù)設(shè)計與實現(xiàn)智慧班牌系統(tǒng)，經(jīng)測試，該系統(tǒng)不需要識別對象停駐等待，只需要識別對象出現(xiàn)在一定的識別范圍內(nèi)，能夠自動識別和實現(xiàn)1s內(nèi)抓拍和采集信息，動態(tài)人臉識別的準確率可達98.6%。

伴隨教育信息化2.0行動計劃的發(fā)布，信息云平臺全面運用計算機、多媒體、大數(shù)據(jù)、人工智能和現(xiàn)代信息技術(shù)等手段，布局教育教學(xué)信息化，大量智能終端應(yīng)用在智慧校園建設(shè)過程中[1]。利用動態(tài)人臉識別手段實現(xiàn)高效實時的管理已經(jīng)成為人工智能新發(fā)展方向，設(shè)計智能化識別系統(tǒng)代替人工操作已經(jīng)成為必然趨勢[2]。本設(shè)計依托卷積神經(jīng)網(wǎng)絡(luò)、DBN和堆棧自編碼網(wǎng)絡(luò)模型等進行深度學(xué)習(xí)，基于動態(tài)人臉識別技術(shù)，集成動態(tài)人臉識別算法，設(shè)計和實現(xiàn)智慧班牌系統(tǒng)的搭建，快速核實身份、上傳識別結(jié)果、統(tǒng)一處理采集數(shù)據(jù)，全流程功能自動化。

1 基于動態(tài)人臉識別的智慧班牌系統(tǒng)架構(gòu)

智慧班牌系統(tǒng)是智慧校園2.0總體架構(gòu)中，教育信息化標準體系智慧教學(xué)環(huán)境中的關(guān)鍵組成一環(huán)，主要由智慧班牌管理軟件和Android投射式電容10點觸摸屏幕共同組成，支持手寫及多點手勢，觸摸速度小于3ms，精確度高且易于維護。管理軟件與智慧校園網(wǎng)絡(luò)核心機房服務(wù)器連接，通過PDP顯示器、LCD顯示器、液晶電視（Liquid Crystal TV）、LED顯示屏、DLP大屏拼接（Digital Light Procession）等，與播放終端硬件配合，接受管理軟件所發(fā)布的播放內(nèi)容并存儲在本地，顯示到所連接的顯示設(shè)備上，如圖1所示?；趧討B(tài)人臉識別的智慧班牌系統(tǒng)采用Web Browser/Server網(wǎng)絡(luò)結(jié)構(gòu)模式，統(tǒng)一客戶端，將系統(tǒng)功能實現(xiàn)的核心部分主要集中在服務(wù)器上，瀏覽器通過Web Server與數(shù)據(jù)庫交互數(shù)據(jù)，成功登錄后，即可完成管理、排列、審核、發(fā)布等重要功能，可以通過攝像頭進行上課簽到、數(shù)據(jù)統(tǒng)計，也可以進行身份驗證，生成考試信息等[3]。

圖1 基于動態(tài)人臉識別的智慧班牌系統(tǒng)架構(gòu)Fig.1 Intelligent class card system architecture based on dynamic face recognition

2 基于動態(tài)人臉識別的智慧班牌系統(tǒng)硬件設(shè)計

智慧班牌系統(tǒng)硬件部分主要以Advanced RISC Machines微處理器為核心，硬件電路針對拓展模塊的接口進行電路設(shè)計。為完成該系統(tǒng)的指定功能，進行數(shù)據(jù)存儲模塊、串口WiFi模塊、通訊模塊、液晶顯示觸摸模塊的拓展，使用基于USB Video Class協(xié)議的通用USB攝像頭采集人臉圖像。對于Advanced RISC Machines微處理器，選取三星S5P6818核心板（ARM八核Cortex-A53架構(gòu)）提供通用外設(shè)接口，主頻1.4GHz，不需要進行外圍器件的擴充，功耗較低、簡單方便，支持Android系統(tǒng)，通過全靜態(tài)設(shè)計契合系統(tǒng)運行需求。三星S5P6818核心板可擴展性較強，多達184PIN管腳，PCB采取8層沉金工藝，電氣特性和抗干擾特性穩(wěn)定可靠，同時，該核心板板載PMU，能夠在系統(tǒng)控制過程中進行科學(xué)的充電管理。在片上資源中，三星S5P6818核心板集成LCD顯示器專用的LCD顯示控制器，同時包含3路串口通信，2路高速、全雙工、同步串行外設(shè)接口，PHLIPS IIC總線接口，4路DMA Controller，依靠三星S5P6818核心板能夠較為便捷地添加人機交互模塊、通訊模塊，滿足本次系統(tǒng)設(shè)計和實現(xiàn)的需求。為便于上課簽到成功，采用分辨率1920×1080的高清屏幕作為人機交互界面，同時在本地數(shù)據(jù)庫保存相關(guān)數(shù)據(jù)，在系統(tǒng)通用性上，使用基于USB Video Class協(xié)議的通用USB攝像頭采集人臉圖像[4]。

3 基于動態(tài)人臉識別的智慧班牌系統(tǒng)軟件設(shè)計

3.1 操作系統(tǒng)定制與應(yīng)用軟件開發(fā)

Android系統(tǒng)基于Linux內(nèi)核的自由及開放源代碼的操作系統(tǒng)，主要由Linux內(nèi)核、DLL形式的運行庫、虛擬機共同組成。本次系統(tǒng)的軟件設(shè)計通過嵌入Android系統(tǒng)完成系統(tǒng)軟件設(shè)計與實現(xiàn)，由操作系統(tǒng)定制與應(yīng)用軟件開發(fā)構(gòu)成系統(tǒng)軟件開發(fā)，系統(tǒng)軟件設(shè)計過程中使用基于USB Video Class協(xié)議的通用USB攝像頭獲取人臉圖像，在操作層集成支持USB Video Class協(xié)議的USB攝像頭驅(qū)動程序，主要目的在于提升攝像頭的使用穩(wěn)定程度。在操作系統(tǒng)定制過程中提取Android NDK工具鏈，封裝Linux內(nèi)核內(nèi)的驅(qū)動程序，生成JNIEnv接口供Android系統(tǒng)的應(yīng)用層進行調(diào)用。

嵌入Android系統(tǒng)的智慧班牌系統(tǒng)軟件開發(fā)主要通過建立基于Linux內(nèi)核的應(yīng)用軟件環(huán)境、移植Linux內(nèi)核、建立Linux文件系統(tǒng)、移植Android系統(tǒng)和開發(fā)系統(tǒng)應(yīng)用程序幾個步驟完成?；贚inux內(nèi)核的應(yīng)用軟件環(huán)境是一種交叉開發(fā)環(huán)境，在運行過程中，應(yīng)用軟件的環(huán)境一般采取宿主-目標的模式完成交叉編譯，這樣的環(huán)境便于Linux內(nèi)核進行開發(fā)和調(diào)試。Linux內(nèi)核在移植過程中，需要根據(jù)系統(tǒng)硬件情況進行定制處理，在滿足系統(tǒng)需求的前提下占據(jù)最小規(guī)模硬件資源。建立Linux文件系統(tǒng)需要將交叉編譯完成的Linux內(nèi)核文件與NFS網(wǎng)絡(luò)文件，燒寫到開發(fā)板，促使Linux獨立啟動并成功運行。在移植Android系統(tǒng)和開發(fā)系統(tǒng)應(yīng)用程序時，需要在Linux操作系統(tǒng)中的Ubuntu16.04完成編譯，完成后燒錄至開發(fā)板，隨機完成應(yīng)用軟件的調(diào)整和測試[5]。

3.2 基于動態(tài)人臉識別的技術(shù)模型訓(xùn)練

本設(shè)計依托卷積神經(jīng)網(wǎng)絡(luò)、DBN（深度置信網(wǎng)絡(luò)）和堆棧自編碼網(wǎng)絡(luò)模型等進行深度學(xué)習(xí)，基于動態(tài)人臉識別技術(shù)，集成動態(tài)人臉識別算法，輔助圖像處理（Image Processing）算法，設(shè)計和實現(xiàn)智慧班牌系統(tǒng)的搭建，提取生物面部特征點，通過匹配特征值判定所采集的數(shù)據(jù)信息，繼而快速核實身份、上傳識別結(jié)果、統(tǒng)一處理采集數(shù)據(jù)，全流程功能自動化?；趧討B(tài)人臉識別的技術(shù)模型訓(xùn)練所使用的算法主要涉及到人臉檢測和人臉識別。人臉檢測是人臉識別的預(yù)處理，本次系統(tǒng)的設(shè)計和實現(xiàn)主要依從數(shù)字圖像處理的積分圖、級聯(lián)多層檢測器、Ada Boost迭代算法的人臉檢測方法，通過數(shù)字圖像處理的積分圖計算所采集的生物面部特征點，使用Ada Boost迭代算法進行生物面部特征點集中篩分，最后通過級聯(lián)多層檢測器完成生物面部圖像檢索[6]。

本次系統(tǒng)的設(shè)計和實現(xiàn)采用Visual Geometry Group Net深層卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，針對生物面部特征數(shù)據(jù)進行訓(xùn)練，通過提取生物面部特征數(shù)據(jù)信息，進行訓(xùn)練后的測試。在訓(xùn)練過程中，采取深層卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)中的卷積流實施操作，采用稀疏權(quán)重、權(quán)值共享連接神經(jīng)元。利用濾波器對標準化的生物面部數(shù)據(jù)進行處理，經(jīng)過處理后，得到帶有特征點的數(shù)據(jù)，應(yīng)用這部分數(shù)據(jù)做減采集操作，通過交替分布卷積和減采集進行連接，若干層厚得到卷積神經(jīng)網(wǎng)絡(luò)特征映射圖，本次系統(tǒng)設(shè)計中用于提升神經(jīng)網(wǎng)絡(luò)表征能力的激活函數(shù)（Activation Function），采取Re LU（修正線性單元），需要針對所采集的生物面部特征信息將高維數(shù)據(jù)轉(zhuǎn)化為低維數(shù)據(jù)，主要目的在于減小數(shù)據(jù)運算量，確定參數(shù)。在測試過程中，需要進行圖像預(yù)處理，確定好參數(shù)后進行生物面部特征點提取，實施數(shù)據(jù)降維后進行分類匹配并完成人臉識別，驗證身份。在人臉識別模型訓(xùn)練過程中使用學(xué)習(xí)算法接口執(zhí)行學(xué)習(xí)算法框架，訓(xùn)練后的模型能夠在異構(gòu)系統(tǒng)中進行快速移植。

3.3 系統(tǒng)軟件設(shè)計

系統(tǒng)軟件需要通過不同的算法執(zhí)行不同模塊的功能。針對信息顯示模塊，當(dāng)智慧班牌待機，人臉識別終端的人臉識別顯示屏幕始終處于關(guān)閉狀態(tài)，攝像頭處于未被成功出發(fā)狀態(tài)，觸控顯示器始終顯示的是班牌的默認界面。針對考勤模塊，當(dāng)智慧班牌定義為考勤狀態(tài)時，點擊攝像頭，程序?qū)ο到y(tǒng)硬件完成初始化操作，使用攝像頭驅(qū)動采集圖像數(shù)據(jù)信息，學(xué)生需要根據(jù)課程表進行打卡，采集人臉檢測信息，觸控顯示器和攝像頭通過運動檢測被成功激活，啟動人臉識別顯示屏幕，成功檢測到攝像頭捕捉到的人臉面部數(shù)據(jù)，識別后反饋實時時間和信息至考勤模塊。針對一卡通模塊，學(xué)生通過向系統(tǒng)進行充值激活該功能模塊，當(dāng)智慧班牌功能定義為一卡通功能模塊時，需要準確輸入充值金額，學(xué)生需要通過人臉識別進行準確的時間、金額信息反饋、記錄或扣費。針對信息查詢模塊，一旦智慧班牌的功能被定義為查詢模塊時，需要在人臉識別終端進行人臉識別操作，計入程序后通過向服務(wù)器發(fā)出請求，收到返回的數(shù)據(jù)，解析并將數(shù)據(jù)放置在對應(yīng)的控件中，模塊根據(jù)數(shù)據(jù)信息自動進入信息查詢和操作界面，隨機進行及時的查詢操作。

4 基于動態(tài)人臉識別的智慧班牌系統(tǒng)測試

系統(tǒng)在進行開發(fā)設(shè)計后，需要經(jīng)過一系列精準的系統(tǒng)測試，查看測試效果。在促使過程中，分別針對信息顯示界面、考勤界面、一卡通界面、信息查詢界面進行測試。打開軟件后，在1s內(nèi)能夠?qū)崿F(xiàn)信息顯示界面的信息顯示，考勤界面能夠在2s內(nèi)完成考勤處理，考勤結(jié)果與考勤同步進行更新，智慧班牌表現(xiàn)出較為穩(wěn)定的顯示性能，顯示屏幕能夠連續(xù)工作12h以上，基于USB Video Class協(xié)議的通用USB攝像頭在不存在故障的前提下，能夠連續(xù)工作超過60h，可以滿足基于動態(tài)人臉識別的智慧班牌系統(tǒng)的測試需求。經(jīng)測試，該系統(tǒng)不需要識別對象停駐等待，只需要識別對象出現(xiàn)在一定的識別范圍內(nèi)，能夠自動識別和實現(xiàn)1s內(nèi)抓拍和采集信息，動態(tài)人臉識別的準確率可達98.6%。

5 結(jié)語

人臉識別是現(xiàn)階段識別領(lǐng)域的前沿課題，主要利用計算機技術(shù)和數(shù)據(jù)庫的人臉圖像進行有效信息的識別和分析，繼而辨認身份。該系統(tǒng)通過嵌入Android系統(tǒng)，依托卷積神經(jīng)網(wǎng)絡(luò)、DBN和堆棧自編碼網(wǎng)絡(luò)模型等進行深度學(xué)習(xí)，基于動態(tài)人臉識別技術(shù)，集成動態(tài)人臉識別算法，設(shè)計和實現(xiàn)智慧班牌系統(tǒng)的搭建，能夠?qū)崿F(xiàn)信息顯示、考勤、一卡通、信息查詢功能，屏幕界面清晰美觀、數(shù)據(jù)統(tǒng)計準確，系統(tǒng)性能可靠、穩(wěn)健、易用、可移植。

引用

[1]王繼超,張麗娟,尤田,等.人臉識別的智能防疫系統(tǒng)設(shè)計[J].河北水利電力學(xué)院學(xué)報,2021,31(4):55-59.

[2]黃明明,黃全振,孫清原.基于模糊推理的智能家居安防系統(tǒng)設(shè)計[J].河南工程學(xué)院學(xué)報(自然科學(xué)版),2019,31(4):54-58.

[3]李佩,汪紅娟,李業(yè)麗,等.基于AdaBoost人臉檢測算法的分析研究[J].北京印刷學(xué)院學(xué)報,2020,28(1):128-132.

[4]鐘娟,馬開聰.基于安卓及云服務(wù)平臺的考勤管理系統(tǒng)[J].湖北工程學(xué)院學(xué)報,2021,41(6):77-84.

[5]張學(xué)鋒,王子琦,湯亞玲.基于YOLO-CDF神經(jīng)網(wǎng)絡(luò)的安全帽檢測[J].重慶工商大學(xué)學(xué)報(自然科學(xué)版),2022,39(4):32-41.

[6]陳拓,邢帥,楊文武,等.融合時空域特征的人臉表情識別[J].中國圖象圖形學(xué)報,2022,27(7):2185-2198.