人臉識(shí)別技術(shù)在智慧校園建設(shè)中的應(yīng)用研究

摘? 要：通過從智慧校園門禁或考勤系統(tǒng)建設(shè)的角度出發(fā)，基于改進(jìn)SSD深度學(xué)習(xí)算法，構(gòu)建起用于門禁或考勤人臉監(jiān)測(cè)的網(wǎng)絡(luò)框架，利用多尺度特征圖框選識(shí)別目標(biāo)候選區(qū)域，通常人臉識(shí)別只需要設(shè)置4×4×n的卷積核，使用DAN算法、特征向量分類器，實(shí)現(xiàn)人臉關(guān)鍵點(diǎn)提取、特征向量層次聚類，并將識(shí)別后的人臉特征向量與后臺(tái)數(shù)據(jù)庫的人臉圖像比對(duì)，以保證人臉識(shí)別結(jié)果的精確性。

關(guān)鍵詞：人臉識(shí)別技術(shù)；智慧校園；門禁或考勤系統(tǒng)；深度學(xué)習(xí)算法

中圖分類號(hào)：TP391.4? ? 文獻(xiàn)標(biāo)識(shí)碼：A? 文章編號(hào)：2096-4706（2023）13-0071-05

Research on the Application of Face Recognition Technology in the

Construction of Smart Campus

XU Bin

（Gansu Vocational and Technical College of Communications， Lanzhou? 730207， China）

Abstract： From the perspective of the construction of smart campus access control or attendance system， based on the improved SSD Deep Learning algorithm， a network framework for access control or attendance face monitoring is constructed， and the multi-scale feature map is used to frame the recognition target candidate area. Generally， face recognition only needs to set a 4×4×n convolution kernel， and it uses the DAN algorithm and feature vector classifier to realize the extraction of face key points and hierarchical clustering of feature vectors. It compares the recognized face feature vectors with the face images in the background database to ensure the accuracy of face recognition results.

Keywords： face recognition technology; smart campus; access control or attendance system; Deep Learning algorithm

0? 引? 言

人臉識(shí)別作為公共空間環(huán)境中的生物特征識(shí)別技術(shù)，可被用于城市智慧安防、智慧校園的門禁或考勤人臉識(shí)別監(jiān)測(cè)，具有高安全可靠性、便捷性的優(yōu)勢(shì)。因而基于改進(jìn)SSD（Single Shot MultiBox Detector）深度學(xué)習(xí)算法、多尺度特征圖，框選需識(shí)別的人臉目標(biāo)候選區(qū)域，并使用DAN（Deep Alignment Network）算法進(jìn)行人臉關(guān)鍵點(diǎn)檢測(cè)、人臉特征提取，完成人臉檢測(cè)、人臉對(duì)齊、人臉特征提取、人臉識(shí)別等執(zhí)行流程，帶動(dòng)校園人員管理的智能化發(fā)展。

1? 智慧校園建設(shè)中涉及的人臉識(shí)別技術(shù)

1.1? SSD深度學(xué)習(xí)算法

采用基于MobileNet卷積網(wǎng)絡(luò)的SSD目標(biāo)檢測(cè)框架，替代原有VGG-16大目標(biāo)檢測(cè)框架作為骨干網(wǎng)絡(luò)，包括數(shù)據(jù)集擴(kuò)充、先驗(yàn)框鋪設(shè)、正負(fù)樣本獲取等的預(yù)處理流程，以及輸出多尺度特征圖、人臉候選框映射匹配、人臉分類與回歸、置信度過濾等人臉檢測(cè)過程，可過濾掉某一圖像中的背景信息、提取人臉特征圖像信息[1]。

1.1.1? 數(shù)據(jù)集擴(kuò)充方法

在進(jìn)行人臉檢測(cè)目標(biāo)訓(xùn)練之前，需根據(jù)采集的圖像進(jìn)行數(shù)據(jù)樣本集數(shù)量、形狀的擴(kuò)充，截取某一人臉圖像的不同區(qū)域，形成原圖、截取圖之間的交并比值為0.1、0.3、0.5、0.7和0.9，截取的子圖像實(shí)例如圖1所示。

根據(jù)圖1可得出，截取后的子圖像與原圖像在大小比例上為0.1～1.0、長寬比例上為0.5～1.0。將所有子圖像完成采樣后，重新調(diào)整子圖像大小、以1/2概率進(jìn)行圖像水平翻轉(zhuǎn)，構(gòu)造出更多不同大小、形狀的人臉目標(biāo)圖像，使SSD算法的網(wǎng)絡(luò)迭代訓(xùn)練具有更好魯棒性。

1.1.2? 先驗(yàn)框鋪設(shè)策略

SSD深度學(xué)習(xí)算法的核心是采用多尺度特征圖，包括4×4、8×8等不同尺寸的特征圖，完成對(duì)待檢測(cè)人臉特征的框選。其中特征圖每個(gè)小格作為一個(gè)單元，則4×4、8×8特征圖對(duì)應(yīng)分別有16、64個(gè)單元，每個(gè)特征圖小格分別對(duì)應(yīng)k個(gè)先驗(yàn)選框，每個(gè)框預(yù)測(cè)C個(gè)不同特征類別得分、四個(gè)偏移目標(biāo)框的值，則m×n規(guī)格的特征圖上，會(huì)產(chǎn)生（C+4）×k×m×n個(gè)預(yù)測(cè)值。人臉目標(biāo)檢測(cè)的特征圖及先驗(yàn)框如圖2所示。

1.1.3? 正負(fù)樣本獲取方法

在進(jìn)行人臉目標(biāo)識(shí)別的算法迭代訓(xùn)練時(shí)，首先需對(duì)訓(xùn)練樣本集中的每張圖片，確認(rèn)圖像中真實(shí)目標(biāo)框與先驗(yàn)框的匹配準(zhǔn)則。首先找到與真實(shí)目標(biāo)框存在最大交并比的先驗(yàn)框，形成真實(shí)目標(biāo)框與先驗(yàn)框的合理匹配，之后驗(yàn)證該匹配的先驗(yàn)框是否為正樣本，若“是”則表明該先驗(yàn)框?yàn)槿四樧R(shí)別檢測(cè)框，若“否”則表明該先驗(yàn)框?yàn)楸尘翱?，其中包含?shù)據(jù)樣本為只能與背景匹配的負(fù)樣本。

根據(jù)圖3可得出，實(shí)線框?yàn)镚T真實(shí)目標(biāo)框、虛線框?yàn)橄闰?yàn)框，TP和FP分別為正樣本、負(fù)樣本。盡管真實(shí)目標(biāo)框、先驗(yàn)框可進(jìn)行合理匹配，但匹配到的先驗(yàn)框負(fù)樣本仍舊過多[2]。為解決這一問題，需采用hard negative mining策略，進(jìn)行特征圖的m個(gè)正樣本、其他負(fù)樣本數(shù)據(jù)挖掘，按照置信度誤差進(jìn)行先驗(yàn)框預(yù)測(cè)前景、背景的置信度排列，保證識(shí)別到人臉樣本的準(zhǔn)確性。

1.2? 改進(jìn)SSD網(wǎng)絡(luò)算法

由于人臉相比于人體面積小得多，因而改進(jìn)SSD人臉目標(biāo)檢測(cè)算法，使用計(jì)算量級(jí)更小的MobileNet卷積層作為骨干網(wǎng)絡(luò)，進(jìn)行人臉目標(biāo)檢測(cè)任務(wù)設(shè)置、卷積層添加與抽取[3]。同樣與原有SSD網(wǎng)絡(luò)框架相比，改進(jìn)SSD網(wǎng)絡(luò)算法舍棄了Conv6之前的特征圖層，這是因?yàn)镃onv4/5層次以前的位置較淺、人臉與背景的特征建設(shè)不足，很難保證先驗(yàn)框中存在有價(jià)值的人臉檢測(cè)信息，因此用于人臉檢測(cè)的卷積層只包括Conv11、Conv13、Conv14_2、Conv15_2、Conv16_2、Conv17_2，所對(duì)應(yīng)的特征圖大小分別為19×19、10×10、5×5、3×3、2×2、1×1，具體如圖4所示。

按照{(diào)1/2，1}、{1，2}、{1，3}等不同的長寬比設(shè)置先驗(yàn)框，6層特征圖中分別對(duì)應(yīng)的先驗(yàn)框個(gè)數(shù)為3個(gè)、6個(gè)、6個(gè)、6個(gè)、6個(gè)、6個(gè)，按照每個(gè)先驗(yàn)框有四個(gè)預(yù)測(cè)器得到偏移值，則與之對(duì)應(yīng)的坐標(biāo)回歸預(yù)測(cè)器數(shù)目為12個(gè)、24個(gè)、24個(gè)、24個(gè)、24個(gè)、24個(gè)。利用預(yù)測(cè)器對(duì)先驗(yàn)框背景、人臉檢測(cè)目標(biāo)置信度值進(jìn)行預(yù)測(cè)，可在保證預(yù)測(cè)精度前提下，有效降低模型運(yùn)算復(fù)雜度、運(yùn)行時(shí)間。

1.3? DAN關(guān)鍵點(diǎn)檢測(cè)算法

DAN算法也被稱為人臉關(guān)鍵點(diǎn)檢測(cè)算法，該算法通過對(duì)檢測(cè)人臉的角度調(diào)整、人臉目標(biāo)關(guān)鍵特征點(diǎn)提取、關(guān)鍵點(diǎn)位置修正，得到對(duì)齊于標(biāo)準(zhǔn)位置的完整人臉圖像，作為關(guān)鍵點(diǎn)熱圖如圖5所示[4]。根據(jù)輸入的人臉目標(biāo)灰度圖I、標(biāo)準(zhǔn)關(guān)鍵點(diǎn)模板S0，利用關(guān)鍵點(diǎn)變換層的相似變換公式 ，預(yù)測(cè)得到新的關(guān)鍵點(diǎn)位置S1，其中S0表示檢測(cè)到的人臉關(guān)鍵點(diǎn)求平均值得到。

在以上19×19、10×10、5×5、3×3、2×2、1×1等不同特征圖尺寸中，完成S0～St關(guān)鍵點(diǎn)的更新，新的關(guān)鍵點(diǎn)會(huì)輸入至連接層；連接層對(duì)原始圖像進(jìn)行變換，得到t + 1階段的輸入圖像Tt+1 （I ）。根據(jù)St、Tt+1 （I ）計(jì)算得到人臉關(guān)鍵點(diǎn)熱圖Ht+1，計(jì)算如式（1）：

其中H表示人臉關(guān)鍵點(diǎn)熱圖圖像， Si表示Tt+1（St）中的第i個(gè)關(guān)鍵點(diǎn)。當(dāng)所有關(guān)鍵點(diǎn)都被構(gòu)造、更新并輸出完成后，即得到整個(gè)人臉關(guān)鍵點(diǎn)的檢測(cè)熱圖。

2? 基于人臉識(shí)別的智慧校園門禁考勤系統(tǒng)設(shè)計(jì)

2.1? 智慧校園門禁考勤系統(tǒng)的總體框架

本文采用MobileNet輕量級(jí)的SSD網(wǎng)絡(luò)，作為人臉目標(biāo)檢測(cè)的特征提取、卷積計(jì)算骨干網(wǎng)絡(luò)，來降低模型訓(xùn)練及運(yùn)行時(shí)間[5]。同時(shí)由于人臉識(shí)別系統(tǒng)用于學(xué)生訪問和出勤控制，存在著人員頻繁進(jìn)出與變化的問題，因此應(yīng)使用無需開展預(yù)訓(xùn)練的“投票法”作為分類器，進(jìn)行不同人臉特征向量的分類。

當(dāng)前智慧校園的人臉識(shí)別門禁考勤系統(tǒng)，按照工作流程可分為人員注冊(cè)、人臉檢測(cè)、人臉特征提取和人臉識(shí)別等組成框架，具體結(jié)構(gòu)如圖6、圖7所示。其中注冊(cè)階段是對(duì)師生的人臉信息、身份信息進(jìn)行采集錄入；人臉檢測(cè)階段是判斷識(shí)別框中是否存在人臉；人臉特征提取、識(shí)別階段是指提取不同特征圖尺寸下，某一人臉的關(guān)鍵點(diǎn)信息，并將關(guān)鍵點(diǎn)信息與后臺(tái)的人臉數(shù)據(jù)進(jìn)行比對(duì)，完成人臉識(shí)別工作后，進(jìn)行師生人員的門禁控制和考勤操作。

2.2? 人員注冊(cè)

高校師生人員注冊(cè)階段，首先錄入注冊(cè)人員的姓名、學(xué)號(hào)等信息，同時(shí)使用外接攝像頭采集人臉圖像信息，判斷采集區(qū)域是否出現(xiàn)人臉信號(hào)，并將采集到的人臉信息輸出顯示、存儲(chǔ)至MySQL數(shù)據(jù)庫之中將大于預(yù)設(shè)置信度的人臉圖像作出整合，保存到本地文件系統(tǒng)。為保證識(shí)別精度，采集的人臉幀數(shù)不能低于20幀，具體的人臉信息采集界面如圖8所示。

2.3? 人臉關(guān)鍵點(diǎn)檢測(cè)與變換

利用以上DAN深度學(xué)習(xí)算法的網(wǎng)絡(luò)模型，執(zhí)行人臉關(guān)鍵點(diǎn)檢測(cè)、仿射變換等的步驟，對(duì)外接攝像頭拍攝的人臉圖像幀進(jìn)行模型訓(xùn)練。采用人眼關(guān)鍵點(diǎn)作為基準(zhǔn)點(diǎn)，進(jìn)行人臉圖像數(shù)據(jù)集的旋轉(zhuǎn)、平移和尺度變換，將數(shù)據(jù)集樣本轉(zhuǎn)化為灰度圖，計(jì)算樣本均值μ、標(biāo)準(zhǔn)差std，按照（I - μ） / std的計(jì)算公式規(guī)范化處理樣本。

之后加載訓(xùn)練好的DAN模型，得到人臉檢測(cè)圖像的關(guān)鍵點(diǎn)坐標(biāo)信息?；跈z測(cè)到的人臉面部關(guān)鍵點(diǎn)信息，通過平移、旋轉(zhuǎn)、反轉(zhuǎn)和縮放操作，使用仿射變換方法。將面部圖像映射到正面校正圖像，來完成人臉面部圖像對(duì)齊操作（如圖8），其“線性變換+平移”過程的計(jì)算公式如式（2）：

其中（x′，y′）表示原始坐標(biāo)、（x，y）表示變換后的坐標(biāo)，a、b、c、d、e、f表示仿射變換系數(shù)。假設(shè)識(shí)別標(biāo)準(zhǔn)臉中存在n個(gè)關(guān)鍵點(diǎn)，且第i個(gè)關(guān)鍵點(diǎn)表示為（xi，yi）T、待對(duì)齊人臉目標(biāo)的關(guān)鍵點(diǎn)坐標(biāo)為（xi，yi）T，那么該人臉檢測(cè)目標(biāo)與標(biāo)準(zhǔn)臉對(duì)齊的仿射變換，可用以下矩陣計(jì)算公式進(jìn)行表示：

2.4? 人臉特征提取與比對(duì)

人臉特征提取是選擇多張不同側(cè)面的人臉圖像幀，按照19×19、10×10、5×5、3×3、2×2、1×1的特征圖大小設(shè)置數(shù)據(jù)集，在人臉特征提取訓(xùn)練前，對(duì)數(shù)據(jù)集進(jìn)行裁剪、旋轉(zhuǎn)、鏡像等的操作。使用改進(jìn)SSD網(wǎng)絡(luò)框架作為特征提取器，取正向傳播法Conv11、Conv13、Conv14_2、Conv15_2、Conv16_2、Conv17_2卷積層，作為人臉識(shí)別圖像的樣本特征向量[6]。

利用多數(shù)投票法，對(duì)人臉識(shí)別待測(cè)樣本、人臉庫數(shù)據(jù)樣本之間的距離進(jìn)行預(yù)測(cè)，若二者的間距小于閾值，則為該人臉特征向量投票，得票最多的人臉特征向量，即可參與人臉對(duì)應(yīng)特征的比對(duì)（如圖9所示），具體的人臉特征提取與比對(duì)執(zhí)行步驟如下：

1）計(jì)算所有人臉數(shù)據(jù)樣本的特征向量，將其保存為文件，并計(jì)算新捕獲的視頻幀中與人臉相對(duì)應(yīng)的特征向量。

2）對(duì)于要測(cè)試的樣本，計(jì)算要測(cè)試的人臉，與人臉庫的所有特征向量之間的距離（特征向量的相似度越大，距離值越?。?，并確定匹配是否基于設(shè)置的閾值。

3）根據(jù)標(biāo)簽對(duì)所有具有匹配特征的人臉圖像進(jìn)行分類，找出匹配數(shù)量最多的組作為人臉判斷信息（類別p），用于用戶的智能識(shí)別。

4）計(jì)算所有人臉面部特征匹配結(jié)果，并判斷類別p的比例是否大于設(shè)置的閾值0.7。如果“是”，則完成面部相似性判斷識(shí)別，并打開相應(yīng)的控制門；否則，該臉被判斷為陌生人臉。

對(duì)不同數(shù)據(jù)集的測(cè)試樣本數(shù)據(jù)作出識(shí)別，得到不同閾值條件下的識(shí)別準(zhǔn)確度如表1所示。由于人臉圖像特征向量的提取，會(huì)受到光照、角度、背景等條件影響，因而使得特征向量之間歐氏距離的大小有所波動(dòng)，因此管理者只需選擇實(shí)際情況下的最小測(cè)試結(jié)果。

實(shí)驗(yàn)結(jié)果得出，基于改進(jìn)SSD、DAN網(wǎng)絡(luò)學(xué)習(xí)算法的人臉識(shí)別技術(shù)，被用于智慧校園門禁或考勤系統(tǒng)建設(shè)中，對(duì)內(nèi)部人員的人臉識(shí)別平均跟蹤幀率為37幀/秒，識(shí)別檢測(cè)時(shí)間為100 ms左右、識(shí)別精度為95%以上，可滿足智慧校園中不同公共空間的人臉識(shí)別需求。

3? 結(jié)? 論

傳統(tǒng)智慧校園管理系統(tǒng)的建設(shè)，通常依托網(wǎng)絡(luò)攝像機(jī)、射頻識(shí)別（RFID）技術(shù)、熱成像測(cè)溫技術(shù)等，發(fā)出射頻或紅外信號(hào)，自動(dòng)識(shí)別門禁卡的目標(biāo)對(duì)象、獲取相關(guān)數(shù)據(jù)，但難以保證出入人員智能化管理的安全性。而SSD網(wǎng)絡(luò)算法是對(duì)人臉識(shí)別區(qū)域作出框定和檢測(cè)的方法，其借鑒了Faster RCNN目標(biāo)檢測(cè)、YOLO目標(biāo)檢測(cè)與訓(xùn)練方法，通過設(shè)置錨點(diǎn)形成目標(biāo)檢測(cè)選框，使用包含高層、低層特征的多尺度特征圖，進(jìn)行不同尺度的人臉目標(biāo)識(shí)別、關(guān)鍵點(diǎn)檢測(cè)、特征向量提取，將人臉檢測(cè)任務(wù)轉(zhuǎn)換為特征錨點(diǎn)回歸任務(wù)，能夠?yàn)閹熒娜粘３鋈腴T禁控制、考勤管理提供支持。

參考文獻(xiàn)：

[1] 楊增.信息化背景下智能校園管理平臺(tái)建設(shè)研究——以云南文化藝術(shù)職業(yè)學(xué)院為例[J].學(xué)園，2020，13（20）：3-4.

[2] 趙飛燕，張丙虎.智慧校園學(xué)生管理系統(tǒng)的設(shè)計(jì)與構(gòu)建 [J].現(xiàn)代信息科技，2021，5（16）：35-37.

[3] 羅利華.校園管理系統(tǒng)的標(biāo)準(zhǔn)化策略分析 [J].電子技術(shù)，2022，51（4）：262-263.

[4] 林壽光.基于實(shí)驗(yàn)室考勤系統(tǒng)的快速人臉識(shí)別算法研究 [J].信息技術(shù)，2019，43（4）：16-18+22.

[5] 黃義妨，魏丹丹，武淼，等.面向不同傳感器與復(fù)雜場景的人臉識(shí)別系統(tǒng)防偽方法綜述 [J].計(jì)算機(jī)工程，2021，47（12）：1-18.

[6] 王彥秋，馮英偉.基于大數(shù)據(jù)的人臉識(shí)別方法 [J].現(xiàn)代電子技術(shù)，2021，44（7）：87-90.

作者簡介：徐斌（1965—），男，漢族，四川什邡人，正高級(jí)工程師，本科，研究方向：圖形圖像。

收稿日期：2023-02-09

基金項(xiàng)目：甘肅省教育廳廳級(jí)課題（2022A-235）