基于MTCNN的FaceNet架構(gòu)的人臉識(shí)別考勤系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)

李林峰 李春青 田博源 廖曉霞

摘要：該文設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)基于MTCNN的FaceNet架構(gòu)的人臉識(shí)別考勤系統(tǒng)。在系統(tǒng)中，將多級(jí)聯(lián)CNN模型（MTCNN）應(yīng)用于人臉檢測(cè)里，可以提高對(duì)光照陰影等自然變化因素存在的魯棒性，對(duì)于人臉識(shí)別部分采用FaceNet網(wǎng)絡(luò)架構(gòu)。實(shí)驗(yàn)證明，基于MTCNN的FaceNet架構(gòu)相較于傳統(tǒng)的人臉檢測(cè)與識(shí)別具有更好的效果。最后，在保證識(shí)別速度和識(shí)別精度的前提下對(duì)數(shù)據(jù)的計(jì)算量進(jìn)行了優(yōu)化。

關(guān)鍵詞：MTCNN：FaceNet架構(gòu);人臉識(shí)別

中圖分類(lèi)號(hào)：TP37 文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1009-3044（2020）27-0181-03

開(kāi)放科學(xué)（資源服務(wù)）標(biāo)識(shí)碼（OSID）：

現(xiàn)如今隨著教育力度的大力發(fā)展和學(xué)生人數(shù)的逐漸增多，傳統(tǒng)的考勤點(diǎn)名考勤或者簽名考勤存在著虛假簽到的弊端，極大影響了學(xué)生平時(shí)成績(jī)獲取的公平性[1]，而且，這些傳統(tǒng)的考勤方式拖慢并影響了課堂的連續(xù)性和統(tǒng)一管理，無(wú)法滿(mǎn)足現(xiàn)如今快速的學(xué)生增長(zhǎng)趨勢(shì)所帶來(lái)的考勤弊端。近年來(lái)，隨著人工智能和互聯(lián)網(wǎng)的滲入，指紋考勤和人臉考勤應(yīng)運(yùn)而生，這些新式的考前系統(tǒng)可以幫助考勤管理流程化并提高效率。但是在市面上出現(xiàn)的這些考勤系統(tǒng)都是商用的，對(duì)于普通的班級(jí)上課考勤來(lái)說(shuō)，價(jià)格不菲。因此，本論文主要是設(shè)計(jì)并實(shí)現(xiàn)一個(gè)具有人臉數(shù)據(jù)添加、人臉識(shí)別的通用考勤系統(tǒng)。該系統(tǒng)將能快速地進(jìn)行人臉圖像訓(xùn)練、獲取人臉圖像特征、特征提取和人臉識(shí)別，從而生成學(xué)生考勤打卡表格，讓教師考勤變得更智能、更高效。

1 系統(tǒng)功能結(jié)構(gòu)

人臉識(shí)別系統(tǒng)功能如下圖1所示，包括：添加新用戶(hù)、人臉?shù)浫搿⑻崛∪四樚卣?、人臉識(shí)別、考勤數(shù)據(jù)管理等功能。整個(gè)系統(tǒng)界面設(shè)計(jì)圖如圖1所示。

1.1添加新用戶(hù)

本學(xué)生考勤系統(tǒng)服務(wù)定位于高校的課堂考勤管理，因此設(shè)置有兩種權(quán)限的角色：管理員和普通用戶(hù)。管理員擁有全部的權(quán)限，可以對(duì)整個(gè)系統(tǒng)信息進(jìn)行管理。而添加新用戶(hù)的工作則是管理員添加使用本系統(tǒng)進(jìn)行考勤的教師用戶(hù)，這個(gè)每一位系統(tǒng)中的教師用戶(hù)就可以使用本系統(tǒng)考勤并期末導(dǎo)出考勤數(shù)據(jù)。

1.2人臉?shù)浫?/p>

人臉識(shí)別的前提是人臉數(shù)據(jù)錄入并進(jìn)行訓(xùn)練。新建的人臉數(shù)據(jù)表包括院系、班級(jí)和學(xué)號(hào)屬性。錄入過(guò)程為：首先選擇人臉數(shù)據(jù)表與對(duì)應(yīng)的學(xué)號(hào)，點(diǎn)擊打開(kāi)攝像頭，利用OpenCV庫(kù)調(diào)用攝像頭進(jìn)行，獲取人臉圖像數(shù)據(jù)。人臉?shù)浫虢缑嫒鐖D2所示。

1.3提取人臉特征

上一步獲取人臉圖像數(shù)據(jù)后，點(diǎn)擊“特征提取”，系統(tǒng)將會(huì)對(duì)人臉圖像數(shù)據(jù)獲取，然后送人Facenet進(jìn)行訓(xùn)練得到128維的特征向量，然后遍歷特征值數(shù)據(jù)庫(kù)中的數(shù)據(jù)進(jìn)行對(duì)比檢測(cè)，如果數(shù)據(jù)中的數(shù)據(jù)與被識(shí)別的數(shù)據(jù)相似度高于閩值，則表示該人臉數(shù)據(jù)已經(jīng)存在，不再保存人臉特征數(shù)據(jù)，反之，則需要保存新的人臉特征數(shù)據(jù)。

1.4人臉識(shí)別

人臉識(shí)別過(guò)程就是考勤打卡過(guò)程，與人臉識(shí)別過(guò)程類(lèi)似，可以用來(lái)檢驗(yàn)本系統(tǒng)的準(zhǔn)確性和魯棒性。其識(shí)別過(guò)程為：通過(guò)攝像頭獲取學(xué)生面部數(shù)據(jù)，然后獲得128維的特征向量，然后遍歷特征值數(shù)據(jù)庫(kù)中的數(shù)據(jù)進(jìn)行對(duì)比檢測(cè)，如果數(shù)據(jù)中的數(shù)據(jù)與被識(shí)別的數(shù)據(jù)相似度高于閾值，則表示該人這是同一個(gè)人臉數(shù)據(jù)，更新考勤數(shù)據(jù)表，反之，則檢測(cè)不到這個(gè)人，無(wú)法進(jìn)行考勤。

1.5 考勤數(shù)據(jù)管理

本系統(tǒng)創(chuàng)建采用有人臉特征表、學(xué)生考勤表等數(shù)據(jù)表，管理員對(duì)人臉特征數(shù)據(jù)表和學(xué)生考勤表進(jìn)行增、刪、改、查的操作。

2 基于多任務(wù)級(jí)聯(lián)卷積神經(jīng)網(wǎng)絡(luò)的人臉檢測(cè)

基于多任務(wù)級(jí)聯(lián)卷積神經(jīng)[2]網(wǎng)絡(luò)（MTCNN）檢測(cè)是在CNN網(wǎng)絡(luò)模型上的改進(jìn)。在2016年的時(shí)候Kaipeng Zhang，Zhan-peng Zhang，Zhifeng Li，Yu Qiao提出了人臉檢測(cè)模型：MTCNN（Multi-task Cascaded Convolutional Net works）。這個(gè)模式是一種Multi-task的人臉檢測(cè)框架，使用3個(gè)CNN級(jí)聯(lián)算法結(jié)構(gòu)，將人臉檢測(cè)和人臉特征點(diǎn)檢測(cè)同時(shí)進(jìn)行，MTCNN人臉檢測(cè)方法對(duì)自然環(huán)境中光線(xiàn)，角度和人臉表情變化更具有魯棒性。本文多任務(wù)級(jí)聯(lián)卷積神經(jīng)網(wǎng)絡(luò)采用FaceNet網(wǎng)絡(luò)架構(gòu)。

2.1 MTCNN人臉預(yù)處理

在對(duì)模型進(jìn)行訓(xùn)練之前，往往需要對(duì)圖片進(jìn)行預(yù)處理，如濾波處理，尺寸變換，色彩空間變換等，目的是為了減少因?yàn)楣庹眨D(zhuǎn)，遮擋等自然因素的干擾，以提高檢測(cè)準(zhǔn)確率。目前人臉檢測(cè)的引用場(chǎng)景越來(lái)越多，從單一限定場(chǎng)景發(fā)展到廣場(chǎng)、車(chē)站、地鐵口等場(chǎng)景，人臉檢測(cè)面臨的要求也越來(lái)越高，比如：人臉尺度多變、姿勢(shì)多樣包括俯拍人臉、戴帽子口罩等的遮擋、表情夸張、化妝偽裝、光照條件惡劣等。其次為了在檢測(cè)過(guò)程中，能檢測(cè)到不同大小的人臉，需要把圖片進(jìn)行多次尺寸變換，即對(duì)圖像進(jìn)行圖像金字塔變換，以便為模型提供足夠多的不同尺寸圖片數(shù)據(jù)。圖像金字塔變換如圖3所示。

同時(shí)為了處理過(guò)度曝光或低曝光的圖片，需要對(duì)圖片進(jìn)行預(yù)白化，改變圖像的平均像素值為0，改變圖像的方差為單位方差1，保證訓(xùn)練圖片均處于理想狀態(tài)。一般的計(jì)算公式如公式（1）：

2.2 MTCNN人臉檢測(cè)

MTCNN中每一層都采用P-NET檢測(cè)模型。對(duì)于P-NET的模型來(lái)說(shuō)，是用單尺度[12，12]的圖片訓(xùn)練出來(lái)的，所以在推斷的時(shí)候，想要識(shí)別各種尺度的人臉更準(zhǔn)，需要把待識(shí)別的人臉的尺度先變化到接近模型尺度[12，12]。經(jīng)過(guò)多次試驗(yàn)，設(shè)置縮小因子為：√2/2≈0.709，即為每次縮放都為上一次圖片面積的1/2。圖像經(jīng)過(guò)3次卷積和1次池化操作后，原來(lái)[12，12，3]的矩陣變?yōu)閇1，1，32]，然后利用這個(gè)[1，1，32]的向量，再通過(guò)一個(gè)[1，1，2]的卷積，再通過(guò)二分類(lèi)，從而得到了“是否存在人臉”的分類(lèi)結(jié)果。其流程圖如下圖4所示。

在二分類(lèi)的問(wèn)題中，本文選擇交叉熵作為損失函數(shù)，具體公式如公式（2）：

2.3MTCNN檢測(cè)效果

本系統(tǒng)進(jìn)行了單人人臉檢測(cè)和多人人臉檢測(cè)檢測(cè)，單人人臉檢測(cè)效果如圖5所示，多人臉檢測(cè)效果如圖6所示：

3 系統(tǒng)數(shù)據(jù)優(yōu)化

本文主要從圖像數(shù)據(jù)優(yōu)化和數(shù)據(jù)庫(kù)表中數(shù)據(jù)優(yōu)化進(jìn)行系統(tǒng)的數(shù)據(jù)優(yōu)化。

3.1 尺度變化

MTCNN是多級(jí)聯(lián)卷積神經(jīng)網(wǎng)絡(luò)，如果輸入圖片規(guī)模太大，那么在進(jìn)行模型推理的時(shí)候往往會(huì)很耗費(fèi)時(shí)間。為了能夠檢測(cè)多尺度的人臉，那么在設(shè)置minsize的時(shí)候minsize越小，re-size的的金字塔層數(shù)也就越多，PNET的計(jì)算量也就越多，消耗的時(shí)間也就越長(zhǎng)。所以在第一階段，可以通過(guò)增大mlnsize來(lái)減少pnet部分的計(jì)算量。其次，在產(chǎn)生圖像金字塔時(shí)，resize的選擇的縮放算法不同，運(yùn)行時(shí)間也不同。所以在使用MTCNN進(jìn)行人臉檢測(cè)完成后，需要單獨(dú)把人臉裁剪出來(lái)，并縮放成合適的大小，在測(cè)試時(shí)，重新縮放大小為[200，200]-[140-140]的區(qū)間內(nèi)。經(jīng)測(cè)試，這種方法對(duì)FaceNet影響范圍在可接受范圍。

3.2 計(jì)算數(shù)據(jù)優(yōu)化

在傳統(tǒng)的人臉識(shí)別中，往往會(huì)把許多人的人臉混合在一起進(jìn)行訓(xùn)練，那么就會(huì)造成當(dāng)在一個(gè)比較大的數(shù)據(jù)中再次添加一個(gè)人臉圖像的時(shí)候，存在需要重新把之前的數(shù)據(jù)再訓(xùn)練一次的問(wèn)題。因此，在本系統(tǒng)中，在MTCNN進(jìn)行人臉檢測(cè)的時(shí)候，可以選擇當(dāng)前圖像中最大的人臉，并進(jìn)行裁剪縮放然后送入Facenet中進(jìn)行訓(xùn)練比對(duì)，這樣每次進(jìn)行Facenet訓(xùn)練時(shí)候都可以達(dá)到最小的訓(xùn)練量。解決了再次訓(xùn)練問(wèn)題，同時(shí)對(duì)每個(gè)人的人臉特征模型進(jìn)行分類(lèi)保存，從而大幅度地提升了系統(tǒng)運(yùn)行效率。

4 結(jié)束語(yǔ)

本文實(shí)現(xiàn)了一個(gè)的通用的人臉識(shí)別考勤系統(tǒng)，能夠穩(wěn)定、快速地幫助老師進(jìn)行課堂考勤和考勤管理，大大提高了校園信息化管理能力和課堂工作效率。

參考文獻(xiàn)：

[1]孫玥，楊國(guó)為.基于人臉識(shí)別的學(xué)生考勤系統(tǒng)的研究[J].現(xiàn)代電子技術(shù)，2020，43（10）：116-118，123.

[2]龍海強(qiáng)，譚臺(tái)哲.基于深度卷積網(wǎng)絡(luò)算法的人臉識(shí)別方法研究[J].計(jì)算機(jī)仿真，2017，34（1）：322-325，371.

【通聯(lián)編輯：唐一東】

作者簡(jiǎn)介：李林峰-（1998-），男，學(xué)生;李春青（1983-），通訊作者，女，講師，主要研究方向?yàn)閿?shù)據(jù)挖掘技術(shù)與計(jì)算機(jī)應(yīng)用技術(shù);田博源（1998-），男，學(xué)生;廖曉霞（1999-），女，學(xué)生。