一種非合作的人臉智能識別系統(tǒng)

鄒新雷 王云

【摘要】? ? 隨著人臉識別技術(shù)的普及與應(yīng)用，用戶對于人臉識別的技術(shù)細(xì)節(jié)以及人臉識別的速度有了技術(shù)需求。對于實(shí)時非合作性質(zhì)的人臉識別，其精確度與速度經(jīng)常難以滿足用戶需求。本文設(shè)計并實(shí)現(xiàn)了一種能夠自動識別人臉的系統(tǒng)，能篩除掉質(zhì)量不足以進(jìn)行人臉識別的人臉圖像，加快識別速度，實(shí)現(xiàn)對實(shí)時視頻的高速人臉識別。

【關(guān)鍵詞】? ? 人臉檢測? ? 機(jī)器學(xué)習(xí)? ? 人臉識別

引言：

在算法飛速發(fā)展的今天，人臉識別越來越多的普及到了我們的生活與工作中，火車站、機(jī)場的安檢，遍布城市的天眼監(jiān)控系統(tǒng)，都有人臉識別活躍的地方。在我們平日生活生產(chǎn)應(yīng)用的領(lǐng)域中，很多圖像中的人員并不會仔細(xì)正臉面對攝像頭，這就導(dǎo)致了人臉識別所需信息的不足。除此以外，光照、遮擋等環(huán)境因素也會導(dǎo)致無法采集到人臉識別所需要的信息。如果能通過機(jī)器學(xué)習(xí)的方法，篩除掉信息不足的人員，便能夠提升系統(tǒng)識別率，節(jié)省系統(tǒng)運(yùn)算空間。本文基于此目的進(jìn)行了對人臉識別系統(tǒng)的一系列設(shè)計。

一、系統(tǒng)總體設(shè)計方案

由于本系統(tǒng)的運(yùn)作路線明確，由檢測→質(zhì)量判斷→人臉識別構(gòu)成，所以初期設(shè)定了如上圖1所示的系統(tǒng)框架。但是在實(shí)際應(yīng)用中，人臉識別的耗時大概要占到80到100毫秒，也就是幀率10左右，完全不能實(shí)現(xiàn)實(shí)時識別的要求。除此之外，對同一目標(biāo)的多次檢測識別也浪費(fèi)了許多系統(tǒng)資源。

因此，考慮到檢測與質(zhì)量判斷的速度只有幾毫秒，不會影響視頻的流暢性，我們在系統(tǒng)內(nèi)加入了跟蹤的算法，重新設(shè)計了一種多線程的運(yùn)行方式，具體框架如圖2所示。

在這個方案的具體運(yùn)行路線如下：

1.對攝像頭傳輸?shù)膱D像進(jìn)行檢測，框出視頻中人員的位置;

2.根據(jù)人員框的跟蹤ID判斷，如果該ID已經(jīng)在上一幀識別過了，則顯示識別結(jié)果回到步驟1，未識別則進(jìn)入人臉質(zhì)量判斷模塊;

3.對人臉進(jìn)行質(zhì)量判斷，考察陰陽臉，光照，遮擋，正臉與攝像頭的傾斜角等因素給出質(zhì)量評分，評分低于標(biāo)準(zhǔn)則篩除該人員，回到步驟1，評分足夠則將圖像傳入人臉識別模塊;

4.人臉識別的算法模塊在另一個線程運(yùn)行（耗時為80-100ms），展示識別結(jié)果的主線程從人臉識別線程取出其標(biāo)志位，代表識別完成與否，識別未完成則在人臉顯示“識別中”，回到步驟1，識別完成則取出其識別結(jié)果展示在人臉上，回到步驟1。

二、系統(tǒng)算法技術(shù)介紹

2.1人臉檢測算法MTCNN

MTCNN，Multi-task convolutional neural network（多任務(wù)卷積神經(jīng)網(wǎng)絡(luò)）是2016年中國科學(xué)院深圳研究院提出的用于人臉檢測任務(wù)的多任務(wù)神經(jīng)網(wǎng)絡(luò)模型，MTCNN總體可分為P-Net、R-Net、和O-Net三層網(wǎng)絡(luò)結(jié)構(gòu)。本系統(tǒng)通過編寫model.py定義了P-Net、R-Net、和O-Net的網(wǎng)絡(luò)結(jié)構(gòu)。P-Net為全卷積的網(wǎng)絡(luò)，主要包含3*3的卷積層、2*2的池化層，該網(wǎng)絡(luò)用于人臉目標(biāo)的初步檢測，將特征輸入經(jīng)過三個卷積層之后，通過一個人臉分類器判斷該區(qū)域是否是人臉。R-Net網(wǎng)絡(luò)接收P-Net的結(jié)果作為輸入，主要包含3*3、2*2的卷積層、3*3的池化層，并增加了全連接層。O-Net和R-Net的結(jié)構(gòu)類似，只是輸入尺寸為48*48，同時增加一層卷積層，以及全連接層的維度增加為256維，因此可以保留更多的圖像特征，再進(jìn)行人臉判別、人臉區(qū)域邊框回歸和人臉特征定位。所以O(shè)-Net的輸出作為最終的網(wǎng)絡(luò)模型輸出。其算法流程圖如圖3所示。

2.2人臉質(zhì)量判斷算法

人臉質(zhì)量的判斷因素眾多，本系統(tǒng)考慮的因素有：人臉姿態(tài)，人眼閉合，人臉模糊度以及人臉光照。所應(yīng)用的算法有：基于關(guān)鍵點(diǎn)的人臉姿態(tài)估計算法，基于關(guān)鍵點(diǎn)的人眼閉合檢測算法，二次模糊算法，基于深度學(xué)習(xí)的人臉遮擋檢測算法。

基于深度學(xué)習(xí)的方法通常訓(xùn)練一個深度CNN分類網(wǎng)絡(luò)或檢測網(wǎng)絡(luò)，這種方法首先通過人臉檢測定位人臉的區(qū)域，然后將人臉區(qū)域送入CNN網(wǎng)絡(luò)，輸出無遮擋或遮擋人臉的結(jié)果。本項目采用Yolov3進(jìn)行訓(xùn)練。

2.3人臉識別算法SeetaFace

SeetaFace，是中科院計算機(jī)所山世光老師所帶領(lǐng)的團(tuán)隊開發(fā)出來的人臉識別庫，包括人臉檢測，人臉識別以及人臉對齊三個模塊。

其中，人臉識別模塊的特征提取算法是基于卷積神經(jīng)網(wǎng)絡(luò)的，使用的是深度卷積神經(jīng)網(wǎng)絡(luò)VIPLFaceNet，這是一個包含兩個全連接層與七個卷積層的DCNN，是由2012年設(shè)計的AlexNet修改而來。與原網(wǎng)絡(luò)相比，有三處改進(jìn)：

①VIPLFaceNet將5x5的卷積核拆分為兩層3x3的卷積核，在不改變計算量的情況下加深了網(wǎng)絡(luò)的深度;

②VIPLFaceNet中每個卷積層的kernel數(shù)目和FC2層節(jié)點(diǎn)都有所減少;

③引入了FNL（Fast Normalization Layer），使得網(wǎng)絡(luò)收斂速度加快，也更具有泛化性。

以LFW數(shù)據(jù)集測試為例，VIPLFaceNet錯誤率較原網(wǎng)絡(luò)降低了40%，訓(xùn)練時間僅為原網(wǎng)絡(luò)的20%，測試時間為60%。

其流程圖如圖4所示。

三、室內(nèi)測試結(jié)果

本系統(tǒng)在實(shí)驗(yàn)室內(nèi)進(jìn)行測試。在光照充足以及正臉面對情況下，都能準(zhǔn)確實(shí)時的識別到目標(biāo)結(jié)果，實(shí)地測試檢測結(jié)果如圖5所示。能夠準(zhǔn)確的檢測到人臉的位置，首先（1）在側(cè)臉情況下由于判斷人臉質(zhì)量不足以進(jìn)行人臉識別展示結(jié)果“ignored”，在（2）的正臉情況下準(zhǔn)確識別到我們二人的ID“wangyun”、“zouxinlei”。

四、結(jié)束語

本文設(shè)計一種非合作的人臉智能識別系統(tǒng)，該系統(tǒng)基于人臉檢測、機(jī)器學(xué)習(xí)、人臉識別等技術(shù)，利用多線程的設(shè)計思想，完成了一種準(zhǔn)確、實(shí)時的人臉識別程序，目前已在與酒仙網(wǎng)合作的智能門店項目中成功應(yīng)用，在門店監(jiān)控領(lǐng)域有很大的市場應(yīng)用價值。

參? 考? 文? 獻(xiàn)

[1]Chunming Wu，Ying Zhang. MTCNN and FACENET Based Access Control System for Face Detection and Recognition[J]. Automatic Control and Computer Sciences，2021，55（1）.

[2]陳飛玥，朱玉蓮，陳曉紅.多層特征融合的PCANet及其在人臉識別中的應(yīng)用[J/OL].南京師大學(xué)報（自然科學(xué)版）：1-7[2021-04-30].http：//kns.cnki.net/kcms/detail/32.1239.N.20210426.2145.006.html.

[3]胡超，李春國，楊綠溪.稀疏特征重用的人臉特征提取網(wǎng)絡(luò)[J/OL].信號處理：1-14[2021-04-30].http：//kns.cnki.net/kcms/detail/11.2406.TN.20210422.1828.029.html.