基于人臉識別的移動終端身份認證系統(tǒng)的設計與實現(xiàn)

韋智勇 曹之浩 覃穎忠

【摘 要】傳統(tǒng)的人臉識別技術已在各類應用系統(tǒng)身份驗證中得到廣泛應用，由于移動智能終端的計算及存儲資源有限，不適合大規(guī)模的運算，基于深度學習的人臉識別技術在移動終端的應用還不夠成熟。文章通過分析人臉識別的關鍵技術，通過合理分布身份認證系統(tǒng)的計算資源，在移動客戶端采用Adaboost算法完成人臉的檢測、預處理和CNN卷積神經(jīng)網(wǎng)絡提取人臉特征，在服務端上采用CNN完成人臉模型訓練，在移動客戶端加載模型并提取人臉特征比對識別任務，測試證明系統(tǒng)具有良好的實時性能和較高的識別率。

【關鍵詞】人臉識別；身份認證；移動智能終端；CNN卷積神經(jīng)網(wǎng)絡；人臉模型訓練

【中圖分類號】TP391.41 【文獻標識碼】A 【文章編號】1674-0688（2018）06-0042-04

0 引言

人臉識別技術主要利用人臉的特征進行身份識別，傳統(tǒng)的人臉識別技術主要是提取圖像的表面特征進行匹配，人臉圖像的識別率容易受到圖像質量的影響。基于深度學習的人臉識別已在很多領域得到廣泛的應用，更是推動了人臉識別在移動信息安全領域的發(fā)展。本文設計基于CNN卷積神經(jīng)網(wǎng)絡人臉識別的移動終端身份認證系統(tǒng)，用卷積神經(jīng)網(wǎng)絡提取人臉特征取代傳統(tǒng)的特征提取算法，獲得更好的識別性能。

1 人臉識別關鍵技術相關工作

人臉識別的特征提取算法目前主要有基于子空間映射和基于深度學習的特征提取算法。基于子空間映射方法嘗試將高維度的人臉特征映射到一個低維子空間去，然后嘗試在子空間中完成人臉特征匹配，利用部分子空間映射方法具有相對平移、尺寸等不變性，然后經(jīng)過降維操作和分類器設計進行人臉識別，優(yōu)點是人臉認證的精度有所提高，缺點是對人臉變化的抑制性不高且提取的特征不具備普適性。常見的基于子空間映射的方法有特征臉法、LBP特征法、Garbor特征法和HOG特征法。基于深度學習的人臉特征提取方法是通過搭建具有一定深度的網(wǎng)絡結構和海量的訓練數(shù)據(jù)，將人臉圖片經(jīng)過多層的卷積和非線性映射操作，可以模仿人腦的多級信息提取過程和視覺感知機制提取出有效的特征信息。實驗證明，基于深度學習的人臉識別在各類人臉識別測試集合上取得識別率大大優(yōu)于傳統(tǒng)的基于子空間映射的人臉識別技術。學者孫祎等人通過CNN學習出人臉特征[1]，湯曉鷗教授等人提出了Deep ID[2]網(wǎng)絡模型，F(xiàn)acebook公司提出了一種叫Deep Face的網(wǎng)絡結構[3]，“谷歌”提出了一個Face Net網(wǎng)絡結構及相關的算法[4]，VGG小組提出了一個人臉識別的CNN網(wǎng)絡結構[5]，Qiao等人提出多任務級聯(lián)卷積神經(jīng)網(wǎng)絡算法（Multi-task Cascaded Convolutional Networks，MTCNN）[6]。

2 人臉識別算法設計

2.1 基于Adaboost算法與Haar特征的人臉圖像檢測

2.2 基于CNN網(wǎng)絡提取人臉圖像特征

2.2.1 CNN卷積網(wǎng)絡結構

卷積神經(jīng)網(wǎng)絡是一種深層的神經(jīng)網(wǎng)絡模型，基本結構都是在 LnetNet-5的基礎上改進而來的，通常包含輸入層、卷積層C、池化層S和全連接層，以及在全連接層里面的隱藏層（如圖1所示）。輸入層用來接收經(jīng)預處理后的人臉圖像，并且在該網(wǎng)絡中只有一個輸入層。在卷積和池化的過程中嵌套了人臉特征的提取過程，實現(xiàn)分類的過程主要是在全連接層。

在輸入層里，我們可以將經(jīng)過預處理的人臉圖像輸入到網(wǎng)絡當中，除去人臉圖像的噪聲，提高識別率。在卷積層里，將輸入的人臉圖像經(jīng)過濾波器進行卷積，在C1層生成3個特征的映射圖，用神經(jīng)元的激活函數(shù)sigmoid來提取人臉圖像局部特征。經(jīng)過C1層后，得到3個S2層的特征映射圖，對每個特征映射圖中的4個像素的值求和、加上權值及偏置，最后對神經(jīng)元的激活函數(shù)sigmoid進行計算，特征映射圖像經(jīng)過濾波器得到C3卷積層和C5卷積層，S2池化層產(chǎn)生S4池化層。在全連接層里面，最終會將C5層輸出的特征圖拉成一條向量X，并于全連接層進行全連接，最后在輸出層輸出結果。

2.2.2 人臉圖像特征訓練

卷積神經(jīng)網(wǎng)絡的訓練過程主要包括2個部分、前向傳播和反向傳播。前向的特征提取、分類計算的過程是前向傳播過程主要完成的任務，而誤差的反饋和權值的更新是反向傳播主要完成的任務（如圖2所示）。

（1）向前傳播階段。①從樣本集中取人臉圖像樣本輸入CNN卷積神經(jīng)網(wǎng)絡，人臉圖像樣本要經(jīng)過預處理，并初始化CNN網(wǎng)絡參數(shù)，采用多個卷積和下采樣提取人臉圖像中的特征信息，然后采用前向反饋提取的人臉特征信息進入全連接層；②在全連接層經(jīng)過變換計算相應的實際輸出值，對輸出層的數(shù)據(jù)進行邏輯回歸分類，若符合預期的結果（精度控制內(nèi)）則輸入對應結果。

（2）向后傳播階段。①將相應的期望輸出值與計算出來的實際輸出值的差進行比較，判斷是否在網(wǎng)絡的精度閾值范圍內(nèi)，若不符合期望輸出則進行向后的傳播過程；②按極小化誤差的方法調整權矩陣，即將權值和偏差反向傳播回去，從輸出層反向依次傳遞到全連接層和卷積抽樣層，直至每一個網(wǎng)絡層都最終得到自己相應的梯度才開始新的一輪的訓練。

3 身份驗證系統(tǒng)的總體設計

3.1 身份驗證系統(tǒng)架構設計

由于移動智能終端的計算及存儲資源有限，在身份驗證系統(tǒng)中采用C/S架構，在設計架構時，將比較耗時的模型訓練和檢索操作放在服務端，而將簡單的人臉采集、人臉檢測、預處理等模塊放在移動客戶端，本系統(tǒng)的架構圖如圖3所示。

3.2 功能模塊設計

基于人臉識別的身份驗證系統(tǒng)分為智能移動客戶端和服務器端2個部分，智能移動客戶端包含人員信息錄入模塊、圖像采集模塊和人臉檢測模塊，服務端包含圖像預處理、特征提取與檢索和人臉數(shù)據(jù)存儲等模塊（如圖4所示）。

3.2.1 圖像采集模塊

智能移動客戶端人臉圖像采集模塊是整個身份驗證系統(tǒng)的入口，需要使用客戶端的人臉圖像采集模塊采集人臉樣本庫，在本系統(tǒng)中主要通過OpenCV調用移動終端攝像頭拍照采集人臉樣本和Android SDK讀取本地相冊中的人臉圖像樣本。為保證人臉圖像樣本的質量和后續(xù)檢測模塊的通過率，在采集人臉圖像時應調整屏幕并盡可能確保整個面部區(qū)域在攝像頭的有效范圍內(nèi)。通過攝像頭采集的人臉圖像樣本利用SQLite嵌入式數(shù)據(jù)庫保存至本地。

3.2.2 人臉庫錄入模塊

當人臉識別不成功時，系統(tǒng)需提示用戶輸入個人信息建立個人人臉樣本庫，并將樣本庫被持久化存儲到本地SQLite數(shù)據(jù)庫的人員信息表中及服務端的人臉數(shù)據(jù)庫。

3.2.3 人臉檢測模塊

移動客戶端的人臉檢測模塊是檢測圖像中是否存在人臉區(qū)域，如果在規(guī)定時間內(nèi)未檢測到人臉區(qū)域則轉到圖像采集模塊并提示用戶重新采集人臉圖像，如果檢測到人臉區(qū)域則用標注框標注，為減少后臺數(shù)據(jù)傳輸量，并將只有人臉的區(qū)域圖片進行剪裁保存到本地后，傳輸?shù)椒斩擞糜诤罄m(xù)的驗證，這些保存與獲取的函數(shù)直接可以通過SQLite提供的API調用接口進行調用處理。作為人臉預處理和特征提取的先前模塊，人臉檢測中人臉圖像的大小、姿態(tài)、清晰程度及位置會影響到驗證的識別率。本文系統(tǒng)是基于OpenCV的Adaboost算法與haar特征的級聯(lián)分類器實現(xiàn)人臉檢測，在移動客戶端上的運算效率和檢測效果上取得了良好的效果。

3.2.4 圖像預處理模塊

預處理模塊是服務端接收來自移動客戶端經(jīng)過人臉檢測處理后的圖片，預處理是盡量減小姿態(tài)、角度及光照等外在因素影響采集人臉圖像的質量。整個流程主要分為關鍵特征點的標注、人臉圖像的對齊及灰度處理3個過程，最后將經(jīng)過預處理模塊的人臉圖像直接輸入CNN卷積神經(jīng)網(wǎng)絡模型進行人臉特征的提取。

3.2.5 特征提取模塊

本文采用CNN卷積神經(jīng)網(wǎng)絡模型提取人臉特征及訓練人臉模型。模塊分為2個過程，首先加載調用CNN模型對經(jīng)過人臉采集、檢測、預處理后的人臉圖像作為人臉特征向量。其次，由于人臉特征提取的CNN模型涉及大量的矩陣預算，對實時性要求高，本模塊的技術實現(xiàn)是采用C/C++程序實現(xiàn)CNN模型，然后利用NDK工具在Windows平臺下開發(fā)CNN模型的C/C++動態(tài)鏈接庫，將CNN模型的特征提取組件轉化成Android的動態(tài)鏈接庫.so文件，實現(xiàn)C/C++鏈接庫在Android平臺下的直接調用，從而提升CNN模型的實時運算性能。

3.2.6 檢索模塊

檢索模塊是通過計算特征向量的余弦相似度判斷人臉特征向量之間的相似度。本模塊的技術實現(xiàn)也是基于C++實現(xiàn)，與特征提取模塊類似，將相似度判斷的組件轉化成Android的動態(tài)鏈接庫.so文件，實現(xiàn)C/C++鏈接庫在Android平臺下的直接調用。

3.2.7 數(shù)據(jù)存儲模塊

數(shù)據(jù)存儲模塊的本地存儲使用嵌入式SQLite關系數(shù)據(jù)庫，服務端使用MYSQL關系數(shù)據(jù)庫，用來存儲人員信息和人臉圖像樣本信息，人臉圖像樣本信息主要存儲經(jīng)人臉檢測及預處理后裁剪的人臉圖像的信息、未經(jīng)處理的人臉圖像存儲路徑和經(jīng)CNN模型提取的人臉特征向量文件存儲路徑。

4 移動終端身份驗證系統(tǒng)的測試與分析

4.1 測試環(huán)境

實驗所用的測試移動終端為“華為”P9手機，型號是EVA-AL00，處理器為Hisilicon Kirin955，Android 版本是6.0，Opencv2.4.11，NDK采用android-ndk-r10，JNI，數(shù)

據(jù)庫使用SQLlite。服務端使用windows2008R2，Opencv

2.4.11，Android studio，MYSQL。

4.2 系統(tǒng)測試與分析

本文采用移動智能終端進行系統(tǒng)的功能測試，首先通過人臉圖像采集模塊采集初始的人臉圖像樣本，經(jīng)過人臉區(qū)域檢測及裁剪保存只有人臉區(qū)域的圖像，將只有人臉區(qū)域的圖像進行預處理，然后通過CNN卷積神經(jīng)網(wǎng)絡進行人臉特征提取，得到采集人臉圖像的人臉特征向量文件，最后與本地的特征向量文件匹配，經(jīng)測試人臉識別時間在毫秒級。如圖5所示，通過功能和性能的測試，系統(tǒng)的功能和運算效率達到預期目標。

5 結語

本文提出以成熟的Adaboost人臉檢測算法和CNN卷積神經(jīng)網(wǎng)絡人臉特征提取算法完成系統(tǒng)的核心設計，通過在移動客戶端和服務端分布身份認證系統(tǒng)各個模塊的計算資源，在移動客戶端加載調用CNN模型并提取人臉特征完成識別任務，經(jīng)系統(tǒng)測試證明具有一定的實時性能，該人臉采集、檢測、預處理、特征提取、模型訓練、檢索等模塊可以成為獨立組件，為其他應用系統(tǒng)利用人臉識別實現(xiàn)身份驗證應用提供可靠的應用程序接口。

參 考 文 獻

[1]SUN Y，WANG X，TANG X.Hybrid deep learning for face verification[C].Proceedings of theIEEE International Conference on Computer Vision，2013：1489-1496.

[2]TAIGMAN Y，YANG M，RANZATO M，et al.Deep-face：Closing the gap to human-level per-formancein face verification[C].Proceedings of the IEEE C-

onference on Computer Vision and Pattern Recognition，2014：1701-1708.

[3]SUN Y，WANG X，TANG X.Deep learning face re-presentation from predicting 10，000 classes[C].Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition，2014：1891-1898.

[4]SCHROFF F，KALENICHENKO D，PHILBIN J.Facenet：A unified embedding for face recognition and clustering[C].Proceedings of the IEEE Conferenceon Computer Vision and PatternRecognition，2015：815-823.

[5]PARKHI O M，VEDALDI A，ZISSERMAN A.Deep Face Recognition[C].BMVC ：Vol 1，2015：6.

[6]Zhang K，ZhangZ，LiZ，et al.Joint Face Detection and Alignment using Multi-task Cascaded Convolutional Networks[C].In IEEE International Conferen-ce on Computer Vision and Pattern Recognition（CVPR），2016.

[責任編輯：鐘聲賢]