基于ArcFace的自然場景人臉識別系統(tǒng)設(shè)計及改進

賈偉 楊勝和 田萌萌 熊藝蘭 楊春權(quán) 李良榮

摘 要：文中設(shè)計了一種基于ArcFace的自然場景人臉識別系統(tǒng)，針對系統(tǒng)小人臉識別準確率不高、環(huán)境自適應能力不強的局限性，提出了改進方法。系統(tǒng)采用快速人臉圖像增強算法對自然場景視覺模糊的人臉圖像進行視覺增強，然后通過融合PFLD與YOLOv3人臉關(guān)鍵點檢測的方法，改進系統(tǒng)對小人臉的檢測性能。實驗結(jié)果顯示，改進的方法有效提高了系統(tǒng)識別的準確率，降低了誤識率，系統(tǒng)平均播放幀率約為23幀/s。

關(guān)鍵詞：人工智能;圖像增強;人臉識別;深度學習;損失函數(shù);數(shù)據(jù)集

中圖分類號：TP27 文獻標識碼：A 文章編號：2095-1302（2020）05-000-03

0 引 言

近年來，以深度學習為代表的人工智能技術(shù)在科研、工業(yè)應用領(lǐng)域取得了顯著進展，尤其是將深度學習應用于人臉識別。針對約束性場景下的人臉識別已經(jīng)達到商用程度，但在自然場景中，人臉由于受自然環(huán)境諸多因素的影響，造成了識別上的困難，因此研究一種針對自然場景下的人臉識別方法具有重要的理論意義和實用價值。通常，人臉識別系統(tǒng)一般包括人臉采集、人臉檢測對齊、人臉識別模塊等，其每一部分的改進對于人臉識別準確率的提高都具有重要意義，為此，研究者們進行了長期的研究。2016年，Zhang Kaipeng[1]提出了一種Multi-task的人臉檢測框架，該算法使用3個CNN級聯(lián)算法結(jié)構(gòu)，將人臉檢測和人臉特征點檢測同時進行，該方法被應用于諸多人臉識別算法研究領(lǐng)域，但該方法環(huán)境適應性較差、漏檢率較高;后來提出的YOLO系列[2-4]算法是一類端對端目標檢測算法，在檢測速度、精度、環(huán)境適應性等方面取得了很大突破。為了提高關(guān)鍵點的檢測效果，Guo Xiaojie[5]等人在MTCNN人臉檢測的基礎(chǔ)上提出了一種簡單、快速的高精度人臉關(guān)鍵點檢測算法，該算法可在主流數(shù)據(jù)集上達到最高精度。在人臉識別算法方面，Liu Weiyang[6]等人提出了角度SoftMax（A-SoftMax）損失，使卷積神經(jīng)網(wǎng)絡(luò)（CNN）能夠?qū)W習角度識別特征。Deng Jiankang[7]等為了最大限度地提高人臉識別的高可分特征，將裕度納入已建立的損失函數(shù)中，提出了一種附加角度裕度的損失函數(shù)（ArcFace），取得了更好的識別效果。

基于ArcFace的人臉識別采用MTCNN算法做人臉關(guān)鍵點檢測，該算法對自然場景人臉的檢測存在易漏檢現(xiàn)象，從而影響人臉識別性能。本文旨在設(shè)計一種人臉識別系統(tǒng)，因此提出了快速人臉圖像增強算法，并通過融合PFLD與YOLOv3人臉關(guān)鍵點檢測方法，以改善系統(tǒng)的識別性能。

1 自然場景快速人臉增強方法

在自然場景人臉識別系統(tǒng)中，由于受到環(huán)境、光線、運動等因素影響，人臉圖像容易變得模糊，從而影響識別準確率。為了解決圖像模糊問題，1993年，Pal和King[8-10]首次將模糊集理論應用于理解、描述圖像的模糊特性，后來出現(xiàn)了一系列改進方法[11-12]，本文在此算法基礎(chǔ)上，提出了改進的人臉增強算法。

為提高算法運算效率，本文依據(jù)文獻[8-10]所提的算法，首先采用線性變換將圖像映射到模糊域，線性變換表示如下：

式中：η表示圖像像素值的補償因子;xmin表示3×3圖像區(qū)域最小值;xmax表示3×3圖像區(qū)域最大值;xij表示圖像像

素值。

本文的圖像增強算子表示為：

式中：z表示圖像輸出;f和r代表常量，f = r =0.5。

為了補償圖像區(qū)域信息丟失，本文通過式（3）進行圖像恢復。

式中，λ為像素補償因子。

算法的基本步驟如下：

Step1：通過式（1）將圖像映射到模糊域;

Step2：利用式（2）對圖像進行非線性變換;

Step3：進行圖像恢復運算。

圖1所示為多種算法運算效果對比，結(jié)果顯示本文提出的算法沒有造成圖像失真，顯示效果最佳。本文算法單張人臉灰度圖像運行時間約為0.047 887 s。

2 融合PFLD與YOLOv3的人臉關(guān)鍵點檢測

人臉檢測與關(guān)鍵點檢測是人臉識別的基礎(chǔ)，為了有效檢測自然場景中的人臉，本文采用文獻[2-4]中提出的YOLOv3人臉檢測算法，該算法通過兩次上采樣完成了多尺度檢測，在保持較快檢測速度的同時對小人臉檢測具有較好的效果。同時，算法對候選框采用了復合標簽的建模方法，每個候選框不再只對應一個類別，因而YOLOv3在速度精度、泛化性等方面都取得了較好的效果。PFLD是一種最新的人臉關(guān)鍵點檢測算法，該算法提出了非限定條件下的具有理想檢測精度的輕量級Landmark檢測模型。測試表明，PFLD算法在移動設(shè)備上可達到超實時的性能。本文將PFLD與YOLOv3算法用于自然場景人臉檢測，旨在提高系統(tǒng)對環(huán)境的適應能力以及對小人臉的檢測性能。人臉關(guān)鍵點檢測方法的流程如圖2所示。

為了測試本文方法的效果，我們利用WiderFace數(shù)據(jù)集訓練YOLOv3人臉檢測模型，使用文獻[13]提出的WFLW數(shù)據(jù)集訓練PFLD算法模型。WFLW數(shù)據(jù)集共10 000個樣本，其中7 500個供訓練用，2 500個供測試用，數(shù)據(jù)集標簽提供了人臉框信息，包括98個關(guān)鍵點信息，融合有多種人臉信息，如姿態(tài)、表情、光照、化妝、遮擋、模糊等。本文方法的最終檢測效果如圖3所示。運行結(jié)果顯示，本文方法對復雜自然場景的人臉具有良好的檢測效果。

3 基于ArcFace的人臉識別系統(tǒng)

ArcFace是在文獻[6]的基礎(chǔ)上進行了改進。提出了直接最大化角度空間中的決策邊界cos（θ+m），該角度空間是基于L2-norm的權(quán)重和特征生成的，與cos（mθ）和cos（θ-m）相比，ArcFace可以獲得更具辨識性的深度特征。本文基于ArcFace的人臉識別系統(tǒng)流程如圖4所示。

4 實驗結(jié)果分析

實驗硬件配置：Intel（R）Core（TM） i5-9400F CPU@2.90 GHz，內(nèi)存8 GB，顯卡為1070ti 8G，系統(tǒng)采用Python語言編寫。

實驗數(shù)據(jù)集：人臉檢測部分采用WiderFace數(shù)據(jù)集訓練檢測模型，人臉對齊采用WFLW數(shù)據(jù)集，人臉識別部分從YouTube Face數(shù)據(jù)庫中隨機抽取40個人共1 080張照片組成訓練集，然后找出40個人對應的8段自然場景視頻作為測試，其中視頻的分辨率均為480×640，測試所用視頻集包括光照、明暗變化、運動、遮擋、模糊等多種場景的人臉。

數(shù)據(jù)訓練：本文采用WiderFace人臉數(shù)據(jù)集訓練MTCNN和YOLOv3檢測模型，相關(guān)參數(shù)根據(jù)文獻[1，3，5]設(shè)置，訓練圖像的大小為112×112。同時，為了評價本文系統(tǒng)的有效性，這里統(tǒng)計了測試視頻的平均識別率（TPR）和誤識率（FPR）。

TPR定義如下：

FRP定義如下：

表1所列為文獻[6-7]與改進后系統(tǒng)的正確識別次數(shù)與人數(shù)的對比結(jié)果，由表1可知，改進后系統(tǒng)的識別效率明顯優(yōu)于其他方法。

表2所列為系統(tǒng)平均識別率（TPR）和誤識率（FPR）。由表2可知，改進方法的平均識別率得到了有效提高，錯識率最小。同時，實驗測試結(jié)果顯示，本文系統(tǒng)的平均運行速度約為23 f/s，保證了運行的實時性。

5 結(jié) 語

本文設(shè)計了一種基于ArcFace的自然場景人臉識別系統(tǒng)，提出了一種自然場景下解決人臉模糊的快速增強方法，改進了人臉關(guān)鍵點檢測方法。實驗結(jié)果表明，系統(tǒng)的識別性能得到了有效提高。但系統(tǒng)也存在不足，如系統(tǒng)對微型目標過于敏感，容易引起誤識別。為此，在未來的工作中，我們將構(gòu)建特定的人臉數(shù)據(jù)集用于訓練，同時設(shè)計自動篩選算法，自動去除非人臉目標，降低誤識率。

參考文獻

[1] ZHANG K，ZHANG Z，LI Z，et al. Joint face detection and alignment using multitask cascaded convolutional networks [J]. IEEE signal processing letters，2016，23（10）：1499-1503.

[2] REDMON J，DIVVALA S，GIRSHICK R，et al. You Only Look Once：Unified，Real-Time Object Detection [C]// The IEEE Conference on Computer Vision and Pattern Recognition（CVPR），2016：779-788.

[3] REDMON J，F(xiàn)ARHADI A. YOLO9000：better，faster [C]// The IEEE Conference on Computer Vision and Pattern Recognition （CVPR），2017：7263-7271.

[4] REDMON，JOSEPH，ALI FARHADI.“YOLOv3：An incremental improvement [C]// The IEEE Conference on Computer Vision and Pattern Recognition （CVPR），2018：5656-5678.

[5] GUO X，LI S，YU J，et al. PFLD：A Practical Facial Landmark Detector [C]// The IEEE Conference on Computer Vision and Pattern Recognition （CVPR），2019：5234-5250.

[6] LIU W，WEN Y，YU Z，et al. SphereFace：Deep Hypersphere Embedding for Face Recognition [C]// The IEEE Conference on Computer Vision and Pattern Recognition （CVPR），2017.

[7] DENG J，GUO J，XUE N N，et al. ArcFace： Additive Angular Margin Loss for Deep Face Recognition [C]// The IEEE Conference on Computer Vision and Pattern Recognition （CVPR），2019.

[8] PAL S K，KING R A. Image enhancement using fuzzy set [J]. Electronics letters，1980，16（10）：376-378.

[9] PAL S K，KING R A. On edge detection of X-ray images using fuzzy sets [J]. Pattern analysis and machinence，IEEE transactionson，1983，5（1）：69-77.

[10] PAL S K，KING R A. Image enhancement using smoothing with fuzzy sets [J]. IEEE transactions on systems，man，and cybernetics-part A：system and humans，1981，11（7）：494-501.

[11] WANG Baoping，LIU Shenghu. An adaptive multi-level image enhancement algorithm based on fuzzy entropy [J]. Acta electronica sinica，2005，33（4）：730-734.

[12] WANG Baoping，LIU Shenghu. A novel adaptiv e-image fuzzy enhancement algorithm [J]. Journal of Xidian University，2005（2）：307-313.

[13] WU W，QIAN C，YANG S，et al. Look at boundary：a boundary-aware face alignment algorithm [C]// The IEEE Conference on Computer Vision and Pattern Recognition（CVPR），2018：2129-2138.