教室場景下人臉檢測與識別

楊凱雯 楊佳樂

摘 ?要：提出一種教室場景下人臉檢測與識別的算法，基于RetinaFace人臉檢測框架進行改進，在主干網(wǎng)絡中引入可變形卷積以適應人臉遮擋以及人臉變形，調(diào)整預設Anchor并在上下文敏感模塊中引入殘差結(jié)構(gòu)以適應教室場景下尺度變化的特點。在公開數(shù)據(jù)集WIDER FACE上訓練基礎權(quán)重，然后在教室場景下自標注的數(shù)據(jù)集中進行遷移學習以適應教室場景，最后通過ArcFace人臉識別網(wǎng)絡進行人臉識別。本算法在公開數(shù)據(jù)集WIDER FACE上batch size設置為16時，Easy、Medium和Hard的人臉檢測精度分別為96.34%、95.12%和89.64%;在自標注的數(shù)據(jù)集上batch size設置為4時，人臉檢測精度為94.72%，人臉識別精度為92.11%。實驗結(jié)果表明，該算法可以有效提高教室場景下人臉檢測與識別的效果。

關鍵詞：人臉檢測;人臉識別;RetinaFace;ArcFace

中圖分類號：TP399 ? ? 文獻標識碼：A

Face Detection and Recognition in Classroom Scenarios

YANG Kaiwen1， YANG Jiale2

（1.School of Information， Shenyang University of Technology， Shenyang 110870， China;

2.School of Artificial Intelligence， Shenyang University of Technology， Shenyang 110870， China）

527410159@qq.com; 2082873733@qq.com

Abstract： This paper proposes an algorithm for face detection and recognition in classroom scenes， which is improved based on the RetinaFace face detection framework. Deformable convolution is introduced into the core network to adapt to face occlusion and face deformation. The preset Anchor is adjusted and the residual structure is introduced into the context-sensitive module to adapt to the characteristics of scale changes in classroom scenes. The basic weights are trained on the public dataset WIDER FACE， and then the self-labeled dataset in the classroom scene is used for transfer learning to adapt to the classroom scene. Finally， face recognition is carried out through ArcFace face recognition network. When the batch size of this algorithm is set to 16 on the public dataset WIDER FACE， the face recognition precision rates of Easy， Medium and Hard are 96.34%， 95.12% and 89.64% respectively. When the batch size on the self-labeled dataset is 4， the face detection precision is 94.72%， and the face recognition precision is 92.11%. Experimental results show that the algorithm can effectively improve the effect of face detection and recognition in classroom scenes.

Keywords： face detection; face recognition; RetinaFace; ArcFace

1 ? 引言（Introduction）

如今校園教學中的考勤系統(tǒng)大部分通過傳統(tǒng)點名簽到的人工考勤方式來記錄學生的出勤情況，這樣不僅會耗費師生大量的時間，更有可能影響高校的教學進度和安排。人臉檢測和人臉識別技術(shù)為教室考勤提供了新的方向，從圖像中快速、準確地檢測到人臉位置信息是人臉識別技術(shù)的關鍵，如果人臉檢測的性能不佳，勢必會導致人臉識別的效果大打折扣。

在深度學習廣泛應用前，著名的人臉檢測器MTCNN[1]使用圖像金字塔的方法來檢測不同分辨率的人臉目標，后來提出了將不同層級的特征圖融合起來以提升目標檢測的性能，即特征金字塔網(wǎng)絡FPN[2]。還有其他檢測不同尺度大小人臉特征的方式如SSH[3]、R-FCN和PyramidBox[4]，以及對Anchor采樣和匹配策略改進的方式如FaceBoxes、S3FD和半監(jiān)督學習方法maskedFaceNet[5]等。

RetinaFace[6]是2019 年提出的人臉檢測模型，原模型添加了SSH網(wǎng)絡的檢測模塊，標注了WIDER FACE[7]的人臉五個關鍵點標注數(shù)據(jù)，融合了多任務損失，同時提出了一個自監(jiān)督的人臉編碼器用于人臉的檢測。

2 ? 人臉檢測（Face detection）

2.1 ? RetinaFace網(wǎng)絡

本文對比了多個人臉檢測網(wǎng)絡的性能，最終選用RetinaFace人臉檢測框架進行實驗。RetinaFace是一個單階段的人臉檢測網(wǎng)絡，網(wǎng)絡結(jié)構(gòu)圖如圖1所示，在多特征層級的基礎上使用了特征金字塔結(jié)構(gòu)，更充分地利用了多層級信息，并通過上下文融合模塊進行不同層級間信息的特征融合，采用多任務損失函數(shù)獲得更好的人臉檢測效果[8]。相對于自然場景，教室場景下人臉有固定的尺度特征范圍，且存在學生姿態(tài)輕微扭曲以及前后排遮擋問題，本文針對以上問題將骨干網(wǎng)絡替換為ResNet50，并從檢測框策略、信息融合模塊和遷移學習等方面對人臉檢測網(wǎng)絡進行改進。

2.2 ? 可變形卷積

卷積神經(jīng)網(wǎng)絡在目標檢測與識別任務上解決了很多問題，激活函數(shù)、網(wǎng)絡結(jié)構(gòu)和損失函數(shù)也在不斷更迭創(chuàng)新，而卷積層和池化層的操作一般都只能在正方形的區(qū)域內(nèi)對應地進行映射運算，如圖2（a）所示，這種大小比例固定的方法對于教室場景下學生人臉姿態(tài)輕微扭曲的問題檢測效果不夠好。

本文在骨干網(wǎng)絡ResNet50中引入了可變形卷積結(jié)構(gòu)[9]，對每一層卷積核的對應位置增加偏移，加上偏移量的學習之后，可變形卷積核的大小和位置可以根據(jù)當前需要識別的圖像內(nèi)容進行動態(tài)調(diào)整，其直觀效果就是不同位置的卷積核采樣點位置會根據(jù)圖像內(nèi)容發(fā)生自適應的變化，以適應不同物體的形狀、大小等幾何形變，從而提高對教室中每個學生臉部的大小、姿態(tài)和扭曲情況下的檢測效果。

2.3 ? Anchor縮減策略

經(jīng)過計算，RetinaFace一共需要在特征金字塔的五層特征層上生成102，300 個Anchor預測框，如表1所示，并提取出每個預測框內(nèi)的特征信息進行判斷以及篩選是否存在人臉和置信度等信息進行人臉檢測。雖然這種方式可檢測到的人臉尺度范圍非常大，但是在訓練和測試過程中耗費的算力和顯存也是非常巨大的?？紤]到教室場景下人臉尺度大小范圍較自然場景下范圍較小，人臉圖像約為20—100 像素，所以為了避免顯存的浪費，本設計去掉了P5和P6兩層特征層，將五層特征金字塔縮減為可以檢測16—101.59 像素大小人臉圖像的三層特征層結(jié)構(gòu)，同時上下文模塊也由原始的五個縮減為三個融合模塊。

2.4 ? 上下文預測模塊

RetinaFace網(wǎng)絡結(jié)構(gòu)中的信息融合模塊使用的是SSH上下文模塊，SSH通過在不同分支上不同的卷積核層堆疊來擴展感受野的大小，學習更多的上下文信息;DSSD網(wǎng)絡在單階段檢測網(wǎng)絡SSD[10]中引入殘差網(wǎng)絡，從而得到更深度的預測分支。而本設計使用的CPM上下文預測模塊借鑒了以上兩種思路。CPM模塊結(jié)構(gòu)如圖3所示，在SSH上下文模塊中的前面添加殘差預測模塊，在網(wǎng)絡結(jié)構(gòu)深度增加的同時增加了網(wǎng)絡寬度以提取更深層次的特征信息，既能增加特征信息提取能力，又防止由于網(wǎng)絡深度增加而帶來的梯度消失和梯度爆炸問題，使得預測模塊在分類和定位上能得到更好的效果。

2.5 ? 遷移學習

目前很多骨干網(wǎng)絡通過預訓練提取特征的效果較好，但是這些網(wǎng)絡基本都是在ImageNet數(shù)據(jù)集上進行預訓練的，而實際中的各種任務目標各有不同，如果只依靠ImageNet數(shù)據(jù)集進行預訓練可能無法涵蓋各個領域目標檢測的需求。由于教室場景下數(shù)據(jù)量有限，因此本文使用遷移學習中fine-tunning的方式，在大型公開數(shù)據(jù)集上預訓練得到的網(wǎng)絡模型基礎上，使用教室場景下自標注的數(shù)據(jù)集再次訓練人臉檢測網(wǎng)絡，從而使這個網(wǎng)絡能夠?qū)W習到教室場景下的特征特點，在數(shù)據(jù)集較小的情況下訓練出效果更好、更適合教室場景的人臉檢測模型。

3 ? 人臉識別（Face recognition）

3.1 ? ArcFace模型

在對人臉識別算法的改進上，國內(nèi)外研究者首先將精力放在提出一個識別、驗證、聚類等問題的統(tǒng)一解決框架，考慮如何將人臉更好地映射到特征空間;后來考慮到深度學習的網(wǎng)絡復雜程度已經(jīng)很高，研究者們便開始了對損失函數(shù)優(yōu)化的研究。ArcFace[11]是目前人臉識別性能最好的開源模型之一，該模型提出了新的損失函數(shù)以更好地縮小預測與實際數(shù)據(jù)的差距，從而得到性能更好的人臉識別模型。

3.2 ? ArcFace損失函數(shù)

無論是SphereFace、CosFace、CurricularFace還是ArcFace的損失函數(shù)，都是基于Softmax函數(shù)進行改進的。ArcFace在SphereFace的基礎上改進了對特征歸一化和加性角度間隔，提高了類間可分性的同時增大了類內(nèi)緊度和類間差異。ArcFace損失函數(shù)如下式所示，自然數(shù)的指數(shù)部分使用的是，其中m是間距，是樣本大小，s指scale參數(shù)。

以二分類為例，通過上述各人臉識別模型的損失函數(shù)可以求得SphereFace、CosFace和ArcFace損失函數(shù)的分類邊界函數(shù)。將分類邊界公式用二維坐標表示，如圖4所示，由圖中可以直觀地看出ArcFace是直接在角度空間最大化分類邊界。

4 ? 實驗（Experiment）

4.1 ? 實驗參數(shù)

本文運行實驗的平臺環(huán)境為1080Ti GPU、CUDA 10.2、Cudnn v7和PyTorch組成的框架。本文人臉檢測模型使用在WIDER FACE數(shù)據(jù)集上預訓練的ResNet50模型為基礎網(wǎng)絡，預訓練權(quán)重采用SGD優(yōu)化方法，batch size設置為4，初始化學習率設置為0.001，動量為0.9，權(quán)重衰減為0.0005。輸入圖像大小為1920×1080，通過主干網(wǎng)絡提取特征前改變尺寸為840×840。人臉識別網(wǎng)絡在CASIA-WebFace數(shù)據(jù)集中3，000 個名人以及教室場景下的學生合并得到的數(shù)據(jù)集下進行訓練，主干網(wǎng)絡為ResNet50，損失函數(shù)為ArcFace Loss，采用SGD優(yōu)化方法，共訓練130 個輪次得到最優(yōu)訓練結(jié)果。

4.2 ? 消融實驗

本文分別以batch size為4和16在WIDER FACE數(shù)據(jù)集和自標注數(shù)據(jù)集上進行了對比試驗，驗證人臉檢測算法是否有效。

實驗一：如表2所示為自標注數(shù)據(jù)集下顯存使用情況及精度，第一行為原始五層特征金字塔，第二行為縮減后的三層特征金字塔。通過第二列的比較可以得出將特征層進行縮減后，訓練時耗費的顯存明顯減少，檢測精度輕微下降。如表3前兩行數(shù)據(jù)所示，第一行是batch size設置為4時，原始RetinaFace網(wǎng)絡在公開數(shù)據(jù)集WIDER FACE上的實驗結(jié)果;第二行是對原始RetinaFace網(wǎng)絡進行縮減Anchor策略后的實驗結(jié)果。由表2、表3綜合對比得知，Easy、Medium和Hard的精度都有0.58%—1.62%的下降。由于Anchor縮減策略本質(zhì)上是將特征金字塔去掉了兩層特征層，并調(diào)整每層特征層上的預設Anchor以減少算力和顯存的浪費，導致網(wǎng)絡可以檢測到的人臉框大小范圍縮小了，因此在公開數(shù)據(jù)集上檢測精度下降，但對自標注的數(shù)據(jù)集檢測效果幾乎沒有下降，表明Anchor縮減策略符合且適應本文場景數(shù)據(jù)集尺度特征。

實驗二：通過在主干網(wǎng)絡ResNet50中引入可變形卷積以適應教室場景人臉姿態(tài)輕微扭曲問題。表3第三行是在Anchor縮減策略上加入了可變形卷積后的實驗結(jié)果，與第二行未引入可變形卷積時相比精度Easy提高了2.75%，Medium提高了2.81%，Hard提高了1.87%。由此可以得出，可變形卷積的引入提高了公開數(shù)據(jù)集WIDER FACE的精度，增強了對變形人臉目標的檢測效果。

實驗三：通過替換為CPM模塊，即在SSH上下文模塊中的前面添加殘差預測模塊提高模型精度。表3第四行是替換為CPM模塊后模型的精度實驗結(jié)果，雖然與第三行實驗結(jié)果差距較小，但是與原始RetinaFace人臉檢測模型相比，公開數(shù)據(jù)集精度Easy提高了2.26%，Medium提高了3.1%，Hard提高了0.95%?？梢缘贸鎏鎿Q為CPM模塊后，在增加網(wǎng)絡結(jié)構(gòu)深度的同時增加了網(wǎng)絡寬度以提取更深層次的特征信息，既能增加特征信息提取能力，又防止由于網(wǎng)絡深度增加而帶來的梯度消失和梯度爆炸問題，使得預測模塊在分類和定位上取得了更好的效果。

實驗四：表3后四行為batch size設置為16時各方面改進后的對比實驗結(jié)果，雖然最后一行全部改進后在公開數(shù)據(jù)集上的精度沒有達到原始網(wǎng)絡的實驗結(jié)果，但是經(jīng)過后三行數(shù)據(jù)的對比可以看出，無論是可變形卷積的加入還是CPM模塊的替換，都有效地提高了人臉檢測精度。

實驗五：表4展示了在自標注的教室場景數(shù)據(jù)集上的消融實驗。第一行是原始網(wǎng)絡在自標注數(shù)據(jù)集上的實驗結(jié)果。第二行是進行遷移學習fine-tunning的方法，由于自標注數(shù)據(jù)集較小且與公開數(shù)據(jù)集相似，檢測目標相同而檢測場景略有區(qū)別，通過fine-tunning方式能夠提高人臉檢測模型針對教室場景的檢測效果，使得精度提高了1.66%，模型更加適應教室場景。第三行是縮減Anchor后的實驗結(jié)果，由表2也可以得出，自標注數(shù)據(jù)集精度變化不大，但在訓練時明顯更加節(jié)省顯存。第四行是加入可變形卷積后的實驗結(jié)果，自標注數(shù)據(jù)集檢測精度提高了2.37%。第五行替換為CPM模塊后精度提高了2.12%，對比原始未改進網(wǎng)絡檢測結(jié)果，自標注教室場景下數(shù)據(jù)集人臉檢測精度一共提高了6.03%，證明一系列網(wǎng)絡改進對教室場景人臉檢測以及識別的效果提高顯著。

實驗六：本文使用ResNet50作為基礎特征提取網(wǎng)絡、ArcFace作為損失函數(shù)對教室場景下人臉識別網(wǎng)絡進行建模，得到教室場景下人臉識別精度為92.11%。

從教室場景下人臉檢測以及人臉識別結(jié)果上看，本文算法改進后的實驗效果有一定程度的提高，具體檢測示例效果如圖5所示。圖5（a）為教室場景下采集到的原始圖像;圖5（b）為本算法人臉檢測效果，可以看出對于小尺寸以及略微遮擋的人臉目標檢測效果良好，人臉檢測置信度也較高;圖5（c）為本算法人臉識別實驗效果。

5 ? 結(jié)論（Conclusion）

本文提出一種針對教室場景下人臉檢測與識別的算法，以提高學生出勤管理的效率。首先基于RetinaFace人臉檢測框架進行了改進，在主干網(wǎng)絡中引入可變形卷積以適應人臉遮擋以及人臉變形;針對教室場景下的尺度特征，本文調(diào)整預設Anchor并在上下文敏感模塊中引入殘差結(jié)構(gòu);先在公開數(shù)據(jù)集WIDER FACE上進行基礎權(quán)重的訓練，然后通過遷移學習的方法在教室場景下訓練得到適應場景的人臉檢測模型;最后通過ArcFace人臉識別網(wǎng)絡進行人臉識別，并通過界面顯示將檢測和識別結(jié)果顯示出來。本算法在公開數(shù)據(jù)集WIDER FACE上batch size設置為16時，Easy、Medium和Hard的人

臉檢測精度分別為96.34%、95.12%和89.64%;在自標注的數(shù)據(jù)集上batch size設置為4時，人臉檢測精度為94.72%，人臉識別精度為92.11%。本文進行了完整的方案設計與實現(xiàn)，對其進一步的應用具有較好的參考價值。

參考文獻（References）

[1] ZHANG K， ZHANG Z， LI Z， et al. Joint face detection and alignment using multitask cascaded convolutional networks[J]. IEEE Signal Processing Letters， 2016， 23（10）：1499-1503.

[2] LIN T Y， DOLLAR P， GIRSHICK R， et al. Feature pyramid networks for object detection[C]// IEEE. 2017 IEEE Conference on Computer Vision and Pattern Recognition（CVPR）. Honolulu， USA： IEEE， 2017：2117-2125.

[3] NAJIBI M， SAMANGOUEI P， CHELLAPPA R， et al. SSH： Single stage headless face detector[C]// IEEE. 2017 IEEE International Conference on Computer Vision（ICCV）. Venice， Italy： IEEE， 2017：4875-4884.

[4] TANG X， DU D K， HE Z， et al. Pyramidbox： A context-assisted single shot face detector[C]// Springer. 2018 European Conference on Computer Vision （ECCV）. Munich， Germany： Springer， 2018：797-813.

[5] PRASAD S， LI Y， LIN D， et al. MaskedFaceNet： A progressive semi-supervised masked face detector[C]// IEEE. 2021 IEEE Winter Conference on Applications of Computer Vision （WACV）. Waikoloa， USA： IEEE， 2021：3389-3398.

[6] DENG J， GUO J， VERVERAS E， et al. Retinaface： Single-shot multi-level face localisation in the wild[C]// IEEE. 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition（CVPR）. Seattle， USA： IEEE， 2020：5203-5212.

[7] YANG S， LUO P， LOY C C， et al. Wider face： A face detection benchmark[C]// IEEE. 2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Las Vegas， USA： IEEE， 2016：5525-5533.

[8] 史祺鈺.基于人臉識別的銀行自助柜員機身份自動認證系統(tǒng)的研究[D].太原：中北大學，2021.

[9] DAI J， QI H， XIONG Y， et al. Deformable convolutional networks[C]// IEEE. 2017 IEEE International Conference on Computer Vision （ICCV）. Venice， Italy： IEEE， 2017：764-773.

[10] LIU W， ANGUELOV D， ERHAN D， et al. SSD： Single shot multibox detector[C]// Springer. 2018 European Conference on Computer Vision （ECCV）. Amsterdam， The Netherlands： Springer， 2016：21-37.

[11] DENG J， GUO J， XUE N， et al. Arcface： Additive angular margin loss for deep face recognition[C]// IEEE. 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Long Beach， USA： IEEE， 2019：

4690-4699.

作者簡介：

楊凱雯（1997-），女，碩士生.研究領域：機器視覺.

楊佳樂（2002-），男，本科生.研究領域：模式識別.