改進(jìn)RetinaFace的自然場(chǎng)景口罩佩戴檢測(cè)算法

牛作東，覃 濤，李捍東，陳進(jìn)軍

貴州大學(xué) 電氣工程學(xué)院，貴陽550025

1 引言

自2019年12月以來，在我國爆發(fā)了新型冠狀病毒肺炎（COVID-19）傳播疫情[1]，到目前為止（2020年2月27日），根據(jù)國家衛(wèi)生健康委員會(huì)發(fā)布的最新消息，31個(gè)省（自治區(qū)、直轄市）和新疆建設(shè)兵團(tuán)由新型冠狀病毒感染的肺炎患者累計(jì)報(bào)告確診病例78 824例，累計(jì)死亡病例2 788例，現(xiàn)有確診病例39 919例。新型冠狀病毒具有極強(qiáng)的傳染性，它可以通過接觸或者空氣中的飛沫、氣溶膠等載體進(jìn)行傳播，而且在適宜環(huán)境下可以存活5天[2-3]。因此勤洗手、佩戴口罩可以有效降低被病毒傳染的機(jī)率。國家衛(wèi)生健康委員會(huì)發(fā)布的《新型冠狀病毒感染肺炎預(yù)防指南》中強(qiáng)調(diào)，個(gè)人外出前往公共場(chǎng)所、就醫(yī)和乘坐公共交通工具時(shí)，佩戴醫(yī)用外科口罩或N95口罩。因此在疫情期間公共場(chǎng)所佩戴口罩預(yù)防病毒傳播是每個(gè)人的責(zé)任，這不僅需要個(gè)人自覺遵守，也需要采取一定的手段監(jiān)督和管理。

雖然目前沒有專門應(yīng)用于人臉口罩佩戴檢測(cè)的算法，但是隨著深度學(xué)習(xí)在計(jì)算機(jī)視覺領(lǐng)域的發(fā)展[4-6]，基于神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測(cè)算法在行人目標(biāo)檢測(cè)、人臉檢測(cè)、遙感圖像目標(biāo)檢測(cè)、醫(yī)學(xué)圖像檢測(cè)和自然場(chǎng)景文本檢測(cè)等領(lǐng)域都有著廣泛的應(yīng)用[7-10]。

本文通過研究相關(guān)的目標(biāo)檢測(cè)算法，發(fā)現(xiàn)用于人臉檢測(cè)的深度學(xué)習(xí)模型可以適用于口罩佩戴的檢測(cè)任務(wù)。其中文獻(xiàn)[11]從穩(wěn)健的錨點(diǎn)角度看待小人臉檢測(cè)（Seeing Small Faces from robust anchor’s perspective，

SSF）問題，對(duì)先驗(yàn)框進(jìn)行了比例不變性設(shè)計(jì)，提出了新的預(yù)期最大重疊（Expected Max Overlapping，EMO）值解決檢測(cè)框重疊問題，并采用新的網(wǎng)絡(luò)體系結(jié)構(gòu)來減少先驗(yàn)框跨度、額外位移和目標(biāo)隨機(jī)性轉(zhuǎn)移問題，該方法增強(qiáng)了人臉檢測(cè)中對(duì)小人臉檢測(cè)的能力。文獻(xiàn)[12]提出了一種雙鏡頭人臉檢測(cè)（Dual Shot Face Detector，DSFD）方法，在該方法中使用了一種功能增強(qiáng)模塊（Feature Enhance Module，F(xiàn)EM）來增強(qiáng)原始特征圖，提出了利用計(jì)算出的漸進(jìn)式錨點(diǎn)損失（Progressive Anchor Loss，PAL）和 改 進(jìn) 的 錨 點(diǎn) 匹 配（Improved Anchor Matching，IAM）優(yōu)化了回歸網(wǎng)絡(luò)的初始化，最終取得了不錯(cuò)的人臉檢測(cè)效果。文獻(xiàn)[13]提出了一種基于單次縮放感知的卷積神經(jīng)網(wǎng)絡(luò)的人臉檢測(cè)器（Single-shot scale-aware network for real-time Face Detection，SFDet），該方法設(shè)計(jì)了一個(gè)具有多尺度感知的檢測(cè)網(wǎng)絡(luò)和與之相關(guān)聯(lián)的先驗(yàn)框并在分類損失計(jì)算中引入了交并比（Intersection over Union，IoU）感知加權(quán)方案從而提高了人臉檢測(cè)的效果。文獻(xiàn)[14]提出了一種單階段野外人臉定位算法，命名為RetinaFace，該方法采用軟量級(jí)的骨干網(wǎng)絡(luò)，可以在單個(gè)CPU上實(shí)時(shí)運(yùn)行并完成多尺度的人臉檢測(cè)、人臉對(duì)齊、像素級(jí)人臉分析和人臉密集關(guān)鍵點(diǎn)三維分析任務(wù)。在WIDER FACE[15]人臉數(shù)據(jù)集上的人臉檢測(cè)平均精度（Average Precision，AP）對(duì)比結(jié)果如表1所示，WIDER FACE是一個(gè)人臉檢測(cè)基準(zhǔn)（Benchmark）數(shù)據(jù)集，也是世界數(shù)據(jù)規(guī)模最大的權(quán)威人臉檢測(cè)平臺(tái)，它根據(jù)圖片中人臉檢測(cè)難度分為了容易（Easy）、中等（Medium）和困難（Hard）三個(gè)等級(jí)。

表1 人臉檢測(cè)mAP值對(duì)比 %

從表1的對(duì)比結(jié)果中可以看出RetinaFace在人臉檢測(cè)方面具有一定的優(yōu)勢(shì)，因此本文通過改進(jìn)RetinaFace提出了一種自然場(chǎng)景下人臉口罩佩戴檢測(cè)方法，主要工作有以下幾點(diǎn)：

（1）改進(jìn)了RetinaFace算法的網(wǎng)絡(luò)結(jié)構(gòu)，在人臉檢測(cè)的基礎(chǔ)上通過改進(jìn)分類損失函數(shù)增加了人臉口罩配戴檢測(cè)任務(wù)，并且去掉了人臉關(guān)鍵點(diǎn)三維分析等無關(guān)的檢測(cè)任務(wù)，提高算法的訓(xùn)練速度。

（2）在RetinaFace的特征金字塔網(wǎng)絡(luò)中引入了注意力機(jī)制，并進(jìn)行了優(yōu)化，增加了自注意力機(jī)制（Self-Attention），使特征提取網(wǎng)絡(luò)提取有效的目標(biāo)信息并抑制無用信息，增強(qiáng)特征圖的表達(dá)能力和上下文描述能力。

（3）制作了新的數(shù)據(jù)集，并對(duì)數(shù)據(jù)做了大量的手工標(biāo)注用于模型網(wǎng)絡(luò)的訓(xùn)練和測(cè)試。

2 RetinaFace算法原理

RetinaFace是一種魯棒的單級(jí)人臉檢測(cè)算法，該算法利用多任務(wù)聯(lián)合額外監(jiān)督學(xué)習(xí)和自監(jiān)督學(xué)習(xí)的優(yōu)點(diǎn)，可以對(duì)不同尺度的人臉進(jìn)行像素級(jí)定位。該算法的網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示，它融合了特征金字塔網(wǎng)絡(luò)、上下文網(wǎng)絡(luò)和任務(wù)聯(lián)合等優(yōu)秀的建模的思想。

2.1 RetinaFace特征提取網(wǎng)絡(luò)

在RetinaFace算法的特征提取網(wǎng)絡(luò)中采用了從P2到P6特征金字塔的五個(gè)等級(jí)，其中P2到P5是由相應(yīng)的殘差連接網(wǎng)絡(luò)（Residual Network）[16]的輸出特征圖（C2至C6）分別自上而下和橫向連接計(jì)算得到的。P6是通過C5采用Stride=2的3×3的卷積核進(jìn)行卷積采樣得到的。C1到C5使用了ResNet-512在ImageNet-11數(shù)據(jù)集上經(jīng)過預(yù)訓(xùn)練的殘差層[17]，對(duì)于P6層使用了“Xavieer”方法[18]進(jìn)行了隨機(jī)初始化。

圖1 RetinaFace網(wǎng)絡(luò)結(jié)構(gòu)

RetinaFace算法使用了五個(gè)獨(dú)立的上下文模塊，分別對(duì)應(yīng)P2到P6五個(gè)特征金字塔級(jí)別，用來增加感受野的作用域和增強(qiáng)魯棒的上下文語義分割能力。另外使用了可變形卷積網(wǎng)絡(luò)（Deformable Convolutional Network，DCN）[19]代替了上下文模塊中的3×3卷積層，進(jìn)一步加強(qiáng)了非剛性的上下文建模能力。

2.2 RetinaFace多任務(wù)損失函數(shù)

對(duì)于一個(gè)訓(xùn)練的錨點(diǎn)（Anchor）框i，多任務(wù)聯(lián)合損失函數(shù)定義為：

其中，Lcls是分類損失函數(shù)，pi是錨點(diǎn)框中包含預(yù)測(cè)目標(biāo)的概率，∈(0,1)分別表示是負(fù)錨點(diǎn)框和正錨點(diǎn)框。Lbox是目標(biāo)檢測(cè)框回歸損失函數(shù)，其中ti={tx,ty,tw,th}i表示與正錨點(diǎn)框相關(guān)的預(yù)測(cè)框的坐標(biāo)信息，同理=表示與負(fù)錨點(diǎn)框相關(guān)的預(yù)測(cè)框的坐標(biāo)信息。是面部標(biāo)志回歸損失函數(shù)，其中l(wèi)i=和分別表示正錨點(diǎn)框中預(yù)測(cè)的五個(gè)人臉標(biāo)志點(diǎn)和標(biāo)注的五個(gè)人臉標(biāo)志點(diǎn)。Lpixel表示的是面部密集點(diǎn)回歸損失函數(shù)。λ1、λ2和λ3表示的是損失平衡權(quán)值參數(shù)，在RetinaFace算法中分別設(shè)置為0.25、0.1和0.01，意味著在有監(jiān)督的學(xué)習(xí)中再加關(guān)注檢測(cè)框和面部標(biāo)志點(diǎn)的信息。

2.3 RetinaFace錨點(diǎn)框

RetinaFace算法中在P2到P6不同的特征金字塔級(jí)別中使用不同的錨點(diǎn)框，如表2所示。其中在P2層中通過平鋪尺度小的錨點(diǎn)框來捕捉小的面部特征，因此會(huì)花費(fèi)更多的計(jì)算，并且承擔(dān)更大的誤報(bào)風(fēng)險(xiǎn)。對(duì)于輸入圖像大小為640×640，縮放步長設(shè)置為21/3，將長寬比設(shè)置為1∶1，錨點(diǎn)框在特征金字塔的各個(gè)級(jí)別上覆蓋的尺度可以從16×16到406×406，總計(jì)產(chǎn)生102 300個(gè)錨點(diǎn)框，并且其中的75%來自特征金字塔P2層。

表2 錨點(diǎn)框尺寸

3 改進(jìn)RetinaFace算法用于口罩佩戴檢測(cè)

為了實(shí)現(xiàn)對(duì)人臉口罩佩戴進(jìn)行檢測(cè)，本文在RetinaFace算法的基礎(chǔ)上進(jìn)行了改進(jìn)，改進(jìn)后的網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示，整個(gè)框架分為特征金字塔網(wǎng)絡(luò)、上下文網(wǎng)絡(luò)和多任務(wù)聯(lián)合損失三個(gè)部分。其中在特征金字塔中的主干網(wǎng)絡(luò)為ResNet-512，用于特征提取并引入了注意力機(jī)制模塊，增強(qiáng)特征圖的表達(dá)能力。在多任務(wù)聯(lián)合損失中舍去了無關(guān)的面部密集點(diǎn)回歸損失，提高算法模型的訓(xùn)練速度和效率。

3.1 特征提取網(wǎng)絡(luò)

本文使用預(yù)訓(xùn)練好的Resnet-512作為特征金字塔網(wǎng)絡(luò)的主干網(wǎng)絡(luò)，用于特征提取，除了第一層使用7×7的卷積外，其余4層均由殘差連接單元組成，對(duì)于Res_N層表示包含n個(gè)殘差連接單元。使用殘差連接可以有效地解決深層網(wǎng)絡(luò)訓(xùn)練的時(shí)候會(huì)出現(xiàn)梯度消失或梯度爆炸的問題，殘差連接單元的內(nèi)部結(jié)構(gòu)如圖3所示。

圖3 殘差單元結(jié)構(gòu)

在殘差連接單元中，對(duì)于輸入特征向量x，輸出特征向量y，通過殘差連接建立的計(jì)算公式為：

圖2 本文算法的網(wǎng)絡(luò)結(jié)構(gòu)

其中，σ表示線性修正單元（Rectified Linear Unit，ReLU）激活函數(shù)，Wi表示權(quán)重參數(shù)，f(x,{Wi})表示需要學(xué)習(xí)的殘差映射，對(duì)于圖中三層的殘差連接單元，其計(jì)算方式如公式（3）所示。相加操作通過快捷連接和逐元素進(jìn)行相加，相加之后再次采用ReLU激活函數(shù)進(jìn)行非線性化。

3.2 改進(jìn)的自注意力機(jī)制

本文在特征金字塔網(wǎng)絡(luò)中引入了注意力機(jī)制模塊，其內(nèi)部結(jié)構(gòu)如圖4所示，主要包括金字塔注意力機(jī)制（Pyramid Attention Mechanism，PAM）和自注意力機(jī)制（Self-Attention，SA）。金字塔注意力機(jī)制可以增強(qiáng)特征圖的表達(dá)能力，自注意力可以更好地利用特征的上文關(guān)系，提高注意力特征圖的描述能力。

圖4 自注意力網(wǎng)絡(luò)結(jié)構(gòu)

在金字塔注意力機(jī)制中包括聚合操作、分布操作和描述操作。設(shè)輸入的特征圖包含C個(gè)通道，其中的單個(gè)通道特征可表示為xi∈RH×W×1,i=1,2,…,C，其中聚合操作利用空間池化fk生成一個(gè)k級(jí)的空間特征圖描述，具體計(jì)算方式為：

空間特征圖描述隨著k的增長會(huì)更加詳細(xì)，為了進(jìn)一步滿足在多任務(wù)上的不同需要求，引入敏感性m來度量描述的詳細(xì)程度，對(duì)于敏感性m可以用來描述金字塔池化后的特征向量的集合：

則包含多級(jí)特征上下文的空間注意力特征圖描述為：

空間特征分布的表達(dá)式為：

其中，X∈RH×W×C表示輸入特征圖，Dw1×1表示內(nèi)核為1×1的深度卷積。Fm表示與聚合操作具有相同敏感性的空間池化特征的集合。δ表示用于歸一化的Softmax函數(shù)。最后每個(gè)空間特征的描述可以表示為：

其中，δ表示Sigmod函數(shù)，Xd是由公式（8）獲得的所有通道描述的集合。W1∈RC×C/r,W0∈RC/r×C,σ表示ReLU函數(shù)。r定義為平衡因子，在所有實(shí)驗(yàn)中將其設(shè)置為16，以平衡準(zhǔn)確性和復(fù)雜性之間的關(guān)系。最后的輸出特征圖可表示為：

其中?表示逐通道乘法。

3.3 多任務(wù)聯(lián)合損失

本文參考了RetinaFace算法損失函數(shù)的設(shè)計(jì)，為了提高算法的訓(xùn)練速度和檢測(cè)效率，只保留了相關(guān)的分類損失、檢測(cè)框回歸損失和面部標(biāo)志回歸損失，并進(jìn)行了優(yōu)化。去掉了面部密集點(diǎn)回歸損失?？偟膿p失函數(shù)表示為：

各變量定義如公式（1），其中分類損失Lcls( pi,)是由交叉熵?fù)p失函數(shù)做的二分類（完整人臉和佩戴口罩人臉），檢測(cè)框回歸損失Lbox( ti,)使用了Smooth-L1損失函數(shù)，面部標(biāo)志回歸損失Lpts( li,)同樣使用了Smooth-L1損失函數(shù)對(duì)五個(gè)檢測(cè)的人臉標(biāo)志點(diǎn)做了歸一化處理。另外，本文將損失平衡權(quán)值參數(shù)λ1和λ2分別設(shè)置為0.3和0.1。

4 實(shí)驗(yàn)分析

4.1 實(shí)驗(yàn)數(shù)據(jù)集

由于目前沒有公開的自然場(chǎng)景人臉口罩佩戴數(shù)據(jù)集，本文參考WIDER FACE數(shù)據(jù)集和RetinaFace算法對(duì)數(shù)據(jù)集的處理方法，制作了人臉口罩佩戴數(shù)據(jù)集。首先從WIDER FACE人臉數(shù)據(jù)集和MAFA（Masked Faces）[21]遮擋人臉數(shù)據(jù)集中分別隨機(jī)抽取1 400張人臉圖片和1 600張人臉佩戴口罩圖片，共包含16 344張人臉目標(biāo)和3 127張口罩佩戴目標(biāo)。然后對(duì)數(shù)據(jù)集進(jìn)行統(tǒng)一的標(biāo)注，標(biāo)注的信息主要有目標(biāo)框的中心坐標(biāo)、長度、寬度、類別和五個(gè)人臉標(biāo)注點(diǎn)，示例如圖5所示，對(duì)應(yīng)的標(biāo)注數(shù)據(jù)如表3所示。其中80%圖片用于模型訓(xùn)練，剩余20%的圖片用于測(cè)試。

圖5 數(shù)據(jù)集標(biāo)注示例圖片

表3 示例圖片標(biāo)注數(shù)據(jù)

4.2 網(wǎng)絡(luò)模型訓(xùn)練

本文算法在Ubuntu 18.04操作系統(tǒng)中編程實(shí)現(xiàn)，編程語言采用的是Python 3.6，深度學(xué)習(xí)框架為MXNet 1.0，另外使用GPU加速工具CUDA 8.0。硬件配置主要包括CPU為Intel?CoreTMi7-8700K@3.7 GHz，GPU為NVDIA GTX 1080Ti@11 GB，RAM為32 GB。

訓(xùn)練方式采用隨機(jī)梯度下降（Stochastic Gradient Descent，SGD）優(yōu)化模型對(duì)網(wǎng)絡(luò)進(jìn)訓(xùn)練，動(dòng)量為0.9，權(quán)重衰減為0.000 5，批量為8×4。學(xué)習(xí)率從10－3開始，當(dāng)網(wǎng)絡(luò)更新5個(gè)輪次（epoch）后上升到10－2，然后在第34和第46個(gè)輪次除以10，整個(gè)訓(xùn)練過程一共進(jìn)行60個(gè)輪次結(jié)束。

另外，在相同的實(shí)驗(yàn)環(huán)境下，使用相同的訓(xùn)練方式，本文訓(xùn)練了一個(gè)原始的RetinaFace網(wǎng)絡(luò)模型，用于對(duì)比分析。

4.3 實(shí)驗(yàn)結(jié)果分析

本文將數(shù)據(jù)集中20%的圖片用于實(shí)驗(yàn)測(cè)試分析，共600張圖片，其中包含標(biāo)注的3 196個(gè)人臉目標(biāo)和684個(gè)佩戴口罩目標(biāo)。評(píng)估指標(biāo)使用目標(biāo)檢測(cè)領(lǐng)域常用的ROC曲線（Receiver Operating Characteristic curve）、平均精度AP（Average Precision）、平均精度均值mAP（Mean Average Precision）和每秒幀率FPS（Frame Per Second）來客觀評(píng)價(jià)本文算法對(duì)于人臉和口罩佩戴檢測(cè)的效果。其中AP的值反映單一目標(biāo)的檢測(cè)效果，其計(jì)算方式為：

其中，p(r)表示真正率（True Positive Rate）和召回率的映射關(guān)系，真正率p和召回率r的計(jì)算方式為：

其中TP（True Positive，真正數(shù)）表示正樣本被預(yù)測(cè)為正樣本的個(gè)數(shù)，F(xiàn)P（False Positive，假正數(shù)）表示負(fù)樣本被預(yù)測(cè)為了正樣本的個(gè)數(shù)，F(xiàn)N（False Negative，假負(fù)數(shù)）表示正樣本被預(yù)測(cè)為負(fù)樣本的個(gè)數(shù)。本文根據(jù)真正率和假正數(shù)的關(guān)系繪制ROC曲線用來表示對(duì)目標(biāo)檢測(cè)的性能，如圖6所示，其中橫軸表示假正數(shù)，縱軸表示真正率?？傮w上看本文算法和RetinaFace算法對(duì)人臉的檢測(cè)效果明顯優(yōu)于口罩佩戴檢測(cè)，原因是在數(shù)據(jù)集中人臉目標(biāo)多于口罩佩戴目標(biāo)，在模型訓(xùn)練過程中可以學(xué)到更多的人臉特征信息。當(dāng)假正數(shù)到達(dá)600時(shí)，在人臉目標(biāo)檢測(cè)上本文算法和RetinaFace的檢出率分別為0.938和0.928，在口罩佩戴目標(biāo)檢測(cè)上本文算法和RetinaFace的檢出率分別為0.853和0.798，可以看出本文算法的檢測(cè)性能相比RetinaFace算法均有所提高。

圖6 ROC曲線比對(duì)數(shù)據(jù)

mAP表示所有類別平均精度的均值，反映了總體上的目標(biāo)檢測(cè)效果，其計(jì)算方式為：

其中，n表示類別的個(gè)數(shù)，i表示某個(gè)類別。

每秒幀率（FPS）表示每秒處理的圖片數(shù)量，用來衡量算法的檢測(cè)效率。本文將IoU設(shè)置為0.5時(shí)的實(shí)驗(yàn)結(jié)果如表4所示。可以看出，由于本文在訓(xùn)練好的RetinaFace網(wǎng)絡(luò)基礎(chǔ)上進(jìn)行初始化訓(xùn)練，因此在人臉類別的檢測(cè)上AP值分別高達(dá)90.6%和87.3%，在人臉口罩佩戴檢測(cè)上的取值分別為84.7%和76.5%?？傮w而言，本文改進(jìn)的網(wǎng)絡(luò)模型與RetinaFace相比mAP值提高了5.8個(gè)百分點(diǎn)。在檢測(cè)效率上，本文算法使用注意力機(jī)制增加了計(jì)算量，檢測(cè)效率略低于RetinaFace算法。

表4 實(shí)驗(yàn)對(duì)比數(shù)據(jù)

從ROC曲線和平均精度均值兩個(gè)指標(biāo)上看，本文算法改進(jìn)后在人臉檢測(cè)和口罩佩戴檢測(cè)方面RetinaFace均有一定程度的提高，具體檢測(cè)示例效果如圖7所示，第一行圖片中的正常目標(biāo)，本文算法和RetinaFace均取得了不錯(cuò)的檢測(cè)效果，正確檢測(cè)出了圖片中的目標(biāo)信息。對(duì)于第二行圖片中當(dāng)包含小尺寸目標(biāo)時(shí)本文算法的檢測(cè)效果相比RetinaFace提升較大，正確檢測(cè)出了4個(gè)小的人臉目標(biāo)。對(duì)于第三行圖片中部分受到遮擋的目標(biāo)，本文算法相比RetinaFace具有一定的檢測(cè)能力，分別檢測(cè)出了一個(gè)受遮擋的人臉目標(biāo)和口罩佩戴目標(biāo)。對(duì)于拍攝環(huán)境較差的第四行圖片，本文算法的檢測(cè)能力優(yōu)于RetinaFace，可以檢測(cè)出圖片中清晰度低的目標(biāo)。在消融實(shí)驗(yàn)中進(jìn)一步具體分析了本文提出的改進(jìn)方法對(duì)模型檢測(cè)能力的影響。

圖7 口罩佩戴檢測(cè)效果對(duì)比示例

4.4 消融實(shí)驗(yàn)

消融實(shí)驗(yàn)是深度學(xué)習(xí)領(lǐng)域常用的實(shí)驗(yàn)方法，用來分析不同的網(wǎng)絡(luò)分支對(duì)整個(gè)模型的影響[22]。為了進(jìn)一步分析本文通過引入自注意力機(jī)制對(duì)模型進(jìn)行口罩佩戴檢測(cè)的影響，進(jìn)行了消融實(shí)驗(yàn)，首先將本文算法裁剪成四組分別進(jìn)行訓(xùn)練，然后對(duì)測(cè)試集中的檢測(cè)目標(biāo)進(jìn)行分類，目標(biāo)像素小于32×32的為小目標(biāo)（Small），目標(biāo)標(biāo)注點(diǎn)小于等于3的為缺損目標(biāo)（Defect），其余的為正常目標(biāo)（Normal），最后測(cè)試不同實(shí)驗(yàn)組在不同目標(biāo)類別上的mAP，實(shí)驗(yàn)結(jié)果如表5所示，第二組網(wǎng)絡(luò)中增加了金字塔注意力機(jī)制，在三種類別上的mAP值相比第一組網(wǎng)絡(luò)分別提升了4.5、2.8和8.4個(gè)百分點(diǎn)，提升最高的是小目標(biāo)類別，這是由于在金字塔注意力機(jī)制中使用了聚合操作、分布操作和描述操作，在通道中有效保留了小目標(biāo)的特征信息，增強(qiáng)了特征圖的表達(dá)能力，提高了小目標(biāo)的檢測(cè)效果。

表5 消融實(shí)驗(yàn)中mAP值對(duì)比數(shù)據(jù) %

第三組網(wǎng)絡(luò)中引入了自注意力機(jī)制，在三種類別上的mAP值相比第一組分別提升了1.9、7.8和4.7個(gè)百分點(diǎn)，提升最高的是缺損目標(biāo)，這是由于通過自注意力機(jī)制使得特征圖在空間上增強(qiáng)特征上下文之間的聯(lián)系，使用少量的特征點(diǎn)也能更好地描述特征圖的信息。相比第二組網(wǎng)絡(luò)，在三種類別上的mAP值分別提升了－2.6、5.0和－3.7個(gè)百分點(diǎn)，可以看出單獨(dú)使用自注意力機(jī)制在正常目標(biāo)和小目標(biāo)檢測(cè)上弱于單獨(dú)使用金字塔注意力機(jī)制，這是由于自注意力機(jī)制無法抑制特征圖通道上無用信息的干擾，使網(wǎng)絡(luò)學(xué)習(xí)得到了無關(guān)的信息描述，從而影響了網(wǎng)絡(luò)的檢測(cè)效果。

第四組網(wǎng)絡(luò)使用了金字塔注意力機(jī)制和自注意力機(jī)制在三種類別的目標(biāo)上均取得了最優(yōu)的檢測(cè)結(jié)果，說明本文改進(jìn)的注意力機(jī)制結(jié)構(gòu)的合理性和有效性。

4.5 自然場(chǎng)景口罩佩戴檢測(cè)實(shí)驗(yàn)

為了驗(yàn)證本文算法在自然場(chǎng)景下口罩佩戴檢測(cè)的效果，在視頻中進(jìn)行了測(cè)試實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如圖8所示，該視頻是從互聯(lián)網(wǎng)中爬取，視頻尺寸為450×360，幀速率為25.0幀/s，可以看出，在整體上本文算法可以有效地對(duì)視頻中人臉口罩佩戴進(jìn)行檢測(cè)，但也有漏檢的情況出現(xiàn)，其中圖8（b）出現(xiàn)了一個(gè)錯(cuò)檢測(cè)目標(biāo)。另外，在視頻內(nèi)容進(jìn)行畫面切換的幀中，出現(xiàn)了檢測(cè)失真的情況，如圖8（d）所示，原因是本文算法在處理視頻中口罩佩戴檢測(cè)時(shí)效率不足，這也是在未來的工作中需要改進(jìn)的地方。

圖8 視頻中口罩佩戴檢測(cè)效果

5 結(jié)論

本文通過改進(jìn)RetinaFace算法，提出了一種自然場(chǎng)景下人臉口罩佩的檢測(cè)方法，該方法通過在特征金字塔網(wǎng)絡(luò)中引入注意力機(jī)制，分別使用了金字塔注意力機(jī)制增強(qiáng)特征圖在通道上的表達(dá)能力，并抑制無用信息，使用自注意力機(jī)制在特征圖的空間上增強(qiáng)了上下文聯(lián)系和特征描述能力，最終提高了對(duì)多尺度目標(biāo)的檢測(cè)效果。實(shí)驗(yàn)通過在本文建立的3 000張圖片的數(shù)據(jù)集上進(jìn)行訓(xùn)練的結(jié)果表示，本方法可以有效檢測(cè)自然場(chǎng)景下佩戴口罩的人臉和沒有佩戴口罩的人臉，平均精度均值達(dá)到87.7%，每秒幀率為18.3幀/s，另外在自然場(chǎng)景視頻檢測(cè)中也取得了不錯(cuò)的效果，證明了本文算法框架的合理性。在未來的研究中，將進(jìn)一步對(duì)網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行優(yōu)化，使用更多的數(shù)據(jù)集對(duì)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，提高人臉口罩佩戴的檢測(cè)能力和檢測(cè)效率。