基于深度學(xué)習(xí)的佩戴口罩檢測方法研究

田 勇 林開司

（銅陵職業(yè)技術(shù)學(xué)院 電氣工程系，安徽 銅陵 244000）

佩戴口罩是在應(yīng)對傳染性公共衛(wèi)生疾病時所采取的簡單而重要的防護(hù)措施。在要求佩戴口罩的場合下，通常以遠(yuǎn)程視頻監(jiān)控和現(xiàn)場人工巡檢等方式來完成對人群口罩佩戴的監(jiān)測。但是，人工巡檢會增大工作人員的感染風(fēng)險，查看監(jiān)控視頻則需工作人員長時間、精神高度集中地觀看屏幕，增加了工作人員的勞動負(fù)荷和精神壓力，也增加了漏判的幾率。使用經(jīng)過訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)來輔助人工進(jìn)行實時口罩佩戴檢測，可以大大減小人員的工作強(qiáng)度，具有一定的實用價值。

在早期的目標(biāo)檢測技術(shù)實踐中，通常需要進(jìn)行手工特征設(shè)計和提取，這種方式過分地依賴操作人員的經(jīng)驗，存在檢測精度低和泛化能力差的問題。而在深度學(xué)習(xí)中，得益于卷積神經(jīng)網(wǎng)絡(luò)的特性，提取圖像特征時無需人工設(shè)計特征。因此，基于深度學(xué)習(xí)的目標(biāo)檢測算法成為了當(dāng)前的主流算法。根據(jù)卷積神經(jīng)網(wǎng)絡(luò)的使用方式，目標(biāo)檢測可分為兩大類：一類是基于回歸的卷積神經(jīng)網(wǎng)絡(luò)目標(biāo)檢測，另一類是基于分類的卷積神經(jīng)網(wǎng)絡(luò)目標(biāo)檢測。

基于回歸的卷積神經(jīng)網(wǎng)絡(luò)是將網(wǎng)絡(luò)作為回歸器，把整幅待檢測圖像看成一個候選區(qū)，在網(wǎng)絡(luò)中直接輸入回歸目標(biāo)在待檢測圖像中的位置信息。Yolo 算法和SSD 算法是代表性算法。Yolo 最早由Redmon 等于2015 年提出其v1 版本[1]。在2018 年，Redmon 等又將其發(fā)展到Y(jié)olo v3 版本，檢測速率進(jìn)一步提高，在視頻檢測上達(dá)到了45fps。目前，已有一些基于該算法的應(yīng)用研究[2,3]。

基于分類的卷積神經(jīng)網(wǎng)絡(luò)利用網(wǎng)絡(luò)本身具有特征提取、特征選擇和特征分類的功能，用卷積神經(jīng)網(wǎng)絡(luò)對每個滑動窗口產(chǎn)生的候選區(qū)進(jìn)行二分類，判斷其是否為待檢測目標(biāo)。最早的代表性算法是由Girshick 等人于2014 年提出的R-CNN，這一算法在VOC2007 數(shù)據(jù)集上獲得了遠(yuǎn)超之前所有算法的mAP 成績，由此掀起了此類研究的熱潮。由于此算法速度偏慢，在隨后出現(xiàn)的Fast R-CNN 中，對待檢測圖像進(jìn)行了一次特征提取，并引入RoI Pooling 層對特征尺度進(jìn)行統(tǒng)一化，同時使用歸一化指數(shù)函數(shù)代替了支持向量機(jī)，使得算法在速度和檢測的準(zhǔn)確率上有了進(jìn)一步提升。Faster R-CNN[4]是對Fast R-CNN 的又一次改進(jìn)，它引入了區(qū)域建議網(wǎng)絡(luò)在特征圖上生成不同尺寸的錨點框，再一次提升了算法的速度和精度。

這些算法能夠較好地實現(xiàn)目標(biāo)檢測，卻缺少對圖片中所關(guān)心目標(biāo)的語義分割功能。Mask R-CNN是何凱明等人在Faster R-CNN 基礎(chǔ)上提出的帶有實例分割功能的算法[5]，這個算法在前面算法的基礎(chǔ)上添加了一個分支，使用現(xiàn)有的檢測對目標(biāo)進(jìn)行并行地分割掩膜預(yù)測。在結(jié)果展示時，除了產(chǎn)生目標(biāo)候選框，還會對目標(biāo)添加像素級的語義分割掩膜，所關(guān)心的目標(biāo)結(jié)果顯示更加直觀，實現(xiàn)了目標(biāo)檢測與實例分割技術(shù)的結(jié)合應(yīng)用。

用于檢測人臉是否佩戴口罩的相關(guān)研究自2020 年開始逐漸興起，鄧黃瀟通過使用遷移學(xué)習(xí)與RetinaNet 網(wǎng)絡(luò)來實現(xiàn)對人類是否佩戴口罩的檢測[6]。謝征宇等人介紹了基于視頻的乘客口罩佩戴檢測的相關(guān)技術(shù)及現(xiàn)狀，特別提到了適用于軌道交通應(yīng)用場景的可行方案[7]。牛作東等人對RetinaFace算法進(jìn)行了改進(jìn)，提出了一種自然場景下人臉口罩佩戴檢測方法[8]。張修寶等人將基于特征融合和分割監(jiān)督的人臉檢測技術(shù)和口罩佩戴識別技術(shù)進(jìn)行了組合，提出了一種結(jié)合注意力學(xué)習(xí)對人臉戴口罩區(qū)域進(jìn)行判別的口罩佩戴識別技術(shù)方案[9]。

本文采用了基于Mask R-CNN 的目標(biāo)檢測算法，采用深度殘差網(wǎng)絡(luò)作為網(wǎng)絡(luò)結(jié)構(gòu)，使用公開的口罩遮擋人臉識別數(shù)據(jù)集，通過訓(xùn)練實現(xiàn)了對佩戴口罩的目標(biāo)檢測與實例分割。

1 目標(biāo)檢測算法

1.1 算法流程

本文算法的檢測流程可以分為兩個階段，第一階段掃描圖像并生成目標(biāo)區(qū)域建議，第二階段對前一階段生成的建議進(jìn)行分類，并生成目標(biāo)框和分割掩膜。最終結(jié)果由目標(biāo)分類、目標(biāo)檢測框和分割掩膜三部分組成。

算法的流程如圖1 所示。首先將輸入的圖像擴(kuò)展到設(shè)定的尺寸，通過特征金字塔網(wǎng)絡(luò)(FPN)為全圖提取特征，得到圖像的特征圖（Feature maps），再將特征圖輸入到區(qū)域建議網(wǎng)絡(luò)（RPN），生成一系列感興趣的區(qū)域（RoI）。在這個過程中，RPN 用一個在特征圖上滑移的窗口，為每個位置生成9種提前預(yù)設(shè)的不同長寬比的目標(biāo)框（anchor），判斷每個目標(biāo)框是否覆蓋檢測目標(biāo)，若目標(biāo)框與訓(xùn)練集中給定的目標(biāo)框面積的交并比（IoU）超過0.5 則判斷為前景，否則判斷為背景。隨后對判斷為前景的目標(biāo)框進(jìn)行一次坐標(biāo)修正。再將生成的建議識別區(qū)域與源圖像的特征圖一起送入RoI Align 模塊，將建議識別區(qū)域進(jìn)一步對齊到原圖。

圖1 本文算法流程示意圖

在RoI Align 操作之后，再把結(jié)果送入兩個并行的網(wǎng)絡(luò)進(jìn)行最終結(jié)果預(yù)測，一個是全連接層，用于進(jìn)行目標(biāo)分類和目標(biāo)框位置回歸；另一個是全卷積層，用于生成目標(biāo)的分割掩膜。最后將這些結(jié)果合并顯示。

1.2 算法的多任務(wù)損失函數(shù)

由于最終結(jié)果由目標(biāo)分類、目標(biāo)檢測框和分割掩膜三部分組成，在模型訓(xùn)練中，采用多任務(wù)損失函數(shù)，可以描述為：

公式（1）中，Lcls表示分類誤差，Lbox表示檢測誤差，Lmask表示目標(biāo)分割誤差。在進(jìn)行目標(biāo)分割時，系統(tǒng)定義了一個k×m2維度的矩陣來表示K 個不同的分類所對應(yīng)的m×m的區(qū)域，對每一個像素均使用sigmod 函數(shù)求相對熵，Lmask表示的是最終的平均二值交叉熵。使用每個像素所屬類別的交叉熵作為誤差值進(jìn)行計算，可以將分割預(yù)測和分類預(yù)測很好的解耦。

其表達(dá)形式如公式1 所示，其中，yij為m×m區(qū)域像素點(i,j)的標(biāo)簽值，y?ijk表示像素點第k 類的預(yù)測值。

1.3 檢測算法中的RoI Align 層

RoI（Region of Interest，RoI） Align 是Mask R-CNN 算法對Faster R-CNN 中RoI Pooling 方法的一個改進(jìn)。RoI Align 層實現(xiàn)了對目標(biāo)建議區(qū)域的池化，它將不同輸入尺寸的特征圖池化后輸出為固定的尺寸大小。

在RoI Pooling 方法中，它會按照算法所設(shè)定的超參數(shù)為H、W 的值，將任意輸入的尺寸為h×w的特征圖分割為尺寸為H×W大小的子窗口，這樣每個子窗口的大小約為(h/H)×(w/W)，再對每個子窗口進(jìn)行最大池化操作，得到固定輸出大小的特征圖。在這一過程中，子窗口的大小值可能不是整數(shù)，RoI Pooling 直接對數(shù)值進(jìn)行了四舍五入的取整操作，這樣做的誤差值雖然看似不大，但是已經(jīng)造成了特征圖與原圖不對準(zhǔn)的情況。當(dāng)從特征圖重新映射到原圖時，就會產(chǎn)生比較大的誤差。這一誤差對于分類和目標(biāo)檢測來說不會有太大影響，但是如果用于實例分割，就會造成較大的偏差，體現(xiàn)在輸出結(jié)果上就是分割掩膜與實際目標(biāo)之間存在較大移位。

為了減小RoI Pooling 方法在特征點定位時進(jìn)行取整操作在進(jìn)行實例分割時所帶來的誤差，Mask R-CNN 的RoI Align 層在操作上取消了量化過程，使用雙線性插值算法獲得了坐標(biāo)為浮點數(shù)的像素點上的圖像數(shù)值，避免了取整帶來的誤差，大大地減小了原圖像素與特征圖像素之間的誤差。雙線性插值算法的公式如下：

首先在x方向上進(jìn)行線性插值運(yùn)算，得到：

然后在y方向上進(jìn)行線性插值運(yùn)算，得到：

其中，f(P)為所求點的值，f(Q11)、f(Q12)、f(Q21)、f(Q22)為已知的4 個采樣點的值。f(R1)、f(R2)表示x方向上進(jìn)行插值運(yùn)算所得到的值。

2 實驗與結(jié)果分析

2.1 數(shù)據(jù)集使用與標(biāo)注

本文使用COCO 數(shù)據(jù)集的預(yù)訓(xùn)練權(quán)重[10]進(jìn)行訓(xùn)練參數(shù)的泛化，訓(xùn)練及驗證數(shù)據(jù)集使用了最新公開的口罩遮擋人臉識別數(shù)據(jù)集（Real-World Masked Face Dataset）。本文選擇了數(shù)據(jù)集中500 張圖片用于訓(xùn)練，200 張用于驗證。對于實際的人臉狀態(tài)來說，可能存在頭部傾斜、被遮擋等狀態(tài)，因此在組合訓(xùn)練集的過程中，應(yīng)充分考慮各類可能出現(xiàn)的情況，盡量多地挑選出各種不同的人物頭部姿態(tài)的圖片。于此同時，本文還額外挑選了部分圖片進(jìn)行了旋轉(zhuǎn)操作來模擬人頭部傾斜狀態(tài)并作為新的樣本加入到訓(xùn)練集。使用開源軟件via 對訓(xùn)練集與測試集樣本進(jìn)行標(biāo)注，最后生成json 格式的樣本標(biāo)注記錄。在樣本標(biāo)注中需要注意的是：佩戴口罩的人群除了正常的佩戴口罩外，還可能存在一些特殊的動作或穿戴而影響面部情況，如：a）面部被其他人遮擋；b）用手、手機(jī)等遮擋了部分面部；c）帽子或圍巾遮擋了頭部或部分面部；d）佩戴非常規(guī)口罩、佩戴有色或無色眼鏡等。如圖2 所示為一些佩戴口罩的特殊情況示例。

圖2 一些佩戴口罩的特殊情況示例

對于佩戴口罩的判斷應(yīng)基于口罩是否戴在面部。因此，在進(jìn)行樣本標(biāo)注時，應(yīng)將戴口罩的人的面部作為一個整體進(jìn)行標(biāo)注，要保留眼睛、額頭的特征（如圖3-a 所示），并且排除面部的阻擋物（如手、手機(jī)、帽子等，如圖3-b 所示）。否則，在檢測時就可能會出現(xiàn)將口罩和剩余的面部區(qū)分檢測的情況，造成檢測結(jié)果錯誤。單個樣本的標(biāo)注數(shù)據(jù)格式示例如圖4 所示。

圖3 數(shù)據(jù)集樣本標(biāo)注區(qū)域示例

圖4 樣本標(biāo)注數(shù)據(jù)格式示例

2.2 實驗結(jié)果

實驗程序基于python3.6 編寫，為加速訓(xùn)練和檢測，把GPU 版本的Tensorflow-1.9.0 開源深度學(xué)習(xí)庫作為構(gòu)建基礎(chǔ)，所用顯卡為GTX1080，顯存為8G，同時需要安裝顯卡運(yùn)算平臺CUDA 來完成運(yùn)算。由檢測結(jié)果示例圖5 可知，本文所用算法所生成結(jié)果除了檢測框之外，還為目標(biāo)添加了分割掩膜。分割掩膜可以直觀方便地展示人們關(guān)心的檢測結(jié)果。本文中將已佩戴口罩的分割掩膜設(shè)置為藍(lán)色，將未佩戴口罩的分割掩膜設(shè)置為紅色。

圖5 本文算法檢測結(jié)果示例

2.3 評價指標(biāo)

利用驗證集，對佩戴口罩和未戴口罩兩類均使用目標(biāo)檢測領(lǐng)域常用的精確率（Precision）、召回率（Recall）進(jìn)行評價, 同時使用準(zhǔn)確率（Accuracy）指標(biāo)對兩者綜合性能進(jìn)行評價。其中，精確率又被稱為查準(zhǔn)率，表示檢測到的所有樣本中該類正確樣本數(shù)量的占比；召回率也被稱為查全率，表示檢測的所有樣本中該類正確樣本數(shù)量占集合中所有該類樣本數(shù)量的比例；準(zhǔn)確率表示檢測的所有類別中各自正確樣本數(shù)量之和占所有樣本數(shù)量的比例。精確率、召回率和準(zhǔn)確率的計算公式如下：

其中，TP表示佩戴口罩的樣本被正確檢測為戴口罩類別的數(shù)量；FP表示不佩戴口罩被錯誤地檢測為戴口罩的類別的數(shù)量；FN表示佩戴口罩的樣本被錯誤檢測為不戴口罩的類別的數(shù)量；TN表示不佩戴口罩的樣本被正確檢測為不佩戴口罩的類別的數(shù)量。

2.4 結(jié)果分析

表1 所示為本文算法在驗證集下的檢測結(jié)果，可以看出，該算法有較好的檢測效果，精確率較高，說明檢出結(jié)果的可信度較高；召回率較高，說明對檢測目標(biāo)的漏檢概率較小。

表1 驗證集下的佩戴口罩檢測結(jié)果

圖6 所示為本文算法的部分誤檢和漏檢示例。詳細(xì)分析出現(xiàn)誤檢和漏檢的圖片，出現(xiàn)漏檢的情況，大部分是由于人的臉部被他人、頭發(fā)、飾物等遮擋面積較大，或人臉處在特別的角度下，造成無法判斷是否為人臉；誤檢的情況中，有很多是由于周圍環(huán)境物的干擾，比如廣告牌上的假人、宣傳畫中出現(xiàn)的類似人臉的圖片、所帶的飾物與人臉佩戴口罩的特征類似等。因此，在后續(xù)的研究和使用中需要進(jìn)一步地挑選和組合訓(xùn)練樣本，增加樣本的規(guī)模，盡量考慮到各種可能存在的情況，尤其是增加各類側(cè)方位人臉、小角度和遮擋嚴(yán)重但仍可明確辨認(rèn)是否佩戴口罩的樣本，以及因照片焦距問題導(dǎo)致背景人物虛化但同樣可以明確辨認(rèn)是否佩戴口罩的樣本數(shù)量。

圖6 本文算法的部分誤檢和漏檢示例

3 結(jié)束語

使用深度學(xué)習(xí)算法來輔助人工進(jìn)行佩戴口罩識別，可以大大減少工作人員的工作強(qiáng)度和精神壓力。本文所采用的基于Mask R-CNN 算法的佩戴口罩檢測方法，檢測結(jié)果具有較高準(zhǔn)確性，在結(jié)果顯示時除了檢測目標(biāo)框之外，還添加了目標(biāo)分割掩膜，可分辨性高。在輔助人工進(jìn)行口罩佩戴實時檢測的場合下，可以起到一定的作用。