基于SSD算法的戴口罩人臉識別方法研究

牛嘉興，高利鵬，張 露，謝心怡

(西北工業(yè)大學軟件學院，陜西 西安 710000)

1 引言

人臉識別技術(shù)是通過對輸入的視頻流或數(shù)字圖像中是否存在人臉信息做出判斷，并且進一步跟蹤數(shù)字圖像或者是視頻每一幀中人臉的位置、大小繼而實現(xiàn)身份的識別[1]。最早的人臉識別相關的研究應用于心理學領域，用來從知覺和心理學的角度研究人臉判斷人的性格特征和面部表征而產(chǎn)生的心理和情感的差異識別的原理外，還有一些科學家從生物視覺的方向進行探索。而在神經(jīng)網(wǎng)絡之前的早期的人臉識別，研究者可以使用算法來完成

對人臉的高級表示，或者可以以一些簡單的表示方法來代表人臉圖片的高級特征。但是，這部分人臉識別方法仍然需要研究人員的高度參與，例如在人臉識別過程中需要引入操作人員的理論常識，在識別過程中也并沒有實現(xiàn)完全的機器識別。而關于深度學習的一些人臉檢測算法，則大多基于對深度學習目標檢測算法進行改進，或者說是把通用的目標檢測模型，為適應人臉檢測任務而進行的特定配置[2，3]。本模型輸入大小為260x260，主干網(wǎng)絡只有8個卷積層，加上定位和分類層，一共只有24層，模型相對較小，只有111.5萬參數(shù)。所以可以有較小的延遲運行在實時攝像頭上。

2 基于SSD算法的口罩識別模型

在當前市面上應用較多的檢測系統(tǒng)模型(Faster RCNN、SSD、YOLO v3，v4，v5)中，針對人臉進行識別和檢測的分析算法中最常用的是SSD(Single Shot MultiBox Detector)算法，比如在開發(fā)者中應用廣泛且被熟知的SSH模型、S3FD模型、RetinaFace算法都是受到了SSD算法邏輯的啟示，或者在SSD算法的基礎上進行了改良，比如將位置層提升到更高的位置、調(diào)整錨點大小、調(diào)整錨點標簽分配規(guī)則、在SSD的基礎上增加FPN等等。本篇論文主要實現(xiàn)的是針對當前疫情情況下的人群是否佩戴口罩的檢測系統(tǒng)，該檢測系統(tǒng)同樣是采用了最常用的SSD模型的基本思想。檢測系統(tǒng)的模型在基礎網(wǎng)絡部分采用了VGG16卷積結(jié)構(gòu)，特點是卷積直接作用于特征圖，以此來預測目標類別和對外圍框[4-6]進行分類并預測。網(wǎng)絡主體提取特征，在每個卷積層進行卷積和下采樣。由于目標網(wǎng)絡在訓練中會產(chǎn)生損失量(Loss)，因此需要定義損失函數(shù)在訓練中評估和測試網(wǎng)絡結(jié)構(gòu)優(yōu)劣和網(wǎng)絡性能優(yōu)劣。所對應的損失函數(shù)主要包括一個位置損失函數(shù)Lloc和分類損失函數(shù)Lconf，損失函數(shù)如式(1)所示[7]

(1)

SSD算法采用多尺度特征圖。分別用于檢測一個相對來講大一點的的特征圖和一個相對較小的圖，如圖二所示。進行檢測時，比較大的圖作用是檢測相對較小的目標，而比較小的特征圖則是用來檢測比較大的目標，如圖1。

圖1 8*8特征圖和4*4特征圖

對于具有一定大小的特征圖，只需要采用 4×4×n 這樣比較小的卷積核就可以得到檢測值。以經(jīng)典的貓狗識別為例，圖三所示，SSD的每個單元對不同長寬比或不同尺度的先驗框進行設置，預測的邊界框(Bounding Boxes)以它們?yōu)榛鶞?，一定程度上降低了訓練難度。一般情況下，每一個單元都會設置多個尺度不同的先驗框，如圖2。

圖2 貓狗識別中設置先驗框

本文中，使用了SSD架構(gòu)的人臉檢測算法，相比于普通的人臉檢測模型只有人臉一個類別，而人臉口罩檢測，則是增加了一個類別，變成戴口罩人臉和不戴口罩的人臉兩個類別。在本文所提及的人臉口罩識別算法中訓練目標檢測模型，最重要的是合理的設置anchor的大小和寬高比，一般會統(tǒng)計數(shù)據(jù)集的目標物體的寬高比和大小來設置anchor的大小和寬高比。例如，在標注的口罩人臉數(shù)據(jù)集上，讀取了所有人臉的標注信息，并計算每個人臉高度與寬度的比值，統(tǒng)計得到高度與寬度比的分布直方圖，如圖3。因為人臉的一般是長方形的，而很多圖片是比較寬的，例如16：9的圖片，人臉的寬度和高度歸一化后，有很多圖片的高度是寬度的2倍甚至更大。從上圖也可以看出，歸一化后的人臉高寬比集中在1～2.5之間。所以，根據(jù)數(shù)據(jù)的分布，將五個定位層的anchor的寬高比統(tǒng)一設置為1，0.62，0.42。(轉(zhuǎn)換為高寬比，也就是約1，1.6：1，2.4：1)

圖3 人臉高寬比直方圖

3 模型結(jié)構(gòu)

為了能讓模型在嵌入式系統(tǒng)上使用，所以神經(jīng)網(wǎng)絡的小型化至關重要，當前主流的分類網(wǎng)絡模型過大，不適合口罩識別系統(tǒng)。還有一種并行發(fā)展的前饋神經(jīng)網(wǎng)絡—卷積神經(jīng)網(wǎng)絡 (Convolutional Neural Networks，CNN)[8-10]，它的主要特點是池化，多網(wǎng)絡層，局部連接和權(quán)值共享。卷積神經(jīng)網(wǎng)絡與全連接神經(jīng)網(wǎng)絡相比，CNN的泛化性能更強，識別率也更高。因此，CNN模型已成功應用于物體檢測、圖像分割、目標識別和圖像識別等領域[11，12]。本模型即是采用卷積神經(jīng)網(wǎng)絡對輸入進行迭代輸出，其主要特點是不需要專門設計針對不同類型人臉圖像穩(wěn)健的特定特征，而是可以通過訓練學習得到。這種訓練學習方法的主要缺陷是需要使用規(guī)模很大的數(shù)據(jù)集對模型進行特征訓練，并且要求數(shù)據(jù)集中包含足夠多的類型變化，因而可以泛化到訓練集未使用過的樣本上[13]。目前一些包含自然人臉圖像的大規(guī)模數(shù)據(jù)集已經(jīng)被公開，可以很方便地用來訓練CNN模型。在模型訓練的時期，訓練集中的每個主體都對應一個固定的類別。在每一個4×4的卷積層可以產(chǎn)生一系列固定大小的錨框。需要預測得到的錨框與目標物體之間的位置偏移，以及每一個錨框中物體屬于某類的概率。為了在檢測中包含更多的高層次上下文信息，將預測模塊轉(zhuǎn)移SSD下游的一系列卷積層(deconvolution)中[14-16]。在模型訓練好之后，就可以去除分類層將之前的層學習到的特征作為人臉表征，這樣就可以用該模型去識別訓練集中不存在的主體。

本模型輸入大小為260x260，主干網(wǎng)絡只有8個卷積層，加上定位和分類層，一共只有24層(每層的通道數(shù)目基本都是3264128)，所以模型相對較小，只有101.5萬參數(shù)。模型對于普通人臉基本可以檢測出來，較小的人臉則精確度略低。但可以有較小的延遲運行在實時攝像頭上。模型在五個卷積層上另接出來了定位分類層，其大小和寬高比設置信息如表1。

表1 卷積層設置

本文中提及的視頻檢測則是針對視頻中每一幀的畫面投入模型中進行人臉口罩檢測，可以顯示出視頻中的人數(shù)以及是否佩戴口罩，并將人臉框出來。為了起到提示作用，對未佩戴口罩的人員進行語音提示。在實驗中由于語音提示在該幀占用時間過長，而將語音提示由另一個線程進行播報，以降低視頻的延遲。還在訓練的過程中，將訓練集的圖片數(shù)據(jù)進行處理，隨機的往嘴巴部分粘貼一些其它物體的圖片，另外為了避免使用手擋住嘴巴就會欺騙部分口罩檢測系統(tǒng)的情況，因此在數(shù)據(jù)集中也加入了部分嘴巴被手捂住的數(shù)據(jù)。從而避免模型認為只要露出嘴巴的就是沒戴口罩，沒露出嘴巴的就是帶口罩這個問題，如圖六所示，模型可以正確識別圖6(a)，(b)中用手捂住臉和手機擋住臉均為未佩戴口罩，減少產(chǎn)生誤判的概率。

圖4 向圖片嘴部添加遮擋物的檢測效果

后處理部分主要就是NMS(Non-Maximum Suppression)，使用了單類的NMS，也就是戴口罩人臉和不戴口罩人臉兩個類別一起做NMS，從而提高速度。同時在該項目中加入了統(tǒng)計攝像頭中出現(xiàn)人數(shù)的函數(shù)并在視頻左上角顯示，當超過一定人數(shù)(3人)時判斷存在人群聚集風險，提示顏色由綠色變?yōu)榧t色并進行提示。以此來預防因人群聚集導致疫情擴散的風險。圖7，圖8展示了攝像頭中人臉佩戴口罩和未佩戴口罩的效果，同時在左上角顯示攝像頭中出現(xiàn)的人數(shù)。

圖5 攝像頭中未佩戴口罩口罩檢測效果

圖6 攝像頭佩戴口罩口罩檢測效果。

4 實驗和分析

4.1 數(shù)據(jù)集

人臉檢測數(shù)據(jù)集非常多，其中最常用的莫過于WIDER Face數(shù)據(jù)集，從中選擇了3894張圖片，并進行了校驗，主要是將部分戴口罩的人臉標注為戴口罩。對于戴口罩的人臉，使用了中科院信工所葛仕明老師開源的MAFA數(shù)據(jù)集，該數(shù)據(jù)集本是一個遮擋人臉的數(shù)據(jù)集，其中有各種被遮擋的人臉圖片，大多數(shù)都是被口罩遮擋的人臉圖片，從中選擇了4064張人臉戴口罩的圖片。MAFA數(shù)據(jù)集的人臉位置定義與WIDER Face有較大區(qū)別，MAFA的人臉框在靠近眉毛上方，是正方形的，而且標注框不嚴格(框離臉部邊緣有縫隙)，而WIDER Face的人臉框在額頭上方，如果不進行修改，會導致模型對于不戴口罩的人臉，檢測框是到額頭上方，而戴口罩的人臉，檢測框只到眉毛上方。因此，重新標注了這部分MAFA數(shù)據(jù)。最終對數(shù)據(jù)進行了隨機劃分為訓練集和驗證集，如表2所示。

表2 數(shù)據(jù)集選取

4.2 結(jié)果與分析

盡管人臉口罩識別在公開數(shù)據(jù)集上取得了良好的效果(系統(tǒng)對人臉的識別率達到89.6%，對人臉是否佩戴口罩的準確率達到91.9%)，PR測試曲線如圖7，但是應該考慮與更多場景的實際情況相結(jié)合，盡量提高方法的泛化能力，以應對各種復雜的場景?；赟SD的人臉口罩識別在單個特定數(shù)據(jù)集上通常能得到較好的結(jié)果，但其性能會隨著不同數(shù)據(jù)集的遷移逐漸衰減。

圖7 測試集PR((Precision-Recall))曲線

因此，對模型做出進一步的增強也是很有必要的，使之學習到更抽象的語義特征，例如長短期記憶網(wǎng)絡[17]和傅里葉卷積神經(jīng)網(wǎng)絡[18]。同時，可以探索其它學習框架以提供不同關于如何解決這個問題的觀點。

另外，由于本系統(tǒng)模型參數(shù)量小，可靠性高，將本系統(tǒng)嵌入式移植到帶攝像頭的嵌入式開發(fā)設備(如樹莓派，jetson nano)并配置紅外傳感器，使之具有測溫功能，可以迅速實現(xiàn)軟件系統(tǒng)的實施落地，在工作生活中更加便利。

5 結(jié)語

本文回顧了人臉識別的發(fā)展歷程及應用成就，詳細闡述了基于SSD模型對人臉進行口罩識別的方法，介紹了CNN模型的適用范圍及其特點。并推薦使用以上模型進行人臉識別的口罩預測。同時本文增加了數(shù)據(jù)集來源和獲取的內(nèi)容，講解了如何選取數(shù)據(jù)集和預測模型中容易存在的一些缺陷。詳細介紹了本文中使用的分類模型以及各層卷積層的配置。

最后希望能夠在疫情席卷的當下作為科研工作者可以貢獻自己的一份綿薄之力。