基于YOLOv5s的口罩佩戴實(shí)時(shí)檢測(cè)系統(tǒng)設(shè)計(jì)

焦雙健，謝似霞

（中國(guó)海洋大學(xué) 工程學(xué)院，山東 青島 266100）

0 引 言

2019年，新型冠狀病毒肺炎（以下簡(jiǎn)稱新冠肺炎）疫情突然爆發(fā)，它是一種全球傳播的流行病，傳染性極強(qiáng)，自爆發(fā)以來，嚴(yán)重威脅著全球所有人的生命。雖然中國(guó)疫情防控的能力逐漸提高，但新型冠狀病毒的突變也使這場(chǎng)疫情的情況不容樂觀。如何應(yīng)對(duì)新冠肺炎疫情，已成為全球科學(xué)界的一個(gè)焦點(diǎn)問題?？茖W(xué)界已做出許多努力，例如開發(fā)有效的疫苗、制定及時(shí)有效的治療方案等。相關(guān)研究顯示，新型冠狀病毒主要通過飛沫和氣溶膠傳播。這種傳播很有可能在與感染者的社會(huì)互動(dòng)如交談、接觸中發(fā)生。因此，正確佩戴防護(hù)口罩成為一種科學(xué)有效的降低病毒傳播率的方法。佩戴口罩可以有效過濾和阻斷空氣中的病毒，為人們的工作和出行安全提供保障。如今，在地鐵、機(jī)場(chǎng)、火車站和工業(yè)廠房等人群眾多的公共場(chǎng)所，都有專人來檢查路過的人是否佩戴口罩。為了節(jié)省人力，避免漏檢，有必要開發(fā)一種自動(dòng)檢測(cè)方法，檢測(cè)公共場(chǎng)所的個(gè)人是否正確佩戴口罩，這也有利于疫情的智能防控。

隨著深度學(xué)習(xí)和計(jì)算機(jī)視覺的快速發(fā)展，目標(biāo)檢測(cè)技術(shù)已經(jīng)可以被很好地運(yùn)用在口罩佩戴的自動(dòng)檢測(cè)中。經(jīng)典的目標(biāo)檢測(cè)算法包括單階段算法、兩階段算法和其他無錨算法，如Faster RCNN[1]、RetinaNet[2]、SSD[3]、YOLOv1[4]、CornerNet[5]等。現(xiàn)有的人臉和口罩檢測(cè)算法可以分為兩類。一類是追求快速推理速度的實(shí)時(shí)檢測(cè)方法，另一種是高性能的檢測(cè)方法，它優(yōu)先考慮檢測(cè)的準(zhǔn)確性。李澤琛等[6]提出了一種多尺度注意力學(xué)習(xí)的Faster R-CNN口罩人臉檢測(cè)模型，平均精度均值（mean Average Precision，mAP）達(dá)到90%以上，平均精度比較高，屬于第一類，但是檢測(cè)速度較慢，無法做到很好的實(shí)時(shí)性檢測(cè)。曾成等[7]提出一種基于YOLOv3改進(jìn)的算法M＿YOLOv3來進(jìn)行口罩佩戴檢測(cè)，實(shí)驗(yàn)結(jié)果表明，YOLOv3的檢測(cè)速度較快，但平均精度只有不到80%，屬于第二類，但經(jīng)過改進(jìn)，改善了小目標(biāo)的問題，mAP可以達(dá)到88%以上。潘衛(wèi)國(guó)等[8]提出通過基于YOLO的目標(biāo)檢測(cè)算法實(shí)現(xiàn)對(duì)交通標(biāo)志牌的實(shí)時(shí)檢測(cè)識(shí)別，通過改進(jìn)，使得算法在檢測(cè)精度得到提升的同時(shí)，也充分滿足了實(shí)時(shí)檢測(cè)的要求，并得到了相關(guān)驗(yàn)證。綜上，單階段的目標(biāo)檢測(cè)算法經(jīng)過改進(jìn)，更適合應(yīng)用于各種場(chǎng)景下的口罩佩戴實(shí)時(shí)檢測(cè)，精度不低，速度也快。

本文提出一種基于YOLOv5s的口罩佩戴實(shí)時(shí)檢測(cè)系統(tǒng)，先訓(xùn)練好用于口罩檢測(cè)的達(dá)到預(yù)定標(biāo)準(zhǔn)精度的模型，再將該模型放入相關(guān)設(shè)備。該模型權(quán)重較小，推理速度快，可以很好地放入嵌入式設(shè)備中。該系統(tǒng)能夠?qū)崟r(shí)地判斷人臉是否佩戴口罩，速度和準(zhǔn)確性都比較高?？梢酝ㄟ^在機(jī)場(chǎng)、超市和施工現(xiàn)場(chǎng)入口等人口流量高的地方部署相關(guān)設(shè)備，來實(shí)現(xiàn)對(duì)口罩佩戴的智能監(jiān)測(cè)，從而有效提高疫情防控的效率。

1 目標(biāo)檢測(cè)模型的選擇和改進(jìn)

1.1 目標(biāo)檢測(cè)模型的選擇

YOLO系列等單階段的目標(biāo)檢測(cè)算法普遍具有檢測(cè)速度快的優(yōu)點(diǎn)，雖然比雙階段的目標(biāo)檢測(cè)算法精度低，但經(jīng)過改進(jìn)，精度也完全滿足實(shí)時(shí)檢測(cè)的要求。YOLO系列自身也在不斷地完善和發(fā)展，在精度和檢測(cè)速度上的效果越來越好。YOLOv5作為YOLO系列比較先進(jìn)的算法模型，與YOLOv4相比，模型輕量，有巨大的靈活性，可以很好地滿足口罩視頻圖像檢測(cè)實(shí)時(shí)性的要求。YOLOv5的網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。YOLOv5算法根據(jù)網(wǎng)絡(luò)架構(gòu)的深度和寬度分為4個(gè)大小不同的版本，具體包括YOLOv5s，YOLOv5m，YOLOv5l及YOLOv5x。YOLOv5s在COCO測(cè)試集與驗(yàn)證集上面的AP指標(biāo)為36.8，AP50指標(biāo)為55.6。YOLOv5s算法在V100 GPU上的推理只需要2.2 ms，幀率為455 f·s-1。該網(wǎng)絡(luò)的模型大小僅為7.3 MB。相對(duì)地，YOLOv5x算法在V100 GPU上的推理速度是6.0 ms，幀率為167 f·s-1，模型的大小達(dá)到87.7 MB?？梢钥闯?，YOLOv5s網(wǎng)絡(luò)小，推理速度也很快，因此比較適合嵌入式設(shè)備使用，適合部署在單片機(jī)上，能夠在一定程度上解決目前大且復(fù)雜的模型難以被實(shí)際應(yīng)用的問題。而且，其他三種模型都是在YOLOv5s基礎(chǔ)上修改yaml文件，進(jìn)行加深加寬網(wǎng)絡(luò)操作，不需要修改大量的代碼。本文使用YOLOv5s，其他三種模型可以在此基礎(chǔ)上進(jìn)行修改和精進(jìn)。雖然YOLOv5s在實(shí)時(shí)性目標(biāo)檢測(cè)方面有諸多優(yōu)點(diǎn)，但是在檢測(cè)口罩時(shí)還存在錯(cuò)檢漏檢率高、無法很好地識(shí)別小目標(biāo)等問題。因此，需要針對(duì)這些問題進(jìn)行改進(jìn)。

圖1 YOLOv5的網(wǎng)絡(luò)結(jié)構(gòu)

1.2 針對(duì)口罩佩戴檢測(cè)模型的改進(jìn)

1.2.1 加入SE通道注意力機(jī)制

為了提高準(zhǔn)確率，能識(shí)別到小目標(biāo)或者較遠(yuǎn)處的目標(biāo)，檢測(cè)模型通常會(huì)加入注意力機(jī)制，讓網(wǎng)絡(luò)更加關(guān)注重要特征。

SENet作為較早的通道注意力機(jī)制，其目的是通過一個(gè)權(quán)重矩陣，從通道域的角度賦予圖像不同位置不同的權(quán)重，得到更重要的特征信息。SE模塊如圖2所示。SE模塊的操作主要為擠壓（Squeeze）和激勵(lì)（Excitation）。被加入的SE模塊就通過這些操作讓網(wǎng)絡(luò)更關(guān)注待檢測(cè)目標(biāo)，提升網(wǎng)絡(luò)模型的整體效果。

圖2 SE模塊的示意圖

SE模塊是一個(gè)即插即用的模塊，它在YOLOv5s模型中的加入位置也是一個(gè)值得研究的話題。本文將SE模塊添加進(jìn)主干部分的C3模塊之后，參數(shù)量引入較小。實(shí)驗(yàn)結(jié)果顯示出了不錯(cuò)的提升效果。

1.2.2 改進(jìn)損失函數(shù)

對(duì)于目標(biāo)檢測(cè)網(wǎng)絡(luò)來說，目標(biāo)框回歸損失函數(shù)的選擇非常重要。損失函數(shù)經(jīng)歷了一段時(shí)間的發(fā)展，也呈現(xiàn)出了幾種不錯(cuò)的結(jié)果。對(duì)于YOLOv5s來說，它普遍采用的是GIOU_Loss作為Bounding box的損失函數(shù)。GIOU函數(shù)是最早出現(xiàn)的IOU函數(shù)改進(jìn)版。GIOU損失函數(shù)的表達(dá)式為

式中：IOU為真實(shí)邊界與預(yù)測(cè)框的交并比，A為預(yù)測(cè)矩形框，B為真實(shí)矩形框，C為A和B的外接矩形。GIOU損失函數(shù)能很好地反映真實(shí)框與預(yù)測(cè)框的重合程度和遠(yuǎn)近距離，一定程度上解決了IOU不能體現(xiàn)A和B兩者之間距離的關(guān)鍵問題。但是，它也存在著缺點(diǎn)，當(dāng)目標(biāo)框完全包裹預(yù)測(cè)框時(shí)，如圖3所示，GIOU會(huì)失去它的優(yōu)勢(shì)，變得和IOU一樣，無法體現(xiàn)出A和B兩者的位置關(guān)系。

圖3 GIOU公式中A和B區(qū)域的位置關(guān)系

鑒于GIOU損失函數(shù)的局限性，本文用CIOU損失函數(shù)代替GIOU損失函數(shù)。因?yàn)镃IOU的計(jì)算方法充分考慮了預(yù)測(cè)框和真實(shí)框之間的重疊面積、中心點(diǎn)距離和長(zhǎng)寬比。使用CIOU損失函數(shù)，可以使YOLOv5s網(wǎng)絡(luò)在訓(xùn)練時(shí)保證預(yù)測(cè)框更快地收斂[9]。本文訓(xùn)練結(jié)果的對(duì)比，顯示出CIOU損失函數(shù)的優(yōu)越性。所以本文將CIOU損失函數(shù)作為口罩檢測(cè)的損失函數(shù)，代替了GIOU損失函數(shù)。

2 系統(tǒng)總體設(shè)計(jì)

本文口罩檢測(cè)系統(tǒng)的結(jié)構(gòu)設(shè)計(jì)如圖4所示。系統(tǒng)以口罩檢測(cè)設(shè)備為核心，檢測(cè)設(shè)備可以為各類單片機(jī)或者嵌入式設(shè)備，本文選用的是NVIDIA Jetson TX2嵌入式平臺(tái)[10]。除此之外，系統(tǒng)還包含攝像頭、報(bào)警器、顯示屏幕、服務(wù)器以及存儲(chǔ)數(shù)據(jù)的數(shù)據(jù)庫(kù)。該系統(tǒng)通過攝像頭采集視頻流圖像，通過檢測(cè)設(shè)備實(shí)時(shí)識(shí)別出圖像中的人臉是否佩戴口罩，并通過報(bào)警器和顯示屏給出相應(yīng)的結(jié)果，對(duì)未佩戴口罩的人做出警示。

圖4 系統(tǒng)結(jié)構(gòu)設(shè)計(jì)圖

口罩檢測(cè)的流程如圖5所示。檢測(cè)設(shè)備通過YOLOv5目標(biāo)檢測(cè)算法訓(xùn)練好的口罩檢測(cè)模型對(duì)獲取到的圖像進(jìn)行識(shí)別，當(dāng)檢測(cè)到有人未佩戴口罩，報(bào)警器就會(huì)立馬發(fā)出警報(bào)，同時(shí)顯示屏幕會(huì)顯示出警告信息。當(dāng)檢測(cè)到口罩已經(jīng)佩戴，系統(tǒng)僅會(huì)在顯示屏幕上顯示。這些結(jié)果都會(huì)通過服務(wù)器上傳至存儲(chǔ)數(shù)據(jù)的數(shù)據(jù)庫(kù)，以方便相關(guān)人員查看。

圖5 檢測(cè)設(shè)備系統(tǒng)流程圖

3 口罩檢測(cè)模塊設(shè)計(jì)

3.1 口罩?jǐn)?shù)據(jù)集

本文數(shù)據(jù)集大部分來源于互聯(lián)網(wǎng)公開的數(shù)據(jù)集，還有少量自己拍攝和在公開視頻中截取的圖像。每張口罩?jǐn)?shù)據(jù)集的圖片都有對(duì)應(yīng)的標(biāo)簽文件。標(biāo)簽分為戴口罩的人臉和不戴口罩的人臉兩類，用mask和face表示。圖片總計(jì)2 000張，經(jīng)篩選和隨意排序后，將圖片按3∶1∶1的比值劃分為訓(xùn)練集、測(cè)試集和驗(yàn)證集。訓(xùn)練集為1 200張，測(cè)試集和驗(yàn)證集均為400張。相關(guān)數(shù)據(jù)集圖片如圖6所示。

圖6 數(shù)據(jù)集照片

3.2 評(píng)價(jià)指標(biāo)

由于口罩檢測(cè)本質(zhì)上是一項(xiàng)分類和定位任務(wù)，因此應(yīng)使用典型指標(biāo)進(jìn)行評(píng)估，包括真陽性（TP）、真陰性（TN）、假陽性（FP）和假陰性（FN）?；谶@些指標(biāo)，精度（Precision）和召回率（Recall）的定義如下：

精度和召回率都是簡(jiǎn)單地從一個(gè)角度來評(píng)價(jià)模型的好壞。它們的值越靠近1，模型的性能越好；越靠近0，模型的性能越差。為了綜合評(píng)價(jià)目標(biāo)檢測(cè)的性能，一般采用平均精度均值mAP來進(jìn)一步評(píng)估模型的好壞。

平均識(shí)別精度（Average Precision，AP），采用精度（Precision，P）和召回率（Recall，R）兩個(gè)值作為橫縱坐標(biāo)，其所圍成的面積為平均識(shí)別精度，即為P-R曲線，如式（4）所示。mAP則為平均精度均值，一般以IOU為0.5來計(jì)算mAP，其中IOU如式（5）所示。式（5）中A代表預(yù)測(cè)的邊框，B代表目標(biāo)實(shí)際的邊框。AP是計(jì)算某一類P-R曲線下的面積，mAP則是計(jì)算所有類別P-R曲線下面積的平均值，如式（6）所示。

本文的平均精度均值就是對(duì)佩戴口罩的人臉的平均識(shí)別精度和不戴口罩的人臉的平均識(shí)別精度求均值，即公式（7）。

3.3 模型訓(xùn)練

PyTorch是目前難得的簡(jiǎn)潔、優(yōu)雅、高效且快速的框架，已經(jīng)在深度學(xué)習(xí)框架中達(dá)到了一定的高度。在當(dāng)前開源的所有框架中，PyTorch在靈活性、易用性、速度等方面占據(jù)絕對(duì)優(yōu)勢(shì)[11]。因此，本文選擇PyTorch作為訓(xùn)練框架來進(jìn)行模型訓(xùn)練。

首先，將數(shù)據(jù)集的jpg文件放入images文件夾，將txt文件放入labels文件夾，將標(biāo)記完成的數(shù)據(jù)集圖片和標(biāo)簽文件分別放入對(duì)應(yīng)的訓(xùn)練集、測(cè)試集、驗(yàn)證集文件夾中。在data文件夾下創(chuàng)建一個(gè)新的yaml文件來標(biāo)記數(shù)據(jù)集的位置、數(shù)據(jù)集的類別和目標(biāo)名稱。數(shù)據(jù)集處理完成之后就可以進(jìn)行模型訓(xùn)練。在Anaconda3搭建的名為yolo5的虛擬環(huán)境中運(yùn)行train.py進(jìn)行模型訓(xùn)練，迭代次數(shù)為100輪，batchsize設(shè)為4。

本文對(duì)YOLOv5s模型進(jìn)行訓(xùn)練，將口罩圖片數(shù)據(jù)通過輸入端先進(jìn)行Mosaic數(shù)據(jù)增強(qiáng)操作提升模型的訓(xùn)練速度和網(wǎng)絡(luò)的精度，其次進(jìn)行自適應(yīng)錨框計(jì)算和自適應(yīng)圖片縮放，再次，通過主干網(wǎng)絡(luò)和Neck網(wǎng)絡(luò)對(duì)圖片進(jìn)行切片操作，進(jìn)行圖像特征的聚合等操作。最后在目標(biāo)檢測(cè)結(jié)果的輸出階段，運(yùn)用替換后的CIOU作為損失函數(shù)，通過加權(quán)nms后處理，進(jìn)一步提升算法的檢測(cè)能力。

3.4 系統(tǒng)性能分析

本文采用平均精度AP、平均精度均值mAP和P-R曲線這三種評(píng)價(jià)指標(biāo)來評(píng)價(jià)所訓(xùn)練的口罩檢測(cè)模型的性能優(yōu)劣。AP和mAP越接近于1，模型的訓(xùn)練效果越好。

本文用收集到的各種場(chǎng)景下的口罩?jǐn)?shù)據(jù)集來進(jìn)行口罩檢測(cè)系統(tǒng)的性能分析。將IoU設(shè)為0.5，計(jì)算每一類的所有圖片的AP，然后所有類別取平均，即mAP，由此得到基于YOLOv5s的口罩佩戴實(shí)時(shí)檢測(cè)模型的性能評(píng)價(jià)和對(duì)比。結(jié)果如表1和圖7、圖8所示。加入SE通道注意力機(jī)制后，較原始YOLOv5s網(wǎng)絡(luò)的總體mAP指標(biāo)提升了3.9%，然后將CIOU損失函數(shù)替代GIOU損失函數(shù)后，又使該指標(biāo)提升了1.1%，達(dá)到86.7%。改進(jìn)后模型性能提升明顯。該模型的精度能滿足實(shí)時(shí)性口罩佩戴檢測(cè)的要求。

表1 口罩檢測(cè)模塊的改進(jìn)結(jié)果對(duì)比

圖7 不同算法的P-R曲線

圖8 算法改進(jìn)前后的效果對(duì)比圖

4 結(jié) 語

為了提高口罩佩戴檢測(cè)的效率，本文提出了一種基于YOLOv5s的口罩佩戴實(shí)時(shí)檢測(cè)系統(tǒng)設(shè)計(jì)方案。首先，對(duì)目標(biāo)檢測(cè)模型進(jìn)行了選擇和改進(jìn)，選擇了適合于嵌入式設(shè)備的推理速度較快的YOLOv5s模型。對(duì)YOLOv5s網(wǎng)絡(luò)模型進(jìn)行改進(jìn)，加入了SE通道注意力機(jī)制，改進(jìn)了目標(biāo)框回歸損失函數(shù)。將改進(jìn)的YOLOv5s模型進(jìn)行訓(xùn)練，精度達(dá)到預(yù)定標(biāo)準(zhǔn)，訓(xùn)練完成后，得到最優(yōu)模型。此系統(tǒng)將該模型部署到相關(guān)設(shè)備上以實(shí)現(xiàn)實(shí)際應(yīng)用，實(shí)現(xiàn)了系統(tǒng)設(shè)計(jì)的目標(biāo)。在未來的工作中，應(yīng)該在保證模型輕量和檢測(cè)速度的基礎(chǔ)上，繼續(xù)提升模型的精度，實(shí)現(xiàn)對(duì)小目標(biāo)和較遠(yuǎn)處目標(biāo)的精準(zhǔn)識(shí)別。