改進YOLOv5s的口罩佩戴檢測算法

楊國亮，趙 敏，黃 聰，黃經(jīng)緯

(江西理工大學電氣工程與自動化學院，江西贛州341000)

近年來，基于深度學習的目標檢測算法發(fā)展迅速，其相關(guān)內(nèi)容應用于工業(yè)檢測、機器人導航、交通安全等領(lǐng)域。自2020年初，新冠疫情逐步席卷全球，這對于群眾出行衛(wèi)生防護要求提出更高標準。目前我國在公共場所要求出行人員正確佩戴口罩，主要分布在一些聚集空間，如商場、車站等。在密集場所下采取人工方式檢查人員是否合理佩戴口罩的方式存在不足，在一定程度上易產(chǎn)生漏檢等現(xiàn)象，將給防控疫情帶來安全隱患。

目前，已有部分學者使用深度學習技術(shù)對口罩佩戴檢測做出了研究。劉玉國[1]等人設(shè)計K-means聚類對Faster R-CNN主干網(wǎng)絡(luò)替換提高了算法的檢測精度，取得了對行人口罩佩戴檢測的良好效果。王藝皓[2]等人在YOLOv3中加入改進后的空間金字塔池化模型，使得該算法對口罩佩戴檢測的mAP提高了14.9%。朱杰[3]等人使用空間金字塔池化結(jié)構(gòu)添加在YOLOv4-tiny等系列操作提升了特征層對于目標的表達能力，進而達到滿足各類場景下口罩佩戴情況檢測的實時要求。曹城碩[4]等通過引入注意力機制、增強細節(jié)特征信息等方式提升了YOLO-Mask算法的平均精度均值。曹小喜[5]等人通過在YOLOv4-tiny中加入通道空間雙注意力等改進方法提升了算法的檢測性能。上述方法盡管一定程度上提升了算法的性能，但依舊存在一些不足。單階段算法，如SSD[6]速度快但精度稍遜，泛化能力較弱，對于復雜密集場景應對存在偏差。雙階段算法，如Faster R-CNN[7]精度較高但檢測速度慢，過于消耗訓練時間，檢測效率偏低。

綜合以上，為進一步提高口罩佩戴的檢測精度與速度，本文基于YOLOv5s網(wǎng)絡(luò)模型做了系列相關(guān)的改進工作。首先，針對訓練過程中一些無用信息的冗余，引入PSA注意力機制。然后，為使模型充分利用目標不同尺度特征，加入ASFF模塊。最后，本文為降低漏檢率和提升回歸定位精度，增加了一個尺度檢測以及替換了損失函數(shù)。這樣在很大程度上改善了算法在復雜場景下的檢測性能。

1 改進YOLOv5s網(wǎng)絡(luò)模型

為改善本文所提檢測算法相關(guān)性能，在原YOLOv5s網(wǎng)絡(luò)模型(如圖1所示)的基礎(chǔ)之上，在backbone部分增添PSA注意力機制，Neck部分引入ASFF模塊，增加一個檢測層，改進損失函數(shù)，改進后的YOLOv5s網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。

圖1 YOLOv5s網(wǎng)絡(luò)結(jié)構(gòu)

圖2 改進的YOLOv5s網(wǎng)絡(luò)結(jié)構(gòu)圖

1.1 PSA極化自注意力

PSA極化自注意力[8-9]是一種更加細致的雙注意力機制，其區(qū)別于SE、CBAM等注意力特征優(yōu)勢在于該模塊在通道和空間計算中保持較高的內(nèi)部分辨率，同時沿其對應維度完全折疊輸入張量。另一方面，PSA合成直接符合典型細粒度回歸的輸出分布的非線性，使之擬合輸出更切合實際輸出。由此，PSA極化自注意力能夠?qū)δ繕酥兴男畔⑦M行更清晰精確的定位識別。如圖3所示，SPC模塊將輸入層沿通道方面分解為S組，各組分別采取具有差異卷積核的大小卷積，從而獲取不同尺度的感受野，即得到不同尺度的目標信息。隨即經(jīng)過SE模塊，獲取各通道加權(quán)值，最后對以上值采取softmax歸一化加權(quán)。如圖4所示，PSA注意力機制處理圖像的主要流程為：PSA將SPC所得輸出經(jīng)SE weight Module獲取通道注意力權(quán)值，最后對各權(quán)值使用softmax歸一化加權(quán)，得到最終輸出。

為在復雜密集場景下精準識別定位行人是否佩戴口罩，提升口罩佩戴精確率，本文在YOLOv5s的backbone的卷積層間嵌入PSA注意力機制，使得原特征提取網(wǎng)絡(luò)由10層增添為13層，進行網(wǎng)絡(luò)模型優(yōu)化。從而能夠更好地擬合小目標間的相關(guān)特征信息，抑制無用的信息，最終使模型更專注于小目標口罩這一特定類別。

圖3 SPC模塊

圖4 PSA注意力機制

1.2 ASFF模塊

ASFF(自適應特征空間融合)是一種新型數(shù)據(jù)驅(qū)動的金字塔特征融合策略。該模塊主要原理是利用空間過濾沖突信息以抑制不一致的方法，從而提高了特征的尺度不變性，并引入了幾乎免費的推理開銷，模塊具體結(jié)構(gòu)如圖5所示。

圖5 ASFF模塊

圖5中ASFF-3，其流程描繪了融合特征的步驟，框中X1-X3各自來源于level-level3特征，再與不同特征層的權(quán)重參數(shù)進行乘加運算，進一步得到新型融合特征ASFF-3[10]，如式(1)所示。

(1)

相較于大多數(shù)檢測器的網(wǎng)絡(luò)結(jié)構(gòu)采取FPN直接添加連接的方式輸出目標信息多層特征，加入ASFF模塊可以達到充分利用不同尺度特征的效果。綜合ASFF模塊特點敘述，本文在YOLOv5s算法中Neck部分的C3模塊后引入ASFF，即作用于該模型的PAFPN部分，以此加強模型在多尺度特征方面的融合。

1.3 多尺度檢測

YOLOv5s網(wǎng)絡(luò)模型檢測目標采用20×20、40×40、80×80三種不同大小檢測尺度，其對應Neck部分各自進行32倍、16倍、8倍下采樣，以此檢測大中小三種類型目標[11]。然而在一些密集場景下人員佩戴口罩情況復雜，原模型在進行檢測此類小目標時經(jīng)多次卷積后易丟失相關(guān)信息，從而產(chǎn)生錯檢漏檢等狀況，針對該問題，本文在原模型三檢測層基礎(chǔ)上增加一個160×160的檢測尺度。拓展后的檢測尺度結(jié)構(gòu)圖如圖6所示。

圖6 拓展后檢測尺度結(jié)構(gòu)圖

基于此，本文這部分主要改進點為：在Neck部分，經(jīng)8倍下采樣后先進行上采樣以及增加卷積層，再融合2倍上采樣及160×160特征層。經(jīng)拓展，網(wǎng)絡(luò)深度更進一步，使得網(wǎng)絡(luò)能夠在更深層次中提取目標特征，降低多次卷積過程后的信息損失，從而優(yōu)化模型在復雜情境下的泛化能力。

1.4 改進損失函數(shù)

原YOLOv5s的回歸損失函數(shù)采用GIoU Loss，用來表現(xiàn)預測框與真實框之間的差距程度。GIoU如式(2)所示。

(2)

其中，Ac代表B與G的最小外接矩形面積，U則代表B與G并集面積。而GIoU Loss=1-GIoU。GIoU Loss優(yōu)化的是當兩個矩形框沒有重疊時候的情況，而當兩個矩形框的位置非常接近時，GIoU Loss和IoU Loss的值也將非常接近，因此在某些場景下使用兩個損失模型效果差異不大，但是GIoU應該具有更快的收斂速度。當B或G互相包圍時，GIoU被IoU極大約束，致使其在訓練時收斂速度下降不少，此時預測框精度將變低。因而本文對原YOLOv5損失函數(shù)進行改進，采用EIoU Loss[12]替換GIou Loss，如式(3)所示。

(3)

與原YOLOv5s所采用的GIoU Loss相比較，EIoU Loss將目標與anchor之間的距離、重疊率、標準、懲罰項包括寬高距離都加以考慮，這促使目標框回歸能夠更加的穩(wěn)定，收斂速度更快，不會像IoU和GIoU一樣出現(xiàn)訓練過程當中發(fā)散等情況。因而本文采用EIoU Loss作為口罩佩戴檢測算法YOLOv5s的損失函數(shù)。

2 實驗

2.1 數(shù)據(jù)集及實驗環(huán)境

在目標檢測領(lǐng)域，數(shù)據(jù)集對于實驗而言不可或缺。本文通過網(wǎng)絡(luò)從線上收集了9240張人員是否佩戴口罩的圖片作為網(wǎng)絡(luò)模型所需要的數(shù)據(jù)集。由于缺少適合本文算法的標注文件，故采取Labelimg對收集圖片進行手工標注，并按照8:1:1對其劃分為訓練集、驗證集和測試集，數(shù)據(jù)集類別分為兩種，其中，mask代表人員佩戴口罩，no-mask則代表人員未佩戴口罩。另一方面，本文實驗環(huán)境使用Windows10操作系統(tǒng)，16GB內(nèi)存，NVIDIA GeForce GTX 1080顯卡，Intel?CoreTMi7-6700 cpu @3.40GHz處理器，深度學習框架為pyTorch1.10.0。在準備好實驗數(shù)據(jù)集以及配置好實驗環(huán)境之后，采用YOLOv5s進行迭代訓練。訓練時，batch-size設(shè)置為8，epoch設(shè)置為250，訓練以及測試的圖片img-size均為640×640，最后分析原模型與改進后模型的實驗結(jié)果。

2.2 評價指標

為了定量分析檢測性能，本文選取了精確率(precision)、召回率(Recall)、平均精度均值(mAP)、每秒檢測幀數(shù)(FPS)來作為模型算法的衡量指標。精確率即查準率，可用來評估模型檢測準確性，其定義為正確預測為正的占全部預測為正的比例，如式(4)所示。召回率即查全率，可用來評估模型檢測全面性，其定義為正確預測為正的占全部實際為正的比例，如式(5)所示，mAP即平均精度均值，是目標檢測領(lǐng)域重要的模型性能評估指標。在計算mAP時，通常需要先算出每個類別的平均精度，即AP值，如式(6)所示。之后再取平均。通常以交并比(IOU)為0.5時計算mAP，如式(7)所示。FPS作為模型檢測速率，用來考慮其實時檢測性，如式(8)所示。

(4)

(5)

(6)

(7)

(8)

2.3 實驗與分析

2.3.1 實驗結(jié)果

將原YOLOv5s模型和本文改進之后模型在相同硬件條件的實驗平臺下各自訓練200個epoch，一段時間后觀察mAP(IOU=0.5)的對比曲線，如圖7(a)、圖7(b)所示。其中橫坐標為訓練輪數(shù)，縱坐標為平均精度均值。由圖7(a)、圖7(b)中可知，兩種模型在100個epoch之后開始趨向穩(wěn)定，且都能達到90%以上，訓練效果比較樂觀。如圖8(a)、圖8(b)為改進前后模型訓練后的分類PR曲線，由圖中最終數(shù)據(jù)呈現(xiàn)可直觀看出，經(jīng)本文改進之后的模型曲線，即圖8(b)，all classes曲線更加接近(1，1)坐標，mask與no-mask兩類別PR曲線下面積平均值更大，檢測性能更好。其中內(nèi)側(cè)為no-mask曲線，中間為all classes曲線，外側(cè)為mask曲線。

(a)改進前mAP曲線

(b)改進后mAP曲線

(a)改進前分類PR曲線

(b)改進后分類PR曲線

2.3.2 對比實驗

為驗證本文改進后的算法對于口罩佩戴檢測的卓越性能表現(xiàn)，與現(xiàn)有主流檢測算法YOLOv3、YOLOv4、YOLOv5s、Faster RCNN、SSD在同一數(shù)據(jù)集下實驗后進行對比，實驗采用mAP@0.5、FPS兩項指標對以上各算法進行評估與對比，對比實驗結(jié)果如表1所示。

表1 與現(xiàn)有目標檢測算法對比

由表1中實驗結(jié)果可知，改進后算法的平均精度值為96.1%，相對比于YOLOv3、YOLOv4、YOLOv5s、Faster RCNN、SSD算法，其平均精度值分別提升6.6%、5.7%、4.2%、6.0%、8.3%，通過對比，從平均精度方面分析，本文算法顯然優(yōu)于其他檢測算法。而從檢測速率方面分析，本文算法檢測速率對比YOLOv3、YOLOv4、Faster RCNN大幅領(lǐng)先，另一方面，由于本文增加改進點之后能夠檢測到圖像中更多目標信息導致降低部分檢測速率，但從結(jié)果來看，對比SSD算法，檢測速率低了3.6frame/s，但其對應精度值領(lǐng)先8.3%。而相較原YOLOv5s僅降低0.9frame/s，與此同時其對應平均精度得到較大的提升。由此可以看出本文所提算法在檢測精度與速率方面性能良好，也證實了改進方案的優(yōu)越性。

2.3.3 消融實驗

為證實本文對于YOLOv5s網(wǎng)絡(luò)模型改進方法的有效與合理性，本文對原網(wǎng)絡(luò)模型的結(jié)構(gòu)改進以及所加模塊后對模型性能影響進行充分評估，故分別對各自改進后模型訓練并測試，在所用數(shù)據(jù)集上進行消融實驗，以此判斷每個改進點的合理性。以原未改進YOLOv5s模型為標準，依次在此標準上嵌入PSA模塊、引入ASFF模塊、拓展檢測尺度、改進損失函數(shù)。在訓練過程中，依舊采用相同的配置參數(shù)與實驗平臺展開實驗。其中“√”代表添加對應改進點，“×”代表沒有添加對應改進點，實驗結(jié)果如表2所示。

表2 YOLOv5s消融實驗對比表

由表2可知，原算法的準確率、召回率及平均精度值分別為93.2%、87.5%、91.9%，在單獨加入PSA注意力機制后，各項指標均漲點明顯。原算法結(jié)合擴展檢測尺度，準確率及平均精度值提升較高，能夠綜合提升檢測口罩佩戴情況的準確率。其余各項改進點單獨加入后，指標數(shù)值也有不少提升，但還是只加入PSA注意機制后精度提升最高，效果最好。值得注意的是，在引入ASFF模塊后其算法精確率有了小幅度下降，但其召回率以及mAP@0.5有所上升。在組合模塊進行實驗時，前兩處組合改進平均精度值達到了95.1%，相較于原算法提高了3.2%。但經(jīng)對比，加入PSA注意力和擴展檢測尺度這種方案組合對于算法性能提升最高，其準確率達到95.3%，而后續(xù)的兩兩組合盡管各指標提升均超過之前單處改進。整體來看，還是四處改進疊加所取得的效果最佳，雖在算法準確率提升方面略低于PSA注意力與擴展檢測尺度組合，但其余指標均為最優(yōu)，平均精度值能夠達到96.1%，相比較原算法提高了4.2%，這也切實證明了改進方向的有效性。圖9(a)、圖9(b)為密集場景下算法改進前后檢測效果對比。由效果圖可得出，改進后算法檢測性能更佳，其相應檢測精度得到較大提升。

(a)改進前密集場景檢測效果圖

(b)改進后密集場景檢測效果圖

3 結(jié)論

為了改進現(xiàn)有口罩佩戴檢測算法在密集復雜場景下的檢測精度不足、解決人工方式檢測繁瑣等問題，本文提出了若干對于改進YOLOv5s算法的方法。經(jīng)實驗測試，模型精度得到良好優(yōu)化，保證檢測速率的同時檢測性能得到較大提高，超過了現(xiàn)有大多數(shù)檢測算法平均精確率，綜合來看，達到了任務(wù)目標，能夠滿足實時監(jiān)測要求。