基于改進YOLOv5的安全帽佩戴檢測算法

周華平，郭依文，孫克雷

(安徽理工大學(xué)計算機科學(xué)與工程學(xué)院，安徽 淮南 232001)

近年來，我國的建筑行業(yè)快速發(fā)展，但是安全事故卻時有發(fā)生，導(dǎo)致許多人員傷亡以及大量財產(chǎn)損失。據(jù)調(diào)查，超過6成的安全事故導(dǎo)致的人員傷亡是因為施工現(xiàn)場的工人們安全意識較低，違反施工現(xiàn)場的規(guī)章制度沒有佩戴安全帽所造成的。為了能夠有效地改善這種情況，及時地發(fā)現(xiàn)和預(yù)防事故的發(fā)生，實時地檢測安全帽佩帶情況， 就成了我國各類工程項目的施工環(huán)境下保障人員生命財產(chǎn)和施工安全的重要保障。就目前來看，我國的大多數(shù)施工現(xiàn)場沒有安全帽檢測設(shè)備，或主要依靠傳統(tǒng)的人工檢查方法和視頻監(jiān)控的方式進行安全帽佩戴檢測，這樣會導(dǎo)致一些施工人員在無人監(jiān)管的條件下因放松安全意識而不佩戴安全帽或者由于監(jiān)控設(shè)備角度的問題而造成錯檢漏檢等情況的發(fā)生[1]。

隨著近年來深度學(xué)習(xí)技術(shù)的快速發(fā)展，卷積神經(jīng)網(wǎng)絡(luò)在針對計算機視覺的各種識別任務(wù)中都取得了比較令人滿意的效果。深度學(xué)習(xí)[2]目標檢測算法可以分為兩類，第一類是兩步目標檢測算法。即基于區(qū)域生成候選框，然后進行分類。這種算法檢測精度相對來說較高，但花費的時間較多，典型的算法主要有R-CNN[3]、Faster R-CNN[4]等。第二類是單步目標檢測算法。采用端到端的方式來預(yù)測整個圖像，同時完成目標位置的檢測和分類。這種算法檢測精度相對低一些，但是檢測的速度快。最具代表性的算法分別是SSD[5]和YOLO[6]等目標檢測算法。安全帽檢測便是目標檢測應(yīng)用領(lǐng)域中的一種。到目前為止，國內(nèi)外已有諸多學(xué)者對安全帽檢測進行了一系列相關(guān)研究[7]。2018a，文獻[8]提出使用一種高精度、高速度和廣泛適用的Faster R-CNN方法來檢測建筑工人的安全帽佩戴情況，雖然在準確率上有了較大的提高，但是運行效率相對較低。2019a，文獻[9]提出了基于Faster R-CNN的改進模型，用于檢測摩托車手有沒有正確地佩戴安全頭盔，并使用一系列帶有字符串編碼的卷積神經(jīng)網(wǎng)絡(luò)模型(CNN)和一個空間轉(zhuǎn)換器來識別沒有佩戴安全頭盔的摩托車手的車牌號碼。2020a，文獻[10]提出了兩種安全帽的檢測方法，一種是基于人工特征的，另一種是使用CNN的。實驗結(jié)果表明，所提出的CNN模型的執(zhí)行精度最好，而基于特征的模型的檢測速度更快。2021a，文獻[11]提出了一種等級SSD 模型，雖然可以在很大程度上降低誤檢率并提高環(huán)境的適應(yīng)性，但其運行效率并不高。

針對以上所述安全帽檢測的優(yōu)缺點，本文采用改進YOLOv5的檢測算法進行研究。主要的改進方式如下：

(1)為了能夠更好地檢測小目標，并提高對小目標的檢測準確性，在YOLOv5主干網(wǎng)絡(luò)的基礎(chǔ)上增加一層160*160尺度大小的有效特征提取網(wǎng)絡(luò)，并且改進頸部的特征金字塔結(jié)構(gòu)，使得特征融合進一步得到加強，增強模型對安全帽檢測的特征融合過程；

(2)在主干網(wǎng)絡(luò)中引入ECA-Net有效通道注意力模塊，更加關(guān)注安全帽檢測中小目標的特征信息，增強模型對小目標檢測的性能；

(3)引入CIOU-NMS替換NMS，使得網(wǎng)絡(luò)不僅考慮到預(yù)測框和真實框之間的重疊面積，而且考慮到兩個框之間的中心點的距離和寬高比，解決對安全帽檢測中重疊和遮擋目標錯檢、漏檢的問題，提升對重疊和遮擋目標檢測的精確性。

1 相關(guān)工作

1.1 YOLOv5算法介紹

YOLOv5[12]提供了4種不同型號的YOLOv5算法，分別是YOLOv5s、YOLOv5m、YOLOv5l和YOLOv5x。本文是在YOLOv5s算法的基礎(chǔ)上進行改進。YOLOv5s目標檢測網(wǎng)絡(luò)主要由3部分組成，分別是：特征提取的主干部分(Backbone)、特征融合的頸部部分(Neck)和目標檢測的輸出部分(Head)。YOLOv5的網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

圖1 YOLOv5網(wǎng)絡(luò)結(jié)構(gòu)

從圖1可知，YOLOv5的主干部分側(cè)重于從輸入圖像中提取特征信息，頸部將提取的特征信息融合，生成3個尺度的特征圖，輸出部分從這些生成的特征圖中檢測出對象。在主干網(wǎng)絡(luò)中Focus模塊先進行切片操作，然后進行連接，其目的是在降維的過程中能夠更好地提取特征信息。CBL模塊由卷積[13]、歸一化和Leaky_Relu[14]激活函數(shù)等模塊構(gòu)成。CSP[15]網(wǎng)絡(luò)通過跨層連接來連接網(wǎng)絡(luò)的前后層，這樣可以通過減少模型的大小來提高推理速度，同時保持較高的精度。SPP[16]模塊是指空間金字塔池化模塊，執(zhí)行不同內(nèi)核大小的最大池化，并通過將特征連接在一起來融合。Concat模塊表示張量連接操作。Neck網(wǎng)絡(luò)是一系列混合和組合圖像特征的特征聚合層，主要是由FPN和PAN的特征金子塔結(jié)構(gòu)構(gòu)成。當(dāng)輸入圖片的大小為640*640時，在YOLOv5的主干網(wǎng)絡(luò)中會生成3個不同尺寸的有效特征圖，尺寸分別為：80*80、40*40和20*20。這些不同尺寸的有效特征層被輸入到頸部網(wǎng)絡(luò)中進行特征融合后生成3個尺度的新特征圖，20*20*255這個特征圖用于檢測大物體，40*40*255特征圖用于檢測中物體，80*80*255這個特征圖用于檢測小物體。

2 MYOLOv5算法模型

2.1 增加特征提取層并改進特征金字塔結(jié)構(gòu)

對于YOLOv5原模型來說，其主干網(wǎng)絡(luò)共包含了3個有效特征層，分別作用于檢測小物體、中物體和大物體。然而，當(dāng)需要檢測的目標物體的像素值遠小于8*8像素時，物體便很難被檢測到。對于檢測，當(dāng)需要被檢測的安全帽距離較遠時，其在圖像上所展示的圖片信息會非常小，這樣就給安全帽的檢測帶來困難。因此，本文采取增加一層有效特征提取層的方式來提高安全帽佩戴檢測的精確度。對于YOLOv5目標檢測算法來說，隨著其主干網(wǎng)絡(luò)特征層深度的增加，對大目標檢測效果會越來越好。如圖1所示，特征層從80*80尺度大小開始，到20*20尺度大小結(jié)束。這3個有效特征層將會越來越有利于對大物體目標的檢測。因此，為了能夠更好地檢測安全帽這類小目標信息，本文采取增加一層有效特征提取層的方式進行檢測，也就是在80*80尺度大小這個有效特征層前面增加了一層160*160尺度大小的有效特征提取層。通過增加這個有效特征提取層將會更加有利于對安全帽這類小目標信息檢測。在增加了160*160這個有效特征提取層之后，需要在特征融合的頸部部分Neck和目標檢測的輸出部分Head這兩個部分增加相應(yīng)的特征融合和輸出處理部分，也就是圖2中黑色虛線框框住的部分(見圖2)。

而YOLOv5原有的特征金字塔網(wǎng)絡(luò)為PANet(FPN+PAN)結(jié)構(gòu)，該結(jié)構(gòu)是目標檢測系列算法中常用的特征金字塔結(jié)構(gòu)。PANet結(jié)構(gòu)首先通過上采樣操作獲得較強的語義信息，然后通過下采樣操作獲得位置信息。但是PANet結(jié)構(gòu)在特征融合方面表現(xiàn)得有所欠缺。因此，為了能夠更好加強語義信息的特征融合，本文在原有的PANet結(jié)構(gòu)基礎(chǔ)上的兩個對應(yīng)的同一層，添加了兩個特征融合層，就是圖2中加粗連接線所連接的地方。通過在PANet結(jié)構(gòu)的同一層上添加這兩條連接線，可以更好地融合特征信息，避免梯度衰減，并且增強了梯度的反向傳播，減少對于安全帽檢測過程中的特征損失，增強網(wǎng)絡(luò)模型的泛化性能，同時提高了對小目標檢測的準確性。

圖2 MYOLOv5模型圖

2.2 引入ECA-Net注意力機制模塊

添加注意力機制的主要目的是通過關(guān)注輸入對象的重要區(qū)域來獲取更為關(guān)鍵的信息，注意力機制的關(guān)注點主要是在局部信息，而不是整體。將注意力機制添加到不同算法的實際應(yīng)用中，同一個注意力機制也許會有不同的實現(xiàn)效果，或者不同的注意力機制應(yīng)用在同一個算法中也會有很大的區(qū)別。ECA-Net[17]是一種有效的通道注意機制，它可以通過捕獲關(guān)于跨通道交互的信息(通道之間的依賴性)來提高性能。大多數(shù)的注意力機制都是通過降維來控制模型的復(fù)雜性。然而，降維對捕獲所有通道之間的依賴性都有副作用。ECA-Net注意力機制則是通過添加少量參數(shù)來避免降維，從而有效地捕獲關(guān)于跨通道交互的信息，并獲得顯著的性能提高。ECA-Net注意力機制在沒有降維的情況下，經(jīng)過通道級全局平均池化后，通過考慮每個通道及其K個鄰居來捕獲局部跨通道交互信息。卷積核大小K表示局部跨信道交互作用的覆蓋范圍，即該信道有多少個鄰居參與了注意力計算。為了避免手動調(diào)整K，采用了一種自適應(yīng)確定K的方法，如式(1)所示。

(1)

式中：C為通道維數(shù)；|t|odd奇數(shù)表示最近的奇數(shù)；r為超參數(shù)，設(shè)置r=2；b為超參數(shù)，設(shè)置b=1。

為了可以更好地提取到安全帽數(shù)據(jù)集圖像中的小目標的關(guān)鍵信息，將ECA-Net注意力機制模塊添加到Y(jié)OLOv5的主干網(wǎng)絡(luò)中，添加的具體位置如圖2中MYOLOv5主干網(wǎng)絡(luò)的ECA-Net部分。通過添加ECA-Net注意力機制模塊將會更加容易獲取到小目標的關(guān)鍵信息，增強了模型對小目標檢測的性能。ECA-Net注意力機制模塊的工作流程是首先將上一層獲取到的圖像信息作為輸入圖像，輸入到ECA-Net注意力機制模塊中。輸入的圖像信息通過一維卷積，在全局平均池化(GAP)后直接學(xué)習(xí)特征，并將更新后的權(quán)值與輸入的特征圖相乘，生成新的特征圖，然后輸出。ECA-Net注意力機制模塊結(jié)構(gòu)圖，如圖3所示。

圖3 ECA-Net注意力機制模塊結(jié)構(gòu)

2.3 CIOU-NMS替換NMS

在現(xiàn)有的目標檢測系列算法中，大多通常都是使用傳統(tǒng)的NMS。這些算法通過使用IOU[18]指數(shù)來抑制冗余的檢測框[19]。在IOU指數(shù)中，檢測框之間的重疊區(qū)域是唯一要考慮的因素。IOU指數(shù)公式和NMS公式分別如式(2)和式(3)所示。

(2)

(3)

式中：IOU為預(yù)測框與真實框之間的交并比；N為所有預(yù)測框中得分最高的那一個框；Bi為其他的框；Si為得分；ε為手動設(shè)置的NMS的閾值。

本文ε閾值設(shè)置為0.5， 當(dāng)ε閾值設(shè)置大于0.5或小于0.5時，均會對實驗結(jié)果產(chǎn)生影響，導(dǎo)致平均檢測精度(MAP)降低。具體表現(xiàn)為：當(dāng)ε閾值設(shè)置大于0.5時，得分最高的框與其他框之間交并比(IOU)的值要達到非常高的時候，才會被識別出兩個框檢測的是同一個物體，導(dǎo)致錯檢情況的發(fā)生，從而降低了實驗的檢測精度；當(dāng)ε閾值設(shè)置小于0.5時，得分最高的框與其他框之間交并比(IOU)的值在較小的時候便會被識別為兩個框檢測到的是同一個物體，導(dǎo)致漏檢情況的發(fā)生，從而降低了實驗的檢測精度。

在YOLOv5算法中， 其所采用的NMS經(jīng)常會對重疊的預(yù)測框產(chǎn)生錯誤的抑制， 導(dǎo)致被遮擋的目標無法被檢測得到， 從而降低了檢測的準確率。 在對安全帽佩戴的檢測過程中表現(xiàn)為對重疊和遮擋目標的錯檢、 漏檢等問題。 為了能夠更好地解決這一問題，本文利用CIOU-NMS來替換NMS。CIOU-NMS在進行邊框抑制時，不僅考慮到了兩個框之間的重疊區(qū)域，還考慮到了兩個框之間的中心點的距離和寬高比。對應(yīng)的公式分別如式(4)～式(7)所示。

(4)

(5)

(6)

(7)

式中：ρ2(b,bgt)為預(yù)測框與真實框二者之間中心點的距離；c2為可以封閉兩個框的最小矩形框的對角線的長度；α為權(quán)重函數(shù)；ν為用來衡量預(yù)測框與真實框二者之間寬高比的一致性。預(yù)測框與真實框之間的歸一化距離的建模如圖4所示。

圖4 歸一化距離建模

通過引用CIOU-NMS來替換NMS可以有效地改善對安全帽佩戴檢測過程中的對于重疊、遮擋目標檢測時產(chǎn)生錯檢和漏檢等問題，提升了對安全帽佩戴檢測的準確性。

3 實驗

3.1 數(shù)據(jù)集介紹

目前公開的安全帽佩戴數(shù)據(jù)主要有SHWD和GDUT-HWD兩種安全帽數(shù)據(jù)。但SHWD安全帽佩戴數(shù)據(jù)只有兩個類別，即head和helmet，類別較少。為了增加檢測難度，本文選擇具有5個類別的GDUT-HWD數(shù)據(jù)集，分別是None(未佩戴安全帽)、Red(佩戴紅色安全帽)、Blue(佩戴藍色安全帽)、Yellow(佩戴黃色安全帽)和White(佩戴白色安全帽)。它不僅可以檢測到施工人員是否佩戴了安全帽，同時還能識別佩戴的安全帽相應(yīng)的顏色。GDUT-HWD數(shù)據(jù)集圖片數(shù)量為3 174張，包含了18 893個實例。這些圖片包含了個人姿勢變化、遮擋、場景變化、視角變化、照明變化等。其中小尺度的實例數(shù)據(jù)居多，這也增加了訓(xùn)練的難度。本文數(shù)據(jù)集的劃分按照訓(xùn)練集和測試集比例8∶2的比例進行劃分，隨機抽取635張作為測試集，剩余的圖片作為訓(xùn)練集。安全帽數(shù)據(jù)集每個類別的實例個數(shù)具體劃分如圖5所示。

圖5 數(shù)據(jù)集實例具體劃分

3.2 實驗環(huán)境配置

實驗采用Ubuntu 18.04操作系統(tǒng)，使用PyTorch深度學(xué)習(xí)框架，Python版本為3.8，實驗所用的顯卡為NVIDIA GeForce RTX 2080 Ti，顯存為11GB，CUDN版本為11.0，cuDNN版本為8.0。

3.3 網(wǎng)絡(luò)模型訓(xùn)練

在網(wǎng)絡(luò)模型訓(xùn)練過程中，將batch-size設(shè)置為16，epochs設(shè)置為200，權(quán)重衰減系數(shù)設(shè)置為0.000 5，學(xué)習(xí)率動量設(shè)置為0.937，對于改進的YOLOv5網(wǎng)絡(luò)模型來說，模型的損失值越小越好，精確度(Precision，P)、召回率(Recall，R)和MAP值越高越好。訓(xùn)練和驗證集的訓(xùn)練時期Box loss、Objectness loss、Classification loss，Precision、Recall和MAP的不同性能指標如圖6所示。

圖6 訓(xùn)練時期的不同性能指標值

3.4 實驗結(jié)果分析

實驗結(jié)果[20]采用平均精度均值MAP(Mean Average Precision)、類平均精度AP(Average Precision)和檢測速度幀每秒F1(Frame Per Second,FPS)來對不同模型的性能進行評估。AP表示當(dāng)預(yù)設(shè)不同的IOU時(本文IOU=0.5)，精確度P(precision)和召回率R(recall)所圍成的曲線(P-R曲線)與坐標軸所圍成的面積。MAP是所有類的平均AP值[21]。準確率P、召回率R、檢測速度幀每秒F1和平均精度均值MAP的計算公式如式(8)～式(11)所示。

(8)

(9)

(10)

(11)

式中：TP(True Positives)為被識別為正樣本，實際上也是正樣本的數(shù)量；FP(False Positives)為被識別為正樣本，實際上是負樣本的數(shù)量；FN(False Negatives)為被識別為負樣本，實際上是正樣本的數(shù)量。準確率表示為正確預(yù)測的正樣本數(shù)量與預(yù)測為正樣本的樣本數(shù)量之間的比例。召回率表示為正確預(yù)測的正樣本數(shù)量與正樣本數(shù)量的比例。F1同時考慮精確率和召回率，讓兩者同時達到最高，取得平衡。c表示類別，當(dāng)AP值越大時，說明算法針對某一類的檢測效果表現(xiàn)越好。MAP就是對所有類別的AP值求均值。

1)消融實驗 為了能夠驗證改進方法的有效性，本文在安全帽數(shù)據(jù)集上針對每一項改進點都進行了相應(yīng)的消融實驗。字母A代表增加特征提取層并改進特征金字塔結(jié)構(gòu)；字母B代表引入ECA-Net注意力機制；字母C代表CIOU-NMS替換NMS。消融實驗[22]的結(jié)果如表1所示。

表1 消融實驗

由表1可知，隨著針對YOLOv5模型的3個改進點的逐個加入，模型在MAP上較未改進的模型分別逐步提升了0.8%、2.3%和3.8%。消融實驗結(jié)果表明，A、B、C全部疊加結(jié)合的改進方法在各項評價指標上均取得了最優(yōu)的結(jié)果，P提升了3.9%，R提升了4.2%，F(xiàn)1提升了4.1%。根據(jù)消融實驗的結(jié)果可知，針對YOLOv5算法的改進是非常有效的。

2)與其他算法模型的對比 選取了Faster R-CNN、SSD、YOLOv3-tiny、YOLOv4、YOLOv4-tiny、YOLOv5和MYOLOv5算法進行實驗對比,主要選擇AP值和MAP值這兩種指標在各種算法上進行評價。不同模型性能的對比如表2所示。

表2 不同模型性能對比

MYOLOv5模型在安全帽測試集上所得到的R-P曲線圖如圖7所示。

圖7 R-P曲線

從表2可以看出YOLOv5目標檢測算法在安全帽數(shù)據(jù)集上的MAP值上遠遠地超過了其他同類型的目標檢測算法。而MYOLOv5算法在Blue類別上的AP值較YOLOv5算法提升了2.5%，在Yellow類別上的AP值較YOLOv5算法提升了2.1%，在White類別上的AP值較YOLOv5算法提升了3.1%，在Red類別上的AP值較YOLOv5算法提升了7.5%，在None類別上的AP值較YOLOv5算法提升了3.8%。平均精度均值(MAP)提升了3.8%。圖7是由R-P曲線所圍成的不同類別的安全帽測試集的檢測結(jié)果得分平均值。因此MYOLOv5算法能夠有效地提升對于安全帽佩戴的檢測精度，同時由于訓(xùn)練數(shù)據(jù)集的施工場景的復(fù)雜多樣化，MYOLOv5算法能夠滿足各種復(fù)雜的施工場景下對于安全帽的檢測的需要，并且滿足準確性的要求。

為了能夠更加清晰直觀地看出MYOLOv5算法與YOLOv5算法之間的差距，給出了(a)、(b)、(c)3種情況下的檢測結(jié)果圖(見圖8)。圖8(a)為錯檢結(jié)果，YOLOv5算法將白色的圓盤螺旋設(shè)備錯誤地識別成了白色的安全帽，導(dǎo)致錯檢情況的發(fā)生，降低了檢測的精確性，而MYOLOv5算法則沒有對其錯檢，而且所有被檢測到的安全帽得分情況都有所提高。圖8(b)為漏檢結(jié)果,YOLOv5算法沒有檢測出遮擋情況下的紅色安全帽，而MYOLOv5算法則將其正確地檢測出來，而且其他被檢測出的安全帽得分情況均有所提高。圖8(c)為錯檢和漏檢結(jié)果，由于背景相對復(fù)雜，且目標非常小，YOLOv5算法將右側(cè)電線桿左側(cè)的那個較小的藍色安全帽錯檢為了紅色安全帽，導(dǎo)致錯檢情況的發(fā)生。而且，沒有將右側(cè)電線桿右側(cè)那個較小的藍色安全帽識別出來，同樣導(dǎo)致了漏檢情況的發(fā)生。而MYOLOv5算法則正確地識別出了這兩個藍色的安全帽，而且得分較YOLOv5算法高出許多。由上述多種情況下的檢測結(jié)果圖對比可知，MYOLOv5算法優(yōu)于YOLOv5算法。

(a)錯檢

4 結(jié)論

為了改進現(xiàn)有的安全帽佩戴檢測算法難以有效地檢測到小目標，以及解決重疊和遮擋目標錯檢、漏檢等問題，提出了一種基于改進YOLOv5的安全帽佩戴檢測算法。通過增加一層有效特征提取層并改進特征金字塔結(jié)構(gòu)，引入ECA-Net注意力模塊，并使用CIOU-NMS替換NMS進行邊框抑制，使得改進后的算法更加適合于檢測小目標，以及解決重疊和遮擋目標的錯檢和漏檢等問題。通過實驗對比可知，改進后的算法模型較YOLOv5模型來說，在檢測到小目標，以及解決重疊和遮擋目標錯檢、漏檢等問題起到了良好效果，并且取得了較高的檢測準確度，滿足在施工場景下對安全帽佩戴檢測準確率的要求。未來，該改進算法將會進一步考慮如何更好地提升模型的檢測速率，并且能夠有效地移植到檢測設(shè)備或者檢測機器人上進行實際的檢測應(yīng)用。