一種高精度的卷積神經(jīng)網(wǎng)絡(luò)安全帽檢測方法

李天宇，李 棟，陳明舉*，吳 浩，劉益岑

(1.四川輕化工大學(xué) 人工智能四川省重點實驗室，四川 宜賓 644000；2.國網(wǎng)四川省電力公司電力研究院，四川 成都 610000)

1 引 言

在施工環(huán)境中，施工人員佩戴安全帽可以有效避免或減小安全事故的傷害。通過人工巡檢監(jiān)控視頻實現(xiàn)安全帽佩戴檢測費時費力，且容易造成誤檢和漏檢。利用機器視覺技術(shù)對施工現(xiàn)場工作人員是否佩戴安全帽進行檢測，可有效地代替人工巡檢，提高識別的精度，避免安全事故的發(fā)生。

傳統(tǒng)的安全帽檢測主要通過對監(jiān)測視頻進行目標檢測，提取目標的幾何、顏色等特征進行對比識別。劉曉慧等人[1]利用膚色檢測實現(xiàn)人頭區(qū)域的定位，再采用SVM分類器對安全帽的Hu矩特征進行識別；周艷青等人[2]將人頭區(qū)域的統(tǒng)計特征、局部二進制模式特征和主成分特征訓(xùn)練分類器，建立了多特征的安全帽檢測算法；賈峻蘇等人[3]結(jié)合局部二值模式直方圖、梯度直方圖和顏色特征，利用SVM對安全帽進行檢測。基于目標圖像特征提取的傳統(tǒng)檢測方法，泛化能力較差[4]，而實際施工環(huán)境復(fù)雜多樣，通常存在雨霧、遮擋等的影響。因此，基于目標圖像特征提取的傳統(tǒng)檢測方法檢測能力有限。

近年來，基于深度學(xué)習(xí)的目標檢測技術(shù)能夠利用卷積網(wǎng)絡(luò)自動學(xué)習(xí)大樣本數(shù)據(jù)有用的特征，建立的檢測網(wǎng)絡(luò)模型泛化能力較強，有效地實現(xiàn)了特殊環(huán)境下的安全帽識別?；谏疃葘W(xué)習(xí)的目標檢測技術(shù)主要為基于區(qū)域建議和基于回歸策略的目標檢測網(wǎng)絡(luò)?；趨^(qū)域建議的目標檢測網(wǎng)絡(luò)需要先生成可能含有待檢測物體的預(yù)選框，然后再利用主干網(wǎng)絡(luò)提取特征信息進行分類和回歸?；诨貧w策略的單階段目標檢測算法則直接在網(wǎng)絡(luò)中提取特征預(yù)測出物體的類別以及位置[5]。通常二階段的檢測算法精度高，但檢測速度遠低于單階段的檢測速度。經(jīng)典的二階段網(wǎng)絡(luò)Faster RCNN[6]采用RPN預(yù)選框生成網(wǎng)絡(luò)和主干特征提取網(wǎng)絡(luò)，實現(xiàn)目標的準確識別，但檢測耗時較大。徐守坤等人[7]在二階段檢測算法Faster RCNN的基礎(chǔ)上利用多層卷積特征優(yōu)化區(qū)域建議網(wǎng)絡(luò)，建立改進的faster-RCNN算法，雖然提高了網(wǎng)絡(luò)檢測的準確率，但是延長了檢測時間，其檢度時間仍然遠大于一階網(wǎng)絡(luò)，未能達到實時檢測的要求。基于回歸策略的目標檢測網(wǎng)絡(luò)主要是YOLO、SSD、RFBNet等[8-12]。為提高單階段網(wǎng)絡(luò)的檢測精度，董永昌等人[13]在SSD檢測算法的基礎(chǔ)上，引入了DenseNet作為主干網(wǎng)絡(luò)提取特征，充分利用了各層的特征信息，提高了網(wǎng)絡(luò)的檢測精度。陳柳等人[14]在RFBNet檢測算法的基礎(chǔ)上，引入SE-Ghost模塊來輕量化檢測模型，并利用FPN提高網(wǎng)絡(luò)對小目標檢測的魯棒性。唐悅等人[15]針對單階段算法YOLOv3的缺點，引入GIoU代替IoU來優(yōu)化錨框選取，但是GIoU具有在錨框包含時會退化為IoU的缺點。同時檢測網(wǎng)絡(luò)采用了密集連接結(jié)構(gòu)來加強特征的傳遞，所得到算法的檢測效果優(yōu)于傳統(tǒng)YOLOv3。以上改進的單階段網(wǎng)絡(luò)雖然都提高了檢測精度，但是檢測速度有所下降。

本文針對施工現(xiàn)場的復(fù)雜環(huán)境與實時性要求，以YOLOv3網(wǎng)絡(luò)為基礎(chǔ)建立一種基于回歸策略的高精度安全帽檢測網(wǎng)絡(luò)。該網(wǎng)絡(luò)在YOLOv3的檢測網(wǎng)絡(luò)中，構(gòu)建特征金字塔網(wǎng)絡(luò)CPANet模塊提高弱小安全帽目標的檢測精度，同時采用了CIoU來代替IoU進行回歸預(yù)測，在優(yōu)化錨框回歸的同時能夠提高模型的收斂能力。通過對比實驗證明，在有遮擋的復(fù)雜施工環(huán)境下，該網(wǎng)絡(luò)能實現(xiàn)弱小安全帽目標的準確檢測，且檢測速度較快，滿足實時檢測的要求。

2 YOLOv3目標檢測網(wǎng)絡(luò)

YOLOv3是基于回歸策略的目標檢測算法，網(wǎng)絡(luò)包括Darknet53特征提取網(wǎng)絡(luò)和檢測網(wǎng)絡(luò)兩部分，其中Darknet53主要用來提取圖像特征信息，檢測網(wǎng)絡(luò)用來進行多尺度的目標預(yù)測。DarkNet53是全卷積網(wǎng)絡(luò)，共有53個卷積層，采用1×1和3×3的卷積組成帶有跳躍連接的殘差塊來構(gòu)建殘差網(wǎng)絡(luò)，減少了因網(wǎng)絡(luò)太深而帶來的梯度消失現(xiàn)象，能夠提取更加深層的語義信息。同時，使用步長為2的卷積來代替最大池化進行下采樣，降低了池化帶來的梯度負面效果。

為了提高網(wǎng)絡(luò)對目標的檢測能力，YOLOv3檢測層中使用了類似特征金字塔網(wǎng)絡(luò)的上采樣和特征信息融合的做法。當輸入圖像歸一化到416×416送入網(wǎng)絡(luò)進行檢測時，Darknet53會輸出3個檢測尺度，分別為13×13，26×26，52×52。根據(jù)特征金字塔網(wǎng)絡(luò)結(jié)構(gòu)，13×13與26×26大小的特征圖要依次經(jīng)2倍上采樣操作與26×26和52×52大小的特征圖進行信息融合，將深層的語義信息通過快捷連接傳入到淺層，得到3個帶有語義和位置信息融合的特征圖。YOLOv3的網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

圖1 YOLOv3算法結(jié)構(gòu)示意圖Fig.1 Diagram of YOLOv3 algorithm structure

YOLOv3網(wǎng)絡(luò)能夠快速實現(xiàn)目標的檢測，并利用FPN引入多尺度的目標預(yù)測來提高其檢測能力。但其FPN網(wǎng)絡(luò)只采用3個尺度，只進行了一次自上而下的特征融合，各層信息利用不足，對于一些小目標和有遮擋目標，其檢測能力有限。

YOLOv3在實現(xiàn)邊界框預(yù)測時，通過 k-means算法對數(shù)據(jù)集中的目標框進行維度聚類，得到9組不同大小錨框，將錨框平均分配到3個檢測尺度上，每個尺度的每個錨點分配3組錨框。但是這樣操作會帶來大量的錨框，于是YOLOv3采用了最大交并比(IoU)來對錨框進行回歸。IoU計算的是預(yù)測邊界框和真實邊界框的交集和并集的比值，一般來說預(yù)測邊界框和真實邊界框重疊度越高，則其IoU值越大，反之越小。并且IOU對尺度變化具有不變性，不受兩個物體尺度大小的影響。其計算公式如式(1)所示：

(1)

其中，A屬于真實框，B屬于預(yù)測框。

但是IoU無法精確地反應(yīng)真實框和預(yù)測框重合位置的關(guān)系，存在兩個較大的缺點，第一，無法衡量兩個框之間的距離，如圖2所示，圖2(a)明顯要比圖2(b)中的距離近，但僅從IoU數(shù)值上無法判斷兩框的遠近；第二，無法反映真實框與預(yù)測框的重疊方式，如圖2(c)與圖2(d)的重疊方式完全不一樣，從IoU的數(shù)值上無法判斷其重疊方式。當上述情況出現(xiàn)時，會導(dǎo)致網(wǎng)絡(luò)沒有梯度回傳，造成模型難以收斂等問題的出現(xiàn)。

圖2 真實框與預(yù)測框位置表示圖Fig.2 Representation of the position of the prediction frame and the real frame

3 一種高精度的卷積神經(jīng)網(wǎng)絡(luò)安全帽檢測方法

為了實現(xiàn)施工現(xiàn)場的復(fù)雜環(huán)境中弱小目標與遮擋目標的有效檢測，并提高網(wǎng)絡(luò)的收斂能力，本文在YOLOv3網(wǎng)絡(luò)的基礎(chǔ)上引入CPANet與CIoU，建立一種高精度的安全帽檢測網(wǎng)絡(luò)(YOLO_CPANet_CIoU)來提高檢測精度與模型收斂能力。

3.1 CPANet的特征金字塔網(wǎng)絡(luò)

在檢測網(wǎng)絡(luò)中，YOLOv3采用一次自上而下單向特征融合的特征金字塔網(wǎng)絡(luò)(圖3)，利用C3～C5的輸入層經(jīng)上采樣得到P3～P5三個不同尺度的輸出特征層。從C5到P5的過程經(jīng)過了5次卷積，再經(jīng)過一次3×3的卷積和一次1×1的卷積調(diào)整通道數(shù)后輸出；C3-P3、C4-P4的過程，首先要與上一層特征圖的兩倍上采樣結(jié)果進行特征融合，然后再經(jīng)過和C5到P5同樣的運算過程并輸出對應(yīng)的特征圖；最后特征金字塔網(wǎng)絡(luò)會輸出3個不同尺度的特征圖進行目標預(yù)測。一般來說，低層的特征圖包含更多的位置信息，高層的特征圖則擁有更好的語義信息，F(xiàn)PN網(wǎng)絡(luò)就是將這個兩者特征結(jié)合，增強網(wǎng)絡(luò)的檢測準確率。但是YOLOv3中自上而下的特征金字塔網(wǎng)絡(luò)，只將深層的語義信息通過便捷通道送入淺層，提高淺層特征的分類準確率，但并沒有利用便捷通道將淺層的位置信息傳入深層，深層特征的定位準確性有限。

圖3 YOLOv3算法特征金字塔網(wǎng)絡(luò)Fig.3 YOLOv3 algorithm feature pyramid network

于是，為了實現(xiàn)對佩戴安全帽的工人準確檢測，減少網(wǎng)絡(luò)特征損失，并有效利用高低層的特征信息來提高網(wǎng)絡(luò)的定位準確率，本文引入了雙向特征融合的特征金字塔網(wǎng)絡(luò)PANet[16]，在原始單向特征融合的FPN后加入了一條位置信息特征通道，使得淺層的特征能夠通過便捷通道在損失較小的情況下將位置信息傳送到深層進行特征融合，進一步提高了對弱小目標的定位準確性。PANet結(jié)構(gòu)如圖4所示。

圖4 PANet雙向特征金字塔結(jié)構(gòu)Fig.4 PANet bidirectional feature pyramid structure

相應(yīng)的研究表明[17]，與多次學(xué)習(xí)冗余的特征相比，特征重用是一種更好的特征提取方式。于是本文在特征金字塔上的橫向傳播通道添加3條跳躍連接，直接將主干網(wǎng)絡(luò)C3、C4、C5層的特征傳入到最后的輸出部分進行融合，使得最終輸出能夠得到前幾層特征圖上的原始信息。這樣做也能夠在一定程度上加快網(wǎng)絡(luò)的收斂速度，提高網(wǎng)絡(luò)結(jié)構(gòu)的表征能力，增強對安全帽這類小目標物體的檢測效果。

為了進一步減少遮擋目標的誤檢，提高安全帽檢測精度，在特征金字塔網(wǎng)絡(luò)的輸出部分引入CBAM[18]注意力模塊建立CPANet特征金字塔網(wǎng)絡(luò)，如圖5所示。利用CBAM分別從通道和空間的角度來增強特征信息，在一定程度上擴大特征圖對全局信息的感知范圍，增強特征的表達能力。CBAM模塊首先通過通道注意力模塊，對每個通道的權(quán)重進行重新標定，使得表達小目標和遮擋目標的區(qū)域特征通道對于最終卷積特征有更大的貢獻，從而在背景中突出小目標和遮擋目標，并且抑制一些對分類作用不大的通道，減少網(wǎng)絡(luò)計算量；再利用空間注意力機制來突出目標區(qū)域，通過統(tǒng)計特征圖的空間信息得到空間注意圖用于對輸入特征進行重新激活，從而引導(dǎo)網(wǎng)絡(luò)關(guān)注目標區(qū)域并抑制背景干擾。

圖5 CPANet特征金字塔結(jié)構(gòu)Fig.5 CPANet feature pyramid structure

3.2 CIoU邊界框損失函數(shù)

YOLOv3中使用了IoU對錨框進行回歸，但是根據(jù)前文分析，IoU無法衡量兩個框之間的距離和重疊方式，會導(dǎo)致模型收斂能力較弱。所以，一個好的回歸框應(yīng)該考慮重疊面積、中心點距離、長寬比3個集合因素，文獻[19]針對這些問題首先提出了DIoU，同時考慮了真實框與預(yù)測框之間的距離和重疊面積，DIoU Loss的計算公式如下所示。

(2)

其中:b和bgt分別為預(yù)測框和真實框的中心點，ρ(·)為兩中心點之間的歐氏距離計算公式，c為在同時包含預(yù)測框和真實框的最小閉包區(qū)域的對角線距離。

其距離示意圖如圖6所示，d為預(yù)測框與真實框中心點距離，c為兩框?qū)屈c距離?？芍狣IoU能夠同時考慮中心點距離與重合兩框的對角點距離，改進了IoU存在的缺點，能夠在兩框未重合情況下為模型提供優(yōu)化方向。

圖6 距離示意圖Fig.6 Distance diagram

同時，CIoU在DIoU的基礎(chǔ)上進一步考慮長寬比因素，在DIoU Loss的計算公式中加入懲罰項，CIoU Loss計算公式如式(3)所示。

(3)

(4)

其中，α是正權(quán)衡參數(shù)，v是衡量長寬比一致性的參數(shù)。所以，CIoU同時考慮了重疊面積、中心點距離、長寬比三要素，能夠直接最小化兩個目標框的距離，并且在真實框與預(yù)測框不重合時，為預(yù)測框提供移動的方向。而且CIoU能替換NMS中的IoU算法，加快模型的收斂速度。

因此，在保持網(wǎng)絡(luò)的檢測性能不下降的前提下，本文利用CIoU來代替IoU 進行錨框的回歸，實現(xiàn)真實框和預(yù)測框無重合時的梯度回傳，提高模型收斂能力。同時，使用CIoU能夠降低模型的訓(xùn)練難度，提高對于安全帽檢測的準確率。

4 實驗結(jié)果與分析

4.1 實驗環(huán)境與訓(xùn)練過程

本次實驗在服務(wù)器上搭建環(huán)境并進行訓(xùn)練，服務(wù)器硬件配置為CPU(Inter Xeon E5-2695)、GPU(Nvidia TITAN Xp)、主板(超微X10DRG-Q)；操作系統(tǒng)為Windows10專業(yè)版；軟件配置為Anaconda、Pycharm；編程語言為Python，深度學(xué)習(xí)框架為Keras。

實驗數(shù)據(jù)為網(wǎng)上收集的開源安全帽檢測數(shù)據(jù)集[20]，共有5 000張施工現(xiàn)場照片。所有的圖像用“l(fā)abelimg”標注出目標區(qū)域及類別，共分為兩個類別，佩戴安全帽的標記為“helmet”，未佩戴安全帽的標記為“head”。并將數(shù)據(jù)集按 8∶1∶1 的比例分成訓(xùn)練集、驗證集、測試集，分別用于模型的訓(xùn)練、驗證以及測試過程。

本文采用安全帽數(shù)據(jù)集對檢測網(wǎng)絡(luò)進行訓(xùn)練，為了提高本文算法的魯棒性并防止模型過擬合，在訓(xùn)練集數(shù)據(jù)輸入模型訓(xùn)練前使用圖像縮放、長寬扭曲、圖像翻轉(zhuǎn)、色域扭曲以及為圖像多余部分增加灰條等操作對訓(xùn)練集進行預(yù)處理，同時采用了標簽平滑策略來防止模型過擬合。

訓(xùn)練時，輸入圖片尺寸設(shè)置為416×416，采用預(yù)訓(xùn)練模型，優(yōu)化器為Adam。網(wǎng)絡(luò)訓(xùn)練分兩次進行，第一階段訓(xùn)練凍結(jié)Darknet53主干部分，初始學(xué)習(xí)率(Learning rate)設(shè)置為0.001，batch size(一次訓(xùn)練所選取的樣本數(shù))設(shè)置為32，訓(xùn)練50輪，使用學(xué)習(xí)率下降策略，連續(xù)2輪驗證集的損失值未改善，學(xué)習(xí)率將乘以0.5；第二階段訓(xùn)練釋放凍結(jié)部分微調(diào)模型，初始學(xué)習(xí)率設(shè)置為0.000 1，batch size設(shè)置為6，訓(xùn)練60輪，使用學(xué)習(xí)率下降和提前終止策略，連續(xù)2輪驗證集的損失值未改善，學(xué)習(xí)率將乘以0.5，連續(xù)10輪驗證集損失未改變將提前中止訓(xùn)練。損失下降曲線如圖7所示。

圖7 損失下降曲線圖。(a)前50輪；(b)后60輪。Fig.7 Loss decline graph.(a)The first 50 rounds;(b)The last 60 rounds.

圖7(a)為前50輪凍結(jié)主干網(wǎng)絡(luò)Darknet53的損失下降曲線，圖7(b)為后60輪模型微調(diào)訓(xùn)練損失下降曲線，可以看出本文算法的收斂能力較改進前的YOLOv3強，最終本文算法損失下降至13左右便不再繼續(xù)下降。

4.2 實驗結(jié)果與分析

為了驗證本文算法的有效性，選取了FasterRCNN、SSD、RFBNet、YOLOv3網(wǎng)絡(luò)在相同的實驗環(huán)境下利用相同的訓(xùn)練方式和數(shù)據(jù)集進行訓(xùn)練，得到相應(yīng)的安全帽檢測模型。

為了說明本文YOLO_CPANet_CIoU網(wǎng)絡(luò)的性能，選取了4張不同施工環(huán)境、遮擋以及人群密集程度的圖片，用上述訓(xùn)練好的模型進行測試，并對測試結(jié)果進行對比分析。圖8為4張不同環(huán)境下的測試圖片，圖9(a)、(b)、(c)、(d)從左至右分別為Faster RCNN、SSD、RFBNet、YOLOv3以及YOLO_CPANet_CIoU網(wǎng)絡(luò)下的測試結(jié)果。從圖9中可以看出，F(xiàn)aster RCNN檢測效果較好，可以將大部分的遠處小目標安全帽以及有遮擋的安全帽目標檢測出來，但是存在一些誤檢現(xiàn)象，如測試圖1、測試圖2和測試圖4中，F(xiàn)aster RCNN都將一些相似的目標判定為安全帽，這是由于檢測網(wǎng)絡(luò)學(xué)習(xí)能力不足造成的誤檢測。其次，SSD算法在4幅不同場景的測試圖片中的檢測性能最差，如測試圖1未檢測出目標，測試圖2和測試圖4則未檢測出遠處小目標，測試圖3未檢測出一些遮擋目標。這是由于主干網(wǎng)絡(luò)的特征提取能力不強，且對于小目標和遮擋目標學(xué)習(xí)能力不足造成的。RFBNet的檢測效果要優(yōu)于SSD，雖然測試圖1、測試圖2、測試圖4都對遠處弱小安全帽目標存在少量漏檢，但是能夠針對大多數(shù)的顯著目標和有遮擋的安全帽進行檢測，造成漏檢的原因是其未利用FPN網(wǎng)絡(luò)對高底層特征進行融合，導(dǎo)致對小目標的檢測不夠魯棒。YOLOv3是檢測性能僅次于本文算法，由于其擁有較深的特征提取網(wǎng)絡(luò)和FPN網(wǎng)絡(luò)，對弱小安全帽目標檢測的性能較好，能對大部分的遠距離以及近距離的安全帽進行檢測。但是針對測試圖1和測試圖3中存在一定遮擋的安全帽，YOLOv3并不能準確地檢測出來，存在漏檢現(xiàn)象。

圖8 原始測試圖片F(xiàn)ig.8 Original test pictures

(a)測試圖1檢測結(jié)果(a)Test picture 1 recognition results

本文的YOLO_CPANet_CIoU是4種網(wǎng)絡(luò)中檢測效果最好的，能夠針對測試圖1到測試圖4中所有的遠處弱小安全帽目標和有遮擋安全帽目標進行準確檢測，這說明了本文所提出的安全帽檢測方法能夠很好地融合高低層的特征信息，高效引導(dǎo)網(wǎng)絡(luò)注意目標區(qū)域，從而提高了算法對于弱小以及有遮擋安全帽目標的檢測準確率。

為了進一步說明YOLO_CPANet_CIoU的性能，本文從模型的精確率、檢測速度和參數(shù)量等評價指標來驗證改進網(wǎng)絡(luò)的優(yōu)越性，利用相同的測試樣本對4種網(wǎng)絡(luò)進行測試。圖10給出檢測網(wǎng)絡(luò)的模型精度對比，表 1給出檢測網(wǎng)絡(luò)的模型參數(shù)對比。圖10給出了4種檢測網(wǎng)絡(luò)的各類別的安全帽(Helmet)和未佩戴安全帽(Head)平均精確率(Average Precision，AP)以及平均精確率均值(mean Average Precision，mAP)。由圖中可知，本文檢測網(wǎng)絡(luò)的mAP值相較于YOLOv3、RFBNet、SSD、Faster RCNN分別增長了0.82，4.43，23.12，23.96，其中helmet和Head的AP值相較于改進前的YOLOV3分別提高了0.18和1.46。這說明YOLO_CPANet_CIoU中的CIoU以及提出的CPANet特征金字塔模塊能夠提高網(wǎng)絡(luò)對安全帽的檢測精度。

圖10 模型精度對比圖Fig.10 Model accuracy comparison chart

由表1可知，雖然YOLO_CPANet_CIoU的參數(shù)量最大有298 M，但是其檢測速度僅次于YOLOv3，能夠達到21 frame/s的速度，完全滿足實時性的要求。針對視頻圖像，能夠?qū)崟r在視頻圖像中定位與追蹤佩戴安全帽和未佩戴安全帽的工作人員，到達施工現(xiàn)場安全帽檢測的要求。

表1 模型參數(shù)對比表Tab.1 Model parameter comparison

5 結(jié) 論

為實現(xiàn)施工現(xiàn)場安全帽快速高精度檢測，本文在YOLOv3基礎(chǔ)上引入CPANet和CIoU構(gòu)建安全帽檢測算法YOLO_CPANet_CIoU。首先該網(wǎng)絡(luò)為了減少特征損失，有效利用高低層的特征信息，引入了雙向特征融合的特征金字塔網(wǎng)絡(luò)PANet，并在檢測網(wǎng)絡(luò)中添加了跳躍連接和CBAM注意力機制，形成了新的特征金字塔網(wǎng)絡(luò)CPANet，使得淺層的位置信息與深層的語義信息能夠損失較少地在網(wǎng)絡(luò)中傳遞，增強網(wǎng)絡(luò)對小目標以及有遮擋目標的檢測能力。同時在保持網(wǎng)絡(luò)的檢測精度不下降的前提下，將CIoU來代替IoU，優(yōu)化錨框的回歸并提高模型的收斂能力。經(jīng)過實驗驗證，本文檢測算法mAP值為91.96%，檢測速度達到21 frame/s，能夠?qū)崿F(xiàn)復(fù)雜施工環(huán)境下對安全帽的精確檢測，滿足實時性的要求，比其他檢測算法擁有更高的檢測精度和檢測效果。因此，本文提出的安全帽檢測算法YOLO_CPANet_CIoU具有較大的學(xué)術(shù)參考價值和工程應(yīng)用價值。