基于改進YOLOv4的安全帽佩戴檢測方法

石家瑋，楊莉瓊，方艷紅，杜義祥，李明駿

(1.西南科技大學 信息工程學院，四川 綿陽 621002；2.西南科技大學 土木工程與建筑學院，四川 綿陽 621002；3.四川振通檢測股份有限公司 研發(fā)部，四川 綿陽 621002)

0 引 言

深度學習由卷積網絡(CNN)計算特征，能夠表達更高級別的語義特征，卷積網絡中不同層具有不同的特征尺度，有助于從單一輸入尺度上計算特征[1,2]。Girshick等提出基于候選區(qū)域(region proposal)的區(qū)域卷積神經網絡算法R-CNN[3]、Fast R-CNN[4]和Faster R-CNN[5]，檢測精度和速度得到了很大提升；Redmon J等提出單階段(one-stage)的YOLO系列算法網絡[6-9]，進一步優(yōu)化了網絡結構，使深度卷積網絡在目標識別精度和速度上都有了較大提升。相關學者也將其運用到安全帽檢測項目上[10-13]，提高了安全帽檢測的識別準確率和識別速度。

施工場地下的安全帽檢測環(huán)境復雜，除了在施工場地入口處的安全帽佩戴檢測，對施工人員的安全帽佩戴實時監(jiān)測需要對距離較遠、圖像較小的目標具有良好的檢測效果，而現有方法存在的對于小目標識別存在漏檢、標簽重寫等問題，同時對于檢測環(huán)境具有不同要求，不能完全適應施工場地的安全帽檢測工作。

為解決以上問題，本文提出基于改進YOLOv4算法以適應安全帽檢測所在的施工場地等復雜環(huán)境。在自建安全帽數據集上，在深度模型訓練階段，針對漏檢問題對特征金字塔結構進行修改，提高算法對32*32尺寸小目標的識別率，但同時帶來了模型訓練時間增加問題和錨框數量不匹配的問題，為此開展了3方面的工作：合并卷積網絡中的BN層和卷積層，減少前向推理時間，提高模型訓練速度；利用K-means聚類算法計算基于自建安全帽數據集的先驗框坐標，通過增加錨框數提高圖像訓練時錨框的匹配度使模型更快收斂；針對檢測中的標簽重寫問題，采用柔性非極大值抑制算法(Soft-NMS)對同一區(qū)域內多個預測框進行置信度權重修改，平衡相互重疊檢測框的置信度。

1 相關工作

1.1 改進多尺度預測結構

YOLOv4進行了一系列改進，輸入端采用馬賽克數據增強(mosaic data enhancement)[14]的方法，有效提高了模型對不同尺寸目標的識別效果。網絡結構中的特征金字塔(feature pyramid networks，FPN)[15]結構通過對圖像進行卷積采樣操作得到不同尺度的特征圖像，其中淺層網絡更關注細節(jié)信息，而深層網絡則更關注語義信息。強語義信息能夠提高檢測性能，而深層次特征則能夠提高更魯棒的信息。但多次的降采樣和上采樣操作使得深層網絡的定位信息存在誤差，同時過大的下采樣率也弱化了小目標的圖像特征，而工地施工的安全帽檢測預警任務需要對較遠距離的識別目標進行識別，對小目標特征識別的要求更高。

借鑒多尺度特征融合的思路，為提高網絡模型中低層特征圖中的細節(jié)語義信息，使小目標能夠在圖像特征中得到有效訓練，改進的YOLOv4算法網絡在原有的3個特征尺度層上增加104*104的底層特征層，同時采用框架FPN+PAN(path aggregation network)[16]的結構，添加一個自底向上的特征金字塔，作為輸出與前四層特征尺度融合，應用雙線性插值將高層特征做2倍上采樣，再將其和對應經過1*1卷積核的前一層特征層結合，將低分辨率、高語義信息的高層特征和高分辨率、低語義信息的低層特征進行自上而下的側邊連接，從而所有尺度下的特征都有豐富的語義信息，使得改進后的YOLOv4網絡能夠檢測到更加細粒度的特征。

改進后的特征提取層結構如圖1所示。

圖1 改進后的特征金字塔結構

輸入圖像經過卷積網絡后，通過改進后的52*52、26*26、13*13、104*104這4個特征尺度進行訓練，再通過上采樣將4個特征層輸出進行特征融合：在79層后經過3*3的卷積核進行卷積操作得到13*13的預測結果，下采樣倍數高，特征圖具有較大的感受野，適合檢測圖像中尺寸較大的對象；將輸出結果通過上采樣與61層的結果進行張量拼接(Concat)，再經過卷積操作后26*26的預測結果，這一層特征尺度具有中等尺度的感受野，適用于檢測中等尺度的對象；而52*52和新增的104*104特征尺度具有較小尺度的感受野，能夠對于小目標具有好的檢測效果。

圖片在輸入到CSPDarknet53網絡后，YOLO將其劃分為S*S個不同尺度的網格(grid cell),如果物體的中心落在某個網格內，則這個網格就負責相應檢測該物體。通過網絡每個網格生成B個邊界框(bounding box)及其對應的坐標偏移量、物體置信度和類別置信度對每個錨框分別進行擬合，最后通過極大值抑制篩選后得到檢測結果和預測類別。損失函數如式(1)所示

(1)

其中，Lconf為目標置信度差，通過交叉熵來表示；Lclass為分類誤差；Llocation為位置損失函數，表示中心坐標誤差和寬高坐標誤差之和；Iij表示第i個網格的第j個錨框是否負責預測該目標；Ci表示參數置信度；λcoord為坐標系數；λobj和λnoobj表示目標存在或不存在時的置信度。

傳統(tǒng)的滑窗法和基于候選區(qū)域的目標檢測方法，分類器只能得到圖像的局部信息，YOLO在訓練和測試時能得到整張圖片的信息。物體中心落在劃分的S*S個網格中，通過預測框與錨框計算其交并比(IoU)和相應的置信度得分，就能得到對該目標的位置和類別進行預測。但在13*13、26*26和52*52這3個特征尺度中，小目標在每一個網格中所占像素比例較小，錨框和真實框(ground truth)交并比較低，從而導致置信度Ci較小，在訓練過程中的圖像特征更容易被忽略。如圖2所示，在低尺度的特征圖下右邊框中的物體中心更容易被錨框匹配到，而較小的安全帽目標則容易被檢測為背景而忽略。而在改進后的高尺度下的小目標中心則更容易在相應網格中被錨框匹配，網格中小目標所占像素比例得到提升，邊界框能夠更好地擬合物體的真實框。

圖2 不同尺度特征

通過提高圖像中小目標的真實框與錨框的交并比，使得從新特征尺度層輸出的邊界框信息不僅融合了小目標細致的語義信息，還囊括了小目標豐富的位置信息，使改進后的卷積網絡在應對多尺度目標識別任務中的檢測性能更加均衡。

1.2 合并BN層和卷積層

增加特征提取層使得網絡前向推理中增加了運算量，影響了模型的性能，占用更多顯存和內存空間的問題，本文采取將BN層與卷積層合并的方法，提升模型運行速度，在CSPDarknet53網絡上進行改進，提升網絡前向推斷性能。

在基礎網絡CSPDarknet53中，卷積層、BN(batch normalization)[17]層和Leaky-Relu層共同構成了DarknetConv2 d_BN_Leaky(DBL)作為YOLOv4的基本組件Convolutional層。BN層可以解決在訓練過程時中間數據分布發(fā)生改變造成的梯度消失和過擬合的問題，加速網絡收斂。圖像數據輸入卷積網絡后，通常將BN層放在卷積層和全連接層之后，在非線性處理之前。DBL結構如圖3所示。

圖3 DBL結構

對于卷積層中輸入的圖像數據,應用式(2)將維度轉換為標準高斯分布(均值為0,方差為1),其中x(k)為數據值,E[x(k)]為均值

(2)

再通過γ進行縮放和移位(scale&shift)處理，使其能工作再激活的非線性區(qū)域，網絡訓練中得到β為偏移值，γ為縮放因子，添加極小的ε值防止在求平方根計算中得到值趨于無窮大

(3)

BN層對數據的運算和處理如下

(4)

(5)

(6)

(7)

假定輸入到BN層的mini-batch中的數據值為A=(x1,x2,…,xm)， 得到的學習參數為γ，β；通過運算獲得mini-batch中數據的平均值和方差，再通過標準化、縮放和移位處理得到輸出，并用每個mini-batch中計算得到的均值和方差來替代整體訓練集的均值和方差值。數據經過卷積層和BN層后得到的輸出過程為

(8)

(9)

X為輸入圖像數據，W為卷積權重，B為卷積偏置，W*X+B為卷積層的矩陣運算。在卷積層和BN層中，通過權重矩陣和特征向量的乘積加上偏置，得到輸出的特征值，如式(10)所示

(10)

將這兩層的計算進行合并，通過計算一次權重矩陣和卷積偏置作為輸入參數

WCN=WBN·Wconv

(11)

bCN=WBN·bconv+bBN

(12)

將兩式稍作變化，得到新的卷積層的權重和偏置項

(13)

(14)

在輸入數據后通過這些新權重和偏置項進行卷積將得到與原始卷積加批量歸一化相同的結果，此時刪除BN層，將得到的輸出值用Leaky-Relu函數激活，進入網絡的下一層。通過實驗，此方法改進后刪除BN層，將其與卷積層合并，在沒有損失性能的前提下提升了網絡前向推理速度，同時提升了模型的檢測速率。

改進后的CSPDarknet53網絡結構如圖4所示，其中CSP(cross stage partial)結構可以減少計算量并且增強梯度表現，每個CSP模塊前面都有一個大小為3*3，步長為2的卷積核，起到下采樣的作用；而進行改進合并后的CBL模塊降低了計算瓶頸，減少網絡優(yōu)化中的梯度信息重復；新增的特征提取層在第四尺度上針對圖像細節(jié)信息進行進一步提取分析，通過張量拼接和卷積操作得到新的特征層，使得改進后的網絡結構增強了卷積網絡對圖像特征的學習能力，使其輕量化的同時保持了準確性。

圖4 改進后的CSPDarknet53網絡結構

1.3 k-means聚類分析調整先驗框維度

YOLOv4中預設的9個先驗框通過公共數據集聚類生成，所確定的先驗框維度所對應的尺度不適用于本文所用到的自建安全帽數據集。合適的先驗框維度能更好地匹配識別目標的尺寸，從而做出更好的預測，反之若先驗框維度和被檢測物體尺度不一致，則會導致大量漏檢的情況。通過修改特征提取層以增加對32*32尺寸目標的識別率，在4個特征尺度上應相應優(yōu)化增加為12個先驗框(Anchor Box)，使用k-means聚類算法[18]對訓練集中所有樣本的真實框重新聚類計算，得到具有代表性形狀的寬高(維度聚類)。如式(15)所示，選擇初始的k個類別中心μi，對于每個樣本，將其標記為距離類別中心最近的類別，其中argmin表示使類別函數取最小值時的變量值

(15)

再將每個類別中心更新為隸屬于該類別的所有樣本的均值

(16)

最終選取精確度(Accuracy)為83.59%的12個先驗框：(20,25), (32,37), (42,52), (55,67), (72,84), (86,109), (109,137), (140,171), (192,231), (264,322), (379,466), (653,825)，其中前面6個尺度較小的先驗框分別分配給52*52和104*104兩個具有較小感受野的特征圖，以提升對較小目標的檢測能力；后面6個尺度較大的先驗框則分配給26*26、13*13兩個具有較大感受野的特征圖，用于對尺度中等及較大目標的檢測。

1.4 柔性非極大值抑制算法

安全帽檢測檢測的最后階段會在一定區(qū)域內生成一系列的檢測框，并匹配相應的置信度分數。這些檢測框大都是對于同一目標不同置信度分數的檢測，導致帶檢測目標周圍會出現密集的檢測框，造成與目標相關的多個檢測框不同程度的重疊。非極大值抑制算法(non-maximum suppression，NMS)[19]可通過計算實現檢測款篩選，以得分高的檢測框作為基礎，對不同類別檢測框設置不同的交并比閾值來篩選同一目標的標簽重疊問題，實現最優(yōu)檢測。但保留最高得分檢測框，刪除其它框和重合度過大的檢測框容易對兩個重疊面積較大的目標實現漏判，降低了算法的檢測精度和準確率，特別是降低了對于重疊機率較大的小目標識別。NMS篩選示意和IoU計算方法如圖5所示。

圖5 NMS和IoU算法

本文利用柔性非極大值抑制算法優(yōu)化解決這一問題，在進行非極大值抑制時同時考慮得分和重疊度，計算區(qū)域內最佳框同其它框的交并比，并為其置信度添加衰減因子，從而降低其置信度而非直接清零。其計算公式如下

(17)

式中：Si是相鄰候選框的置信度得分，M是得分最高的候選框，bi是待操作候選框；Ni是重疊閾值；當bi與M的交并比越高，待操作候選框bi的置信度Si衰減程度越高，以此平衡相互重疊檢測框的置信度，既保留區(qū)域內置信度較高的檢測框，又刪除了同一目標重疊的檢測框，從而提高檢測目標遮擋情況下的準確率。

2 實 驗

實驗環(huán)境配置：操作系統(tǒng)為Ubuntu16.04，軟件版本為：CUDA(computer unified device architecture)10.0、CUDNN(computer unified device neural network library)7.6.3、OpenCv3.4.2；硬件配置為32 G內存、Intel-i7處理器、Nvidia GeForce GTX 1080Ti 顯卡，調用GPU加速訓練。

2.1 數據集的制作與標注

安全帽檢測領域目前沒有公開的圖像數據集，本文通過網絡圖片篩選、工地現場拍攝等方式收集各個施工場地、工地入口等場景下佩戴和未佩戴的施工人員圖片自制安全帽數據集，共4895張。所采集數據集對提取場景復雜度、人員密集度及檢測距離遠近等相關特征具有良好表現。正樣本中佩戴安全帽人員圖片2563張，主要場景為施工場地入口、建筑物附近等，其中包含低于32*32尺寸目標圖片1153張；負樣本中包括未佩戴安全帽人員，多種噪聲圖片等，如手拿安全帽、佩戴草帽或其它帽子的人員等圖片2332張，包含低于32*32尺寸目標圖片1212張。

該數據集所采集的正負樣本圖片除施工場地外，還包含各種不同背景、不同質量和分辨率的圖片，豐富的數據集特征更好地提高了模型的泛化能力，較好地反映了施工場地的復雜性和安全帽檢測的多樣性，樣本圖片如圖6所示。

圖6 樣本圖片

使用標注工具labelImg對圖像進行標注，劃定頭部區(qū)域為樣本，同時采集人體面部信息和安全帽佩戴信息作為正樣本，采集人體面部、錯誤佩戴安全帽等復雜情景為負樣本，制作本文所需要的安全帽佩戴數據集。

標注過程如圖7所示，將圖片內容分為佩戴安全帽與未佩戴兩類，主要標注不同尺度大小、不同環(huán)境下的圖像特征，提高模型泛化能力。通過手動對目標進行框選，使網絡學習的模型具有更豐富的特征信息。標注后生成的xml文件包含圖像目標的位置信息以及類別信息，標注分類為佩戴(Wear)和未佩戴(Not Wear)，再將xml文件轉化為YOLO算法模型訓練所需要的txt文件。

圖7 LabelImg標注界面

2.2 網絡訓練及參數設置

修改特征層后，YOLOv4的整體Backbone基礎結構沒有變化，所以仍然可以基于遷徙學習的方法，采用預訓練權重YOLOv4.conv.137作為基礎特征提取網絡進行模型訓練。選取自建安全帽數據集中90%樣本為訓練集，10%樣本為測試集，再從樣本集中選取20%作為驗證集。批處理大小(batch size)設為32，子分區(qū)(subdivision)設為8，初始階段學習率(learning rate)設為0.001，衰減系數(decay)為0.0005，每訓練100次保存權重，為防止模型過擬合，每迭代10 000次學習率下降0.1，學習率衰減步長(Step)設置為40，訓練24 000次后批loss值穩(wěn)定在0.1到0.15，迭代停止，保留最后權重。Loss值下降和Avg IOU變化曲線如圖8所示，其中圖(a)、圖(b)橫軸表示批次迭代次數；圖(a)縱軸表示loss值，圖(b)縱軸表示平均IOU比率。

圖8 數據變化曲線

模型的損失隨著迭代次數的增加而減少，在前8000次迭代里模型擬合較快，損失值下降快，而在迭代次數達到20000后損失值趨于穩(wěn)定，loss值在0.12上下波動；Avg IOU在0.97左右波動。

2.3 合并卷積層與BN層

在增加特征提取層后，網絡的前向推理時間會增加?？赏ㄟ^將BN層與卷積層合并的方式，提升網絡前向推理速度，并保持模型的識別性能不受到損失，使整個模型推理訓練速度加快。實驗結果表明，將卷積層和BN層通過計算一次權重矩陣和卷積偏置作為輸入參數的方法能夠有效實現預先目標，在不損失性能的前提下，網絡前向推理時間減少14.68 s，得到模型速度上的提升。采取改進后的模型與原模型前向推理時間和mAP值對比如表1所示。

表1 合并BN層后性能對比

3 實驗結果及對比分析

3.1 算法改進前后分析

為提高算法識別度，全面評測本文改進的YOLOv4檢測性能，使用自建安全帽數據集先對目標進行安全帽佩戴檢測并計算其精確率和召回率。精確率表示針對預測結果而言預測為正的樣本中有多少是真正的正樣本；而召回率則針對原來的樣本而言樣本中的正樣本有多少被預測正確。在安全帽檢測任務中，召回率能夠表示在檢測過程中有多少目標被正確檢測出來，特別是在分辨率較大的尺度中，較小的目標往往會被忽略，從而造成檢測精度的下降。其計算公式如下

(18)

(19)

其中，TP(true positive)為將正類預測為正類數，FP(false positive)為將負類預測為負類數，FN(false negative)為將正類預測為負類數。再計算單類目標x的平均準確率(ave-rage precision，AP)和所有類別目標的平均準確率均值(mean average precision，mAP)來對模型性能進行評價。平均準確率將準確率和召回率綜合考慮，能夠檢測算法穩(wěn)定性，針對單一類別評價模型對于每一類的識別優(yōu)劣；平均準確均值能夠衡量模型在所有類別上的綜合性能。其計算公式如下

(20)

(21)

其中， ∑Precisionx為目標精確率之和，APx表示類x的平均精確度，Nx為所有圖像中含有類x目標的圖像數量；N為所有類別的數目， ∑AP為平均精確率之和。通過計算精確率和召回率，再計算AP和mAP能夠很好地對模型提升效果做一個評估。測試圖像如圖9所示。

圖9 正負樣本測試效果

選取準確率RP和召回率RR作為評價指標測試模型對正負樣本的識別準確率，分別用YOLOv4算法和改進后的算法對采集到的500張測試圖片中1263個目標進行檢測，分別計算其RP和RR，其中NTP為被正確識別的目標數量，NFP為被錯誤識別的目標數，NFN為未被識別的目標數量，結果見表2。

從表2中的數據可以看出，改進后的YOLOv4算法對安全帽檢測任務中的漏檢和錯檢數量明顯下降，準確率RP達到91.8%，相對于原算法提升8.9%，召回率RR達到93.5%，提升9.5%，說明改進后的YOLOv4算法具有更好的準確性和穩(wěn)定性。

表2 算法改進前后測試樣本結果對比

將500張測試圖片中低于32*32目標進行統(tǒng)計標注，分別用YOLOv4改進前后算法對不同尺寸目標進行安全帽佩戴檢測并計算其平均準確率和平均準確率均值，對佩戴和未佩戴兩類檢測目標進行測試，檢測模型小目標樣本檢測性能，結果見表3。

表3 算法改進后樣本檢測對比

通過表3數據分析得出，改進后的YOLOv4算法相較于原算法的mAP提升2.91%，達到83.23%；其中在32*32類目標上在佩戴于未佩戴兩類上分別提升10.3%和10.11%，改進后算法對32*32尺寸目標具有更好的檢測性能。檢測結果如圖10所示，未改進的YOLOv4檢測出3處佩戴安全帽信息，漏檢途中32*32目標4處，平均置信度為71.19%；改進后的YOLOv4算法檢測出6處佩戴安全帽信息，漏檢1人，識別處32*32目標3處，平均置信度為78.59%，測試表明得到框圖數據未發(fā)生過擬合。

圖10 改進算法前后效果對比

3.2 不同改進策略對比

為進一步驗證不同的圖像特征參數和實驗參數對實驗結果會造成差異化的影響，同時也得到算法的最優(yōu)策略，選取以下4種改進策略進行測試，選取mAP和前向推理時間作為比對值測試算法性能。對比實驗結果見表4。

表4 不同改進策略測試效果

由表4可知，策略2對比策略1在合并卷積層和BN層后，mAP略微提升0.66%，前向推理時間減少24.55 s，合并BN層和卷積層能夠有效提升訓練效率，提高模型的性能；策略3增加特征層并合并DBL，前向推理時間對比策略1減少9.44 s，mAP降低8.3%，因為新增特征層無匹配錨框，圖像特征無法匹配融合特征，造成錯誤識別目標過多；策略4為本文所用方案，增加特征層的同時將錨框數增加12個，豐富模型高層次的語義信息，同時通過合并DBL解決了梯度信息增多而導致模型訓練時間增加的問題，對比其它方案策略4中模型性能達到最佳。

3.3 不同算法實驗結果對比

使用自建安全帽數據集將文獻[5]中的Faster RCNN算法、文獻[9]的YOLOv4算法和改進后的YOLOv4算法在分割區(qū)域內對不同尺寸目標進行安全帽佩戴檢測。

表5數據表明，對于自建安全帽數據集的檢測的表現，Faster-RCNN算法檢測精度較高，但用時較長；而本文改進的YOLOv4算法在檢測精度和檢測時間上表現最佳，mAP為83.23%，平均每張圖片檢測時間為0.0798 s；同時在分割區(qū)域的不同尺寸目標的檢測上，改進的YOLOv4的AP達到21.64%，對小目標檢測上領先于其它算法。

表5 不同算法模型檢測對比

4 結束語

本文提出了一種改進YOLOv4算法的多尺度特征融合安全帽檢測方法,采用改進CSPDarknet53網絡的特征提取層，通過FPN+PAN金字塔特征融合結構將特征提取層增加為4層，提升模型對于高分辨率下32*32小目標特征識別度，提高施工場地下安全帽佩戴的檢測范圍；合并網絡中的卷積層和BN層，提高了模型網絡前向推理速度，減少前向推理時間；利用K-means聚類算法先驗框維度重新聚類，選取更適合自建安全帽數據集的錨框，提高檢測過程中錨框和真實框匹配度；采用Soft-NMS解決了對于多目標重疊產生的標簽重寫問題，實現最優(yōu)的預測框輸出。相較于原算法，本文算法在安全帽的檢測任務中mAP提升2.91%，對低于32*32尺寸目標其AP相較于原算法提升6.02%，能夠有效提升安全帽佩戴檢測范圍，滿足檢測任務實時性和準確性要求，后續(xù)考慮在安全帽檢測場景如施工入口和施工場地上通過部署多傳感器等相關設備進行圖像特征的融合以提升對復雜目標的特征信息識別能力，獲得更加準確的檢測效果。