基于深度學(xué)習(xí)的安全帽佩戴狀態(tài)實(shí)時(shí)檢測(cè)研究

王 正，呂 非，齊宇霄，童 瑩

（1.南京工程學(xué)院 信息與通信工程學(xué)院，江蘇 南京 211167；2.南瑞集團(tuán)有限公司，江蘇 南京 211106）

0 引 言

安全帽作為勞保用品的重要部分，應(yīng)用廣泛，但其重要性也容易被部分工作人員忽視，因未佩戴安全帽而造成的事故，后果往往極為嚴(yán)重。為解決傳統(tǒng)施工現(xiàn)場(chǎng)存在的安全管理問(wèn)題，實(shí)現(xiàn)施工現(xiàn)場(chǎng)的智能化管理，對(duì)施工現(xiàn)場(chǎng)人員進(jìn)行安全帽佩戴狀態(tài)實(shí)時(shí)檢測(cè)具有重大意義[1]。

計(jì)算機(jī)視覺(jué)領(lǐng)域的發(fā)展促進(jìn)了圖像采集設(shè)備和圖像處理技術(shù)的結(jié)合應(yīng)用。將拍攝畫(huà)面?zhèn)鬏數(shù)接?jì)算端，運(yùn)用相關(guān)算法對(duì)場(chǎng)景進(jìn)行實(shí)時(shí)分析、目標(biāo)檢測(cè)[2]、目標(biāo)跟蹤[3]、圖像分割[4]等操作，極大地簡(jiǎn)化了管理過(guò)程。從圖像角度看待安全帽的佩戴識(shí)別問(wèn)題，發(fā)現(xiàn)安全帽醒目的顏色和外形尤其適合用圖像技術(shù)進(jìn)行處理。

現(xiàn)階段，識(shí)別安全帽是否佩戴的方法存在一些缺陷，如脫離人體，將安全帽的檢測(cè)作為重點(diǎn)，這種方法無(wú)法準(zhǔn)確判斷人體和安全帽的佩戴關(guān)系；將佩戴安全帽和未佩戴安全帽的人體分類檢測(cè)，這種方法利用深度學(xué)習(xí)技術(shù)可以較簡(jiǎn)單的實(shí)現(xiàn)，但訓(xùn)練成本較大，識(shí)別效果易受噪聲影響。這些方法未能把識(shí)別精度和速度相結(jié)合，在實(shí)際監(jiān)控應(yīng)用中效果欠佳?；谏鲜鲈?，本文提出了一種基于深度學(xué)習(xí)的安全帽佩戴狀態(tài)實(shí)時(shí)檢測(cè)方法。

1 安全帽實(shí)時(shí)檢測(cè)方案

為了對(duì)人員的安全帽佩戴狀態(tài)進(jìn)行實(shí)時(shí)檢測(cè)，需要對(duì)視頻流進(jìn)行目標(biāo)檢測(cè)跟蹤以及安全帽佩戴檢測(cè)等處理。方案流程如圖1所示，可分為人員區(qū)域檢測(cè)、頭部區(qū)域提取、安全帽存在性判斷3部分。

圖1 方案流程

1.1 人員區(qū)域檢測(cè)

在圖像目標(biāo)檢測(cè)任務(wù)中，基于深度學(xué)習(xí)的方法已被證明優(yōu)于傳統(tǒng)檢測(cè)方法[5]。效果較好的目標(biāo)檢測(cè)框架有Faster R-CNN[6]，YOLO，Mask R-CNN[7]，RetinaNet[8]等。本文采用的YOLOv3[9]檢測(cè)框架保證了算法運(yùn)行的速度，滿足了實(shí)時(shí)性需求，同時(shí)也能獲得較準(zhǔn)確的檢測(cè)結(jié)果。

如圖2所示，YOLOv3框架采用Darknet-53作為特征提取的主要網(wǎng)絡(luò)[10]，與傳統(tǒng)CNN網(wǎng)絡(luò)結(jié)構(gòu)不同的是，Darknet-53舍棄了常用的池化層和全連接層，在卷積層后搭載Leaky-ReLU激活函數(shù)，并在YOLOv2的基礎(chǔ)上[11]借鑒了ResNet的殘差塊結(jié)構(gòu)，用以解決隨著卷積神經(jīng)網(wǎng)絡(luò)層數(shù)的增加而出現(xiàn)的訓(xùn)練退化現(xiàn)象。為了實(shí)現(xiàn)檢測(cè)框多尺度變化，YOLOv3借 鑒 了 FPN（Feature Pyramid Networks, FPN）[11]網(wǎng)絡(luò)中的思想，分別在13×13、26×26和52×52三種尺度下進(jìn)行特征圖融合與預(yù)測(cè)，得到Y(jié)1、Y2和Y3三次采樣輸出結(jié)果。

圖2 YOLOv3網(wǎng)絡(luò)結(jié)構(gòu)

YOLOv3目標(biāo)檢測(cè)框架可以檢測(cè)多類物體，訓(xùn)練時(shí)也是以多類物體的標(biāo)簽進(jìn)行訓(xùn)練。在安全帽佩戴識(shí)別任務(wù)中只關(guān)心人員目標(biāo)，所以在訓(xùn)練時(shí)只采用人員類的標(biāo)簽進(jìn)行訓(xùn)練，以節(jié)省訓(xùn)練時(shí)間，提高訓(xùn)練效率。在硬件計(jì)算能力充足時(shí)，也可以直接采用YOLOv3訓(xùn)練好的權(quán)重（可以檢測(cè)多類），提取檢測(cè)結(jié)果中的人員目標(biāo)，進(jìn)行后續(xù)處理。

1.2 頭部區(qū)域提取

由于安全帽相對(duì)人體區(qū)域而言占比較小，為了更高效的對(duì)YOLOv3提取出的人員區(qū)域圖像進(jìn)行分析，本文進(jìn)一步提取安全帽可能存在的區(qū)域，即頭部位置區(qū)域，再輸入后面的網(wǎng)絡(luò)進(jìn)行安全帽存在性判斷。由于檢測(cè)到的人員區(qū)域大小存在差異，本文按照長(zhǎng)寬比，采取人員區(qū)域中靠近上方的正方形區(qū)域作為提取區(qū)域。提取區(qū)域小于人員區(qū)域，減少了計(jì)算負(fù)擔(dān)；同時(shí)，提取區(qū)域大于安全帽，增加了容錯(cuò)率。將提取出的區(qū)域調(diào)整到固定大?。ǚ桨钢腥?7×57），便于后續(xù)處理。

1.3 安全帽存在性判斷

經(jīng)過(guò)前面的檢測(cè)和提取步驟，這一過(guò)程僅需進(jìn)行安全帽是否存在的二分類工作。采用經(jīng)典的卷積和全連接CNN+FC（Fully Convolutional Networks, FC）[12]網(wǎng)絡(luò)架構(gòu)，能夠達(dá)到較好的分類效果（相比SVM等傳統(tǒng)分類方法）。由于存在全連接層，本文對(duì)提取的頭部區(qū)域進(jìn)行采樣操作，將其變?yōu)楣潭ù笮〉膱D片輸入CNN+FC網(wǎng)絡(luò)。這部分網(wǎng)絡(luò)包含2個(gè)卷積層，1個(gè)池化層和2個(gè)全連接層，流程如圖3所示。

圖3 安全帽存在性判斷流程

識(shí)別安全帽的CNN+FC網(wǎng)絡(luò)訓(xùn)練過(guò)程可以脫離整體網(wǎng)絡(luò)進(jìn)行單獨(dú)訓(xùn)練。訓(xùn)練數(shù)據(jù)有2個(gè)來(lái)源：

（1）通過(guò)網(wǎng)絡(luò)采集安全帽和行人相關(guān)的開(kāi)源圖片和標(biāo)簽；

（2）真實(shí)環(huán)境中通過(guò)固定位置攝像頭采集的圖片，利用YOLOv3提取環(huán)境區(qū)域作為人體標(biāo)簽。

將全部數(shù)據(jù)集中，相對(duì)于人體的安全帽潛在區(qū)域（提取出的頭部區(qū)域）按是否佩戴作為正樣本和負(fù)樣本保存，如圖4和圖5所示。在訓(xùn)練時(shí)對(duì)正負(fù)樣本進(jìn)行在線處理（包括水平翻轉(zhuǎn)，放大、縮小裁剪區(qū)域，旋轉(zhuǎn)等）進(jìn)行數(shù)據(jù)增強(qiáng)。實(shí)驗(yàn)中發(fā)現(xiàn)，從實(shí)際測(cè)試場(chǎng)景中采集圖片進(jìn)行訓(xùn)練能夠獲得更好的識(shí)別效果。

圖4 部分訓(xùn)練正樣本

圖5 部分訓(xùn)練負(fù)樣本

2 實(shí)驗(yàn)結(jié)果

2.1 結(jié)果展示

對(duì)于檢測(cè)出佩戴安全帽的人員，用藍(lán)色框標(biāo)記；檢測(cè)出未佩戴安全帽的人員，用紅色框標(biāo)記。圖6為一般場(chǎng)景下的識(shí)別結(jié)果，圖7為特定場(chǎng)景下的識(shí)別結(jié)果。

圖6 一般場(chǎng)景下的識(shí)別結(jié)果

圖7 特定場(chǎng)景下的識(shí)別結(jié)果

2.2 實(shí)驗(yàn)結(jié)果分析

本方案和傳統(tǒng)方案在一般場(chǎng)景中的檢測(cè)結(jié)果見(jiàn)表1所列。

表1 實(shí)驗(yàn)結(jié)果對(duì)比

從表中可以看出，本方案的誤報(bào)率、漏檢率和準(zhǔn)確率相比傳統(tǒng)方案均有較大改善。在實(shí)際應(yīng)用中，往往會(huì)在某一特定場(chǎng)景中進(jìn)行佩戴檢測(cè)，在該場(chǎng)景中拍攝更多正、負(fù)樣本進(jìn)行訓(xùn)練，檢測(cè)準(zhǔn)確率超0.96。本方案基于目標(biāo)檢測(cè)算法，避免了傳統(tǒng)方案難以檢測(cè)靜止人員的缺陷。在速度方面，傳統(tǒng)方法在800×600大小的圖片上進(jìn)行檢測(cè)，速度為15 FPS（CPU），本方案在1 280×720大小的圖片上進(jìn)行檢測(cè)，速度為43 FPS （GPU），具有實(shí)時(shí)檢測(cè)的效果。通過(guò)網(wǎng)絡(luò)剪枝等手段優(yōu)化模型，可以進(jìn)一步提升檢測(cè)速度。

3 結(jié) 語(yǔ)

為解決如何檢測(cè)作業(yè)人員是否佩戴安全帽的問(wèn)題，本文提出了一種基于深度學(xué)習(xí)的安全帽佩戴狀態(tài)實(shí)時(shí)檢測(cè)方法。文本方法檢測(cè)速度快，平均準(zhǔn)確率高，經(jīng)過(guò)本試驗(yàn)和對(duì)深度學(xué)習(xí)的研究，該方法能夠較好地實(shí)現(xiàn)安全帽佩戴的圖像和視頻檢測(cè)效果。下一步的研究方向是，當(dāng)人員被遮擋或出現(xiàn)低光照等情況時(shí)，如何降低這些因素對(duì)檢測(cè)結(jié)果的影響。