基于深度學(xué)習(xí)的復(fù)雜作業(yè)場(chǎng)景下安全帽識(shí)別研究*

李 華，王巖彬，益 朋，王 藤，王常亮

(1.西安建筑科技大學(xué) 資源工程學(xué)院，陜西 西安 710055； 2.中建科工集團(tuán)有限公司，陜西 西安 710055)

0 引言

建筑業(yè)屬于生產(chǎn)安全事故頻發(fā)的行業(yè)，依據(jù)《企業(yè)職工傷亡事故分類》(GB 6441—86)，對(duì)我國(guó)建筑業(yè)近十年出現(xiàn)的生產(chǎn)安全事故進(jìn)行統(tǒng)計(jì)分析，其中起重傷害、坍塌、機(jī)械以及物體打擊一共發(fā)生1 041起，占事故總數(shù)的50.42%[1]。在以上4種事故中，因物體高空墜落(撞擊)導(dǎo)致腦部外傷死亡事故占建筑工人施工總事故的24%[2]。針對(duì)由于未佩戴安全帽而導(dǎo)致的事故，本文對(duì)建筑施工人員安全帽佩戴情況進(jìn)行識(shí)別，對(duì)解決此類事故具有重要意義。

建筑業(yè)相對(duì)于其他行業(yè)，安全管理主要依賴管理人員的主觀監(jiān)測(cè)，受人員流動(dòng)性、環(huán)境的動(dòng)態(tài)性以及生產(chǎn)過(guò)程的復(fù)雜性等因素影響，導(dǎo)致人工檢查效率低、速度慢且精度一般，監(jiān)測(cè)效率低下；信息更新速度快亦存在不容易集成、成本高等問(wèn)題，因此，需要對(duì)建筑施工場(chǎng)所的安全管理方法進(jìn)行創(chuàng)新提升。

近年來(lái)，安全管理與計(jì)算機(jī)技術(shù)相結(jié)合以提高施工現(xiàn)場(chǎng)安全管理水平已成為1個(gè)主流的研究方向。伴隨著深度學(xué)習(xí)等技術(shù)的不斷成長(zhǎng)，目標(biāo)檢測(cè)亦取得了長(zhǎng)足的進(jìn)展，以RCNN為代表的two-stage目標(biāo)檢測(cè)算法，例如R-CNN[3]，F(xiàn)ast R-CNN[4]，F(xiàn)aster R-CNN[5]；以YOLO[6]、SSD為代表的one-stage目標(biāo)檢測(cè)算法。這些方法的出現(xiàn)極大地提高了信息的收集速度、處理能力以及傳遞速度，為建筑施工過(guò)程中的安全管理的現(xiàn)代化給予了巨大的技術(shù)、理論支持。胡恬等[7]最先通過(guò)智能算法設(shè)計(jì)實(shí)現(xiàn)工人安全帽檢測(cè)，這是我國(guó)研究人員對(duì)工人安全帽佩戴自動(dòng)識(shí)別的最初嘗試。Fang等[8]利用深度學(xué)習(xí)的圖像識(shí)別方法對(duì)施工現(xiàn)場(chǎng)未佩戴安全帽的工人做了大樣本收集，并根據(jù)圖像識(shí)別效果影響因素劃分為5個(gè)大類和19個(gè)小類的數(shù)據(jù)集，結(jié)果表明對(duì)安全帽的檢測(cè)精度為90%。張明媛等[9]提出1種基于Tensorflow框架的Faster R-CNN網(wǎng)絡(luò)框架，監(jiān)測(cè)工人安全帽的使用情況。平均精度達(dá)到90.91%。吳冬梅等[10]提出1種基于改進(jìn)的Faster R-CNN算法，對(duì)安全帽的顏色以及佩戴情況進(jìn)行識(shí)別，平均檢測(cè)準(zhǔn)確率達(dá)到85.5%。王兵等[11]針對(duì)安全帽佩戴識(shí)別精度問(wèn)題，結(jié)合GIOU提出基于yoloV3的識(shí)別方法，相較于未改進(jìn)的yoloV3方法mAP提高2.05%。

文獻(xiàn)[7]-[11]驗(yàn)證了深度學(xué)習(xí)方法對(duì)安全帽識(shí)別問(wèn)題的可行性，但實(shí)際安全帽識(shí)別情況中，將Faster R-CNN網(wǎng)絡(luò)框架運(yùn)用于安全帽佩戴檢測(cè)存在檢測(cè)錯(cuò)誤率高、網(wǎng)絡(luò)難以收斂、精度低等問(wèn)題；數(shù)據(jù)層面中建筑作業(yè)大多存在于復(fù)雜作業(yè)環(huán)境中，會(huì)出現(xiàn)目標(biāo)重疊以及小目標(biāo)的安全帽佩戴人員識(shí)別情況差等問(wèn)題。基于網(wǎng)絡(luò)框架及數(shù)據(jù)層面出現(xiàn)的問(wèn)題，本文建立復(fù)雜作業(yè)場(chǎng)景下安全帽數(shù)據(jù)集，提出改進(jìn)的Faster R-CNN的安全帽檢測(cè)方法，通過(guò)增加錨點(diǎn)提升小目標(biāo)的安全帽檢測(cè)能力、結(jié)合Focal loss[12]替代原本的損失函數(shù)解決數(shù)據(jù)集中類別不平衡問(wèn)題以及引入ROI Align[13]解決ROI Pooling操作2次量化造成的安全帽預(yù)測(cè)區(qū)域不匹配問(wèn)題，提升檢測(cè)模型準(zhǔn)確性，進(jìn)一步改善復(fù)雜作業(yè)場(chǎng)景下的安全帽識(shí)別的準(zhǔn)確率。

1 傳統(tǒng)Faster R-CNN算法

Faster R-CNN目標(biāo)檢測(cè)框架主要由2大模塊構(gòu)成：RPN(候選框提取模塊)，RPN屬于全卷積神經(jīng)網(wǎng)絡(luò)，用于候選框的提?。籉ast R-CNN(檢測(cè)模塊)，F(xiàn)ast R-CNN基于RPN提取的proposal檢測(cè)并識(shí)別proposal中的目標(biāo)。

1.1 RPN原理

RPN結(jié)構(gòu)如圖1所示，其基本思想是在特征圖中找到所有可能的候選區(qū)域，獲取候選區(qū)域采用滑動(dòng)窗口機(jī)制，在特征圖中使用滑動(dòng)窗口生成低維向量，低維向量被輸入到2個(gè)平行的全連接層進(jìn)行位置和類別的判斷。每個(gè)滑動(dòng)窗口的最大可能候選區(qū)的建議數(shù)量為k，故回歸層有4k個(gè)輸出來(lái)編碼k個(gè)區(qū)域的坐標(biāo)。分類層輸出2k個(gè)分?jǐn)?shù)用來(lái)評(píng)估區(qū)域包含識(shí)別目標(biāo)的概率。k個(gè)建議區(qū)域稱為錨點(diǎn)。錨點(diǎn)位于滑動(dòng)窗口中，并與縱橫比相關(guān)聯(lián)。

1.2 Fast R-CNN

RPN獲取候選區(qū)域后，F(xiàn)ast R-CNN模塊實(shí)現(xiàn)目標(biāo)的檢測(cè)和識(shí)別。利用RPN網(wǎng)絡(luò)獲取proposal RIO，同時(shí)獲取positive softmax probability，將獲取的數(shù)據(jù)輸入網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到最終的識(shí)別分類以及通過(guò)邊框回歸獲得檢測(cè)框最終的精確位置。Fast R-CNN與RPN通過(guò)共享卷積層的技術(shù)，實(shí)現(xiàn)高效檢測(cè)。

2 建筑施工人員安全帽識(shí)別方法

2.1 基本流程

本文基于TensorFlow框架對(duì)施工人員安全帽使用情況進(jìn)行識(shí)別。采集盡量多的復(fù)雜作業(yè)場(chǎng)景下施工人員安全帽佩戴圖像和未佩戴安全帽的圖像。所采集的圖像需要進(jìn)行預(yù)先的標(biāo)注和拆分使其滿足Faster R-CNN網(wǎng)絡(luò)框架訓(xùn)練要求，根據(jù)訓(xùn)練及測(cè)試效果改進(jìn)Faster R-CNN網(wǎng)絡(luò)框架，通過(guò)對(duì)網(wǎng)絡(luò)框架的不斷完善，最終實(shí)現(xiàn)目標(biāo)檢測(cè)，達(dá)到精度要求。安全帽識(shí)別流程如圖2所示。

圖2 安全帽識(shí)別流程Fig.2 Identification procedure of safety helmet

2.2 數(shù)據(jù)集構(gòu)建

復(fù)雜作業(yè)定義為1個(gè)多作業(yè)組織同時(shí)進(jìn)行多個(gè)簡(jiǎn)單作業(yè)或由多個(gè)作業(yè)對(duì)象1次關(guān)聯(lián)的所有簡(jiǎn)單作業(yè)的組合所構(gòu)成的作業(yè)。復(fù)雜作業(yè)包括2種類型：平行作業(yè)和縱向作業(yè)，復(fù)雜作業(yè)由人員組織、時(shí)間、作業(yè)對(duì)象、作業(yè)地點(diǎn)4個(gè)特征構(gòu)成，形成過(guò)程如圖3所示。黑色實(shí)箭頭為平行作業(yè)的形成過(guò)程，黑色虛箭頭為縱向作業(yè)的形成過(guò)程。

圖3 復(fù)雜作業(yè)形成Fig.3 Formation of complex operation

復(fù)雜作業(yè)場(chǎng)景示例如圖4所示。由圖4(a)可知，2個(gè)作業(yè)小組在不同區(qū)域?qū)ν蛔鳂I(yè)對(duì)象進(jìn)行施工，體現(xiàn)了平行作業(yè)下的復(fù)雜作業(yè)場(chǎng)景。由圖4(b)可知，單個(gè)作業(yè)小組對(duì)多個(gè)作業(yè)對(duì)象在同一區(qū)域進(jìn)行串聯(lián)工作，體現(xiàn)了縱向作業(yè)下的復(fù)雜作業(yè)場(chǎng)景。

圖4 復(fù)雜作業(yè)場(chǎng)景示例Fig.4 Examples of complex operation scenes

目前無(wú)完整的關(guān)于施工人員在復(fù)雜作業(yè)情況下安全帽數(shù)據(jù)集，需要自行收集1個(gè)數(shù)據(jù)集用以訓(xùn)練和測(cè)試Faster R-CNN網(wǎng)絡(luò)框架。隨著攝像頭在建筑施工場(chǎng)所的普及以及廣泛應(yīng)用，極大地提高了信息的收集速度，為收集圖像提供豐富的數(shù)據(jù)來(lái)源。本文通過(guò)截取建設(shè)項(xiàng)目施工現(xiàn)場(chǎng)攝像頭采集的視頻流對(duì)復(fù)雜作業(yè)條件下施工人員佩戴安全帽情形進(jìn)行收集。

2.3 數(shù)據(jù)預(yù)處理

本文共采集了7 581張人員佩戴或未佩戴安全帽的圖像，使用Labellmg標(biāo)注工具進(jìn)行標(biāo)注，標(biāo)注包括正(佩戴安全帽)、負(fù)(未佩戴安全帽)標(biāo)簽，注釋結(jié)果被保存為VOC格式的XML文件，并可以被Python語(yǔ)言調(diào)用。

2.4 Faster R-CNN模型構(gòu)建

為使得Faster R-CNN網(wǎng)絡(luò)框架更好地應(yīng)用于復(fù)雜作業(yè)場(chǎng)景下安全帽數(shù)據(jù)集，本文提出在原始的Faster R-CNN網(wǎng)絡(luò)框架基礎(chǔ)上增加錨點(diǎn)、使用Focal loss損失函數(shù)代替原本損失函數(shù)以及使用ROI Align代替ROI Pooling 3種策略提升模型精度，使改進(jìn)后的Faster R-CNN網(wǎng)絡(luò)框架能準(zhǔn)確識(shí)別復(fù)雜作業(yè)場(chǎng)景下安全帽的佩戴情況。

2.4.1 錨點(diǎn)(anchor)數(shù)量

在對(duì)施工現(xiàn)場(chǎng)安全帽佩戴情況進(jìn)行檢測(cè)時(shí)，由于作業(yè)環(huán)境復(fù)雜，安全帽信息在圖像中占比較小。因此在默認(rèn)參數(shù)上加入3組錨點(diǎn)(比默認(rèn)值小)以更好地適應(yīng)小目標(biāo)的安全帽識(shí)別。

2.4.2 Focal loss損失函數(shù)

Focal loss損失函數(shù)著力解決復(fù)雜作業(yè)場(chǎng)景下安全帽數(shù)據(jù)集中正負(fù)樣本比重失衡的問(wèn)題。Focal loss損失函數(shù)在訓(xùn)練中將大量的簡(jiǎn)單負(fù)樣本的權(quán)重降低，使得模型在訓(xùn)練中注重于難分類的樣本，可作為1種困難樣本挖掘方法。Focal loss損失函數(shù)是在交叉熵?fù)p失函數(shù)基礎(chǔ)上進(jìn)行的修改,交叉熵?fù)p失函數(shù)如式(1)所示：

(1)

式中：L為交叉熵?fù)p失函數(shù)；p為預(yù)測(cè)樣本屬于1的概率；y為標(biāo)簽，取[-1,1]。

Focal loss損失函數(shù)如式(2)所示：

(2)

式中：Lf為Focal loss損失函數(shù)；γ為調(diào)節(jié)系數(shù)；α為平衡因子。

Focal loss損失函數(shù)在原有的交叉熵?fù)p失函數(shù)的基礎(chǔ)上添加調(diào)節(jié)系數(shù)，其中使得γ>0減少易分類樣本的損失，使得更關(guān)注于復(fù)雜的、困難的樣本。此外，加入平衡因子α，用來(lái)平衡正負(fù)樣本本身的比例不均。

2.4.3 ROI Align

在ROI Pooling中候選框的位置是由回歸獲得，大多都為浮點(diǎn)數(shù)，但在池化后特征圖的大小要求固定，故ROI Pooling操作存在2次量化的過(guò)程，如圖5所示，左虛線框中此時(shí)的候選框已經(jīng)和最開始回歸出來(lái)的位置有一定的偏差，這個(gè)偏差會(huì)影響檢測(cè)或者分割的準(zhǔn)確度。為解決ROI Pooling的缺點(diǎn)，提出ROI Align這1改進(jìn)方法，ROI Align的思路如右虛線框所示，使用雙線性插值代替最近鄰插值，獲得為浮點(diǎn)數(shù)的數(shù)值，解決量化偏差。

圖5 ROI Pooling與ROI Align效果對(duì)比Fig.5 Comparison on effect of ROI Pooling and ROI Align

2.4.4 改進(jìn)后的網(wǎng)絡(luò)結(jié)構(gòu)

依據(jù)在原始Faster R-CNN網(wǎng)絡(luò)框架測(cè)試中所反應(yīng)的問(wèn)題，對(duì)網(wǎng)絡(luò)框架進(jìn)行改進(jìn)，改進(jìn)的網(wǎng)絡(luò)如圖6所示。對(duì)比VGG等網(wǎng)絡(luò)，當(dāng)使用更深的網(wǎng)絡(luò)時(shí)，理論上表達(dá)能力會(huì)更強(qiáng)，但是隨著學(xué)習(xí)層數(shù)的加深會(huì)發(fā)生網(wǎng)絡(luò)退化、梯度消失及爆炸問(wèn)題，這個(gè)問(wèn)題很大程度上通過(guò)標(biāo)準(zhǔn)的初始化和正則化來(lái)解決，這樣可確保幾十層的網(wǎng)絡(luò)能夠收斂，但是隨著層數(shù)的增加，問(wèn)題仍然存在。而ResNet網(wǎng)絡(luò)引入了跳躍連接，可以使上1個(gè)殘差塊的信息沒(méi)有阻礙地流入到下1個(gè)殘差塊，使得信息的傳播更加流暢，并且在一定程度上擺脫了由于網(wǎng)絡(luò)層數(shù)過(guò)深所引起的網(wǎng)絡(luò)退化問(wèn)題。因此本文Faster R-CNN網(wǎng)絡(luò)框架選擇ResNet50網(wǎng)絡(luò)進(jìn)行圖像提取。

圖6 改進(jìn)后的Faster R-CNN網(wǎng)絡(luò)框架Fig.6 Improved Faster R-CNN networkframework

2.5 模型訓(xùn)練

將使用Labellmg標(biāo)注過(guò)的圖像輸入到深度學(xué)習(xí)的框架中，多次迭代，更新參數(shù)。訓(xùn)練過(guò)程主要包括以下步驟:

1)對(duì)所有數(shù)據(jù)進(jìn)行驗(yàn)證和訓(xùn)練集分配。將7 581張標(biāo)注分類過(guò)的圖像按VOC2007格式分成4類，安全帽檢測(cè)圖像數(shù)據(jù)劃分結(jié)果見表1。

表1 安全帽檢測(cè)圖像數(shù)據(jù)集劃分Table 1 Classification on data set of helmet detection images

2)修改與訓(xùn)練有關(guān)的參數(shù)，如batch-size，anchor-scale等，以得到較好的訓(xùn)練結(jié)果。

2.6 模型性能評(píng)估指標(biāo)

1)AP(Average Precision)，實(shí)際等于Precision-Recall曲線下的面積。AP是針對(duì)單個(gè)類別的，衡量的是模型在每個(gè)類別上的優(yōu)劣，先計(jì)算每一類的精準(zhǔn)率，再計(jì)算每一類的平均精度，如式(3)～(4)所示：

(3)

式中：precisioni為準(zhǔn)確率；N(TruePositives)i為i類圖片真正的數(shù)量；N(Totalobjects)i為數(shù)據(jù)集類別i的所有目標(biāo)數(shù)量。

(4)

式中：∑precisioni為準(zhǔn)確率之和；N(TotalImages)i為含有類別i目標(biāo)的圖像數(shù)量。

2)mAP(Mean Average Precision)是針對(duì)所有類別，衡量的是模型在所有類別上的好壞。mAP計(jì)算如式(5)所示：

(5)

式中：MeanAveragePrecision為平均準(zhǔn)確率；ΣAveragePrecisioni為平均準(zhǔn)確率之和；N(Classes)為所有類別的數(shù)目。

3 實(shí)例應(yīng)用

實(shí)驗(yàn)環(huán)境設(shè)置：Windows 10操作系統(tǒng)，Inter(R) Core(TM) i7-8750H6核12線程處理器，NVIDIA GeForce GTX 1080 Ti顯卡，12GB系統(tǒng)內(nèi)存，實(shí)驗(yàn)使用基于Tensorflow學(xué)習(xí)框架進(jìn)行相關(guān)代碼和參數(shù)訓(xùn)練。

3.1 對(duì)比同數(shù)據(jù)集下Faster R-CNN改進(jìn)前后的檢測(cè)效果

使用VOC2007格式的復(fù)雜作業(yè)情況下安全帽數(shù)據(jù)集分別對(duì)原始的Faster R-CNN網(wǎng)絡(luò)框架和改進(jìn)后的Faster R-CNN網(wǎng)絡(luò)框架進(jìn)行訓(xùn)練。未改進(jìn)Faster R-CNN網(wǎng)絡(luò)框架迭代到80 000次后，損失值趨向收斂，損失值為0.8效果達(dá)到最優(yōu)。改進(jìn)后的Faster R-CNN網(wǎng)絡(luò)結(jié)構(gòu)迭代到50 000次后，損失值收斂為0.2，獲得最優(yōu)效果。2種算法最佳效果mAP見表2。

表2 2種模型效果對(duì)比Table 2 Comparison on effect of two models

由表2可知，改進(jìn)后的Faster R-CNN網(wǎng)絡(luò)框架的mAP相較于未改進(jìn)的Faster R-CNN網(wǎng)絡(luò)框架提高15%，2種檢測(cè)結(jié)果如圖7所示，未改進(jìn)的Faster R-CNN網(wǎng)絡(luò)框架檢測(cè)出4處，錯(cuò)檢1處，平均檢測(cè)精度為91.48%，改進(jìn)后的Faster R-CNN網(wǎng)絡(luò)框架無(wú)錯(cuò)檢，平均檢測(cè)精度為99.99%。實(shí)驗(yàn)證明，改進(jìn)后的Faster R-CNN網(wǎng)絡(luò)框架能夠有效地優(yōu)化模型。

圖7 改進(jìn)網(wǎng)絡(luò)框架與未改進(jìn)網(wǎng)絡(luò)框架的檢測(cè)效果對(duì)比Fig.7 Comparison on detection effect of improved network framework and unimproved network framework

3.2 采用不同策略改進(jìn)網(wǎng)絡(luò)的有效性

為突出所采用的3種改進(jìn)策略對(duì)于復(fù)雜場(chǎng)景下安全帽識(shí)別的有效性，分別采取不同的策略對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練和測(cè)試，測(cè)試結(jié)果見表3。

表3 不同改進(jìn)策略的效果Table 3 Effects of different improvement strategies

由表3可知，不同改進(jìn)策略對(duì)網(wǎng)絡(luò)性能的影響，策略2和策略1相比mAP提升1.2%，因?yàn)楸疚脑黾恿?組錨點(diǎn)，使得網(wǎng)絡(luò)結(jié)構(gòu)能夠檢測(cè)到更多的小目標(biāo)安全帽。策略3和策略2相比mAP提升7.1%，由于替換了原本的損失函數(shù)，解決了復(fù)雜作業(yè)場(chǎng)景下安全帽數(shù)據(jù)集中正負(fù)樣本比重失衡的問(wèn)題，增強(qiáng)了網(wǎng)絡(luò)的分辨率。策略4和策略2相比mAP提升7.6%，解決了2次量化安全帽預(yù)測(cè)區(qū)域不匹配的問(wèn)題，提升了安全帽預(yù)測(cè)框的精準(zhǔn)度。策略5為本文算法，使用3種改進(jìn)策略后效果達(dá)到最佳。實(shí)驗(yàn)證明，3種改進(jìn)策略均提升了模型的性能。

3.3 采用不同提取網(wǎng)絡(luò)的檢測(cè)效果對(duì)比

除了原始的Faster R-CNN 模型，本文還與不同特征提取網(wǎng)絡(luò)的Faster R-CNN模型進(jìn)行實(shí)驗(yàn)對(duì)比，不同提取網(wǎng)絡(luò)的檢測(cè)對(duì)比效果見表4。由表4可知，本文所采用網(wǎng)絡(luò)框架效果明顯，mAP達(dá)到0.773，相較未改進(jìn)的Faster R-CNN網(wǎng)絡(luò)框架提高15%。

表4 不同提取網(wǎng)絡(luò)的檢測(cè)效果Table 4 Detection effect of different extraction networks

4 結(jié)論

1)針對(duì)智慧工地背景下，施工人員安全防護(hù)用具的識(shí)別問(wèn)題，利用Tensorflow構(gòu)建改進(jìn)的Faster R-CNN網(wǎng)絡(luò)框架。通過(guò)采集7 581張圖像，構(gòu)建復(fù)雜作業(yè)場(chǎng)景下的安全帽數(shù)據(jù)集，進(jìn)行訓(xùn)練和測(cè)試。改進(jìn)后的網(wǎng)絡(luò)框架mAP提升15%。該改進(jìn)方法可有效地用于安全防護(hù)用具識(shí)別，改善建筑施工作業(yè)現(xiàn)場(chǎng)工作人員的安全管理現(xiàn)狀。

2)使用3種策略對(duì)Faster R-CNN網(wǎng)絡(luò)框架進(jìn)行改進(jìn)，通過(guò)增加錨點(diǎn)mAP提升1.2%，改變損失函數(shù)mAP提升7.1%，改進(jìn)ROI層mAP提升7.6%，結(jié)果證明3種改進(jìn)策略都對(duì)網(wǎng)絡(luò)框架的準(zhǔn)確性有所提升。

3)下一步研究中，不只針對(duì)防護(hù)用具的使用情況，可增加人的不安全動(dòng)作的實(shí)時(shí)識(shí)別，為智慧工地提供更多的技術(shù)層面的支持和參考。