基于YOLOv3算法的危險(xiǎn)區(qū)域工人識(shí)別

任 磊 苗作華，2 李自強(qiáng) 劉禮坤 湯 陽(yáng) 王夢(mèng)婷 謝 媛

(1.武漢科技大學(xué) 資源與環(huán)境工程學(xué)院，武漢 430081； 2.冶金礦產(chǎn)資源高效利用與造塊湖北省重點(diǎn)實(shí)驗(yàn)室，武漢 430081； 3.上海工程技術(shù)大學(xué) 化學(xué)化工學(xué)院，上海 201620)

1 引言

工程施工中施工機(jī)械種類繁多，作業(yè)環(huán)境復(fù)雜多變且施工場(chǎng)地往往比較狹小，各工種之間交叉作業(yè)，所以造成了施工現(xiàn)場(chǎng)很多區(qū)域存在著不安全因素。隨著科技和工程技術(shù)的進(jìn)一步發(fā)展，工程建設(shè)規(guī)模的大小將與日俱增，施工現(xiàn)場(chǎng)也將廣泛分布著眾多危險(xiǎn)區(qū)域，比如洞口、臨邊、機(jī)械作業(yè)半徑內(nèi)以及外界的一些自然因素等，一旦發(fā)生意外將會(huì)對(duì)工人的生命健康帶來(lái)不可想象的后果，以及重大的經(jīng)濟(jì)損失，故在未來(lái)對(duì)危險(xiǎn)區(qū)域的管控將進(jìn)一步得到重視。在LEC評(píng)價(jià)法中，我們知道L代表事故發(fā)生的可能性、E代表人員暴露于危險(xiǎn)環(huán)境中的頻繁程度、C代表一旦發(fā)生事故可能造成的后果。三者只要有一個(gè)為零，都可以說系統(tǒng)非常安全或者說相對(duì)安全，本文也主要研究如何有效地減少人員暴露于危險(xiǎn)環(huán)境中的時(shí)間來(lái)提高系統(tǒng)的安全性。人員進(jìn)入危險(xiǎn)區(qū)域而發(fā)生事故的案例也頻頻出現(xiàn)，2020年5月2日，某鋼繩公司配線班配線工田某，在中間品庫(kù)吊運(yùn)工字輪時(shí)，吊車一側(cè)軌道梁突然段落，將人員砸傷，經(jīng)搶救無(wú)效死亡。2020年5月14日，張某在路過基坑時(shí)由于雨天濕滑泥土松散，順著基坑邊緣滑入基坑，頭部撞到施工用料的鋼板上，經(jīng)搶救無(wú)效死亡。很多事故發(fā)生的直接原因都是人員進(jìn)入到了危險(xiǎn)區(qū)域，或者是在危險(xiǎn)區(qū)域停留的時(shí)間過長(zhǎng)。要想預(yù)防這些事故的發(fā)生，就得對(duì)危險(xiǎn)區(qū)域進(jìn)行嚴(yán)格的管控，規(guī)范工人的行為，限制人員的隨意進(jìn)出，對(duì)于人員的進(jìn)入要做到及時(shí)提醒和管理。傳統(tǒng)人工監(jiān)管的方法有時(shí)候不能做到及時(shí)發(fā)現(xiàn)，所以機(jī)器識(shí)別的方法會(huì)在很大程度上提高人工監(jiān)管的效率。

在危險(xiǎn)區(qū)域工人的行為識(shí)別和管控方面，國(guó)內(nèi)外許多學(xué)者都做過類似的研究。劉文平[1]提出了集成BIM技術(shù)、定位技術(shù)和通信技術(shù)等對(duì)施工安全事故進(jìn)行預(yù)防和預(yù)警，引入了GPS定位技術(shù)和UWB定位技術(shù)分別對(duì)施工現(xiàn)場(chǎng)室內(nèi)外目標(biāo)進(jìn)行定位，并提出適用于施工現(xiàn)場(chǎng)的綜合定位方法。郭紅領(lǐng)等[2]對(duì)施工現(xiàn)場(chǎng)危險(xiǎn)區(qū)域進(jìn)行了定義、識(shí)別與分類，提出了基于BIM和RFID的施工現(xiàn)場(chǎng)工人實(shí)時(shí)定位與安全預(yù)警系統(tǒng)模型。趙一秾等[3]提出了改進(jìn)的雙流卷積網(wǎng)絡(luò)的工人異常行為識(shí)別算法，將雙流深度卷積神經(jīng)網(wǎng)絡(luò)TSN與長(zhǎng)短時(shí)記憶神經(jīng)網(wǎng)絡(luò)LSTM相融合，與傳統(tǒng)的TSN算法對(duì)比具有較高的準(zhǔn)確性及響應(yīng)速度，能夠輔助或者替代人工監(jiān)控工人異常行為。強(qiáng)茂山等[4]提出了基于加速度傳感器的建筑工人施工行為識(shí)別方法，利用加速度傳感器在工地現(xiàn)場(chǎng)采集鋼筋工施工過程中手腕處運(yùn)動(dòng)的加速度數(shù)據(jù)，從加速度數(shù)據(jù)中提取特征值，應(yīng)用分類器進(jìn)行機(jī)器學(xué)習(xí)實(shí)驗(yàn)并進(jìn)行精度對(duì)比，得出最佳分類器和最佳特征值。實(shí)驗(yàn)結(jié)果表明：最佳特征值與數(shù)據(jù)片段長(zhǎng)度有關(guān)； 在一定范圍內(nèi)，數(shù)據(jù)片段越長(zhǎng)，識(shí)別精度越高； 識(shí)別精度高達(dá)85.9%，與以往研究相比，對(duì)工人行為的分類更加精細(xì)且達(dá)到更高的精度。

以上研究主要是通過定位技術(shù)和識(shí)別工人肢體行為，來(lái)確定工人和機(jī)械的位置以及工人的行為是否安全。對(duì)于這種通過定位來(lái)獲取工人的位置，工人在工作的過程中難免會(huì)因?yàn)樯砩细綆鞲衅鞯入娮釉O(shè)備而影響工人的操作，也會(huì)存在幾個(gè)工人攜帶一個(gè)傳感器的可能，當(dāng)他們相距較遠(yuǎn)時(shí)，獲得的位置信息將會(huì)有很大偏差。近年來(lái)，國(guó)內(nèi)外許多學(xué)者開始將機(jī)器視覺運(yùn)用到土木工程領(lǐng)域，用來(lái)監(jiān)控和分析工人和機(jī)械的作業(yè)情況，機(jī)器視覺技術(shù)的優(yōu)點(diǎn)在于不需要與被觀測(cè)者有肢體接觸，更不會(huì)影響工人的正常操作，相對(duì)安全可靠，應(yīng)用于工程現(xiàn)場(chǎng)的安全管理工作將越來(lái)越受歡迎。張明媛等[5]提出了一種基于Tensorflow框架，具有高精度、快速等特性的Faster RCNN方法，實(shí)時(shí)檢測(cè)工人安全帽佩戴狀況。高寒等[6]利用移動(dòng)目標(biāo)檢測(cè)算法，對(duì)進(jìn)入危險(xiǎn)區(qū)域的工人進(jìn)行檢測(cè)，根據(jù)工人的運(yùn)動(dòng)特征來(lái)識(shí)別進(jìn)入危險(xiǎn)區(qū)域的工人。Han等[7]通過對(duì)人體骨骼的提取來(lái)識(shí)別人體攀爬過程中的不安全動(dòng)作。Kolar等[8]為了提高安全檢查效率，開發(fā)出了基于卷積神經(jīng)網(wǎng)絡(luò)的安全護(hù)欄檢測(cè)模型。Fang等[9]同樣使用Faster R-CNN算法來(lái)識(shí)別安全帽，提高了不同施工條件下安全檢查和監(jiān)督的效率。

2 危險(xiǎn)區(qū)域劃分與類型

2.1 危險(xiǎn)區(qū)域劃分與類型

近些年我國(guó)建筑行業(yè)事故發(fā)生率和傷亡人數(shù)仍居高不下，建筑行業(yè)所面臨的安全問題形式仍然嚴(yán)峻。高處墜落、物體打擊、機(jī)械傷害、觸電為目前我國(guó)建筑行業(yè)傷亡事故的主要類型。加強(qiáng)對(duì)危險(xiǎn)區(qū)域的安全管理，將會(huì)大大降低事故發(fā)生概率。

面對(duì)安全事故的居高不下，其根本原因還是人員進(jìn)入到了危險(xiǎn)區(qū)域。什么是危險(xiǎn)區(qū)域，如何劃分危險(xiǎn)區(qū)域，將是研究如何加強(qiáng)安全管理的關(guān)鍵環(huán)節(jié)。根據(jù)第一類危險(xiǎn)源的定義得知，危險(xiǎn)區(qū)域的劃分與其密切相關(guān)。危險(xiǎn)源的固定與否，也決定了危險(xiǎn)區(qū)域的靜態(tài)和動(dòng)態(tài)。一般的像基坑、臨邊、洞口等位置固定的危險(xiǎn)源所造成的危險(xiǎn)區(qū)域范圍叫做靜態(tài)危險(xiǎn)區(qū)域，像施工機(jī)械、塔吊等則被稱為動(dòng)態(tài)危險(xiǎn)區(qū)域。根據(jù)ALARP原則，危險(xiǎn)區(qū)域的危險(xiǎn)程度不同，又將危險(xiǎn)區(qū)域劃分為風(fēng)險(xiǎn)不可接受區(qū)、最低合理可行區(qū)和風(fēng)險(xiǎn)可接受區(qū)[10]。為了有效降低事故發(fā)生概率，針對(duì)危險(xiǎn)程度比較高的區(qū)域，除了設(shè)置機(jī)器監(jiān)管之外，還可以分配適當(dāng)?shù)娜藛T進(jìn)行人機(jī)共同監(jiān)管，從而大大提高監(jiān)管效率。對(duì)于危險(xiǎn)區(qū)域的具體劃分，如表1所示[6，11]。

表1 危險(xiǎn)區(qū)域劃分與類型

2.2 動(dòng)態(tài)危險(xiǎn)區(qū)域安全預(yù)防

針對(duì)上述靜態(tài)危險(xiǎn)區(qū)域在管理方面已有許多經(jīng)驗(yàn)積累，目前能夠做到對(duì)其設(shè)置充足的防護(hù)。由于動(dòng)態(tài)危險(xiǎn)區(qū)域的不固定性難以對(duì)其進(jìn)行實(shí)時(shí)的防護(hù)，其管理方式依靠人工巡查，以塔吊為例，預(yù)警及管理系統(tǒng)如圖1所示。

圖1 預(yù)警及管理系統(tǒng)

從圖1可以看到，監(jiān)測(cè)預(yù)警管理系統(tǒng)中預(yù)防措施主要是機(jī)器層面，已經(jīng)比較完善，塔機(jī)中安裝有較多的安全監(jiān)測(cè)儀，主要有重力傳感器、傾角傳感器、風(fēng)速傳感器、幅度傳感器、網(wǎng)絡(luò)監(jiān)控器等。但網(wǎng)絡(luò)監(jiān)控器的監(jiān)控畫面主要呈現(xiàn)給業(yè)主，對(duì)現(xiàn)場(chǎng)的安全管理起不到實(shí)質(zhì)作用，且監(jiān)控都是用來(lái)在事故發(fā)生后去尋找事故發(fā)生的原因，從根本上預(yù)防不了事故的發(fā)生。目前，雖然市場(chǎng)上出現(xiàn)了塔吊可視化系統(tǒng)用來(lái)引導(dǎo)塔吊司機(jī)的操作，能夠?yàn)樗緳C(jī)實(shí)時(shí)提供清晰的周圍圖像，但是司機(jī)在操作機(jī)器的同時(shí)，還要觀察很多視頻圖像，這樣難免會(huì)影響操作和判斷，現(xiàn)場(chǎng)人工監(jiān)管的這種管理方式也不及時(shí)且不全面。本文以動(dòng)態(tài)危險(xiǎn)區(qū)域以塔吊監(jiān)測(cè)系統(tǒng)為例，將深度學(xué)習(xí)中目標(biāo)識(shí)別算法加入其中，能夠更好地完善塔吊監(jiān)測(cè)預(yù)警系統(tǒng)。完善后的系統(tǒng)如圖2所示。

圖2 完善后的預(yù)警管理系統(tǒng)

3 工人識(shí)別算法

3.1 研究技術(shù)路線

近些年來(lái)，人工智能的快速發(fā)展促進(jìn)了深度學(xué)習(xí)的進(jìn)一步發(fā)展，其中在機(jī)器視覺領(lǐng)域取得了很大的成果。利用卷積神經(jīng)網(wǎng)絡(luò)的方法，對(duì)固定目標(biāo)進(jìn)行特征的提取，然后由機(jī)器自動(dòng)識(shí)別，可以解決人工識(shí)別速度慢，易出錯(cuò)等問題[12]?；谏鲜龅奈ｋU(xiǎn)區(qū)域，本文采用了計(jì)算機(jī)視覺領(lǐng)域YOLOv3算法對(duì)工人目標(biāo)進(jìn)行自動(dòng)識(shí)別。當(dāng)上述布置了攝像頭的危險(xiǎn)區(qū)域存在工人時(shí)，該方法可自動(dòng)識(shí)別出輸入圖像中存在的工人，并能及時(shí)做出提醒，針對(duì)動(dòng)態(tài)危險(xiǎn)區(qū)域在機(jī)械操控室內(nèi)設(shè)置提醒裝置，為機(jī)械操作人員省去部分精力，從而更好地去操作和判斷。方法流程簡(jiǎn)圖如圖3所示。

圖3 研究技術(shù)路線

3.2 YOLOv3算法簡(jiǎn)介

YOLO目標(biāo)檢測(cè)算法是Redmon等[13]在CVPR2016上提出來(lái)的一種全新的端到端的目標(biāo)檢測(cè)算法。在YOLO的基礎(chǔ)上經(jīng)過了幾年的改進(jìn)與創(chuàng)新，發(fā)展到Y(jié)OLOv3，其在精度上已經(jīng)超過了同時(shí)期的faster R-CNN等目標(biāo)檢測(cè)算法，與精度最高的Retina net不相上下[14]。

YOLOv3一共有107層。其中，0到74層為卷積層和res層； 75-105為yolo層，具備檢測(cè)功能、分類和回歸； 采用邏輯回歸預(yù)測(cè)box。在0到74層中使用了一個(gè)53層的卷積網(wǎng)絡(luò)，這是借鑒了Resnet的思想，引入了多個(gè)Resnet模塊，設(shè)計(jì)的一個(gè)新的具有更高精度的網(wǎng)絡(luò)，由于其中包含了53個(gè)卷積層，故命名為darknet-53； darknet-53的前52層是沒有全連接層的網(wǎng)絡(luò)[15]。作為yolov3特征提取的主要網(wǎng)絡(luò)結(jié)構(gòu)，該結(jié)構(gòu)使用一系列的3*3和1*1的卷積層，這些卷積層是從各個(gè)主流網(wǎng)絡(luò)結(jié)構(gòu)選取性能比較好的卷積層進(jìn)行整合得到，比darknet-19效果好很多； 同時(shí)，它在效果更好的情況下，是resnet-101效率的1.5倍，幾乎與resnet-152的效果相同的情況下，可保持2倍于resnet-152的效率。darknet-53網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示。

圖4 Yolov3網(wǎng)絡(luò)結(jié)構(gòu)

3.3 實(shí)驗(yàn)過程

采用工程現(xiàn)場(chǎng)實(shí)地拍攝的照片，用作本實(shí)驗(yàn)的數(shù)據(jù)集制作； 采用Python自帶的Labelimg標(biāo)記工具對(duì)圖片進(jìn)行手工標(biāo)記，用矩形框標(biāo)記出感興趣的區(qū)域(ROI)，也就是具體目標(biāo)識(shí)別的區(qū)域如圖5所示。所有圖片標(biāo)記完成之后，將文件夾存放到指定位置，然后啟動(dòng)程序開始訓(xùn)練。對(duì)173張圖片進(jìn)行了20 000輪次的訓(xùn)練，耗時(shí)50個(gè)小時(shí)。訓(xùn)練完成之后，將生成的權(quán)重文件放入到程序讀取路徑，接下來(lái)便可直接輸入圖像信息來(lái)查看模型訓(xùn)練效果和自動(dòng)生成實(shí)驗(yàn)結(jié)果。對(duì)于該方法，如果以后能真正運(yùn)用到工程現(xiàn)場(chǎng)，檢測(cè)結(jié)果仍然能夠達(dá)到本實(shí)驗(yàn)的檢測(cè)效果，因?yàn)閿?shù)據(jù)集的搜集完全可以從本工程中獲取，無(wú)論從工作環(huán)境、服裝還是工人的體型，訓(xùn)練集都將與實(shí)際獲取的圖像信息非常相似，對(duì)模型的泛化能力要求降低，避免了因訓(xùn)練集和測(cè)試集來(lái)源相似，而在實(shí)際中達(dá)不到實(shí)驗(yàn)中的效果這一問題。

圖5 訓(xùn)練集標(biāo)注

3.4 實(shí)驗(yàn)環(huán)境

本實(shí)驗(yàn)的軟件環(huán)境為微軟Windows10操作系統(tǒng)，在CUDA10.0，CUDNN7.0環(huán)境下，使用Python3.7作為編程語(yǔ)言。中央處理器為Inter(R)Core(TM)i7-9700F CPU @3.00GHz，GPU為NVIDA GeForce GTX1600。

4 實(shí)驗(yàn)結(jié)果分析

本實(shí)驗(yàn)將從以下兩個(gè)方面對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行分析與評(píng)價(jià)。首先是通過模型自身的算法對(duì)精確率、召回率、準(zhǔn)確率和平均精度進(jìn)行計(jì)算與分析，其次是通過實(shí)際檢測(cè)情況對(duì)該算法進(jìn)行分析評(píng)價(jià)。

4.1 實(shí)驗(yàn)結(jié)果分析

實(shí)驗(yàn)結(jié)束之后，可以直接檢測(cè)模型訓(xùn)練的好壞情況，用P(精確率)、R(召回率)、ACC(準(zhǔn)確率)mAP(均值平均精度)作為評(píng)價(jià)指標(biāo)，評(píng)價(jià)指標(biāo)的計(jì)算方法如下式：

(1)

(2)

(3)

分類器能否正確識(shí)別出目標(biāo)分成了四種情況，為了更好地描述這四種情況，假設(shè)分類目標(biāo)只有兩類，計(jì)為正例(positive)和負(fù)例(negative)，這樣TP就代表了正確的正例個(gè)數(shù)、FP代表了被錯(cuò)誤劃分為正例的個(gè)數(shù)、FN代表了被錯(cuò)誤劃分為負(fù)例的個(gè)數(shù)、TN代表了被正確劃分為負(fù)例的個(gè)數(shù)。

本次根據(jù)危險(xiǎn)區(qū)域范圍的不同做了兩組實(shí)驗(yàn)，分別計(jì)為實(shí)驗(yàn)1和實(shí)驗(yàn)2。與實(shí)驗(yàn)1相比實(shí)驗(yàn)2的訓(xùn)練集加入了部分小樣本目標(biāo)，用來(lái)檢測(cè)不同訓(xùn)練集對(duì)危險(xiǎn)區(qū)域范圍的適用性。平均精度對(duì)比情況如圖6所示。

圖6 平均精度對(duì)比

加入小樣本目標(biāo)之后檢測(cè)的平均精度下降了3.34%，但是識(shí)別的精細(xì)化程度有了明顯的提高，如圖7所示，可以看到右邊的幾個(gè)人相對(duì)密集，在實(shí)驗(yàn)1的檢測(cè)效果中將其混為一談，而在實(shí)驗(yàn)2的檢測(cè)效果中很清晰地辨別出了其數(shù)量和位置，且置信度也有了一定的提高，所以本實(shí)驗(yàn)對(duì)不同范圍危險(xiǎn)區(qū)域訓(xùn)練集的制作提供了參考。

圖7 識(shí)別結(jié)果對(duì)比情況

4.2 具體識(shí)別結(jié)果分析

為了更直觀地表達(dá)人員識(shí)別的效果，選取了施工環(huán)境中的工人圖像，并對(duì)其進(jìn)行識(shí)別，識(shí)別結(jié)果如圖8所示，從圖中可以看到，每個(gè)工人都能清晰地被識(shí)別出來(lái)，證明了本文算法對(duì)于危險(xiǎn)區(qū)域人員識(shí)別的可行性。

圖8 具體識(shí)別效果

4.3 影響精度的參數(shù)分析

通過對(duì)評(píng)價(jià)指標(biāo)公式和數(shù)據(jù)的分析，能夠看到4種識(shí)別結(jié)果當(dāng)中的TP值是最大的，是高精度原因的主要參數(shù)，F(xiàn)P的值比較大是影響精度的主要參數(shù)，F(xiàn)N數(shù)值較小，TN數(shù)值小且它的存在會(huì)略微提高準(zhǔn)確率。如圖9(a)所示是FP占比情況，可以很明顯看出占據(jù)很大的一個(gè)比例，是對(duì)精度影響最高的一個(gè)參數(shù)。FP是被錯(cuò)誤劃分為正例的個(gè)數(shù)，也就是原本不是要識(shí)別的對(duì)象被錯(cuò)誤當(dāng)成了要識(shí)別的對(duì)象。這種情況雖然對(duì)識(shí)別精度有很大的影響，難以運(yùn)用到其他對(duì)精度要求高的領(lǐng)域，但是運(yùn)用到危險(xiǎn)區(qū)域的人員識(shí)別，F(xiàn)P的影響卻可以忽略不計(jì)。雖然平均精度只有89.97%，但是在危險(xiǎn)區(qū)域人員識(shí)別的實(shí)際應(yīng)用中幾乎可以達(dá)到100%的效果。因?yàn)?，它寧可錯(cuò)誤識(shí)別地當(dāng)作了一個(gè)目標(biāo)，也不會(huì)遺漏一個(gè)目標(biāo)，非常符合安全生產(chǎn)方針。如圖9(b)所示，更好地解釋了實(shí)際應(yīng)用效果可忽略FP造成精度低的原因。圖中紅色框?yàn)镕P，即錯(cuò)誤地識(shí)別出了與要識(shí)別目標(biāo)相似的目標(biāo)。圖中目標(biāo)為兩個(gè)，算法卻識(shí)別出了3個(gè)，這不會(huì)對(duì)安全問題造成負(fù)面影響。

圖9 FP占比及實(shí)際識(shí)別情況

4 結(jié)語(yǔ)

本文運(yùn)用計(jì)算機(jī)視覺的方法，對(duì)施工場(chǎng)地的危險(xiǎn)區(qū)域進(jìn)行人員識(shí)別，針對(duì)危險(xiǎn)區(qū)域范圍的不同提供了兩種訓(xùn)練集的制作方式，并通過實(shí)驗(yàn)驗(yàn)證了該方法具有較高的準(zhǔn)確性和適用性，為施工現(xiàn)場(chǎng)的安全管理工作提供了有效手段。智能信息技術(shù)的融入，使工程安全管理工作更加符合未來(lái)智慧工地的發(fā)展趨勢(shì)。從安全綜合管理四要素考慮，計(jì)算機(jī)視覺的融入可以使安全管理人員節(jié)省大部分精力去處理相關(guān)的安全問題，營(yíng)造一個(gè)更加安全的環(huán)境，使安全管理的效率得到了大大的提高，可以說是從人、環(huán)、管三個(gè)要素豐富了安全管理的手段。