基于YOLOv5的視覺(jué)風(fēng)險(xiǎn)評(píng)估方法：以高校實(shí)驗(yàn)室為例

周賢偉，郭 晨，覃貞鑫

(1.武漢理工大學(xué) 安全科學(xué)與應(yīng)急管理學(xué)院，湖北 武漢 430070；2.武漢理工大學(xué) 中國(guó)應(yīng)急管理研究中心，湖北 武漢 430070;3.諾丁漢特倫特大學(xué)，英國(guó) 諾丁漢 NG1 4FQ)

隨我國(guó)“雙一流”學(xué)科建設(shè)以及第五輪學(xué)科評(píng)估工作的推進(jìn)，各高校加快了實(shí)驗(yàn)室投資建設(shè)的步伐。實(shí)驗(yàn)室添置了大量實(shí)驗(yàn)設(shè)備，為高校各種實(shí)驗(yàn)的開(kāi)展提供了有利條件，與此同時(shí)，實(shí)驗(yàn)安全管理規(guī)章未及時(shí)更新，安全設(shè)備裝置未能進(jìn)行相應(yīng)的升級(jí)，還有人員安全培訓(xùn)不到位為實(shí)驗(yàn)室的安全管理帶來(lái)了隱患[1]。

近幾年，實(shí)驗(yàn)室安全問(wèn)題逐漸突出。實(shí)驗(yàn)室事故中實(shí)驗(yàn)室火災(zāi)和爆炸占比最高，造成的后果損失最大。2021年3月31日，某化學(xué)研究所發(fā)生爆炸事故，造成1人死亡；2021年7月13日，深圳某大學(xué)實(shí)驗(yàn)室發(fā)生火情，一名實(shí)驗(yàn)人員輕微燒傷；2021年10月24日，南京某大學(xué)材料實(shí)驗(yàn)室發(fā)生爆燃事故，導(dǎo)致2人死亡，9人受傷。事故的頻繁發(fā)生是我國(guó)學(xué)科建設(shè)高速發(fā)展留下的隱患。應(yīng)該合理地利用先進(jìn)技術(shù)，有效地對(duì)事故致因的隱患進(jìn)行監(jiān)控和及時(shí)消除。

隨著計(jì)算機(jī)技術(shù)和人工智能技術(shù)的發(fā)展，如何讓AI賦能安全管理，有效提高安全管理水平，降低場(chǎng)景中的風(fēng)險(xiǎn)，是現(xiàn)階段眾多安全學(xué)者研究的方向之一。目前使用目標(biāo)檢測(cè)技術(shù)提高場(chǎng)景安全水平主要集中在對(duì)人是否佩戴安全防護(hù)物品以及人的不安全行為進(jìn)行檢測(cè)。如趙紅成等[2]提出基于YOLO-S的一種新型輕量的安全帽佩戴檢測(cè)模型，對(duì)YOLOv5s進(jìn)行了輕量化設(shè)計(jì)，使模型體積更小具有更好的應(yīng)用性；李千登等[3]基于深度學(xué)習(xí)算法進(jìn)行叉車危險(xiǎn)操作行為檢測(cè)，考慮了人、叉車兩者之間的距離、叉車舉升人員等多因素，有效提升現(xiàn)場(chǎng)智能化風(fēng)險(xiǎn)管控水平。彭婷等[4]設(shè)計(jì)出基于改進(jìn)Mask R-CNN的泳池溺水行為檢測(cè)系統(tǒng)，實(shí)時(shí)識(shí)別溺水者并發(fā)出警報(bào)，模型檢測(cè)速度為5FPS，檢出率為93.3%，誤檢率為6.4%，滿足泳池的安全警報(bào)作用。這些學(xué)者都考慮對(duì)于事故發(fā)生而言比較重要的單個(gè)因素，但事故發(fā)生是一個(gè)復(fù)雜的過(guò)程，是多個(gè)因素作用的結(jié)果。因此，筆者提出基于YOLOv5的目標(biāo)檢測(cè)算法識(shí)別實(shí)驗(yàn)室中導(dǎo)致爆炸的多個(gè)不安全因素(包括未穿實(shí)驗(yàn)服、出現(xiàn)明火、實(shí)驗(yàn)室廢材堆積等)，制定風(fēng)險(xiǎn)評(píng)價(jià)規(guī)則，將風(fēng)險(xiǎn)等級(jí)分為低、中、高3個(gè)等級(jí)，對(duì)實(shí)驗(yàn)場(chǎng)景開(kāi)展風(fēng)險(xiǎn)評(píng)估。通過(guò)視覺(jué)風(fēng)險(xiǎn)評(píng)估模型，在降低人工成本的同時(shí)，使管理人員獲知實(shí)驗(yàn)室風(fēng)險(xiǎn)水平，進(jìn)而提高實(shí)驗(yàn)室安全管理水平。

1 目標(biāo)檢測(cè)算法

目標(biāo)檢測(cè)(Object Detection)是計(jì)算機(jī)視覺(jué)領(lǐng)域的核心問(wèn)題之一，其任務(wù)是定位輸入圖像中感興趣的目標(biāo)并確定其類別。目前基于深度學(xué)習(xí)的目標(biāo)檢測(cè)算法被分為兩大類，一類是兩階段(Two-stage)目標(biāo)檢測(cè)算法，又稱基于感興趣區(qū)域的目標(biāo)檢測(cè)算法。這類算法的核心思想是將目標(biāo)檢測(cè)任務(wù)分解成兩個(gè)階段，第一階段通過(guò)選擇性搜索(Selective Search)或區(qū)域建議網(wǎng)絡(luò)(RPN)生成一組稀疏連接的候選區(qū)域，再對(duì)這些候選區(qū)域進(jìn)行分類回歸操作。雙階段算法經(jīng)過(guò)R-CNN，SPP-Net，F(xiàn)ast R-CNN，F(xiàn)aster R-CNN，Mask R-CNN的發(fā)展[5]，其訓(xùn)練時(shí)長(zhǎng)和測(cè)試時(shí)間在不斷減小，訓(xùn)練精度在不斷提高。但由于算法本身包含多個(gè)割裂步驟，在運(yùn)行中會(huì)占用較大的存儲(chǔ)與計(jì)算開(kāi)銷，時(shí)間復(fù)雜度不及單階段算法[6]。且由于模型體型較大，對(duì)攝像頭的性能要求極高，難以實(shí)現(xiàn)普遍運(yùn)用和推廣。

另一類是一階段(One-stage)目標(biāo)檢測(cè)算法，其中最具有代表性的算法是“YOLO”算法，是一種基于回歸策略的端到端的目標(biāo)檢測(cè)算法，將目標(biāo)檢測(cè)問(wèn)題簡(jiǎn)化為回歸問(wèn)題，由于沒(méi)有區(qū)域推薦階段，因此相較于雙階段算法具有極高的檢測(cè)速度[6]，其中YOLOv5算法擁有不同大小的分支，可以根據(jù)硬件本身選擇合適分支進(jìn)行部署。筆者以YOLO系列最新算法YOLOv5，對(duì)導(dǎo)致實(shí)驗(yàn)室爆炸事故的因素進(jìn)行識(shí)別，制定風(fēng)險(xiǎn)評(píng)價(jià)規(guī)則，評(píng)定實(shí)驗(yàn)室場(chǎng)景的風(fēng)險(xiǎn)等級(jí)，進(jìn)而有效控制實(shí)驗(yàn)室風(fēng)險(xiǎn)，降低爆炸事故發(fā)生幾率和爆炸事故影響程度。

2 YOLOv5算法

YOLOv5算法主要分為4個(gè)部分：輸入端、主干網(wǎng)絡(luò) Backbone、Neck 和預(yù)測(cè)端 Prediction。網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

圖1 YOLOv5網(wǎng)絡(luò)結(jié)構(gòu)圖[14]

2.1 YOLOv5輸入端

YOLOv5的輸入端采用了Mosaic數(shù)據(jù)增強(qiáng)的方式。Mosaic數(shù)據(jù)增強(qiáng)使用隨機(jī)排布、隨機(jī)縮放、隨機(jī)裁剪的方式對(duì)輸入圖片進(jìn)行拼接，進(jìn)而增加數(shù)據(jù)多樣性[7]，由于隨機(jī)縮放增加了數(shù)據(jù)集小目標(biāo)的數(shù)目，有助于提升算法的魯棒性。YOLOv5采用了和YOLOv3、YOLOv4的自適應(yīng)錨框計(jì)算，不同在于YOLOv5不再是單獨(dú)程序運(yùn)算，而是將其集成于代碼中，加快了運(yùn)算速度，同時(shí)也改進(jìn)了自適應(yīng)圖片縮放，提高了推理速度。

2.2 YOLOv5主干網(wǎng)絡(luò)

Backbone 采用CSPDarknet53作為其主干網(wǎng)絡(luò)，由卷積模塊(Conv)、瓶頸層(C3)、空間金字塔池化(spatial pyramid pooling，SPP)等模塊，在最新的YOLOv5第六版中使用Conv替代之前的Focus。YOLOv5中設(shè)計(jì)了兩種CSP結(jié)構(gòu)，以YOLOv5s網(wǎng)絡(luò)為例，一種CSP1_X結(jié)構(gòu)用于主干網(wǎng)絡(luò)，另一種CSP2_X結(jié)構(gòu)則被用于Neck中。將兩個(gè)分支拼接到一起，使網(wǎng)絡(luò)深度增加，大幅增強(qiáng)特征提取能力。

2.3 YOLOv5的Neck端

YOLOv5的Neck端和Yolov4中一樣，都采用“FPN(特征金字塔)[8]+PAN[9](路徑聚合網(wǎng)絡(luò))”的結(jié)構(gòu)。不同點(diǎn)在于YOLOv4的Neck端中，采用常規(guī)的卷積操作。而為加強(qiáng)網(wǎng)絡(luò)特征融合的能力，YOLOv5的Neck端中，采用借鑒CSPNet設(shè)計(jì)的CSP2結(jié)構(gòu)。

2.4 YOLOv5的預(yù)測(cè)端

YOLOv5預(yù)測(cè)端擁有3種不同尺度的特征圖，對(duì)不同尺度下生成的預(yù)測(cè)框進(jìn)行非極大值抑制(non-maximum suppression，NMS)處理，即保留局部類別置信度得分最高的預(yù)測(cè)框，抑制剔除得分低的預(yù)測(cè)框。YOLOv5采用CIOU_Loss做Bounding box的損失函數(shù)。

3 實(shí)驗(yàn)室爆炸事故影響因素

葉元興等[10]在基于150起實(shí)驗(yàn)室事故的統(tǒng)計(jì)分析及安全管理對(duì)策研究一文中統(tǒng)計(jì)了諸多事故發(fā)生頻率和死亡比例，其中實(shí)驗(yàn)室爆炸事故45起，占比30%，是實(shí)驗(yàn)室安全事故的主要類型，且死亡比例最高。因此諸多學(xué)者對(duì)實(shí)驗(yàn)室爆炸事故進(jìn)行了致因分析，陽(yáng)富強(qiáng)等[11]基于相似安全系統(tǒng)學(xué)理論分析實(shí)驗(yàn)室爆炸事故，找出人的不安全行為、物的不安全狀態(tài)、環(huán)境的不良狀態(tài)和管理規(guī)章制度的不完善，4個(gè)大類共24個(gè)實(shí)驗(yàn)室爆炸事故影響因素。后續(xù)又基于6SIGMA理論分析高校實(shí)驗(yàn)室安全管理[12]，運(yùn)用故障類型影響分析法，找出安全基礎(chǔ)設(shè)施、報(bào)警裝置及防護(hù)設(shè)備等爆炸事故影響因素；徐超等[13]基于“2-4”模型研究高校易燃易爆實(shí)驗(yàn)室事故致因與對(duì)策，統(tǒng)計(jì)分析了事故致因頻次和占比，按照個(gè)人層面和組織層面進(jìn)行致因分析。消防器材不足、未使用防護(hù)用品、實(shí)驗(yàn)用品隨意擺放等為主要事故影響因素；張芳等[15]基于蒙特卡羅法的高校行為風(fēng)險(xiǎn)分析，統(tǒng)計(jì)了2001—2019年77起高?；瘜W(xué)實(shí)驗(yàn)室事故，結(jié)果顯示：風(fēng)險(xiǎn)最高為材料試劑的使用環(huán)節(jié)，其次是違規(guī)操作、材料試劑存放混亂，防護(hù)裝置或設(shè)備故障、缺陷、缺失等。筆者統(tǒng)計(jì)了眾多學(xué)者所得的實(shí)驗(yàn)室爆炸事故影響因素，如圖2所示。選取其中影響程度較大且適合目標(biāo)檢測(cè)的5種因素：?；冯S意擺放、無(wú)防護(hù)服、實(shí)驗(yàn)室廢材堆積、無(wú)消防設(shè)備、明火。用于實(shí)驗(yàn)室爆炸事故風(fēng)險(xiǎn)等級(jí)評(píng)估。

圖2 實(shí)驗(yàn)室爆炸事故影響因素頻次統(tǒng)計(jì)

4 實(shí)驗(yàn)結(jié)果與分析

4.1 實(shí)驗(yàn)環(huán)境

實(shí)驗(yàn)配置為：AMD Ryzen7 4800H，16G 運(yùn)行內(nèi)存，顯卡為NVIDIA RTX 2060，實(shí)驗(yàn)基于Windows10(64位)，python3.7， pytorch1.8搭建的深度學(xué)習(xí)框架，GPU加速軟件為CUDA11.1和CUDNN8.1。初始學(xué)習(xí)率為0.01；終止學(xué)習(xí)率為0.1；批大小為2；訓(xùn)練迭代次數(shù)為100；圖片大小為640。

4.2 實(shí)驗(yàn)數(shù)據(jù)集

由于目前沒(méi)有開(kāi)放的實(shí)驗(yàn)室危險(xiǎn)隱患數(shù)據(jù)集，因此筆者通過(guò)華為海雀攝像頭自行采集了468張數(shù)據(jù)圖片，出于安全考慮，使用網(wǎng)絡(luò)收集的283張火災(zāi)圖片，用于實(shí)驗(yàn)室明火識(shí)別。借助Lableimg軟件對(duì)數(shù)據(jù)集進(jìn)行標(biāo)注，設(shè)置類別為fire(明火)、person(人)、carton(紙盒)、dangerous chemical cylinder(危化氣瓶)、cylinder holder(氣瓶架)、lab-gown(實(shí)驗(yàn)服)、fire extinguisher(滅火器)7類，保存為VOC2007格式，按照8∶1∶1劃分為訓(xùn)練集、驗(yàn)證集、測(cè)試集。

由于目前實(shí)驗(yàn)室危險(xiǎn)隱患的數(shù)據(jù)集多為小樣本，為解決小樣本數(shù)據(jù)集的問(wèn)題[16]，借鑒遷移學(xué)習(xí)[17]的思想，采用COCO數(shù)據(jù)集訓(xùn)練的YOLOv5權(quán)重作為網(wǎng)絡(luò)的預(yù)訓(xùn)練權(quán)重，選用所建立的實(shí)驗(yàn)室安全隱患數(shù)據(jù)集對(duì)預(yù)訓(xùn)練好的網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行參數(shù)微調(diào)；最后完成安全隱患的檢測(cè)[18]。通過(guò)這種方式可以大幅提高模型收斂速度，減少訓(xùn)練參數(shù)，降低時(shí)間成本和對(duì)設(shè)備性能的要求。

4.3 評(píng)價(jià)指標(biāo)

為有效評(píng)估模型的檢測(cè)精度，采用平均精確率(mAP)、精確率(Precision)、召回率(Recall)作為衡量指標(biāo)。公式如下：

式中：TP代表真陽(yáng)性；FP代表假陽(yáng)性；FN代表假陰性；AP(AveragePrecision)代表單個(gè)類別的平均準(zhǔn)確率；mAP是對(duì)所有類別的AP求取均值后所得數(shù)據(jù)。檢測(cè)閾值設(shè)置為0.5。

4.4 訓(xùn)練結(jié)果

由于YOLOv5共有5個(gè)版本：YOLOv5n、YOLOv5s、YOLOv5m、YOLOv5l、YOLOv5x，按照n、s、m、l、x的順序網(wǎng)絡(luò)模型不斷加深加寬。為找出最適合的模型，實(shí)驗(yàn)總共訓(xùn)練5個(gè)模型如表1所示。

表1 5種分支模型檢測(cè)性能對(duì)比

由表1可知，隨網(wǎng)絡(luò)模型不斷加深，其檢測(cè)精度也在不斷提高，與官方報(bào)道相符，由于5個(gè)模型均達(dá)到0.98以上的識(shí)別精度。為進(jìn)一步驗(yàn)證YOLOv5檢測(cè)性能的優(yōu)越性，在進(jìn)行5個(gè)分支檢測(cè)性能對(duì)比的同時(shí)與主流目標(biāo)檢測(cè)算法YOLOv4-tiny、Faster-RCNN、SSD在精度和速度方面進(jìn)行實(shí)驗(yàn)對(duì)比，結(jié)果如表2所示，加粗字體為各列最優(yōu)結(jié)果。從模型部署及檢測(cè)精度角度綜合考慮發(fā)現(xiàn)YOLOv5s最適用于實(shí)驗(yàn)室安全隱患的檢測(cè)。YOLOv5s算法在部分測(cè)試集上的目標(biāo)檢測(cè)結(jié)果如圖3所示，可知小目標(biāo)的紙盒，不同姿態(tài)下的人，還有被部分遮擋的氣瓶均被很好地檢測(cè)出。遷移學(xué)習(xí)結(jié)果對(duì)比如圖4(a)所示，星形曲線采用了遷移學(xué)習(xí)策略，對(duì)比三角形曲線，其平均精度迅速上升，并且在經(jīng)過(guò)30個(gè)epoch后就已經(jīng)達(dá)到最大值，由此可知遷移學(xué)習(xí)有效提高了收斂速度，提升了目標(biāo)檢測(cè)模型的平均精度。YOLOv5s的精度-召回率曲線如圖4(b)所示，可知YOLOv5s中各類別的AP值，其中對(duì)明火、?；瘹馄?、氣瓶架這些重要的檢測(cè)類別其檢測(cè)精度分別達(dá)到了0.995、0.988、0.994，超過(guò)肉眼水平，滿足精度要求。

表2 YOLOv5與傳統(tǒng)模型檢測(cè)性能對(duì)比

圖3 部分目標(biāo)檢測(cè)結(jié)果數(shù)據(jù)集

4.5 風(fēng)險(xiǎn)評(píng)價(jià)規(guī)則

總共建立7類識(shí)別目標(biāo)，在此基礎(chǔ)上建立5種安全隱患類別，分別為：出現(xiàn)明火、人員未穿實(shí)驗(yàn)服、實(shí)驗(yàn)室廢材堆積、危化氣瓶未設(shè)置氣瓶防護(hù)架和無(wú)滅火器。

圖4 遷移學(xué)習(xí)結(jié)果對(duì)比及YOLOv5s的P-R曲線

(1)YOLOv5檢測(cè)模型檢測(cè)到室內(nèi)出現(xiàn)明火時(shí)，即構(gòu)成“出現(xiàn)明火”安全隱患；

(2)YOLOv5檢測(cè)模型檢測(cè)到人，但未檢測(cè)到實(shí)驗(yàn)服時(shí)，即構(gòu)成“人員未穿實(shí)驗(yàn)服”安全隱患；

(3)YOLOv5檢測(cè)模型檢測(cè)到實(shí)驗(yàn)室內(nèi)出現(xiàn)堆積的廢舊紙盒時(shí)，即構(gòu)成“實(shí)驗(yàn)室廢材堆積”安全隱患；

(4)YOLOv5檢測(cè)模型檢測(cè)到危化氣瓶，但未檢測(cè)到氣瓶防護(hù)架時(shí)，即構(gòu)成“?；瘹馄课丛O(shè)置氣瓶防護(hù)架”安全隱患；

(5)YOLOv5檢測(cè)模型未檢測(cè)到室內(nèi)有滅火器時(shí)，即構(gòu)成“無(wú)滅火器”安全隱患。

由于筆者只從諸多學(xué)者已識(shí)別的隱患中選擇5種可由視覺(jué)觀測(cè)到的較為重要的安全隱患作為評(píng)價(jià)指標(biāo)，因此使用基于數(shù)量的風(fēng)險(xiǎn)評(píng)級(jí)方式，安全隱患數(shù)量1～2為低風(fēng)險(xiǎn)；安全隱患數(shù)量3為中風(fēng)險(xiǎn)；安全隱患數(shù)量4～5為高風(fēng)險(xiǎn)，由于明火具有較大危害性，因此當(dāng)出現(xiàn)明火時(shí)即為高風(fēng)險(xiǎn)。分別選擇低、中、高風(fēng)險(xiǎn)等級(jí)實(shí)驗(yàn)室圖片各20張、50張、100張，預(yù)先對(duì)圖片等級(jí)進(jìn)行標(biāo)注，應(yīng)用人工和檢測(cè)模型分別對(duì)其進(jìn)行評(píng)級(jí)，對(duì)比機(jī)器和人工檢測(cè)精度，分析機(jī)器和人工優(yōu)劣，如表3所示。

表3 人工與模型對(duì)比

由表3可知，在低、中、高3個(gè)風(fēng)險(xiǎn)場(chǎng)景中人對(duì)風(fēng)險(xiǎn)的評(píng)估準(zhǔn)確度都隨著圖片數(shù)量的增加而減少，而這種評(píng)估準(zhǔn)確度的下降在高風(fēng)險(xiǎn)中最為明顯。綜上可得，人工對(duì)圖片中實(shí)驗(yàn)室場(chǎng)景進(jìn)行風(fēng)險(xiǎn)評(píng)估的主要影響因素為圖片的數(shù)量和圖片中場(chǎng)景的復(fù)雜程度。其中數(shù)量對(duì)人的影響主要是由于長(zhǎng)期重復(fù)性的操作使人疲勞所致。而機(jī)器評(píng)估的精度不會(huì)受到場(chǎng)景復(fù)雜程度和評(píng)判的數(shù)量的影響，機(jī)器評(píng)估的唯一影響因素在于，當(dāng)目標(biāo)物體受到遮擋時(shí)，會(huì)造成無(wú)法識(shí)別的情況，從而影響評(píng)判準(zhǔn)確度。從兩者評(píng)估速度來(lái)講，機(jī)器的速度遠(yuǎn)遠(yuǎn)超過(guò)人，人的評(píng)估速度平均為2～3 s/張，機(jī)器的速度平均為0.002～0.003 s/張。

5 結(jié)論

(1)針對(duì)目前高校實(shí)驗(yàn)室事故多發(fā)現(xiàn)狀，提出基于YOLOv5的視覺(jué)風(fēng)險(xiǎn)評(píng)估模型，通過(guò)目標(biāo)檢測(cè)的手段提高實(shí)驗(yàn)室的安全監(jiān)控能力，將AI賦能安全管理，從而有效提升實(shí)驗(yàn)室的安全管理水平。通過(guò)對(duì)YOLOv5算法采用數(shù)據(jù)增強(qiáng)、遷移學(xué)習(xí)等手段最終實(shí)現(xiàn)了對(duì)實(shí)驗(yàn)室安全隱患的高精度檢測(cè)，并設(shè)計(jì)5個(gè)分支模型的對(duì)比實(shí)驗(yàn)選取了最適合的YOLOv5s模型。最后建立風(fēng)險(xiǎn)評(píng)估規(guī)則，設(shè)計(jì)人與機(jī)器的風(fēng)險(xiǎn)評(píng)估對(duì)比實(shí)驗(yàn)。

(2)從速度和精度上考慮YOLOv5s是5個(gè)分支最適合的模型；和傳統(tǒng)主流目標(biāo)檢測(cè)算法對(duì)比，YOLOv5s表現(xiàn)出極高的檢測(cè)精度；相對(duì)于人來(lái)講，機(jī)器在這種重復(fù)性簡(jiǎn)單勞動(dòng)上有更高的穩(wěn)定性、檢測(cè)精度、更快的檢測(cè)速度。

(3)該評(píng)估模型還存在一定局限性，事故的發(fā)生是多個(gè)因子事件共同作用的結(jié)果，而不同事故之間存在因果耦合關(guān)系，例如：火災(zāi)往往會(huì)引起爆炸事故，電氣事故也可能導(dǎo)致火災(zāi)。并且火災(zāi)與爆炸事故的影響因素也存在著高度重復(fù)性，在未來(lái)工作中將考慮不同事故鏈的耦合性，去綜合評(píng)判場(chǎng)景中的風(fēng)險(xiǎn)等級(jí)。