YOLOv4目標(biāo)檢測算法在煤礦工人口罩佩戴監(jiān)測工作中的應(yīng)用研究*

崔鐵軍，王凌霄

(遼寧工程技術(shù)大學(xué) 安全科學(xué)與工程學(xué)院，遼寧 葫蘆島 125105)

0 引言

我國是世界上最主要的煤炭消費(fèi)國和生產(chǎn)國，煤礦工人要面對無處不在的矽塵、煤塵等，只靠除塵器除塵或噴水噴泡降塵等除塵方法是遠(yuǎn)遠(yuǎn)不夠的，佩戴防塵口罩是煤礦工人對抗職業(yè)性塵肺病的最后一道防線。由于防塵口罩舒適性差以及人員有僥幸心理和從眾心理，許多工人不愿佩戴防塵口罩。且傳統(tǒng)的煤礦井下作業(yè)現(xiàn)場具有安全管理水平低、安全員的主觀干擾大、不能全面監(jiān)控等問題。對其進(jìn)行巡檢費(fèi)時(shí)費(fèi)力且不符合實(shí)際。因此，將深度學(xué)習(xí)技術(shù)應(yīng)用于監(jiān)測煤礦工人的口罩佩戴情況對預(yù)防職業(yè)性塵肺病具有十分重要的意義。

自2016年AlphGo戰(zhàn)勝職業(yè)棋手李世石之后，學(xué)者們掀起了一波將深度學(xué)習(xí)與各自領(lǐng)域結(jié)合研究的浪潮[1]。在口罩佩戴檢測方面，一些學(xué)者應(yīng)用深度學(xué)習(xí)技術(shù)進(jìn)行了研究，牛作東等[2]利用Retina Face算法對公共場所下的口罩佩戴進(jìn)行了研究；張修寶等[3]采用數(shù)據(jù)增強(qiáng)等方法對自然場景下的人臉口罩識別進(jìn)行了研究；曹城碩等[4]改進(jìn)并提出1種YOLO-Mask算法對公共場合的人員進(jìn)行口罩檢測；魏麗等[5]利用級聯(lián)卷積神經(jīng)網(wǎng)絡(luò)對遮擋條件下的人臉檢測與遮擋物屬性判識；王藝皓等[6]改進(jìn)了YOLOv3目標(biāo)檢測算法，對復(fù)雜場景下口罩佩戴進(jìn)行了檢測。目前大多都是針對新冠肺炎疫情下的日?？谡峙宕髯R別的研究。相比于日常環(huán)境，煤礦井下具有作業(yè)環(huán)境惡劣、光線昏暗等特點(diǎn)，目前利用深度學(xué)習(xí)技術(shù)針對煤礦井下復(fù)雜環(huán)境的檢測研究較少。在安全領(lǐng)域?qū)W者們主要將人工智能技術(shù)應(yīng)用于人的不安全行為識別和故障檢測。趙江平等[7]利用支持向量機(jī)(SVM)對有限空間作業(yè)中人員跌倒進(jìn)行了研究；佟瑞鵬等[8]利用融合特征進(jìn)行分類，對礦工跌倒行為進(jìn)行識別檢驗(yàn)；施輝等[9]改進(jìn)了YOLOv3算法，對施工現(xiàn)場作業(yè)人員不佩戴安全帽進(jìn)行了研究；車暢暢等[10]利用深度學(xué)習(xí)的故障融合診斷模型對航空發(fā)動(dòng)機(jī)故障進(jìn)行診斷；康高強(qiáng)[11]、周雙林等[12]利用Faster R-CNN算法對故障進(jìn)行研究；李千登等[13]利用深度學(xué)習(xí)算法對叉車危險(xiǎn)操作行為進(jìn)行了檢測。

針對傳統(tǒng)煤礦井下作業(yè)現(xiàn)場的安全管理不到位，安全員巡檢工作量巨大、效率低且費(fèi)時(shí)費(fèi)力、不能全程監(jiān)控等問題，本文利用Keras框架搭建YOLOv4模型，收集煤礦工人佩戴口罩和未佩戴口罩的圖像數(shù)據(jù)，制作數(shù)據(jù)集，然后進(jìn)行模型訓(xùn)練測試，最后對算法的識別精準(zhǔn)度進(jìn)行評估。此外，采用MTCNN和FaceNet構(gòu)成的人臉識別算法對未佩戴口罩的作業(yè)人員的人臉進(jìn)行識別，并設(shè)計(jì)對比實(shí)驗(yàn)測試本文算法對煤礦工人口罩佩戴識別監(jiān)測的實(shí)用性。

1 檢測系統(tǒng)構(gòu)架設(shè)計(jì)

1.1 基本流程

本文基于Keras框架對煤礦井下作業(yè)現(xiàn)場圖像中佩戴口罩和未佩戴口罩的作業(yè)人員進(jìn)行檢測并識別。首先收集作業(yè)人員圖像并制作模型的數(shù)據(jù)集，對其進(jìn)行預(yù)處理后構(gòu)建YOLOv4目標(biāo)檢測算法，根據(jù)模型訓(xùn)練和測試結(jié)果微調(diào)其參數(shù)使其在煤礦井下復(fù)雜環(huán)境下有更好的適用性。通過算法檢測出未佩戴口罩的作業(yè)人員后，基于MTCNN和FaceNet構(gòu)成的人臉識別算法對其進(jìn)行人臉識別，以達(dá)到追根溯源的目的，進(jìn)而有利于提高安全管理水平，具體流程如圖1所示。

圖1 智能監(jiān)管的具體流程Fig.1 Specific process of intelligent supervision

1.2 系統(tǒng)構(gòu)架

煤礦工人口罩佩戴檢測系統(tǒng)的總體框架主要由監(jiān)控和提醒2部分組成。監(jiān)控部分是由YOLOv4目標(biāo)檢測算法進(jìn)行口罩檢測，MTCNN與FaceNet完成人臉識別；提醒部分是通過算法識別出未按規(guī)定佩戴口罩的人的名字再由計(jì)算機(jī)控制喇叭系統(tǒng)進(jìn)行智能提醒，并將未戴口罩的煤礦工人納入考核，進(jìn)行安全教育，從而保障煤礦工人的肺部健康，預(yù)防職業(yè)性塵肺病。要實(shí)現(xiàn)煤礦工人口罩檢測的全覆蓋，實(shí)現(xiàn)自動(dòng)提醒作業(yè)人員佩戴防塵口罩的任務(wù)，就需要對入口處和作業(yè)環(huán)境內(nèi)增添相關(guān)設(shè)施，以實(shí)現(xiàn)檢測系統(tǒng)的各項(xiàng)功能正常運(yùn)行，如圖2所示。

圖2 檢測系統(tǒng)的結(jié)構(gòu)組成Fig.2 The structure of the detection system

1)監(jiān)控智能化

監(jiān)控智能化即無需煤礦工作人員直接接觸，即可檢測未佩戴口罩人員的身份。在礦井入口處安裝檢測用的單目攝像頭，將其與閘機(jī)人臉身份識別系統(tǒng)合二為一，在檢測出未佩戴防塵口罩則閘機(jī)關(guān)閉，防止未佩戴口罩的作業(yè)人員進(jìn)入工作區(qū)。利用安保使用的攝像頭，在粉塵嚴(yán)重的作業(yè)區(qū)安裝檢測用的單目攝像頭。與安保系統(tǒng)融為一體，減少單獨(dú)設(shè)立設(shè)備的成本，保證監(jiān)控的全覆蓋。

2)提醒自動(dòng)化

提醒自動(dòng)化即在沒有安全員或者監(jiān)督人員的情況下通過喇叭系統(tǒng)督促煤礦工人佩戴好防塵口罩。利用MTCNN和FaceNet組成的人臉識別算法進(jìn)行人臉識別，確定未佩戴口罩作業(yè)人員的身份，由計(jì)算機(jī)控制喇叭系統(tǒng)播報(bào)語音，從而督促作業(yè)人員佩戴好防塵口罩。同時(shí)將未佩戴口罩的煤礦工人納入考核，之后對其進(jìn)行安全教育，以防再次違反安全規(guī)定。

2 煤礦工人口罩檢測關(guān)鍵技術(shù)

2.1 Keras框架

本文采用的是Keras深度學(xué)習(xí)框架。Keras框架與其他框架相比具有API簡單易用、擴(kuò)展性好、易于使用等優(yōu)點(diǎn)，也是目前主流的用來實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)的機(jī)器學(xué)習(xí)框架之一。

2.2 YOLOv4模型構(gòu)建

YOLOv4[14]模型是由AlexeyAB等在YOLOv3的基礎(chǔ)上改進(jìn)而來，目前YOLO發(fā)展到第4代，將檢測速度和精度完美的結(jié)合，是目前最先進(jìn)、使用最廣泛的目標(biāo)檢測算法之一。對比Faster RCNN[15]目標(biāo)檢測方法，YOLOv4網(wǎng)絡(luò)是one-stage網(wǎng)絡(luò)，它只需對圖像做1步運(yùn)算，即可完成對圖像的檢測和識別，具有速度更快，幀數(shù)更高等優(yōu)勢。YOLOv4的主干特征提取網(wǎng)絡(luò)CSPDarknet53[16]是在YOLOv3的主干特征提取網(wǎng)絡(luò)Darknet53上進(jìn)行了改進(jìn)，而增強(qiáng)特征提取網(wǎng)絡(luò)則使用了SPP和PANet結(jié)構(gòu)。

YOLOv4網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。當(dāng)輸入圖片是416×416的大小時(shí)，傳入YOLOv4網(wǎng)絡(luò)中，依次被劃分13×13，26×26，52×52的網(wǎng)格分別對應(yīng)著大物體、中物體、小物體。網(wǎng)絡(luò)預(yù)測的結(jié)果會判斷網(wǎng)格點(diǎn)的右下角是否有物體以及其種類，并且對先驗(yàn)框進(jìn)行調(diào)整而后獲得預(yù)測框。相比于前代YOLOv3目標(biāo)檢測算法，YOLOv4目標(biāo)檢測算法的AP值提高了10%，fps值提高了12%。

圖3 YOLOv4模型結(jié)構(gòu)Fig.3 YOLOv4 model structure

2.3 MTCNN

MTCNN(Multi-task convolutional neural network)即多任務(wù)卷積神經(jīng)網(wǎng)絡(luò)，它為計(jì)算機(jī)檢測人臉提供了非常有效的思路，是1種輕量級的卷積神經(jīng)網(wǎng)絡(luò)組成的人臉檢測算法。MTCNN的網(wǎng)絡(luò)結(jié)構(gòu)主要由O-Net(Output Network)，R-Net(Refine Network)，P-Net(Proposal Network)3層組成。為了檢測不同大小的人臉，圖像進(jìn)入MTCNN中會被分組成不同大小，然后將獲得的圖像金字塔再傳入P-Net中，P-Net會生成許多相對于原圖坐標(biāo)的人臉候選框，從中截取不同區(qū)域傳入R-Net中，通過R-Net網(wǎng)絡(luò)可以初步判斷人臉框的位置，再次截取框中區(qū)域傳入MTCNN中最精細(xì)的網(wǎng)絡(luò)O-Net中，最終得出人臉位置實(shí)現(xiàn)人臉檢測。

2.4 FaceNet

FaceNet是谷歌公司于2015年提出的基于人臉特征的提取網(wǎng)絡(luò)的人臉檢測算法，它可以有效地識別人臉。如圖4所示FaceNet把人臉圖像通過深度神經(jīng)網(wǎng)絡(luò)和L2標(biāo)準(zhǔn)化編碼成128維的數(shù)字矢量并作為提取特征。利用歐式距離將這2個(gè)向量的距離進(jìn)行比較，得出圖像是否為同一個(gè)人，從而實(shí)現(xiàn)人臉識別。

圖4 FaceNet算法流程Fig.4 Flow chart of FaceNet algorithm

3 實(shí)驗(yàn)過程

3.1 數(shù)據(jù)增強(qiáng)

YOLOv4目標(biāo)檢測算法采用的是Mosaic數(shù)據(jù)增強(qiáng)方法，每次運(yùn)算讀取4張圖片，將這4張圖片經(jīng)過翻轉(zhuǎn)、縮放、色域變化等操作按照4個(gè)位置對號入座，拼接組合成1張帶有框的新圖片，有著豐富檢測物體的背景的優(yōu)點(diǎn)。

由于煤礦井下環(huán)境惡劣，光照灰暗，因此，為提高模型對煤礦井下灰暗場景圖像的魯棒性，將圖像進(jìn)行色域扭曲，將HSV(Hue,Saturation,Value)顏色模型中的色調(diào)(H)、飽和度(S)、明度(V)進(jìn)行調(diào)整，從而模擬出在井下的情況，如圖5所示。

圖5 色域扭曲數(shù)據(jù)增強(qiáng)Fig.5 Color gamut distortion data enhancement

3.2 數(shù)據(jù)集制作

目前，由于沒有1個(gè)完整的關(guān)于煤礦井下工人口罩佩戴的檢測數(shù)據(jù)集。本文從互聯(lián)網(wǎng)公開數(shù)據(jù)集、煤礦作業(yè)區(qū)錄像視頻文件截取圖像和網(wǎng)絡(luò)圖中篩選出人員已佩戴防塵口罩和人員未佩戴防塵口罩的圖像總共6 834張。其中圖像總數(shù)的10%作為測試集，圖像總數(shù)的90%作為訓(xùn)練集。在收集完這些圖像后，利用圖像注釋工具Labelimg對這些圖像進(jìn)行標(biāo)注。數(shù)據(jù)集標(biāo)注示例如圖6所示。標(biāo)注的標(biāo)簽共2個(gè)，煤礦工人佩戴口罩(Face_mask)和煤礦工人未佩戴口罩(Face)。最后的標(biāo)注結(jié)果保存為VOC格式的XML文件即為數(shù)據(jù)集，以便之后使用。

圖6 數(shù)據(jù)集標(biāo)注示例Fig.6 Data set annotation example

3.3 評價(jià)指標(biāo)

本文選取交疊率IOU(Intersection Over Union)、精確度P(precision)、召回率R(recall)、平均精度AP(Average Precision)和所有類AP值的平均值mAP這5種指標(biāo)衡量模型對煤礦工人是否佩戴防塵口罩的檢測性能。

3.3.1 交疊率IOU

IOU即衡量預(yù)測框和真實(shí)框的重合程度。候選區(qū)中防塵口罩的預(yù)測框和真實(shí)框重合度越大，證明煤礦工人是否佩戴防塵口罩檢測的效果越好，交疊率公式如式(1)。

(1)

式中：S交為重疊域；S并為總域。交域與總域之比即為交疊率IOU。

3.3.2 精確度P

精確度P即模型判定正確并且確實(shí)正確的樣本占模型判定正確的總樣本的比例，在文中表示為煤礦工人是否佩戴防塵口罩被正確分類的概率，如式(2)。

(2)

式中：TP(True Positives)為正樣本預(yù)測出正樣本的數(shù)量；FP(False Positives)為負(fù)樣本預(yù)測出負(fù)樣本的數(shù)量。

3.3.3 召回率R

召回率R即有多少正例被預(yù)測正確，如式(3)。

(3)

式中：FN(False Negatives)為該樣本是正樣本，但被分為負(fù)樣本而且錯(cuò)誤的概率。

3.3.4 平均精度AP(Average Precision)

平均精度AP(Average Precision)即不同P和R的值所組成圖形的面積，計(jì)算公式如式(4)。

(4)

3.3.5 所有目標(biāo)類的平均精度的平均值mAP(Mean Average Precision)

所有目標(biāo)類的平均精度的平均值mAP(Mean Average Precision)公式如式(5)，其中C為目標(biāo)類個(gè)數(shù),ci表示第i個(gè)目標(biāo)類。

(5)

3.4 實(shí)驗(yàn)結(jié)果與分析

本文算法在Visual Studio Code中編程實(shí)現(xiàn)，編程語言為Python3.6，深度學(xué)習(xí)框架為tensorflow-gpu1.13.2，keras2.1.5，實(shí)驗(yàn)平臺為16 GB內(nèi)存、AMD Ryzen 5 3500X CPU，GeForce GTX 1660 SUPER GPU，并用Python語言編譯實(shí)驗(yàn)。模型初始的學(xué)習(xí)率設(shè)置為0.001，batchsize為2，共訓(xùn)練60輪。

本次實(shí)驗(yàn)測試集包含683張圖片，其中煤礦工人已佩戴防塵口罩檢測的平均精度為0.98，煤礦工人未佩戴防塵口罩檢測的平均精度為0.83，mAP計(jì)算為90.73%。檢測到煤礦作業(yè)人員未佩戴防塵口罩如圖7所示。檢測到煤礦作業(yè)人員已佩戴防塵口罩圖8所示。檢測到煤礦作業(yè)人員未佩戴防塵口罩隨后進(jìn)行人臉識別如圖9所示。

圖7 煤礦工人未佩戴防塵口罩的檢測示例Fig.7 An example of detection of coal mine workers not wearing dust masks

圖8 煤礦工人已佩戴防塵口罩的檢測示例Fig.8 An example of detection of coal mine workers wearing dust masks

圖9 煤礦工人未佩戴防塵口罩的人臉識別示例Fig.9 Face recognition example of coal mine staff without dust mask

從圖7～8中可以看出對于正常煤礦工作時(shí)作業(yè)人員是否佩戴防塵口罩的檢測識別，本文算法取得了不錯(cuò)的檢測精度，mAP值達(dá)到92.21%。由圖7可以看出，當(dāng)煤礦工人作業(yè)未佩戴防塵口罩時(shí)，則可由YOLOv4目標(biāo)檢測算法檢測而出。而由圖8可以看出，當(dāng)煤礦工人作業(yè)時(shí)佩戴防塵口罩時(shí)，不管其佩戴的是普通的口罩還是防塵面具，YOLOv4模型都可以較好地識別其佩戴了防塵口罩。由圖9可以看出，當(dāng)檢測到煤礦工人未佩戴口罩后，基于MTCNN和FaceNet相結(jié)合的人臉識別算法對其進(jìn)行人臉識別，并成功識別出煤礦工人William。

本文基于YOLOv4目標(biāo)檢測算法實(shí)現(xiàn)了煤礦工人口罩佩戴的檢測,同時(shí)與Faster-RCNN，SSD[17]，YOLOv3[18]算法做對比實(shí)驗(yàn)。然后在測試集上分別對其進(jìn)行訓(xùn)練測試評估，以平均精度AP、平均精度均值mAP作為模型性能的評估指標(biāo)，得到數(shù)據(jù)見表1。

表1 不同檢測算法性能指標(biāo)對比Table 1 Comparison of performance indexes of different detection algorithms

本文算法與Faster-RCNN，SSD等目前主流的目標(biāo)檢測算法相比具有更高的檢測精度。與它的上一代YOLOv3算法相比，YOLOv4目標(biāo)檢測算法在2種類別檢測目標(biāo)的平均檢測精度上分別提高了2.74%和2.57%。由此可知，相比于其他3種算法，YOLOv4目標(biāo)檢測算法在性能上有一定的優(yōu)勢，檢測精度更高。

4 結(jié)論

1)針對煤礦工人口罩佩戴問題，本文將深度學(xué)習(xí)算法應(yīng)用于安全領(lǐng)域，基于Keras框架利用YOLOv4算法對煤礦工人佩戴防塵口罩情況進(jìn)行檢測與識別，并與MTCNN和FaceNet構(gòu)成的人臉識別算法相結(jié)合進(jìn)行應(yīng)用研究。通過6 834張圖像組成的數(shù)據(jù)集進(jìn)行訓(xùn)練并測試評估，驗(yàn)證了該系統(tǒng)的適用性和有效性，有助于提升煤礦井下作業(yè)的安全管理水平。

2)YOLOv4目標(biāo)檢測算法對煤礦工人已佩戴口罩檢測的平均精度為92.78%，對未佩戴防塵口罩檢測的平均精度為91.63%。與Faster-RCNN，SSD和YOLOv3算法進(jìn)行了模型的對比實(shí)驗(yàn)并進(jìn)行了評估，結(jié)果表明本文算法的mAP值分別高了14.8%，17.64%，2.66%。證明本文算法總體性能最佳，對煤礦工人是否佩戴口罩有著更高的識別準(zhǔn)確度。

3)圖像識別方法應(yīng)用于安全領(lǐng)域具有很大的研究空間以及應(yīng)用前景。下一步工作將研究目標(biāo)檢測算法如何與實(shí)際作業(yè)場景深入的結(jié)合，并將繼續(xù)采用深度學(xué)習(xí)理論知識和目標(biāo)檢測技術(shù)，研究煤礦井下危險(xiǎn)源的辨識。