EasyDL在礦井人員監(jiān)測與預(yù)警中的應(yīng)用

郝聰 郝婷 鄧樂晨 柳萬

作者簡介：郝聰（1992— ），男，山西大同人，工程師，碩士；研究方向：礦山智能化與安全。

摘要：當(dāng)前人工智能技術(shù)日益發(fā)展，為了更好地減輕煤礦視頻監(jiān)控人員工作量，保障煤礦作業(yè)人員安全，減少事故發(fā)生，文章針對礦井人員勞動保護(hù)用品穿戴和危險(xiǎn)場景侵入情況，設(shè)計(jì)了一種基于EasyDL平臺的視頻監(jiān)測預(yù)警系統(tǒng)。此系統(tǒng)基于人工智能EasyDL平臺，建立個人勞保穿戴、進(jìn)入危險(xiǎn)區(qū)域、處于運(yùn)行中的移動設(shè)備兩側(cè)和攀、坐不安全位置的監(jiān)測模型，識別煤礦工人的違章行為，及時(shí)記錄并給出警示。預(yù)警系統(tǒng)應(yīng)用結(jié)果表明，該系統(tǒng)能夠較準(zhǔn)確地識別違章行為并作出及時(shí)反饋，有助于保障煤礦作業(yè)人員的安全。

關(guān)鍵詞：人工智能；EasyDL；煤礦工人；安全

中圖分類號：TD79? 文獻(xiàn)標(biāo)志碼：A

0? 引言

近年來，我國煤礦技術(shù)設(shè)備和管理水平不斷提高，安全生產(chǎn)形勢逐年好轉(zhuǎn)，但與國內(nèi)其他行業(yè)相比，煤炭行業(yè)事故發(fā)生頻率依舊偏高，安全形勢依舊嚴(yán)峻［1］。煤炭企業(yè)為了動態(tài)掌握安全生產(chǎn)情況，強(qiáng)化勞動安全管理，通常會在煤炭采區(qū)、重要場所和危險(xiǎn)區(qū)域安裝視頻監(jiān)控系統(tǒng)，并安排專人24小時(shí)持續(xù)監(jiān)控。這種方式要求視頻監(jiān)控人員注意力保持高度集中，但生產(chǎn)作業(yè)場所較多，作業(yè)人員復(fù)雜，靠人力監(jiān)督的方式極易出現(xiàn)疏漏，采用新技術(shù)和新方法改進(jìn)現(xiàn)有人工監(jiān)控的管理方式是必然趨勢。

隨著信息化時(shí)代的到來，人工智能和深度學(xué)習(xí)技術(shù)在交通運(yùn)輸、建筑施工、生物分類等領(lǐng)域得到廣泛應(yīng)用［2-9］。深度學(xué)習(xí)以大量的樣本訓(xùn)練為基礎(chǔ)，通過多層卷積和池化操作提取圖像特征，自動學(xué)習(xí)樣本數(shù)據(jù)的內(nèi)在規(guī)律和表示層次，最終達(dá)到能像人一樣具有學(xué)習(xí)分析能力［10］。隨著數(shù)字化礦山建設(shè)逐步推進(jìn)，煤炭開采特殊的生產(chǎn)方式更加凸顯了智能技術(shù)在安全管理的重要性，相關(guān)技術(shù)和專利在大型設(shè)備遠(yuǎn)程控制、多系統(tǒng)融合與自動化辦公中得到廣泛應(yīng)用，但在煤礦作業(yè)人員行為安全管理中的應(yīng)用較少。因此設(shè)計(jì)基于EasyDL平臺的視頻監(jiān)測預(yù)警系統(tǒng)并應(yīng)用到對煤礦作業(yè)人員行為管理中，將極大地節(jié)省人力成本，提高煤炭企業(yè)智能安全管理水平。

EasyDL是基于卷積神經(jīng)網(wǎng)絡(luò)的產(chǎn)業(yè)級深度學(xué)習(xí)開源開放平臺。低成本、高精度的EasyDL正在眾多實(shí)際應(yīng)用中為各行企業(yè)賦能［11-16］。本文利用EasyDL平臺構(gòu)建不安全行為預(yù)警識別監(jiān)測模型。通過該平臺實(shí)現(xiàn)模型數(shù)據(jù)集的標(biāo)注、訓(xùn)練和檢驗(yàn)，并利用該平臺特有的兼容性，實(shí)現(xiàn)對被監(jiān)測目標(biāo)的精確檢測。

1? 預(yù)警系統(tǒng)功能

本文使用圖像監(jiān)測技術(shù)對煤礦工人安全帽等勞保穿戴情況進(jìn)行深度學(xué)習(xí)，構(gòu)建監(jiān)測模型。系統(tǒng)通過本地局域網(wǎng)接入危險(xiǎn)場景視頻監(jiān)控。監(jiān)測模型通過提取視頻流數(shù)據(jù)識別視頻中是否出現(xiàn)安全帽等，不僅可以判斷人員是否發(fā)生侵入行為，還可以記錄報(bào)警信息幫助管理人員進(jìn)行閉環(huán)管理。

預(yù)警功能實(shí)現(xiàn)主要包含3個步驟：（1）基于EasyDL平臺建立個人防護(hù)用品穿戴監(jiān)測模型和危險(xiǎn)場景人員侵入監(jiān)測模型。（2）通過局域網(wǎng)以固定IP方式將現(xiàn)有視頻監(jiān)控系統(tǒng)中的監(jiān)控視頻窗口接入監(jiān)測模型。（3）通過接入的視頻監(jiān)控提取視頻流數(shù)據(jù)進(jìn)行監(jiān)測并預(yù)警。

2? 監(jiān)測系統(tǒng)設(shè)計(jì)

基于EasyDL平臺構(gòu)建監(jiān)測模型，將作業(yè)人員穿戴的安全帽等作為監(jiān)測數(shù)據(jù)進(jìn)行標(biāo)注并訓(xùn)練，主要分為以下3個步驟：（1）數(shù)據(jù)獲取與處理；（2）模型訓(xùn)練與檢驗(yàn)；（3）模型部署。

2.1? 數(shù)據(jù)獲取與處理

監(jiān)測模型的基礎(chǔ)環(huán)節(jié)是數(shù)據(jù)信息的收集和處理。數(shù)據(jù)集的質(zhì)量和代表性在監(jiān)測模型創(chuàng)建中起著決定性的作用，本文圖像數(shù)據(jù)來自內(nèi)蒙古某生產(chǎn)礦井，采用截取監(jiān)控視頻畫面的方法進(jìn)行圖像數(shù)據(jù)收集。監(jiān)測模型訓(xùn)練的圖片數(shù)據(jù)信息數(shù)量越多，理論上模型訓(xùn)練的效果就越好，本文監(jiān)測模型數(shù)據(jù)集由841張圖像數(shù)據(jù)構(gòu)成。數(shù)據(jù)訓(xùn)練之前需要對被監(jiān)測物件的類型、數(shù)量和位置進(jìn)行標(biāo)注，標(biāo)注的數(shù)目越多，模型訓(xùn)練的效果越好。

2.2? 模型訓(xùn)練與檢驗(yàn)

EasyDL模型訓(xùn)練結(jié)果效果指標(biāo)有3個：召回率、精準(zhǔn)率和mAP。召回率表示數(shù)據(jù)標(biāo)注正確識別的數(shù)量占真實(shí)物體的比例；精準(zhǔn)率表示數(shù)據(jù)標(biāo)注正確識別的數(shù)量占數(shù)據(jù)標(biāo)注總數(shù)的比例；mAP是衡量訓(xùn)練結(jié)果的指標(biāo)，mAP的值越接近于1，說明訓(xùn)練結(jié)果越好。本文數(shù)據(jù)集進(jìn)行了3次模型訓(xùn)練，3次模型訓(xùn)練結(jié)果指標(biāo)和訓(xùn)練時(shí)長如表1所示。通過表1可知，隨著模型訓(xùn)練圖片數(shù)量與標(biāo)注數(shù)量的提升，模型訓(xùn)練效果會有小幅度提升。

2.3? 模型部署

EasyDL監(jiān)測模型部署分為4大類：云端模型部署、本地主機(jī)部署、通用設(shè)備端SDK部署和專用設(shè)備開發(fā)套件部署。本監(jiān)測模型將進(jìn)行本地主機(jī)部署。

3? 系統(tǒng)應(yīng)用場景

該監(jiān)測預(yù)警系統(tǒng)除了適用于煤礦工人安全帽等個人勞保用品穿戴情況監(jiān)測，還適用于《某礦危險(xiǎn)場景控制措施》中的3種場景，即進(jìn)入危險(xiǎn)區(qū)域、處于運(yùn)行中的移動設(shè)備兩側(cè)和攀、坐不安全位置。當(dāng)煤礦工人違反上述規(guī)定，進(jìn)入相關(guān)危險(xiǎn)場景，預(yù)警系統(tǒng)能夠進(jìn)行識別并報(bào)警，同時(shí)記錄運(yùn)行日志。

3.1? 危險(xiǎn)區(qū)域識別

隨著煤礦礦井開采深度與規(guī)模的擴(kuò)大，煤礦井下廣泛分布的臨時(shí)或永久的危險(xiǎn)區(qū)域給煤礦工人的人身安全也帶來了一定的威脅。井下危險(xiǎn)區(qū)域主要包括盲巷、采空巷、高墜區(qū)、構(gòu)造區(qū)、觸電區(qū)、突水區(qū)等。危險(xiǎn)區(qū)域因其本身存在較高的危險(xiǎn)性，是安全事故發(fā)生概率較大的原因之一。同時(shí)，煤礦工人對危險(xiǎn)區(qū)域認(rèn)識不足，安全意識淡薄，對是否身處危險(xiǎn)區(qū)域認(rèn)識不清，對可能發(fā)生的后果缺乏判斷，也是安全事故發(fā)生概率較大的重要原因。因此，通過攝像頭監(jiān)控危險(xiǎn)區(qū)域進(jìn)行智能監(jiān)測預(yù)警，可以及時(shí)可靠地識別煤礦工人進(jìn)入危險(xiǎn)區(qū)域行為，降低安全風(fēng)險(xiǎn)，減少安全事故發(fā)生的可能性。

3.2? 處于運(yùn)行中的移動設(shè)備兩側(cè)識別

井下生產(chǎn)作業(yè)車輛包括破碎機(jī)、梭車、綜掘機(jī)、錨桿鉆車、裝載機(jī)、液壓支架車等，這些車輛設(shè)備體型巨大，液壓支架車寬度可達(dá)4～5 m，而井下輔運(yùn)巷道普遍5～6 m。當(dāng)這種體型巨大的車輛在巷道內(nèi)行駛時(shí)，兩側(cè)可容煤礦工人行走的空間非常有限。當(dāng)工作面車輛開車作業(yè)時(shí)，因生產(chǎn)工作面條件更惡劣，底板會分散大量煤塊，車輛運(yùn)行中碾壓煤塊必然會產(chǎn)生晃動和漂移，如果此時(shí)車輛兩側(cè)站立煤礦工人，極有可能發(fā)生擠壓事故，這種被大型車輛擠壓的后果非常嚴(yán)重。因此，對運(yùn)行中的移動設(shè)備兩側(cè)是否出現(xiàn)煤礦工人進(jìn)行實(shí)時(shí)監(jiān)測，可有效減少安全風(fēng)險(xiǎn)。

3.3? 攀、坐不安全位置識別

攀、坐不安全位置是由于煤礦工人作業(yè)過程中存在僥幸心理而常發(fā)生的不安全行為之一。煤礦工人發(fā)生此類不安全行為通常是攀爬巷道煤壁、機(jī)電設(shè)備和各類水管進(jìn)行作業(yè)，或坐在連采機(jī)飛翼、靠坐帶電設(shè)備等。當(dāng)設(shè)備突然發(fā)生意外，很可能導(dǎo)致煤礦工人墜落、觸電等意外事故，造成人員傷亡。因此對煤礦工人是否發(fā)生攀、坐不安全位置的不安全行為進(jìn)行實(shí)時(shí)監(jiān)測十分必要。

4? 預(yù)警系統(tǒng)

預(yù)警系統(tǒng)主要有4個模塊組成：監(jiān)控模塊、監(jiān)測模塊、預(yù)警模塊、信息模塊。各個模塊的主要功能如下：

4.1? 監(jiān)控模塊

監(jiān)控模塊主要功能是通過設(shè)置在井下的高清攝像頭，將監(jiān)控畫面視頻流實(shí)時(shí)上傳到Web顯示終端，每個視頻流具有獨(dú)立的地址，視頻流抽幀監(jiān)測設(shè)置，如表2所示。

4.2? 監(jiān)測模塊

將高度定制化的模型部署到本地主機(jī)上，進(jìn)行煤礦局域網(wǎng)內(nèi)部使用和調(diào)整，最大限度上滿足數(shù)據(jù)隱私的需求。監(jiān)測模塊的運(yùn)行流程如圖1所示。監(jiān)測模塊接收到圖像數(shù)據(jù)后：一方面，進(jìn)行人臉識別與員工數(shù)據(jù)庫進(jìn)行配對確定人員信息；另一方面，使用訓(xùn)練過的EasyDL監(jiān)測模型進(jìn)行行為檢測，做出判別。如果出現(xiàn)不安全行為則發(fā)出預(yù)警信息，并錄入運(yùn)行日志。

4.3? 預(yù)警模塊

若監(jiān)測模型檢測到預(yù)設(shè)的不安全行為，則通過Web彈窗的方式彈出預(yù)警圖標(biāo)進(jìn)行預(yù)警，第一時(shí)間引起現(xiàn)場作業(yè)人員警覺，預(yù)警監(jiān)測模型運(yùn)行情況如表3所示。預(yù)警模型還可進(jìn)行編輯、刪除和查看云端數(shù)據(jù)功能，方便人員進(jìn)行管理。

4.4? 信息模塊

信息模塊包括員工個人信息數(shù)據(jù)庫、預(yù)警信息記錄和運(yùn)行日志統(tǒng)計(jì)。員工預(yù)警信息記錄有員工姓名、部門、班組、工種、職務(wù)、報(bào)警類型、報(bào)警描述和報(bào)警狀態(tài)等信息（如：員工姓名王某亮，部門綜掘一隊(duì)，班組生產(chǎn)二班，工種錨桿機(jī)司機(jī)，職務(wù)為職工，報(bào)警類型為接近突水區(qū)危險(xiǎn)區(qū)，報(bào)警描述為職工王某亮接近突水區(qū)危險(xiǎn)區(qū)）。預(yù)警信息記錄是安全管理人員確保隱患消除后進(jìn)行事后信息錄入，運(yùn)行日志統(tǒng)計(jì)會將所有預(yù)警信息放入數(shù)據(jù)庫進(jìn)行存儲和統(tǒng)計(jì)，方便安全管理人員進(jìn)行隱患統(tǒng)計(jì)分析，制定有針對性的隱患整改措施。

5? 結(jié)語

該預(yù)警監(jiān)測系統(tǒng)接入某礦視頻監(jiān)控后進(jìn)行為期一周試運(yùn)行，運(yùn)行期間共接入視頻監(jiān)控視頻流IP地址14個，進(jìn)行危險(xiǎn)場景煤礦工人侵入監(jiān)測，預(yù)警系統(tǒng)能夠做到精準(zhǔn)識別人員侵入行為。

本文僅是人工智能技術(shù)在煤礦生產(chǎn)活動中監(jiān)控方面的初步應(yīng)用，盡管利用 EasyDL平臺構(gòu)建礦井危險(xiǎn)區(qū)域人員監(jiān)測模型不能全面覆蓋所有違規(guī)行為，但基于EasyDL平臺構(gòu)建模型操作簡單，獲得的模型效果良好，為促進(jìn)人工智能在煤礦作業(yè)和人員行為監(jiān)控方面的應(yīng)用提出新的思路。

參考文獻(xiàn)

［1］孟遠(yuǎn)，謝東海，蘇波，等.2010—2019年全國煤礦生產(chǎn)安全事故統(tǒng)計(jì)與現(xiàn)狀分析［J］.礦業(yè)工程研究，2020（4）：27-33.

［2］LEE E J，KO B C，NAM J Y.Recognizing pedestrians unsafe behaviors in far-infrared imagery at night［J］.Infrared Physics & Technology，2016（3）：261-270.

［3］SHAHVERDY M，F(xiàn)ATHY M，BERANGI R，et al.Driver behavior detection and classification using deep convolutional neural networks［J］.Expert Systems with Applications，2020（7）：1-12.

［4］SANGUK H，SANGHYUU L.A vision-based motion capture and recognition framework for behavior-based safety management［J］.Automation in Construction，2013（11）：131-141.

［5］YU Y，GUO H L，DING Q，et al.An experimental study of real-time identification of construction workers unsafe behaviors［J］.Automation in Construction，2017（10）：193-206.

［6］FANG W，ZHONG B，ZHAO N，et al.A deep learming-based approach for mitigating falls from height with computer vision：Convolutional neural network［J］.Advanced Engineering Informatics，2019（1）：170-177.

［7］張明媛，曹天卓，趙雪峰.基于ANN識別施工人員跌落險(xiǎn)兆事故的研究［J］.安全與環(huán)境學(xué)報(bào)，2018（5）：1703-1710.

［8］韓豫，張涇杰，孫昊，等.基于圖像識別的建筑工人智能安全檢查系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)［J］.中國安全生產(chǎn)科學(xué)技術(shù)，2016（10）：142-148.

［9］趙江平，王垚.基于圖像識別技術(shù)的不安全行為識別［J］.安全與環(huán)境工程，2020（1）：158-165.

［10］張喜紅，王玉香.基于百度AI中藥材品鑒助手系統(tǒng)的設(shè)計(jì)［J］.新余學(xué)院學(xué)報(bào)，2019（2）：25-28.

［11］傅駿，傅馨竹，龍輝陽，等.人工智能技術(shù)輔助開發(fā)“智鑄”系統(tǒng)［J］.中小企業(yè)管理與科技，2020（1）：166-167.

［12］林宇.EasyDL在海洋生物分類中的應(yīng)用［J］.電子世界，2022（2）：164-165.

［13］賀歡歡，黃杰.基于EasyDL平臺視頻事件監(jiān)測系統(tǒng)在鐵路運(yùn)維中的應(yīng)用［J］.無線互聯(lián)科技，2020（8）：153-155.

［14］竺煒，王可.基于EasyDL提升回收卷煙包裝箱效率的功能實(shí)現(xiàn)［J］.數(shù)字技術(shù)與應(yīng)用，2021（4）：125-127.

［15］張連兆，徐惠東，李萍.定制化訓(xùn)練平臺Easy DL在菠蘿果實(shí)識別中的應(yīng)用［J］.無線互聯(lián)科技，2019（7）：131-132.

［16］孟海濤，王闖，王越.基于EasyDL樹木蟲害識別的人工智能實(shí)驗(yàn)演示系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)［J］.實(shí)驗(yàn)室研究與探索，2021（10）：72-76，102.

（編輯? 姚? 鑫）

Application of EasyDL in monitoring and early warning of coal miners

Hao? Cong1， Hao? Ting2， Deng? Lechen1， Liu? Wan1

（1.China Huadian Inner Mongolia Mengtai Buliangou Coal Industry Co.， Ltd.， Erdos 010300， China;

2.Xuhai College， China University of Mining and Technology， Xuzhou 221000， China）

Abstract： With the increasing development of artificial intelligence technology， in order to better reduce the workload of coal mine video surveillance personnel， ensure the safety of coal mine operators， and reduce accidents， this article designs a video monitoring and warning system based on EasyDL platform to address the risk of hazardous scene intrusion caused by the wearing of labor protection equipment by coal mine personnel. This system is based on the artificial intelligence EasyDL platform， and establishes a monitoring model for personal labor protection wear， entry into hazardous areas， on both sides of mobile devices in operation， and unsafe climbing and sitting positions. It identifies some illegal behaviors of coal miners， timely records and provides warnings. The application results of the early warning system indicate that the system can accurately identify violations and provide timely feedback， which helps to further ensure the safety of coal mine operators.

Key words： artificial intelligence; EasyDL; coal miners; safety