基于機(jī)器視覺的礦井作業(yè)人員行為監(jiān)測及違章識別系統(tǒng)*

游青山 冉霞

開發(fā)設(shè)計

基于機(jī)器視覺的礦井作業(yè)人員行為監(jiān)測及違章識別系統(tǒng)*

游青山1,2冉霞3,4

（1.重慶工程職業(yè)技術(shù)學(xué)院，重慶 402260 2.工業(yè)機(jī)器人與礦山智能裝備系統(tǒng)應(yīng)用重慶市高校工程中心，重慶 402260 3.中煤科工集團(tuán)重慶研究院有限公司，重慶 400039 4.瓦斯災(zāi)害監(jiān)控與應(yīng)急技術(shù)國家重點(diǎn)實(shí)驗室，重慶 400037）

礦井作業(yè)人員違章操作是礦井日常監(jiān)測的重點(diǎn)和難點(diǎn)。為解決目前人工監(jiān)測效率較低、范圍有限等問題，設(shè)計一種基于機(jī)器視覺的礦井作業(yè)人員行為監(jiān)測及違章識別系統(tǒng)。該系統(tǒng)采集礦井作業(yè)人員的個人信息，生成作業(yè)人員相對于現(xiàn)場工作崗位的違章概率及違章概率排名，并對排名滿足預(yù)設(shè)要求的人員進(jìn)行跟蹤監(jiān)測。經(jīng)礦井現(xiàn)場作業(yè)驗證，該系統(tǒng)實(shí)現(xiàn)了礦井作業(yè)人員違章操作的自動識別。

機(jī)器視覺；行為監(jiān)測；違章識別；礦井

0 引言

因礦井作業(yè)人員違章操作導(dǎo)致的安全事故時有發(fā)生，造成嚴(yán)重的人員傷亡和經(jīng)濟(jì)損失。因此，違章操作是礦井日常監(jiān)測的重點(diǎn)。目前，礦井監(jiān)測一般采用基于紅外傳感的礦井井下人員監(jiān)控系統(tǒng)，該系統(tǒng)存在以下不足：1）依靠人工判識礦井現(xiàn)場作業(yè)人員行為是否存在隱患和違章，缺乏自動判識技術(shù)及設(shè)備；2）無法進(jìn)行全方位監(jiān)測，產(chǎn)生監(jiān)測死角；3）易受監(jiān)控區(qū)域內(nèi)其他熱源物體干擾，影響監(jiān)測結(jié)果；4）無有效的告警機(jī)制等。亟待出現(xiàn)一種針對礦井人員行為監(jiān)測及違章的識別系統(tǒng)。

在國外，IBM和Microsoft等公司正逐步將基于視覺的手勢識別接口應(yīng)用于商業(yè)領(lǐng)域[1]；以色列ioimage公司的智能視頻設(shè)備得到業(yè)界廣泛認(rèn)可。在國內(nèi)，海康威視股份有限公司針對交通行業(yè)開發(fā)了違法取證系統(tǒng)，該系統(tǒng)通過視頻分析可對各種交通違法行為進(jìn)行取證[2]。北京寶獅視訊科技有限公司開發(fā)的礦井安全生產(chǎn)異常事件檢測報警系統(tǒng)，能實(shí)時檢測目標(biāo)區(qū)域發(fā)生的物體位移、人員跌倒、異物拋撒、人員闖入、值班員離崗等異常狀況，并自動報警[3]。中煤科工集團(tuán)研發(fā)了多種規(guī)格的礦用高清網(wǎng)絡(luò)攝像儀，具有簡單的人員越界、區(qū)域入侵等視頻分析功能。

但通過圖像識別人員違章行為鮮有研究。鑒此，筆者設(shè)計一種礦井作業(yè)人員行為監(jiān)測及違章識別系統(tǒng)，可解決現(xiàn)有基于紅外傳感的礦井井下人員監(jiān)控系統(tǒng)的不足。

1 系統(tǒng)設(shè)計

基于機(jī)器視覺的礦井作業(yè)人員行為監(jiān)測及違章識別系統(tǒng)包括紅外成像采集單元、數(shù)據(jù)中轉(zhuǎn)裝置單元、圖像處理傳輸單元和服務(wù)器單元，總體結(jié)構(gòu)框圖如圖1所示。

紅外成像采集單元布置了3個紅外熱成像儀，對礦井作業(yè)人員進(jìn)行圖像采集，采集后的熱成像數(shù)據(jù)上傳至數(shù)據(jù)中轉(zhuǎn)裝置單元；數(shù)據(jù)中轉(zhuǎn)裝置單元接收熱成像數(shù)據(jù)并進(jìn)行匯總后傳輸至圖像處理傳輸單元；圖像處理傳輸單元將熱成像數(shù)據(jù)進(jìn)行綜合處理，提取礦井作業(yè)人員紅外圖像，并通過遠(yuǎn)程傳輸裝置傳輸至服務(wù)器單元；服務(wù)器單元接收礦井作業(yè)人員紅外圖像后進(jìn)行監(jiān)控顯示、存儲、分析等處理。

圖1 基于機(jī)器視覺的礦井作業(yè)人員行為監(jiān)測及違章識別系統(tǒng)總體結(jié)構(gòu)框圖

1.1 紅外成像采集單元[4-5]

3個紅外熱成像儀可對監(jiān)控區(qū)域形成全方位無死角監(jiān)測，對煤礦監(jiān)控初步背景圖像進(jìn)行圖像增強(qiáng)處理，獲得圖像增強(qiáng)后的煤礦監(jiān)控背景圖像。

1.2 數(shù)據(jù)中轉(zhuǎn)裝置單元

數(shù)據(jù)中轉(zhuǎn)裝置單元接收3路紅外熱成像儀的視頻流，并利用時鐘模塊提供同步時鐘，同時為接收的3路熱成像數(shù)據(jù)打上同步時間戳，上傳至圖像處理傳輸單元。通過3路紅外熱成像數(shù)據(jù)的時間戳，圖像處理傳輸單元就能精確地對紅外熱成像數(shù)據(jù)進(jìn)行同步綜合處理。

1.3 圖像處理傳輸單元

圖像處理傳輸單元主要包括主處理、溫段提取、模型對比、動態(tài)校對和計時等模塊，原理框圖如圖2所示。

首先，主處理模塊合成3路熱成像圖像，建立三維熱成像圖像；然后，溫段提取模塊提取三維熱成像圖像中溫度范圍在35℃～38℃（人體溫度）的圖像，這樣可有效去除監(jiān)控區(qū)域內(nèi)其他溫段熱源物體的影響；接著，模型對比模塊將提取的圖像與預(yù)先建立的人體熱成像模型進(jìn)行對比分析，精確提取人員熱成像圖像；最后，動態(tài)校對模塊根據(jù)提取的人員熱成像圖像判定人員狀態(tài)，并將最終提取的人員熱成像圖與狀態(tài)判定結(jié)果傳輸至服務(wù)器。

圖2 圖像處理傳輸單元原理框圖

圖像處理傳輸單元連接人員數(shù)量校對模塊及告警模塊。其中，人員數(shù)量校對模塊與遠(yuǎn)程傳輸裝置連接，用于根據(jù)人員紅外圖像校對監(jiān)測人數(shù)，并向服務(wù)器發(fā)送監(jiān)測人數(shù)信息；告警模塊與遠(yuǎn)程傳輸裝置連接，用于向服務(wù)器發(fā)送告警信息。

1.4 服務(wù)器單元

服務(wù)器單元包括第一采集、第一分析、第二采集、第二分析、告警和疲勞檢測等模塊，如圖3所示。

圖3 服務(wù)器單元原理框圖

1.4.1 第一采集模塊[6]

第一采集模塊采集礦井作業(yè)人員個人信息，并存入數(shù)據(jù)庫。個人信息包括身高、體重、工號、礦井現(xiàn)場工作種類、崗位工作經(jīng)驗、工作服上的標(biāo)識、日常礦井現(xiàn)場行為記錄、違章記錄等。

1.4.2 第一分析模塊

第一分析模塊用于將第一采集模塊采集的信息進(jìn)行違章概率分析。礦井作業(yè)人員相對于現(xiàn)場工作崗位的違章概率計算公式為

式中，為作業(yè)人員相對于現(xiàn)場工作崗位的匹配度分值；為作業(yè)人員崗位工作經(jīng)驗信息分值；為作業(yè)人員日常礦井現(xiàn)場行為記錄信息分值為作業(yè)人員的違章記錄分值。

違章概率排名影響因素如表1所示。

表1 違章概率排名影響因素

1.4.3 第二采集模塊[6]

第二采集模塊采集進(jìn)入礦井的作業(yè)人員標(biāo)識信息，計算進(jìn)入礦井作業(yè)人員的現(xiàn)場工作崗位違章概率，并進(jìn)行排名；對排名靠前的預(yù)設(shè)數(shù)目作業(yè)人員進(jìn)行跟蹤監(jiān)測，獲得相應(yīng)的監(jiān)測圖像。

1.4.4 第二分析模塊

將第二采集模塊獲得的監(jiān)測圖像輸入礦井作業(yè)人員行為違章識別模型，識別礦井作業(yè)人員行為是否違章。具體實(shí)現(xiàn)方式為采集未違章的礦井作業(yè)人員行為圖像并進(jìn)行機(jī)器學(xué)習(xí)，提取礦井作業(yè)人員違章行為判別關(guān)鍵特征；利用人工智能、機(jī)器學(xué)習(xí)、圖像識別等方法，建立礦井作業(yè)人員行為違章識別模型。

1.4.5 告警模塊

在識別礦井作業(yè)人員存在違章行為時，告警模塊對相應(yīng)的作業(yè)人員發(fā)出告警。服務(wù)器向人員數(shù)量校對模塊和計時模塊分別發(fā)送設(shè)定的人員校對數(shù)量和告警時長。當(dāng)人員數(shù)量校對模塊校對的人員數(shù)量低于設(shè)定的數(shù)量，且持續(xù)時間達(dá)到設(shè)定告警時長時，說明有人員長時間處于監(jiān)控區(qū)域外，可能發(fā)生意外或擅離職守。人員數(shù)量校對模塊通過圖像處理傳輸模塊向告警模塊發(fā)出告警提示，告警模塊接收告警提示后向服務(wù)器發(fā)送告警信息。當(dāng)動態(tài)校對模塊監(jiān)測到有人員處于靜止?fàn)顟B(tài)的持續(xù)時間達(dá)到設(shè)定告警時長時，說明有人員可能發(fā)生意外，動態(tài)校對模塊向告警模塊發(fā)出告警提示，告警模塊接收告警提示后向服務(wù)器發(fā)送告警信息。

1.4.6 疲勞監(jiān)測模塊

疲勞監(jiān)測模塊監(jiān)測礦井作業(yè)人員是否處于疲勞狀態(tài)。基于采集的礦井現(xiàn)場作業(yè)人員行為，判斷礦井作業(yè)人員操作速率和持續(xù)工作時長是否滿足預(yù)設(shè)要求，若滿足則礦井作業(yè)人員為疲勞狀態(tài)。疲勞監(jiān)測流程圖如圖4所示。

圖4 疲勞監(jiān)測流程圖

2 系統(tǒng)功能

基于機(jī)器視覺的礦井作業(yè)人員行為監(jiān)測及違章識別系統(tǒng)具體功能如下：

1）實(shí)現(xiàn)帶式輸送機(jī)運(yùn)轉(zhuǎn)時危險區(qū)域人員入侵智能識別、抓拍、報警、聯(lián)動緊急停車等功能；

2）對礦車行進(jìn)過程中人員扒蹬礦車行為的智能識別、抓拍、報警等功能；

3）對違反“行車不行人”規(guī)定行為的智能識別、抓拍、報警等功能，如圖5所示。

3 人員違章識別結(jié)果驗證

將紅外成像采集單元布置在礦井下某固定地點(diǎn)，該點(diǎn)的環(huán)境實(shí)測狀態(tài)為：空氣溫度29℃、相對濕度95%、風(fēng)速0.9 m/s。采用3組不同數(shù)量的試驗人員在紅外成像采集單元識別區(qū)域內(nèi)進(jìn)行行為動作，驗證系統(tǒng)人員違章識別效果。綜合考慮礦井井下安全、試驗場地、試驗人員等相關(guān)因素，結(jié)合本系統(tǒng)現(xiàn)有能識別的典型違章動作特征，設(shè)計試驗如下：

1）試驗人員被告知試驗時可進(jìn)行相關(guān)的違章動作，但違章僅限于規(guī)定的時間、試驗地點(diǎn)以及典型違章動作；

2）利用系統(tǒng)自動識別違章狀態(tài)，并通過人工觀察監(jiān)視器同步復(fù)核；同時在試驗現(xiàn)場安排人員監(jiān)控試驗者；

3）第1組安排24名下井試驗者統(tǒng)一從某方向依次通過試驗區(qū)域，規(guī)定每名試驗者最多在區(qū)域內(nèi)活動30 s，并且在區(qū)域內(nèi)活動的試驗者不超過3名（受井下巷道所限，試驗區(qū)域內(nèi)活動人員一般不超過3名）；

4）第2組安排16名升井試驗者統(tǒng)一從另一方向依次通過試驗區(qū)域，規(guī)定每名試驗者最多在區(qū)域內(nèi)活動30 s，并且在區(qū)域內(nèi)活動的試驗者不超過3名；

5）第3組安排8名試驗者隨機(jī)依次通過試驗區(qū)域，規(guī)定每名試驗者最多在區(qū)域內(nèi)活動30 s，并且在區(qū)域內(nèi)活動的試驗者不超過3名；

6）分別比較3組系統(tǒng)與人工識別的違章情況，并驗證系統(tǒng)識別的精確性，驗證結(jié)果如表2所示。

由表2可見：與人工通過監(jiān)視器識別違章行為相比，系統(tǒng)能部分識別人員的違章行為；在違章識別率方面，當(dāng)人員數(shù)量較少時，系統(tǒng)識別準(zhǔn)確率達(dá)到100%，但在人員較多時，準(zhǔn)確率有所降低，存在少判、誤判等情況。其原因主要為違章動作不夠明顯。為提高機(jī)器違章的識別有效性，可加強(qiáng)對典型違章動作的機(jī)器學(xué)習(xí)，并對識別模型優(yōu)化。

表2 違章識別率對比

4 結(jié)語

本系統(tǒng)通過紅外熱成儀采集礦井作業(yè)人員圖像，并傳輸至服務(wù)器單元進(jìn)行處理，對是否違章進(jìn)行判斷；通過違章概率和疲勞監(jiān)測處理等措施，識別違章并分類，最終實(shí)現(xiàn)礦井作業(yè)人員違章自動識別。

[1] 嚴(yán)丹.應(yīng)用于嵌入式視頻監(jiān)控的碼本建模方法研究[D].成都:西華大學(xué),2014.

[2] 杭州?？低晹?shù)字技術(shù)股份有限公司.智能交通行業(yè)系統(tǒng)應(yīng)用解決方案[EB/OL].[2021-02-03]. http://hikvision.corp. dav01.com/article/2012/12/a14701.html.

[3] 北京寶獅視訊科技有限公司. 煤礦視頻監(jiān)控智能分析的預(yù)警系統(tǒng)技術(shù)方案[EB/OL].寶獅集團(tuán)網(wǎng), (2020-06-01) [2021-02-03].http://www.boservison.com/boser/hangye/2013-5-9/ 154.html.

[4] 韓治華,冉霞.一種煤礦監(jiān)控運(yùn)動目標(biāo)檢測方法:重慶市, CN109977842A[P].2019-07-05.

[5] 韓治華,王宏.基于熱成像煤礦井下人員監(jiān)控系統(tǒng):重慶市, CN109974860A[P].2019-07-05.

[6] 韓治華,游青山.一種煤礦現(xiàn)場人員行為監(jiān)測及違章智能識別系統(tǒng):重慶市,CN109977843A[P].2019-07-05.

Behavior Monitoring and Violation Recognition System of Mine Operators Based on Machine Vision

You Qingshan1,2Ran Xia3,4

(1.Chongqing Vocational Institute of Engineering, Chongqing 402260, China 2. Application of Industrial Robot and Mine Intelligent Equipment System in Chongqing Institute Engineering Center, 402260,China 3. China Coal Technology Engineering Group Chongqing Research Institute, Chongqing 400039,China 4. State Key Laboratory of Gas Disaster Monitoring and Emergency Technology, Chongqing 400037,China)

The illegal operation of mine operators is the key and difficult point of mine daily monitoring. In order to solve the problems of low efficiency and limited scope of manual monitoring, a mine operator behavior monitoring and violation recognition system based on machine vision is designed. The system collects the personal information of mine operators, generates the violation probability and violation probability ranking of operators relative to field jobs, and tracks and monitors the personnel whose ranking meets the preset requirements. The system has realized the automatic recognition of illegal operation of mine operators.

machine vision; behavior monitoring; violation identification; mine

游青山，男，1981年生，碩士，副研究員，主要研究方向：感知礦山、機(jī)器人技術(shù)、智能控制技術(shù)應(yīng)用。E-mail：youqingshan@163.com

TD67

A

1674-2605(2021)04-0005-05

10.3969/j.issn.1674-2605.2021.04.005

基金項目：重慶市教委項目（193428）；重慶市科技局自然基金（cstc2020jcyj-msxmX0793）；重慶市教委科學(xué)技術(shù)研究計劃項目（KJQN202003402）；重慶市應(yīng)急管理局項目（2019ZX021)。