基于AI圖像識(shí)別技術(shù)的架空乘人裝置智能控制系統(tǒng)設(shè)計(jì)及應(yīng)用

楊坤　張永福

摘要：目前國(guó)內(nèi)煤礦井下架空乘人裝置大多數(shù)實(shí)現(xiàn)了自動(dòng)或者半自動(dòng)控制，但大部分沒有實(shí)現(xiàn)智能控制，鑒于此，設(shè)計(jì)了一套基于AI圖像識(shí)別技術(shù)的架空乘人裝置智能控制系統(tǒng)，詳細(xì)介紹了系統(tǒng)組成、系統(tǒng)設(shè)計(jì)和功能，利用AI圖像識(shí)別技術(shù)對(duì)上下乘車點(diǎn)、乘車沿途進(jìn)行圖像智能識(shí)別分析，并與控制系統(tǒng)聯(lián)動(dòng)，有效防范了運(yùn)送人員過(guò)程中的不安全因素，實(shí)現(xiàn)了架空乘人裝置安全運(yùn)行、無(wú)人值守運(yùn)行。實(shí)踐證明，該系統(tǒng)運(yùn)行穩(wěn)定，實(shí)現(xiàn)了架空乘人裝置的智能運(yùn)行。

關(guān)鍵詞：架空乘人裝置;AI圖像識(shí)別技術(shù);智能控制;無(wú)人值守

0 引言

近年來(lái)，我國(guó)從政府層面先后出臺(tái)了一系列政策和規(guī)劃，大力推進(jìn)煤礦智能化建設(shè)[1]，實(shí)現(xiàn)井下作業(yè)人員的少人化和無(wú)人化，提升煤礦本質(zhì)安全水平，而其中人工智能是智能煤礦建設(shè)的關(guān)鍵技術(shù)，在實(shí)現(xiàn)架空乘人系統(tǒng)無(wú)人值守中發(fā)揮著重要作用。架空乘人裝置是煤礦井下常用的輔助運(yùn)輸設(shè)備之一，主要用于運(yùn)輸井下人員，節(jié)省人員非必要的體力消耗。目前國(guó)內(nèi)煤礦井下大多數(shù)架空乘人裝置已實(shí)現(xiàn)自動(dòng)或者半自動(dòng)控制，即可以做到定時(shí)開停架空乘人裝置或安排井下值班人員開停架空乘人裝置，但無(wú)法做到工人到上車點(diǎn)自動(dòng)啟動(dòng)架空乘人裝置，下車后自動(dòng)停止架空乘人裝置;同時(shí)，在人員安全保障[2]方面僅僅局限于越位保護(hù)、急停保護(hù)、斷繩保護(hù)、語(yǔ)音報(bào)警等，無(wú)法對(duì)乘車過(guò)程中的人員行為進(jìn)行實(shí)時(shí)監(jiān)控。為了實(shí)現(xiàn)架空乘人裝置的智能運(yùn)行，本文提出了基于AI圖像識(shí)別技術(shù)的架空乘人裝置智能控制系統(tǒng)設(shè)計(jì)。

1 系統(tǒng)組成

如圖1所示，基于AI圖像識(shí)別技術(shù)的架空乘人裝置智能控制系統(tǒng)主要由監(jiān)控中心、數(shù)據(jù)傳輸、現(xiàn)場(chǎng)監(jiān)控等組成。

1.1? ? 監(jiān)控中心

部署在地面集控中心，包括工控機(jī)、顯示器、報(bào)警裝置等硬件設(shè)備及配套軟件，顯示部分分為自動(dòng)化監(jiān)控和圖像監(jiān)控兩部分。自動(dòng)化監(jiān)控部分可以實(shí)時(shí)監(jiān)視架空乘人裝置系統(tǒng)數(shù)據(jù)，實(shí)時(shí)顯示緊急停機(jī)區(qū)域、過(guò)乘急停保護(hù)區(qū)域、鋼絲繩托槽保護(hù)、沿線急停閉鎖等及故障位置、電機(jī)電流、溫度等數(shù)據(jù);可控制架空乘人裝置的啟停和故障緊急停車;同時(shí)，具備操作記錄和故障記錄查詢功能、數(shù)據(jù)曲線分析等功能。圖像監(jiān)控部分可以實(shí)時(shí)顯示監(jiān)控圖像，可以顯示圖像智能分析及報(bào)警畫面，具備報(bào)警圖片和報(bào)警短視頻截取、存儲(chǔ)功能。

1.2? ? 數(shù)據(jù)傳輸

可以利用礦井工業(yè)以太網(wǎng)[2]、F5G網(wǎng)絡(luò)或5G/Wi-Fi 6等信息網(wǎng)絡(luò)進(jìn)行數(shù)據(jù)傳輸。

1.3? ? 現(xiàn)場(chǎng)監(jiān)控

現(xiàn)場(chǎng)監(jiān)控包括：（1）自動(dòng)控制系統(tǒng);（2）AI圖像識(shí)別控制系統(tǒng);（3）智能聯(lián)動(dòng)系統(tǒng)。

自動(dòng)控制系統(tǒng)：實(shí)現(xiàn)架空乘人裝置的設(shè)備參數(shù)采集、保護(hù)接入和設(shè)備控制;具備閉鎖邏輯控制，可根據(jù)接收到的信號(hào)自動(dòng)啟停，采用主控器PLC作為控制單元[3]。

AI圖像識(shí)別控制系統(tǒng)和智能聯(lián)動(dòng)系統(tǒng)：主要實(shí)現(xiàn)各類場(chǎng)景的圖像識(shí)別，并與控制系統(tǒng)進(jìn)行聯(lián)動(dòng)，實(shí)現(xiàn)架空乘人裝置的安全高效運(yùn)行。

2 AI識(shí)別算法介紹

在架空乘人裝置的上車點(diǎn)、下車點(diǎn)以及沿線安裝AI智能攝像儀，根據(jù)攝像儀捕捉的畫面，利用視頻處理的方法基于設(shè)定場(chǎng)景對(duì)畫面進(jìn)行智能識(shí)別分析。

如圖2所示，AI圖像智能識(shí)別主要流程如下：（1）提取攝像儀輸出的視頻幀;（2）根據(jù)提取的視頻幀，劃定檢測(cè)識(shí)別區(qū)域;（3）預(yù)處理檢測(cè)區(qū)域的圖像;（4）邊緣提取處理后的圖像特征，與樣本庫(kù)特征進(jìn)行比對(duì)，并輸出檢測(cè)識(shí)別結(jié)果。

預(yù)處理：主要分為圖像灰度化和濾波。檢測(cè)區(qū)域的圖像為三通道RGB彩色圖像，首先要對(duì)其進(jìn)行灰度化，將其從彩色圖轉(zhuǎn)換成灰度圖;其次要對(duì)灰度圖進(jìn)行濾波處理，用來(lái)去除圖像中的噪點(diǎn)、黑斑和無(wú)關(guān)因子。

AI智能識(shí)別算法：采用結(jié)構(gòu)化圖像分析處理技術(shù)，涉及圖像采集、目標(biāo)檢測(cè)、目標(biāo)跟蹤、屬性分類、目標(biāo)軌跡分析、圖像疊加、編碼、RTSP推流等。核心目標(biāo)識(shí)別算法采用人工智能領(lǐng)域中卷積神經(jīng)網(wǎng)絡(luò)與全連接層構(gòu)建技術(shù)，通過(guò)采用一體化卷積網(wǎng)絡(luò)檢測(cè)算法，把整張圖像作為數(shù)據(jù)輸入，通過(guò)一次前向傳播得到目標(biāo)的定位位置和目標(biāo)類別，然后再采用RPN的多參考窗口技術(shù)，進(jìn)一步在多個(gè)分辨率不同特征圖上進(jìn)行識(shí)別檢測(cè)。采用高級(jí)的跟蹤算法，通過(guò)預(yù)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)模型提取目標(biāo)物理特性，通過(guò)該模型計(jì)算每個(gè)目標(biāo)的外觀特征值，然后計(jì)算前后兩幀中目標(biāo)計(jì)算特征值之間的“余弦距離”來(lái)比較兩個(gè)目標(biāo)的相似度，實(shí)現(xiàn)有效識(shí)別和分析。

3 AI圖像識(shí)別控制系統(tǒng)設(shè)計(jì)和功能

AI圖像識(shí)別控制系統(tǒng)，通過(guò)實(shí)時(shí)讀取場(chǎng)景行為視頻數(shù)據(jù)，基于深度學(xué)習(xí)、視頻大數(shù)據(jù)分析和計(jì)算機(jī)視覺目標(biāo)跟蹤等技術(shù)，有效識(shí)別人員進(jìn)入?yún)^(qū)域或闖入危險(xiǎn)區(qū)域、未佩戴安全帽、乘距等。首先需要完成樣本視頻中行為事件的標(biāo)注;其次完成基于行為事件標(biāo)注數(shù)據(jù)的模型訓(xùn)練;然后對(duì)訓(xùn)練完成的模型進(jìn)行測(cè)試和優(yōu)化;最后完成行為事件識(shí)別的接口開發(fā)，返回視頻中行為事件識(shí)別的檢測(cè)結(jié)果。

AI圖像識(shí)別控制系統(tǒng)的架構(gòu)包括圖像智能分析、系統(tǒng)聯(lián)動(dòng)和效果展示。圖像智能分析主要由圖像采集單元、智能分析檢測(cè)單元、就地報(bào)警單元等組成;系統(tǒng)聯(lián)動(dòng)由網(wǎng)絡(luò)傳輸、信號(hào)傳遞和設(shè)備控制單元組成;效果展示是AI圖像識(shí)別控制系統(tǒng)識(shí)別效果的最終呈現(xiàn)，同時(shí)負(fù)責(zé)業(yè)務(wù)數(shù)據(jù)存儲(chǔ)轉(zhuǎn)發(fā)、報(bào)警信息推送、報(bào)警錄像存儲(chǔ)及回放。

3.1? ? 定義報(bào)警和控制規(guī)則

根據(jù)系統(tǒng)應(yīng)用需求，視頻分析檢測(cè)人員、乘距、人員行為等情況，以實(shí)現(xiàn)對(duì)人員安全的保護(hù)。根據(jù)視頻分析結(jié)果定義如下規(guī)則。

報(bào)警規(guī)則：根據(jù)預(yù)設(shè)的場(chǎng)景識(shí)別功能，識(shí)別結(jié)果包括是或否;識(shí)別后智能攝像儀就地語(yǔ)音報(bào)警，地面軟件進(jìn)行存儲(chǔ)記錄。

控制及聯(lián)動(dòng)規(guī)則：智能攝像儀通過(guò)以太網(wǎng)通信輸出數(shù)據(jù)到自動(dòng)控制系統(tǒng)或通過(guò)攝像儀的干接點(diǎn)直接控制架空乘人裝置停車。

智能攝像儀內(nèi)置AI智能處理芯片，采用AI智能算法圖像語(yǔ)義分割技術(shù)，對(duì)移動(dòng)的物體進(jìn)行邊緣提取，找出各類物體的區(qū)域，從而進(jìn)行智能識(shí)別;具備報(bào)警開關(guān)量輸出功能，具備RS485串口通信功能，支持標(biāo)準(zhǔn)的Modbus協(xié)議。通過(guò)此協(xié)議智能攝像儀可以與主控器PLC相互通信，從而實(shí)現(xiàn)數(shù)據(jù)對(duì)接、系統(tǒng)聯(lián)動(dòng)。

3.2? ? 主要應(yīng)用場(chǎng)景及功能

3.2.1? ? 人員識(shí)別

基于深度學(xué)習(xí)的檢測(cè)算法，對(duì)上車點(diǎn)、下車點(diǎn)、變坡點(diǎn)以及沿線關(guān)鍵區(qū)域進(jìn)行人員識(shí)別檢測(cè)，識(shí)別后可與控制系統(tǒng)聯(lián)動(dòng)。即人員到上車點(diǎn)后，能自動(dòng)識(shí)別，實(shí)現(xiàn)自動(dòng)啟動(dòng)架空乘人裝置;到下車點(diǎn)后，如果人員未下車則自動(dòng)停車;在變坡點(diǎn)及沿線關(guān)鍵區(qū)域，進(jìn)行實(shí)時(shí)監(jiān)控，結(jié)合計(jì)算機(jī)視覺目標(biāo)檢測(cè)算法，當(dāng)指定區(qū)域有人體出現(xiàn)時(shí)，進(jìn)行報(bào)警。

3.2.2? ? 乘距識(shí)別與聯(lián)動(dòng)

主要對(duì)上車階段的乘車距離進(jìn)行識(shí)別，一旦識(shí)別到乘車距離過(guò)近時(shí)，AI攝像儀自動(dòng)報(bào)警。乘距可設(shè)置報(bào)警距離和停車距離，根據(jù)設(shè)置距離判斷是否自動(dòng)停車。

3.2.3? ? 人員行為識(shí)別與聯(lián)動(dòng)

主要對(duì)人員是否佩戴安全帽、是否攜帶超長(zhǎng)/超高物品，使用人工智能方法，對(duì)監(jiān)測(cè)區(qū)域進(jìn)行全天候監(jiān)視，對(duì)未佩戴安全帽或攜帶超限物品等行為及時(shí)發(fā)現(xiàn)并上報(bào)，做到及時(shí)發(fā)現(xiàn)、主動(dòng)報(bào)警、必要時(shí)停車。

3.2.4? ? 人數(shù)統(tǒng)計(jì)

對(duì)上車點(diǎn)區(qū)域進(jìn)行監(jiān)測(cè)，當(dāng)監(jiān)測(cè)區(qū)域內(nèi)人員超出設(shè)定人員數(shù)量時(shí)，可自動(dòng)報(bào)警，就地提醒擁擠人員，閾值可靈活設(shè)置。

4 結(jié)語(yǔ)

隨著礦井“新基建”[4]的不斷推進(jìn)，人工智能技術(shù)必將在智能化煤礦建設(shè)中發(fā)揮重大作用?；贏I圖像識(shí)別技術(shù)的架空乘人裝置智能控制系統(tǒng)，其核心技術(shù)是人工智能圖像識(shí)別，核心目的是保障人身安全，實(shí)現(xiàn)手段是系統(tǒng)聯(lián)動(dòng)，最終目標(biāo)是實(shí)現(xiàn)系統(tǒng)的無(wú)人值守、智能化運(yùn)行。該系統(tǒng)已在平煤股份十一礦得到應(yīng)用，實(shí)踐表明系統(tǒng)運(yùn)行穩(wěn)定可靠，值得推廣應(yīng)用。

[參考文獻(xiàn)]

[1] 孫繼平.煤礦物聯(lián)網(wǎng)特點(diǎn)與關(guān)鍵技術(shù)研究[J].煤炭學(xué)報(bào)，2011，36（1）：167-171.

[2] 黃濤，肖仁喜.礦用架空乘人保護(hù)裝置及安全設(shè)施[J].煤礦機(jī)電，2020，41（2）：92-95.

[3] 張漢燾.基于物聯(lián)網(wǎng)的架空乘人裝置無(wú)人值守系統(tǒng)的應(yīng)用[J].機(jī)械管理開發(fā)，2019，34（8）：214-215.

[4] 劉峰，王世雅.清楚認(rèn)識(shí)我國(guó)煤礦智能化發(fā)展進(jìn)程[N].中國(guó)煤炭報(bào)，2020-11-21（004）.

收稿日期：2021-08-20

作者簡(jiǎn)介：楊坤（1984—），男，河南平頂山人，工程師，主要從事煤礦智能化、信息化相關(guān)工作。