露天礦山智能視頻識別系統(tǒng)平臺應(yīng)用研究

曲業(yè)明，付恩三，孫寶志，趙 浩，王 剛，夏慶宇

（1.內(nèi)蒙古吉林郭勒二號露天煤礦有限公司，內(nèi)蒙古 錫林浩特 026200；2.遼寧工程技術(shù)大學(xué)，遼寧 阜新 123000；3.應(yīng)急管理部信息研究院，北京 100029；4.應(yīng)急管理部研究中心，北京 100013；5.神華銷售集團(tuán)東北能源貿(mào)易有限公司，黑龍江 哈爾濱 150000）

隨著露天煤礦生產(chǎn)能力的逐步提高，爆破、剝離、采煤、排土等工藝環(huán)節(jié)逐步發(fā)展，礦山大型設(shè)備數(shù)量逐年增加，一系列配套設(shè)施設(shè)備的投入使用，使得露天礦山開采系統(tǒng)變得復(fù)雜化[1]。隨著礦山經(jīng)營模式的改變，參與礦山工程作業(yè)中本單位、外委單位的設(shè)備、人員交叉作業(yè)頻率增大，作業(yè)范圍重疊區(qū)域變多，人機交互作業(yè)環(huán)節(jié)增加，機械化程度增強，這些都給露天礦山生產(chǎn)帶來新的安全風(fēng)險[2-3]。如何通過智能視頻識別的手段，來對露天礦山的各個生產(chǎn)環(huán)節(jié)進(jìn)行智能管控，具有重要的意義[4-5]。目前，國內(nèi)大型露天礦山已在生產(chǎn)辦公區(qū)、機修車間、選煤廠、炸藥庫等關(guān)鍵位置部署了高清視頻攝像頭，實現(xiàn)各類關(guān)鍵地點視頻信息接入及實時調(diào)閱。但當(dāng)發(fā)生違章等異常行為時，需要完依靠露天礦山安全管理人員進(jìn)行事后人工識別，導(dǎo)致取證過程中，需要調(diào)閱的大量視頻信息，過程繁瑣，識別周期長，工作量大，耗費大量的人力物力，并且由于人的視覺疲勞等主要因素影響，違章片段很容易被忽略，導(dǎo)致違章行為識別準(zhǔn)確率低，不能實現(xiàn)實時違章信息的智能識別，發(fā)生各類安全隱患后，各類報警處置信息聯(lián)動不及時。

付文俊[6]等針對煤礦工業(yè)監(jiān)控系統(tǒng)不能通過視頻圖像進(jìn)行分析處理和判斷預(yù)警等問題，提出全礦井煤礦安全智能視頻系統(tǒng)，進(jìn)而在實現(xiàn)“看”和“存”的需求上滿足“管”的需求；趙俊杰[7]等為解決燃煤火力發(fā)電廠生產(chǎn)中精準(zhǔn)監(jiān)控的問題，基于大數(shù)據(jù)分析和深度神經(jīng)網(wǎng)絡(luò)，開發(fā)視頻數(shù)據(jù)AI 識別預(yù)警系統(tǒng)，成功應(yīng)用于國電東勝熱電公司，提高了安全風(fēng)險管控和應(yīng)急處置能力。露天礦山通過探索創(chuàng)新，充分利用人工智能在圖像識別、深度學(xué)習(xí)等領(lǐng)域的優(yōu)勢，構(gòu)建露天礦山智能違章視頻識別系統(tǒng)平臺。針對露天礦現(xiàn)場常見的膠帶堆煤、破碎站大塊卡死、調(diào)度室脫崗離崗、操作工人違章操作、駕駛司機接打電話、儲煤場自然發(fā)火、變電站煙火故障、區(qū)域入侵等現(xiàn)象，及時、精準(zhǔn)、自動推送報警，提高露天礦山生產(chǎn)過程的安全風(fēng)險管控和應(yīng)急處置能力[6-10]。

1 露天礦異常狀態(tài)場景研究

針對露天礦山異常狀態(tài)場景主要面向露天礦山安全生產(chǎn)過程中人的不安全行為和物的不安全狀態(tài)2 個方面。露天礦山人的不安全行為主要集中在從業(yè)人員的違章行為，物的不安全狀態(tài)主要集中在礦山設(shè)備的運行狀態(tài)。為實現(xiàn)露天礦山智能管控，需在露天礦關(guān)鍵的位置點部署高清攝像頭。露天礦高清攝像頭部署空間位置如圖1。

圖1 露天礦攝像頭部署位置

1.1 露天礦帶式輸送機異常狀態(tài)識別

隨著露天礦開采深度的逐步加大、運距的增加，露天礦山帶式輸送機運輸優(yōu)勢逐漸凸顯。由于長距離的帶式輸送機運輸，日常的帶式輸送機巡檢工作就顯得尤為重要。帶式輸送機運煤的過程中常常出現(xiàn)在轉(zhuǎn)載點堆煤、膠帶跑偏等異常狀態(tài)，如若不能及時發(fā)現(xiàn)異常狀態(tài)，將對露天礦山生產(chǎn)帶來影響。露天礦帶式輸送機異常狀態(tài)識別主要包括：膠帶堆煤、膠帶著火、膠帶跑偏、膠帶異物、膠帶空轉(zhuǎn)以及人員跨越帶式輸送機等主要異常狀態(tài)。為實現(xiàn)對露天礦帶式輸送機異常狀態(tài)的識別，需要在帶式輸送機轉(zhuǎn)載點、帶式輸送機運行中心處、帶式輸送機安全界限周圍安裝部署視頻攝像頭，將上述視頻流通過礦山內(nèi)網(wǎng)傳輸至智能視頻分析服務(wù)器，來實現(xiàn)對帶式輸送機異常狀態(tài)的實時智能識別。

1.2 人員勞保用品佩戴識別

露天礦山從業(yè)人員應(yīng)嚴(yán)格按照相關(guān)規(guī)程、規(guī)范進(jìn)行操作作業(yè)，防止發(fā)生人身事故。根據(jù)露天礦山多起事故類型，結(jié)合露天礦山智能視頻識別系統(tǒng)，歸納總結(jié)如下幾種違章行為涵蓋：安全帽識別、防塵口罩識別、絕緣手套識別、高空作業(yè)安全帶識別、焊接防護(hù)面具識別等場景。根據(jù)上述識別場景，需要將高清攝像頭部署在上述人員作業(yè)區(qū)域，例如：配電柜上方需要部署攝像頭，角度能清晰獲取電工是否佩戴絕緣手套進(jìn)行配電箱操作；焊接車間焊接區(qū)域上方部署高清攝像頭。當(dāng)發(fā)生異常行為后，系統(tǒng)自動報警，融合車間語音廣播系統(tǒng)，智能干擾從業(yè)人員的違規(guī)行為，防范發(fā)生違章事故。

1.3 駕駛?cè)藛T違章行為識別

露天礦山主要以間斷工藝和半連續(xù)工藝為主，礦山大量的運輸卡車參與礦巖運輸工作，駕駛司機的違規(guī)行為時有發(fā)生，是導(dǎo)致露天礦山運輸事故的主要原因。目前，國內(nèi)大型露天礦山在駕駛室安裝了行車記錄儀以及視頻監(jiān)控系統(tǒng)，但僅作為事后調(diào)查取證，需要調(diào)查人員將車載視頻拷貝后，進(jìn)行查找證據(jù)。因此，將駕駛司機違章識別算法嵌入攝像頭前端，實現(xiàn)對司機接打電話、瞌睡、未系安全帶、閉眼、抽煙等行為進(jìn)行智能識別。利用露天礦山網(wǎng)絡(luò)，將違章視頻片段上傳至視頻系統(tǒng)平臺，智能干預(yù)司機違章行為，防止發(fā)生礦山運輸安全事故。

1.4 其他異常狀態(tài)識別

在露天礦山的其他關(guān)鍵位置，例如：調(diào)度室、儲煤倉、破碎站、帶式輸送機車間、滑坡區(qū)等位置部署高清攝像頭，實現(xiàn)區(qū)域入侵、破碎站區(qū)域車輛聚集、脫崗離崗、儲煤倉煙火、采掘設(shè)備近距離作業(yè)、焊接作業(yè)無滅火器、帶式輸送機車間運行清浮煤、破碎站卡塊等異常狀態(tài)，通過智能視頻識別的方式，實現(xiàn)快速感知，智能處置。

2 智能視頻識別流程及關(guān)鍵技術(shù)

露天礦山智能視頻識別涉及到的關(guān)鍵技術(shù)包括：數(shù)據(jù)的標(biāo)注、模型的選擇和訓(xùn)練，模型推理、視頻圖像處理技術(shù)、目標(biāo)檢測以及相應(yīng)的視頻接入?yún)f(xié)議等關(guān)鍵內(nèi)容。推理邏輯如圖2。

圖2 推理邏輯圖

2.1 視頻圖像預(yù)處理技術(shù)

露天礦特定場景下視頻圖像預(yù)處理的目的是為了圖像能夠更好地為露天礦山違章場景識別服務(wù)，以提高視頻圖像識別的準(zhǔn)確率[11]。目前，在其他行業(yè)領(lǐng)域中，視頻圖像預(yù)處理的過程，通常采用方法：對彩色三通道圖像進(jìn)行灰度化處理、二值化處理等；與此同時，采用低通濾波、均值濾波、中值濾波和直方圖歸一化等平滑處理方法來降低圖像成像過程中的噪聲影響，通過采用高通濾波器處理和拉普拉斯算子算法對圖像特征進(jìn)行處理，對圖像進(jìn)行邊界檢測、邊緣檢測、區(qū)域連接等技術(shù)處理[12]。

1）圖像編碼壓縮技術(shù)。由于露天礦山網(wǎng)絡(luò)帶寬有限，需要均衡對視頻圖像的傳輸通道資源的占用比率。需要采用新的技術(shù)手段來降低視頻數(shù)據(jù)對帶寬的高強度占用，因此提出采用圖像編碼壓縮技術(shù)，降低圖像、視頻傳輸、處理時間等方面對存儲器容量的占用。采用圖像編碼壓縮技術(shù)后，必須保證圖像的不失真，否則，數(shù)據(jù)無法正常使用[13]。

2）圖像特征描述技術(shù)。圖像特征描述使用相應(yīng)的特征算法，對圖像中的所有物體進(jìn)行特征描述。將圖像分成小的連通區(qū)域，然后采集連通區(qū)域中各像素點的梯度或邊緣的方向直方圖，實現(xiàn)對圖像關(guān)鍵信息的直觀描述。

3）圖像增強和復(fù)原技術(shù)。圖像增強和復(fù)原的目的是為了提高圖像的質(zhì)量，去除圖像噪聲，提高圖像的清晰度。圖像復(fù)原，需要根據(jù)降質(zhì)過程建立“降質(zhì)模型”，再采用相應(yīng)的濾波方法，以此來恢復(fù)或重建原來的圖像。

4）人工智能AI 模型。人工智能AI 模型的構(gòu)建過程是對訓(xùn)練集打上相應(yīng)的標(biāo)簽，通過深度學(xué)習(xí)模型進(jìn)行訓(xùn)練，生成相應(yīng)的模型文件。最后將通過訓(xùn)練學(xué)習(xí)的模型數(shù)據(jù)，與模型文件里的數(shù)據(jù)相比對，并將比對所產(chǎn)生的差異，使用歐幾里德距離公式、歸一化評分函數(shù)進(jìn)行量化。反復(fù)重復(fù)上述過程，逐步調(diào)整模型參數(shù)，最后得出相應(yīng)的AI 模型算法。

3.2 視頻識別關(guān)鍵點

1）目標(biāo)檢測。目標(biāo)檢測判斷一張圖片里的物體種類，同時確定各物體分別在圖片中的位置。一般包括目標(biāo)分類和目標(biāo)定位2 個子任務(wù)。

2）目標(biāo)跟蹤。目標(biāo)跟蹤在給定某視頻序列初始幀的目標(biāo)大小與位置的情況下，預(yù)測后續(xù)幀中該目標(biāo)的大小與位置，可分為單目標(biāo)跟蹤與多目標(biāo)跟蹤。

3）目標(biāo)分割。圖像語義分割是圖像處理和是機器視覺技術(shù)中關(guān)于圖像理解的重要一環(huán)，也是AI 領(lǐng)域中一個重要的分支。語義分割即是對圖像中每一個像素點進(jìn)行分類，確定每個點的類別（如屬于背景、人或車等），從而進(jìn)行區(qū)域劃分[14]。目前，主流的圖像語義分割方法都是基于深度學(xué)習(xí)的框架來設(shè)計，結(jié)合著露天礦山領(lǐng)域，圖像語義分割技術(shù)主要實現(xiàn)對露天礦山皮帶設(shè)備、人員安全作業(yè)、人員安全用品佩戴等方面的視頻圖像進(jìn)行分類。提高計算機對露天礦山的特定違章場景進(jìn)行識別和認(rèn)知水平，提高視頻識別技術(shù)在露天礦山的高級應(yīng)用。

4）數(shù)據(jù)標(biāo)注。采用專用的數(shù)據(jù)標(biāo)注軟件對相應(yīng)的數(shù)據(jù)進(jìn)行標(biāo)注，主要標(biāo)注目標(biāo)的檢測類別和對應(yīng)的檢測框坐標(biāo)。

5）模型選擇和訓(xùn)練。根據(jù)露天礦山的違章行為的建設(shè)內(nèi)容及違章的行為，構(gòu)建合適的模型。初步選定模型之后，根據(jù)需要對標(biāo)注后的文件進(jìn)行預(yù)處理，然后用預(yù)處理后的文件訓(xùn)練模型。在模型訓(xùn)練的過程中，多次對初步得到的模型進(jìn)行各項指標(biāo)的測試。根據(jù)測試結(jié)果，調(diào)整模型的相關(guān)參數(shù)。從而最終得到滿足項目需求的模型。

6）模型推理。對得到訓(xùn)練好的模型由系統(tǒng)調(diào)度實現(xiàn)數(shù)據(jù)流的輸入、模型的部署推理過程，并將模型識別推理結(jié)果進(jìn)行返回輸出，同時配合系統(tǒng)其他功能模塊進(jìn)行識別結(jié)果的統(tǒng)計、展示、存儲等操作。

4 實例研究

國內(nèi)某露天礦山為實現(xiàn)對露天礦山運輸設(shè)備駕駛?cè)藛T的違章行為進(jìn)行智能管理，建設(shè)車輛智能識別系統(tǒng)。該礦目前共有100 余輛運輸卡車在露天礦坑內(nèi)運行，并且所有車輛內(nèi)部均部署了視頻攝像頭，固定地點共有787 路視頻。礦坑內(nèi)已經(jīng)部署4G 基站，實現(xiàn)數(shù)據(jù)的實時上傳。每個基站目前可實現(xiàn)上傳帶寬20 M，主要用于傳輸露天煤礦基礎(chǔ)生產(chǎn)數(shù)據(jù)。目前露天礦坑采場內(nèi)部已實現(xiàn)4G 網(wǎng)絡(luò)全覆蓋。為實現(xiàn)對露天礦山駕駛司機的違章行為進(jìn)行實時管控，提出構(gòu)建露天礦山智能視頻識別系統(tǒng)。

4.1 智能識別系統(tǒng)平臺架構(gòu)

露天礦山智能識別系統(tǒng)平臺基于“云邊融合”理念為基礎(chǔ)的AI 云，即通過對圖片的學(xué)習(xí)，加上深度算法，可以實現(xiàn)對圖片、視頻進(jìn)行前端與后端相結(jié)合的智能視頻識別+云端服務(wù)器。系統(tǒng)架構(gòu)以“感、知、用”為主要切入點，提出了“感知邊緣計算、數(shù)據(jù)支撐平臺、系統(tǒng)行業(yè)應(yīng)用”新主線，通過邊緣節(jié)點、數(shù)據(jù)平臺和云中心來實現(xiàn)露天礦山智能識別系統(tǒng)的建設(shè)。

4.2 智能識別系統(tǒng)功能應(yīng)用

1）數(shù)據(jù)分析。系統(tǒng)軟件平臺可以通過折線圖的方式，統(tǒng)計分析某一時間段內(nèi)車輛報警趨勢；系統(tǒng)軟件平臺可以通過餅圖的方式，展示報警類型統(tǒng)計結(jié)果；系統(tǒng)軟件平臺可以通過列表排序的方式，對所有車輛進(jìn)行行車?yán)锍谭治?；系統(tǒng)軟件平臺可以通過折線圖的方式，對車輛上線/離線率進(jìn)行分析；系統(tǒng)可以通過建立高危排行榜的方式，對駕駛員進(jìn)行評分。

2）報警查詢。系統(tǒng)軟件平臺支持多維度的報警信息查詢：包括支持對車牌號、司機姓名、機構(gòu)名稱等關(guān)鍵字的信息查詢；包括支持對不同周期內(nèi)各類報警信息的統(tǒng)計查詢；包括支持根據(jù)報警的風(fēng)險等級進(jìn)行報警信息查詢；同時支持模糊查詢。查詢出的報警信息包括：車牌號信息、司機姓名、所屬機構(gòu)、違章類型、風(fēng)險等級、報警時間、車速、駕駛證照、司機黑名單以及處置結(jié)果等內(nèi)容。系統(tǒng)軟件平臺可對查詢出的包括報警車輛基本信息、駕駛員基本信息、違章行為圖片及視頻信息進(jìn)行查閱及下載。

3）視頻調(diào)閱。系統(tǒng)軟件平臺可實現(xiàn)對駕駛車輛的實時進(jìn)行實時調(diào)閱，同時，可實現(xiàn)對違章報警數(shù)據(jù)的實時看看，支持視頻數(shù)據(jù)的下載導(dǎo)出功能。

4）參數(shù)綁定。通過車載主機上的網(wǎng)絡(luò)與終端設(shè)備連接，從而對終端設(shè)備上的功能參數(shù)進(jìn)行配置，主要用于輔助安裝終端設(shè)備及終端設(shè)備的后期調(diào)校。

綜上所述，該系統(tǒng)上線運行使用后，實現(xiàn)了對駕駛員違章行為的實時監(jiān)管，實現(xiàn)對違章行為的超前干預(yù)，降低了事故發(fā)生的概率。

5 結(jié)語

1）通過搜集露天礦山各類違章視頻片段和圖片，構(gòu)建深度學(xué)習(xí)模型，對露天礦山違章行為進(jìn)行自學(xué)習(xí)分析，實現(xiàn)對駕駛員接打電話識別、重要崗位脫崗離崗、破碎站故障、皮帶故障等異常狀態(tài)的識別。

2）利用露天礦山的端部高清攝像頭，利用礦山自建的4G、5G 網(wǎng)絡(luò)系統(tǒng)，實現(xiàn)視頻數(shù)據(jù)的上傳，在云平臺進(jìn)行違章行為分析，構(gòu)建露天礦山違章行為系統(tǒng)平臺，實現(xiàn)對各類違章行為的智能管控和及時干預(yù)，降低事故發(fā)生的風(fēng)險。

3）系統(tǒng)部署應(yīng)用后，駕駛司機違章報警次數(shù)大幅降低，同時根據(jù)違章駕駛司機的具體情況，進(jìn)行針對性培訓(xùn)，提高了礦山的安全培訓(xùn)效率，該系統(tǒng)的建設(shè)對降低礦山安全風(fēng)險具有重要的意義。