露天礦山違章行為智能視頻系統(tǒng)研究

王曉光，梁皓越，趙忠山，張海濤，邵梓洋，劉光偉

(1.神華北電勝利能源有限公司， 內蒙古 錫林浩特市 026000； 2.遼寧工程技術大學， 遼寧 阜新市 123000)

視頻識別系統(tǒng)是通過識別生物特征、理解視頻內容，集成其他檢測技術并創(chuàng)新，實現(xiàn)視頻監(jiān)控、圖像搜索等功能的系統(tǒng)，可擴大其在智能礦山中的應用范圍，有效地提升露天礦山智能化水平。露天礦山可基于大數據學習和深度神經網絡，利用人工智能算法開發(fā)基于視頻數據的AI識別預警系統(tǒng)，分析和識別露天礦山生產現(xiàn)場常見的安全隱患，如調度室脫崗離崗、操作工人違章操作、駕駛司機接打電話、儲煤場自然發(fā)火、變電站煙火故障、區(qū)域入侵等，準時、精確、自動傳輸報警信息，提高露天礦山生產過程的安全風險管控和應急處理能力。目前，露天礦山已基本實現(xiàn)在關鍵位置安裝高清攝像頭，在調度指揮中心實時調閱視頻信息。但大量高分辨率攝像頭的布置，只實現(xiàn)了露天礦山不同部分的視頻信息采集，當突發(fā)事件發(fā)生時，從現(xiàn)場提取視頻數據并上傳，因露天礦現(xiàn)有存儲空間有限，無法完成對各類違章行為視頻圖像的智能識別和結構化處理等。因而，提出通過智能視頻識別的方式來進行露天礦山生產行為的智能管控。

1 露天礦異常場景分析研究

經整理分析，露天礦現(xiàn)有的異常場景主要包括以下9個方面。

（1）人員勞保用品違章行為。安全防護工作對于露天礦山從業(yè)人員尤為重要。勞保用品佩戴涵蓋：安全帽識別、防塵口罩識別、絕緣手套識別、焊接防護面具識別等場景，如圖1所示。

圖1 勞保用品穿戴不規(guī)范

（2）駕駛人員違章行為。露天礦山駕駛司機違章行為包括：閉眼檢測、接打電話、未系安全帶、身份一致性檢驗、內視攝像頭異常、打哈欠檢測、分神檢測、雙手脫離方向盤、長時間作業(yè)、駕駛員離崗等，如圖2所示。

圖2 駕駛人員違章

（3）破碎站卡塊分析。破碎站在對礦巖進行破碎的過程中，常常發(fā)生礦巖物料物理尺寸超過破碎機額定破碎尺寸的物料，將破碎站卡住，影響露天礦生產效率，同時會對破碎站造成損害。

（4）重點區(qū)域入侵識別處置。露天礦山由于其獨特的生產工藝及其安全生產風險隱患類型，露天礦爆破區(qū)域、滑坡區(qū)域、炸藥存儲車間、機修車間以及電纜存放區(qū)域等區(qū)域皆是露天礦山的重要管控區(qū)域，需要重點盯防，避免在生產過程中發(fā)生安全事故。部分區(qū)域入侵實例如圖3所示。

圖3 區(qū)域入侵

（5）重要崗位脫崗離崗。露天礦重要崗位主要是指露天礦山調度室、遠程操控設備車間等地點，露天礦山調度室需要24 h有人值守，當有異常事件發(fā)生后，調度室人員需要第一時間將信息上報，同時針對異常事件的重要程度進行現(xiàn)場協(xié)調處置等工作。因此，應對重要崗位脫崗離崗情況進行監(jiān)控，如圖4所示。

（6）外包大巴人數統(tǒng)計。為防止露天礦山運輸大巴車人員超員，在露天礦山外包大巴車上安裝車輛人數計數攝像頭，防止發(fā)生車輛超員事件。

（7）儲煤倉煙火識別。煤炭自燃時會釋放CO、H2S、SO2等有害氣體，危害煤場工人的健康。同時煤炭自燃釋放出的大量熱量將威脅輸煤設備的安全運行，而且大量煤炭熱量損失給露天礦造成巨大經濟損失，應對其進行重點管控。

圖4 脫崗離崗

（8）露天采場設備違章。露天礦山運行著大量的設備，設備在露天礦場內運行，彼此協(xié)同作業(yè)，如果設備違章作業(yè)，極易造成安全生產事故的發(fā)生。露天礦設備違章作業(yè)涵蓋：車輛停在高壓線下方、等卸車排隊無秩序、行駛車輛車距過近、等卸自卸車安全距離不足等。露天采場設備違章行為如圖5所示。

圖5 露天采場設備違章作業(yè)

（9）露天采場作業(yè)不規(guī)范。露天礦山生產過程中應按照露天礦設計規(guī)范以及煤礦安全規(guī)程來嚴格執(zhí)行，若未嚴格按照上述操作規(guī)程及規(guī)范容易發(fā)生安全生產事故，如：排土場反坡不符合標準、排土場擋墻高度不足、排土場路燈未做安全擋墻、臨時加油未做安全措施等，如圖6所示。

2 應用研究的挑戰(zhàn)與問題

為實現(xiàn)露天礦山智能視頻識別系統(tǒng)平臺的建設，需要解決如下幾個關鍵問題：第一，露天礦山需要在露天礦辦公區(qū)、露天采場內建設足夠帶寬的網絡環(huán)境，保證發(fā)生違章視頻時，可第一時間將違章視頻片段傳輸至系統(tǒng)平臺；第二，需要對上述違章場景進行樣本庫積累和數據標注，開發(fā)相應深度學習和機器學習算法，保證違章識別算法的準確度；第三，需要露天礦山攝像頭的像素及清晰度滿足要求。

圖6 露天采場作業(yè)不規(guī)范

2.1 礦山網絡帶寬問題

目前，露天礦山已實現(xiàn)辦公區(qū)的網絡建設，但大部分露天礦并未實現(xiàn)露天采場網絡全覆蓋。通過調研得知，國內露天礦山采場網絡大部分上行帶寬在5 M以內，這部分網絡主要用于傳輸露天礦山生產類數據，例如車輛定位以及車輛的工況類數據。單個300萬像素攝像頭4 M碼流每秒，根據碼流計算表，每秒數據量為512 kB。一個大型露天礦山至少有1000路攝像頭，因此，露天礦山智能視頻識別系統(tǒng)平臺的建設需要有足夠的帶寬來支撐礦山運行過程中的違章圖片及視頻數據的傳輸。露天礦山大部分分布在偏遠山區(qū)，亟需建設露天礦山覆蓋采場及辦公區(qū)的基站網絡，結合5G通信技術，實現(xiàn)構建露天礦山的網絡傳輸問題。

2.2 攝像頭清晰度問題

前期調研可知，國內大型露天礦山，已經在礦山關鍵位置布設了攝像頭，整體上都屬于標清攝像頭，近幾年部分礦山進行了攝像頭更新?lián)Q代，達到高清甚至達到超高清攝像頭。由于攝像頭像素制約，對視頻識別帶來巨大挑戰(zhàn)。同時，露天礦山一些位置并未對攝像頭進行防塵等方面的保護，導致攝像頭附著灰塵，影響視頻效果。因此，構建露天礦山智能視頻識別系統(tǒng)平臺需要解決攝像頭清晰度以及需要充分考慮攝像頭的保護問題，防止外界因素對攝像頭的影響。

2.3 圖像樣本庫問題

視頻圖像智能識別技術的核心算法有賴于對大量數據樣本進行有效訓練，例如深度卷積神經網絡的算法模型準確度主要依賴于有代表性的、海量的、圖像清晰的訓練樣本，該訓練模型的準確度被定義為屬于數據驅動型的模型依賴。露天礦山的各類異常狀態(tài)行為由于前期電子化程度不夠，各類違章異常事件的圖像視頻樣本庫有限。但是，有一些露天礦礦山違章場景獲取圖庫樣本相對容易，例如：作業(yè)人員防塵口罩的佩戴、從業(yè)人員安全帽的佩戴、絕緣手套佩戴、焊接防護面具佩戴以及接打電話等，這些場景較容易獲得，從實現(xiàn)上來說，樣本的搜集相對容易。而一些異常場景，涉及到露天礦山生產環(huán)節(jié)，獲取難度較大，例如：破碎站卡塊、皮帶堆煤、儲煤倉著火等場景。與此同時，露天礦山各類異常圖像視頻數據有一些被定義為保密數據，無法采用公開共享的方式進行大量圖像樣本數據的訓練。因此，對于露天礦山智能視頻識別系統(tǒng)平臺的實現(xiàn)，亟需解決各類異常場景小樣本的圖像庫的訓練問題。

2.4 數據標注問題

在標注數據前，首先需清洗數據，以獲得符合要求的數據。數據的清洗包括刪除無效數據、整理成規(guī)整格式等。因此，在獲得大量的露天礦山圖像樣本庫的基礎上進行圖像、視頻數據的標注是提高視頻識別準確率高的關鍵問題。

3 系統(tǒng)架構及流程

露天礦山智能識別系統(tǒng)平臺基于“云邊融合”理念為基礎的AI云，即通過對圖片的學習，加上深度算法，可以實現(xiàn)對圖片、視頻進行前端與后端相結合的智能視頻識別+云端服務器。系統(tǒng)架構以“感、知、用”為主要切入點，提出了“感知邊緣計算、數據支撐平臺、系統(tǒng)行業(yè)應用”新主線，通過邊緣節(jié)點、數據平臺和云中心來實現(xiàn)露天礦山智能識別系統(tǒng)的建設。系統(tǒng)總體架構如圖7所示。

感知層-邊緣節(jié)點：通過對視頻、圖片的數 據結構化及對其它物聯(lián)數據的精準感知，完成數據采集。

支撐層-支撐平臺：通過對業(yè)務的局部感知，實現(xiàn)對業(yè)務的局部認知，完成對域內數據的自主處理和及時響應。

應用層-行業(yè)應用：完成跨域數據的統(tǒng)一、集成和處理，通過大數據分析實現(xiàn)全局感知，通過對跨域數據的碰撞和多維數據的分析，進行全局把控和態(tài)勢分析。

圖7 露天礦山智能識別系統(tǒng)總體架構

基于“AI云”理念，將整合視頻監(jiān)控系統(tǒng)、儲煤倉監(jiān)管系統(tǒng)、人臉識別系統(tǒng)、皮帶集控管理系統(tǒng)、機修車間安防等系統(tǒng)，結合GIS 地圖發(fā)揮邊緣計算的優(yōu)勢，實現(xiàn)數據的綜合管理、分析和分級應用。通過智能化建設，實現(xiàn)所有節(jié)點和地域的數字化，集成多種系統(tǒng)應用，實現(xiàn)基于數字化的統(tǒng)一管理。

系統(tǒng)通過本地文件流、RTSP網絡視頻流等方式將視頻數據接入至系統(tǒng)識別分析模塊進行智能分析，并通過網絡數據流方式將車載識別分析等結果接入到系統(tǒng)內，進行數據報警顯示、統(tǒng)計分析，見圖8。

圖8 視頻數據接入示意

RTSP是實時流協(xié)議（Real Time Streaming Protocol）的全稱，是一個網絡控制協(xié)議，用于娛樂、會議系統(tǒng)中控制流媒體服務器。RTSP處理流時會根據端點間可用帶寬大小，將音視頻等數據切割成小分組（packet）進行傳輸，使得客戶端在播放一個分組的同時，可以解壓緩存中第二個甚至下載第三個分組。通過緩存和多碼率流技術，用戶不會感到數據間有停頓。視頻數據傳輸流程如圖9所示。

圖9 視頻數據傳輸流程

4 系統(tǒng)功能

（1）綜合展示。實現(xiàn)露天礦智能識別攝像頭系統(tǒng)聯(lián)網情況和攝像頭在線、離線情況的統(tǒng)計，實現(xiàn)對露天礦視頻分析情況和視頻分析類型分布的統(tǒng)計，包括出入口出貨運車輛情況、儲煤場運煤車輛情況、排土場車輛情況、運輸設備的運行狀態(tài)、攝像頭遮擋或挪動角度報警、人流量情況、調度室人員空崗情況。

（2）綜合分析。實現(xiàn)對煤礦出入口貨運車輛情況、儲煤場運煤車輛情況、排土場車輛情況、運輸設備的運行狀態(tài)、攝像頭遮擋或挪動角度報警、人流量情況、調度室人員空崗情況等日常分析結果的管理，可查看詳細的分析結果和證據資料。視頻分析結果統(tǒng)計信息可以根據不同攝像頭安裝位置調取，支持對攝像頭日常分析關聯(lián)查詢。

（3）報警管理。對煤礦不同地點的出入口貨運車輛、儲煤場運煤車輛、排土場車輛、運輸設備運行狀態(tài)、攝像頭遮擋或挪動角度、人流量情況、調度室人員空崗情況等報警信息及報警處置信息查詢統(tǒng)計，并關聯(lián)報警證據資料。

（4）實時監(jiān)測。實現(xiàn)露天礦實時視頻接入和在線狀態(tài)查詢。展示多路視頻的實時分析結果，并可關聯(lián)查看當前攝像頭歷史報警信息。

5 結論

（1）本文對露天礦山各類違章行為進行分析，主要包括：人員勞保用品違章行為、駕駛人員違章行為、破碎站卡塊分析、重點區(qū)域入侵識別處置、重要崗位脫崗離崗、外包大巴人數統(tǒng)計、儲煤倉煙火識別、露天采場設備違章、露天采場作業(yè)不規(guī)范等行為，為露天礦智能視頻識別分析提供了分析 場景。

（2）提出構建露天礦智能視頻識別系統(tǒng)的總體架構，分為感知層、支撐層和應用層。

（3）介紹了智能視頻識別系統(tǒng)的主要系統(tǒng)功能，包括綜合展示、綜合分析、報警管理、實時監(jiān)測等功能。

（4）露天礦山違章行為智能視頻系統(tǒng)的建設可實現(xiàn)對露天礦山各類違章行為的實時監(jiān)控，智能分析違章行為，提升露天礦山安全管理水平，為露 天礦山智能、安全生產提供技術手段。