煤礦智能視頻預(yù)警系統(tǒng)架構(gòu)及應(yīng)用場景研究

張瑞庭

(國家礦山安全監(jiān)察局黑龍江局，黑龍江 哈爾濱 150007)

為貫徹落實(shí)黨中央、國務(wù)院關(guān)于加強(qiáng)安全生產(chǎn)工作的決策部署，加快建立全國性的安全隱患排查治理體系和風(fēng)險預(yù)防控制體系，完善煤礦行業(yè)各級安全監(jiān)管部門的信息化手段。本文立足突出煤礦企業(yè)主體責(zé)任，強(qiáng)化監(jiān)管、監(jiān)察、執(zhí)法的精準(zhǔn)性、有效性，遏制重特大事故的發(fā)生，著力提升煤礦安全風(fēng)險分級管控和事故預(yù)測預(yù)警能力，提升煤礦行業(yè)企業(yè)的動態(tài)監(jiān)管和風(fēng)險防控能力水平[1-3]，利用人工智能和機(jī)器學(xué)習(xí)技術(shù)，不斷積累優(yōu)化模型知識庫，對煤礦風(fēng)險進(jìn)行迭代和推理，構(gòu)建了符合煤礦安全風(fēng)險指標(biāo)體系和風(fēng)險預(yù)警模型[4，5]；針對不同煤礦的特點(diǎn)，構(gòu)建了自適應(yīng)的煤礦風(fēng)險預(yù)警分析模型，自主動態(tài)評估煤礦風(fēng)險[6]；利用AI視頻分析技術(shù)對井上、井下諸多工作場景進(jìn)行智能監(jiān)控，自動發(fā)現(xiàn)隱患并報警，有效提高海量視頻大數(shù)據(jù)的使用價值[7-9]，同時利用數(shù)據(jù)及AI手段對安全隱患進(jìn)行管理，防患未然。

1 煤礦智能視頻預(yù)警系統(tǒng)架構(gòu)

1.1 開發(fā)平臺架構(gòu)

煤礦智能視頻預(yù)警系統(tǒng)開發(fā)平臺架構(gòu)遵循J2EE或.NET技術(shù)規(guī)范，采用分層設(shè)計，應(yīng)用支持層能為上層應(yīng)用提供全面有效的基礎(chǔ)功能服務(wù)，如圖1所示。系統(tǒng)B/S結(jié)構(gòu)遵循通用Web瀏覽器規(guī)范，支持HTML、DHTML等通用的瀏覽器標(biāo)準(zhǔn)。系統(tǒng)按照高內(nèi)聚低禍合原則進(jìn)行模塊化、組件化開發(fā)設(shè)計，模塊間提供相應(yīng)接口；系統(tǒng)主要對象屬性提供參數(shù)化配置，架構(gòu)具有較強(qiáng)的功能擴(kuò)展性[10，11]。

開發(fā)平臺采用MVC架構(gòu)，實(shí)現(xiàn)業(yè)務(wù)定義與業(yè)務(wù)實(shí)現(xiàn)的剝離，各模塊之間統(tǒng)一接口進(jìn)行交互，快速實(shí)現(xiàn)業(yè)務(wù)切換。接口針對不同具體業(yè)務(wù)編寫不同的實(shí)現(xiàn)類，且對其他模塊的影響和波及最小，實(shí)現(xiàn)松耦合[12]、高內(nèi)聚的目標(biāo)。應(yīng)用系統(tǒng)的集成通過單點(diǎn)登錄系統(tǒng)和綜合門戶來統(tǒng)一實(shí)現(xiàn)。

1.2 業(yè)務(wù)應(yīng)用架構(gòu)

煤礦智能視頻預(yù)警系統(tǒng)業(yè)務(wù)應(yīng)用架構(gòu)主要包含基礎(chǔ)服務(wù)層、GIS服務(wù)層、智能算法服務(wù)層、業(yè)務(wù)基礎(chǔ)數(shù)據(jù)服務(wù)層、用戶權(quán)限管理、業(yè)務(wù)應(yīng)用層管理五個部分，如圖2所示?；A(chǔ)服務(wù)層，具有平臺消息、任務(wù)調(diào)度、日志等基本服務(wù)管理等能力；GIS服務(wù)層，主要通過GIS平臺，提供基于二維GIS的圖層圖紙、區(qū)域綁點(diǎn)、實(shí)時數(shù)據(jù)接入等服務(wù)能力，實(shí)現(xiàn)基于GIS服務(wù)的縮放聚合、圖層切換、實(shí)時數(shù)據(jù)查詢等業(yè)務(wù)應(yīng)用；智能算法服務(wù)層，主要基于圖像處理、深度學(xué)習(xí)等人工智能技術(shù)實(shí)現(xiàn)煙火、安全帽佩戴、膠帶跑偏、軌道站人、膠帶空載識別等異常狀態(tài)的識別，并將識別結(jié)果發(fā)送至業(yè)務(wù)應(yīng)用層；業(yè)務(wù)基礎(chǔ)數(shù)據(jù)服務(wù)層主要包括視頻監(jiān)控、人員定位的數(shù)據(jù)接入[13-15]，并提供語音廣播系統(tǒng)的接入接口，地質(zhì)圖紙資源統(tǒng)一匯總管理，為聯(lián)動分析提供服務(wù)能力；用戶權(quán)限管理主要實(shí)現(xiàn)礦區(qū)不同層級組織機(jī)構(gòu)用戶分配不同系統(tǒng)角色權(quán)限；業(yè)務(wù)應(yīng)用層管理主要實(shí)現(xiàn)數(shù)據(jù)推送、預(yù)測防控。

2 煤礦智能視頻預(yù)警系統(tǒng)體系及方法

2.1 預(yù)警分析指標(biāo)體系

煤礦安全生產(chǎn)風(fēng)險指標(biāo)體系是建立企業(yè)和行業(yè)兩個層次的安全生產(chǎn)風(fēng)險分析模型，分別為煤礦企業(yè)風(fēng)險分析模型和煤礦行業(yè)風(fēng)險分析模型，針對各層次的安全生產(chǎn)風(fēng)險分析模型建立相應(yīng)的風(fēng)險指標(biāo)體系、風(fēng)險分析評估模型[16-18]。

風(fēng)險預(yù)警分析模型通過建立安全、有效的風(fēng)險信息發(fā)布能力的風(fēng)險預(yù)警發(fā)布系統(tǒng)，同時具有發(fā)布信息錄入、審批、發(fā)布渠道管理和接入認(rèn)證、發(fā)布、反饋等主要功能。風(fēng)險預(yù)警發(fā)布系統(tǒng)的構(gòu)成主要包含預(yù)警信息發(fā)布系統(tǒng)、預(yù)警發(fā)布反饋評估系統(tǒng)、預(yù)警一張圖系統(tǒng)的建設(shè)三個方面。

2.2 預(yù)警與防控方法

建設(shè)政府端煤礦企業(yè)風(fēng)險預(yù)警與防控系統(tǒng)。該系統(tǒng)可以實(shí)現(xiàn)煤礦區(qū)域安全風(fēng)險分級評判與預(yù)警、安全風(fēng)險預(yù)警信息展現(xiàn)、安全風(fēng)險預(yù)警信息發(fā)布等功能，便于政府部門進(jìn)行管理，并實(shí)現(xiàn)與省煤礦安全監(jiān)察綜合信息平臺、國家級風(fēng)險預(yù)警與防控系統(tǒng)數(shù)據(jù)共享交換。

建設(shè)企業(yè)端煤礦企業(yè)風(fēng)險預(yù)警與防控系統(tǒng)。利用煤礦已有的硬件環(huán)境，同時根據(jù)實(shí)際情況配備相應(yīng)軟硬件設(shè)備，采集煤礦企業(yè)靜態(tài)、動態(tài)指標(biāo)數(shù)據(jù)，通過煤礦風(fēng)險指標(biāo)體系和風(fēng)險分析模型，實(shí)現(xiàn)以煤礦為最小單元“點(diǎn)”的預(yù)警與防控。

2.3 建立安全生產(chǎn)統(tǒng)一信息平臺

以中心數(shù)據(jù)庫、集團(tuán)公司安全監(jiān)測聯(lián)網(wǎng)系統(tǒng)、OA系統(tǒng)、人力資源系統(tǒng)、計劃統(tǒng)計系統(tǒng)、供應(yīng)管理系統(tǒng)、營銷管理系統(tǒng)、財務(wù)系統(tǒng)業(yè)務(wù)系統(tǒng)為支撐，采用“后臺平臺化，前臺應(yīng)用化，同類型用戶功能聚合”的思路，建設(shè)面向集團(tuán)公司領(lǐng)導(dǎo)、各業(yè)務(wù)部門、子公司、礦井四類用戶的安全生產(chǎn)統(tǒng)一信息門戶。

3 煤礦智能視頻預(yù)警系統(tǒng)應(yīng)用場景

以視頻圖像數(shù)據(jù)為依托，綜合各個信息源，GIS地圖動態(tài)全景展示煤礦作業(yè)安全分布。GIS地圖上可以標(biāo)注礦井作業(yè)場景，并實(shí)時展示各個場景的負(fù)壓值、溫度值、一氧化碳濃度、甲烷含量、粉塵濃度等重要檢測數(shù)據(jù)。GIS地圖的報警模式主要依靠自動評估處置模型，當(dāng)無報警時，GIS地圖無監(jiān)控視頻展示；當(dāng)有報警事件發(fā)生時，系統(tǒng)自動進(jìn)行語音提醒、GIS地圖展示報警點(diǎn)、報警原因、報警級別、報警視頻等報警信息，并且實(shí)現(xiàn)報警聯(lián)動和監(jiān)控查詢功能。實(shí)時接收各個業(yè)務(wù)監(jiān)控點(diǎn)上報的報警信息并進(jìn)行相應(yīng)的處理，實(shí)現(xiàn)報警信息接收、報警信息GIS呈現(xiàn)、報警信息推送、實(shí)時監(jiān)控、報警歷史查詢等功能。

視頻預(yù)警系統(tǒng)主要通過人工智能、計算視覺及深度學(xué)習(xí)技術(shù)，對視頻圖像中的物體及行為進(jìn)行智能分析，根據(jù)不同場景，實(shí)現(xiàn)對煤礦井下7種煤礦常見嚴(yán)重“三違”隱患識別分析，實(shí)時發(fā)現(xiàn)井下作業(yè)人員的違章行為及其它安全隱患。

3.1 工作區(qū)規(guī)范佩戴安全帽

系統(tǒng)利用目前安裝的礦用隔爆攝像儀，對礦井中各生產(chǎn)環(huán)境進(jìn)行實(shí)時監(jiān)控，通過計算機(jī)視覺、視頻分析和人工智能技術(shù)，自動檢測人員及車輛相關(guān)的各種異常行為并報警，進(jìn)而降低礦井生產(chǎn)安全隱患。系統(tǒng)主機(jī)置于井上，井下環(huán)網(wǎng)將井下監(jiān)控視頻數(shù)據(jù)傳輸?shù)骄线M(jìn)行集中分析處理，支持35路1080P的視頻接入，以不減幀、降低分辨率、取子碼流等方式進(jìn)行實(shí)時智能分析。同時支持向下兼容對D1標(biāo)清視頻流的智能視頻分析。

對工作區(qū)規(guī)范佩戴安全帽功能的實(shí)現(xiàn)主要基于深度學(xué)習(xí)的目YOLO系列目標(biāo)檢測方法，如圖3所示。以YOLOv3-Darknet53作為基線，在此基礎(chǔ)上進(jìn)行了改進(jìn)，生成YOLOX結(jié)構(gòu)。所有組件全平臺可部署，與檢測的下游任務(wù)實(shí)現(xiàn)更深層次的結(jié)合，魯棒性強(qiáng)。視頻預(yù)警系統(tǒng)利用覆蓋井上、井下生產(chǎn)環(huán)節(jié)的工業(yè)視頻系統(tǒng)，對日常工作場景進(jìn)行訓(xùn)練及建模、從而通過人工智能技術(shù)實(shí)時對監(jiān)控場景進(jìn)行視頻分析，識別生產(chǎn)過程中的異常實(shí)體、行為及場景。

3.2 軌道站人識別

系統(tǒng)通過視頻檢測人員，并監(jiān)測人員是否站在軌道上或行走在軌道中間。首先通過監(jiān)控視頻獲取圖像幀，劃定軌道區(qū)域后，利用目標(biāo)檢測模型檢測行人，并計算行人檢測框與軌道區(qū)域的交并比，以及停留時長，根據(jù)預(yù)設(shè)的停留時間閾值及交并比閾值，確定行人是否站在軌道上停留，如果是則發(fā)出報警信號并推送給相關(guān)人員處理。

采用行人識別技術(shù)主要采用雙流神經(jīng)網(wǎng)絡(luò)，通過兩條路徑分別提取視頻行為的時空信息，而后采用恰當(dāng)?shù)姆绞竭M(jìn)行融合，如圖4所示。攝像頭通過將監(jiān)測到的軌道圖像輸入到Faster R-CNN行人識別網(wǎng)絡(luò)中，通過該網(wǎng)絡(luò)從而準(zhǔn)確地識別出行人，在軌道區(qū)域設(shè)置警戒區(qū)域，也就是所謂閾值，當(dāng)存在運(yùn)動目標(biāo)越過事先設(shè)置的警戒線進(jìn)入警戒區(qū)域時，將報警信息傳回至監(jiān)控平臺，并發(fā)出警報信息。

3.3 趴蹬運(yùn)輸車行為識別

系統(tǒng)可對井下運(yùn)輸車運(yùn)輸過程中的作業(yè)人員違規(guī)趴蹬運(yùn)輸車輛行為進(jìn)行檢測，若檢測到趴蹬車行為，則立即發(fā)送報警，并將趴蹬運(yùn)輸車行為過程保存為視頻，以供回放和查證，通過行為注意力機(jī)制和深度學(xué)習(xí)的方法實(shí)現(xiàn)相關(guān)功能。

采用I3D模型來實(shí)現(xiàn)趴蹬運(yùn)輸車行為識別技術(shù)，通過數(shù)據(jù)預(yù)處理、運(yùn)動特征提取、行為歸類等步驟可以有效提取到行人動作特征，如圖5所示。通過數(shù)據(jù)預(yù)處理將與行為信息無關(guān)的圖像內(nèi)容去除，在數(shù)據(jù)預(yù)處理中主要包括的內(nèi)容有圖像去噪、背景去除等步驟；通過運(yùn)動特征提取從圖像信息中提取出可以表征人體動態(tài)特點(diǎn)的信息，這些信息應(yīng)能夠在既表現(xiàn)人體動態(tài)的同時又能提供可以區(qū)分于其他不同種類行為的信息。最終，通過I3D模型可以有效地提取出行人行為模型，并通過推理模塊判斷是否有扒車行為。

3.4 重點(diǎn)崗位人員脫崗識別

系統(tǒng)可以對煤礦調(diào)度室等重點(diǎn)崗位進(jìn)行人員檢測，支持選定檢測區(qū)域和設(shè)置要求分析人員是否在崗。當(dāng)檢測到人員離崗時長超過一定時長，則觸發(fā)報警，并將脫崗行為過程保存為視頻，以供回放和查證。首先劃定崗位區(qū)域，然后采用目標(biāo)檢測模型實(shí)時檢測識別崗位區(qū)域內(nèi)是否有人在崗，當(dāng)目標(biāo)崗位檢測到無人在崗時，開始統(tǒng)計脫崗時間，當(dāng)脫崗時間大于一定閾值時，發(fā)送脫崗報警。

采用Faster RCNN網(wǎng)絡(luò)、YOLO網(wǎng)絡(luò)和SSD網(wǎng)絡(luò)來實(shí)現(xiàn)重點(diǎn)崗位人員脫崗識別技術(shù)。該算法可以直接預(yù)測目標(biāo)類別和邊界框，針對不同大小的目標(biāo)檢測，可以實(shí)現(xiàn)對多個人的檢測識別，通過相應(yīng)真值的算法比較可以實(shí)現(xiàn)重點(diǎn)崗位人員脫崗識別。

3.5 膠帶跑偏檢測

系統(tǒng)通過在帶式輸送機(jī)膠帶上方安裝的隔爆型攝像儀，通過計算機(jī)視覺技術(shù)，檢測運(yùn)行中的帶式輸送機(jī)膠帶運(yùn)行狀態(tài)，如有跑偏及時報警。系統(tǒng)通過地面主機(jī)接收井下視頻數(shù)據(jù)進(jìn)行集中處理和分析，一臺主機(jī)能夠同時對多路攝像頭進(jìn)行檢測；能檢測并且識別檢測膠帶運(yùn)行位置，檢測到膠帶運(yùn)行位置偏離設(shè)定值，通過高亮的顏色顯示，上位機(jī)平臺立即顯示報信息，并立即發(fā)出語音警報提醒值班人員進(jìn)行核實(shí)和處理；對檢測到的膠帶跑偏持截圖存照或保存為視頻數(shù)據(jù)，方便查證；對檢測到的膠帶跑偏時間點(diǎn)存儲到數(shù)據(jù)庫，便于統(tǒng)計分析；同時依托圖像及人工智能技術(shù)，膠帶跑偏檢測結(jié)果準(zhǔn)確，也便于后續(xù)更新改進(jìn)。

采用HRNet網(wǎng)絡(luò)來實(shí)現(xiàn)膠帶跑偏檢測功能，通過HRNet網(wǎng)絡(luò)獲得實(shí)時的膠帶邊緣，然后計算預(yù)測結(jié)果圖中邊緣中心線相對標(biāo)簽圖中心線的偏移量，當(dāng)偏移量波動超出某一閾值，視作傳送帶跑偏。

3.6 膠帶空載檢測

系統(tǒng)通過在帶式輸送機(jī)膠帶上方安裝的隔爆型攝像儀進(jìn)而獲取膠帶實(shí)時運(yùn)行情況，借助機(jī)器視覺技術(shù)檢測運(yùn)行中帶式輸送機(jī)膠帶的空載狀態(tài)并報警，通過地面主機(jī)接收井下視頻數(shù)據(jù)進(jìn)行集中處理和分析，一臺主機(jī)能夠同時對多路攝像頭進(jìn)行檢測[19]；同時系統(tǒng)還可以檢測并且識別檢測區(qū)域煤量的大小，如果檢測到一段時間內(nèi)煤量為零，通過高亮的顏色顯示，上位機(jī)平臺立即顯示報信息，并立即發(fā)出語音警報提醒值班人員進(jìn)行核實(shí)和處理；同時對檢測到的膠帶空載支持截圖存照或保存為視頻數(shù)據(jù)，方便查證，對檢測到的膠帶空載時間點(diǎn)存儲到數(shù)據(jù)庫，便于統(tǒng)計分析。

采用SegNet網(wǎng)絡(luò)實(shí)現(xiàn)膠帶空載檢測，如圖6所示。SegNet網(wǎng)路中最后一個卷積層會輸出膠帶檢測結(jié)果類別，空載和非空載，網(wǎng)絡(luò)最后加上一個softmax層，由于是端到端，通過softmax求出所有每一個像素在所有類別最大的概率，最為該像素的標(biāo)簽，最終完成圖像像素級別的分類，進(jìn)而對膠帶空載情況進(jìn)行判別。

3.7 井下煙火檢測

系統(tǒng)利用熱成像識別技術(shù)對膠帶、電機(jī)等工作環(huán)境進(jìn)行實(shí)時溫度檢測，最大限度減少火災(zāi)隱患。系統(tǒng)通過地面主機(jī)接收視頻數(shù)據(jù)進(jìn)行集中處理和分析，檢測到監(jiān)控畫面中出現(xiàn)溫度過高時，上位機(jī)平臺立即顯示該報警信息，并立即發(fā)出語音警報提醒值班人員進(jìn)行核實(shí)和處理。上位機(jī)平臺可對溫度過高報警信息進(jìn)行即時處理以及在線查看回放視頻，查詢報警信息。

采用基于特征增強(qiáng)的圖像分割方法PSPNet來對熱成像圖進(jìn)行區(qū)域分割和增強(qiáng)，如圖7所示。該模型提出的金字塔池化模塊能夠聚合不同區(qū)域的上下文信息，從而提高獲取全局信息的能力。通過PSPNet輸出煙火區(qū)域特征增強(qiáng)后的圖像，上位機(jī)平臺可對溫度過高報警信息進(jìn)行即時處理以及在線查看回放視頻，查詢報警信息。

4 結(jié) 論

1)以煤礦等高危行業(yè)企業(yè)風(fēng)險預(yù)警與防控系統(tǒng)為切入點(diǎn)，構(gòu)建煤礦智能視頻預(yù)警系統(tǒng)，智能監(jiān)控井上、井下諸多工作場景，自動發(fā)現(xiàn)隱患并報警，有效提高海量視頻大數(shù)據(jù)的使用價值，利用人工智能和海量數(shù)據(jù)機(jī)器學(xué)習(xí)的視頻分析技術(shù)，動態(tài)自動評估煤礦風(fēng)險，提升安全隱患管理水平。

2)構(gòu)建煤礦安全生產(chǎn)風(fēng)險指標(biāo)體系，并建立行業(yè)和企業(yè)兩個層次的安全生產(chǎn)風(fēng)險分析模型，以及相應(yīng)的風(fēng)險指標(biāo)體系；通過安全生產(chǎn)統(tǒng)一信息平臺、預(yù)警一張圖系統(tǒng)，實(shí)現(xiàn)預(yù)警信息發(fā)布、反饋、評估。

3)詳細(xì)分析了煤礦井下7種典型智能視頻預(yù)警的應(yīng)用場景，通過GIS地圖動態(tài)全景展示報警信息，并實(shí)現(xiàn)報警聯(lián)動、監(jiān)控查詢、信息推送，實(shí)時監(jiān)控，報警歷史查詢等功能，更加立體直觀展示風(fēng)險預(yù)警信息。

4)下一步將構(gòu)建煤礦智能視頻分析系統(tǒng)，通過海量數(shù)據(jù)的機(jī)器AI算法訓(xùn)練，有效挖掘風(fēng)險防控、預(yù)警信息的海量數(shù)據(jù)潛在價值，進(jìn)而分析應(yīng)用更多典型場景。