基于情景感知驅(qū)動(dòng)的煤礦監(jiān)察裝備及平臺(tái)設(shè)計(jì)

魏 峰

(1.煤炭科學(xué)技術(shù)研究院有限公司裝備分院，北京 100013； 2.北京市煤礦安全工程技術(shù)研究中心，北京 100013； 3.煤炭資源高效開采與潔凈利用國家重點(diǎn)實(shí)驗(yàn)室，北京 100013)

煤礦井下環(huán)境復(fù)雜、具有多種生產(chǎn)場所，機(jī)電設(shè)備數(shù)量眾多，存在大量的安全事故隱患，煤礦日常安監(jiān)執(zhí)法是保障煤礦安全生產(chǎn)的重要抓手。然而，現(xiàn)行監(jiān)管監(jiān)察主要以人工現(xiàn)場執(zhí)法為主，存在監(jiān)管手段、裝備落后，存在取證過程時(shí)空不連續(xù)，以主觀經(jīng)驗(yàn)評(píng)判為主等問題。因此，設(shè)計(jì)一種可量化、可復(fù)現(xiàn)而且能夠排除人為因素影響的執(zhí)法方式及裝備是規(guī)范執(zhí)法人員自由裁量權(quán)的重要手段。

1 基于情景感知驅(qū)動(dòng)的執(zhí)法方法

情景感知驅(qū)動(dòng)是一種研究基于圖片、視頻、場景以及實(shí)物設(shè)備的智能識(shí)別方法，具體來說是可以根據(jù)圖片識(shí)別出井下不同的工作場景，對(duì)應(yīng)于不同的場景給出不同的反饋意見[1]。目前，相對(duì)流行的識(shí)別方法主要有三類：第一類是基于對(duì)象的情景分類，根據(jù)場景中出現(xiàn)的特定對(duì)象來區(qū)分不同的場景；第二類是基于區(qū)域的情景分類，首先通過目標(biāo)候選區(qū)域選擇算法，生成一系列候選目標(biāo)區(qū)域，再通過深度神經(jīng)網(wǎng)絡(luò)提取候選目標(biāo)區(qū)域特征，并用這些特征進(jìn)行分類；第三類是基于上下文的情景分類：將情景圖像看作全局對(duì)象而非圖像中的某一對(duì)象或細(xì)節(jié)，可降低局部噪聲對(duì)場景分類的影響[2]。

例如，利用基于特定對(duì)象的場景分類方法，這種分類方法以場景中的“對(duì)象”為識(shí)別單位，依據(jù)場景中出現(xiàn)的一個(gè)特定對(duì)象來識(shí)別、區(qū)分不同的工作場景。利用深度卷積神經(jīng)網(wǎng)絡(luò)提取圖像中各個(gè)對(duì)象的特征，并將提取出的對(duì)象特征進(jìn)行分類。通?？梢允褂肎oogleNet、VGG-Net等深度模型進(jìn)行場景分類[3]。將需要識(shí)別的設(shè)備或場景的圖片輸入到選定的神經(jīng)網(wǎng)絡(luò)模型，然后根據(jù)網(wǎng)絡(luò)的輸出我們可以獲取對(duì)象的類別，最后根據(jù)對(duì)象類別與場景的相關(guān)性，分析出這張圖片中的工作場景所屬的類別[4]，具體過程如圖1所示。

圖1 基于特定對(duì)象的場景分類過程

基于情景感知的執(zhí)法方法是利用執(zhí)法場景的協(xié)同感知和基于深度神經(jīng)網(wǎng)絡(luò)的情景信息處理技術(shù)，實(shí)現(xiàn)執(zhí)法路徑、執(zhí)法流程、執(zhí)法內(nèi)容、執(zhí)法標(biāo)準(zhǔn)、執(zhí)法設(shè)備及其他執(zhí)法輔助業(yè)務(wù)的自動(dòng)觸發(fā)，較以往傳統(tǒng)的監(jiān)察執(zhí)法方法相比，基于情景感知驅(qū)動(dòng)的執(zhí)法方法，是一種相對(duì)客觀、簡易的移動(dòng)執(zhí)法方法。監(jiān)察執(zhí)法人員在井下執(zhí)法過程中，配套執(zhí)法裝備借助機(jī)器視覺分析技術(shù)和深度卷積神經(jīng)網(wǎng)絡(luò)算法，鑒別視頻片段及圖片中的場景特征，分析出所處的不同工作場景，根據(jù)相關(guān)作業(yè)規(guī)程、行業(yè)標(biāo)準(zhǔn)和監(jiān)管要求，自動(dòng)生成執(zhí)法業(yè)務(wù)導(dǎo)航，通過本安型手持終端呈現(xiàn)給現(xiàn)場監(jiān)察執(zhí)法人員，用以輔助、引導(dǎo)整個(gè)監(jiān)察執(zhí)法過程。

執(zhí)法業(yè)務(wù)導(dǎo)航包括監(jiān)察人員所處工作場景中的執(zhí)法項(xiàng)目，執(zhí)法標(biāo)準(zhǔn)和所需執(zhí)法工具等提示信息，監(jiān)察人員按照業(yè)務(wù)導(dǎo)航中的信息引導(dǎo)，按照既定步驟及方式完成現(xiàn)場檢查、信息核實(shí)、違章取證等工作任務(wù)，整個(gè)執(zhí)法過程中，最大限度地降低了執(zhí)法人員的工作疏忽與主觀偏差，同時(shí)，電子物證自動(dòng)標(biāo)記工作場景信息隨整個(gè)基于時(shí)間戳可信證據(jù)鏈保存、上傳，防止中途惡意篡改?；谇榫案兄膱?zhí)法方法是在煤礦復(fù)雜環(huán)境背景下，對(duì)執(zhí)法場景準(zhǔn)確感知、特征信息提取，進(jìn)而自動(dòng)生成執(zhí)法策略，引導(dǎo)輔助執(zhí)法人員的執(zhí)法過程，可以顯著提升執(zhí)法過程的精準(zhǔn)性和高效性。

2 移動(dòng)互聯(lián)的執(zhí)法終端

移動(dòng)互聯(lián)的執(zhí)法終端基于安卓主控平臺(tái)，采用10Ah鋰離子電池組供電，主要由人員精確定位模塊、氣體參數(shù)檢測模塊、無線通信模塊、視頻、圖像記錄模塊、電子物證數(shù)據(jù)存儲(chǔ)模塊、電源管理模塊以及照明模塊組成，其系統(tǒng)結(jié)構(gòu)如圖2所示。執(zhí)法終端實(shí)物圖如圖3所示。

圖2 執(zhí)法終端結(jié)構(gòu)框圖

圖3 執(zhí)法終端實(shí)物圖

其中，精確人員定位模塊采用UWB技術(shù)，利用終端內(nèi)置板卡天線與人員定位基站進(jìn)行通信，獲取位置信息，人員數(shù)據(jù)及上傳報(bào)警信息可由安卓主板的SPI接口實(shí)現(xiàn)；氣體參數(shù)檢測模塊可檢測周圍環(huán)境空氣中甲烷、氧氣、一氧化碳三個(gè)參數(shù)的實(shí)時(shí)濃度，安卓主板可通過UART接口獲取監(jiān)測數(shù)據(jù)或下發(fā)氣體標(biāo)校參數(shù)；無線通訊模塊由WiFi通信和4G通信模塊構(gòu)成，可以依據(jù)井下現(xiàn)有通訊網(wǎng)絡(luò)自動(dòng)靈活切換，執(zhí)法內(nèi)容及電子物證數(shù)據(jù)可由井下無線網(wǎng)絡(luò)向地面執(zhí)法管控平臺(tái)實(shí)時(shí)傳輸。同時(shí)，執(zhí)法終端可通過位于燈頭的麥克和揚(yáng)聲器實(shí)現(xiàn)井下4G通訊功能，終端主體側(cè)面設(shè)計(jì)有快捷按鍵，佩戴者無需從腰間取下主機(jī)便可“一鍵接聽”電話；拍照攝錄模塊由USB數(shù)字式攝像頭構(gòu)成，鑒于井下光照度有限，該終端選用低照度外加紅外補(bǔ)償攝像頭，可通過終端主體上的拍照快捷鍵在井下黑暗環(huán)境中獲取較為清晰的視頻或圖像數(shù)據(jù)；執(zhí)法終端配備有高靈敏語音采集麥克，具備“一鍵錄音”功能，實(shí)時(shí)采集在執(zhí)法過程中的音頻數(shù)據(jù)，作為電子物證的一部分。照明模塊與普通鋰電池礦燈類似采用高亮度LED燈作為主光源，可實(shí)現(xiàn)遠(yuǎn)近光自由切換。

執(zhí)法終端在整個(gè)煤礦監(jiān)察執(zhí)法過程中，可在線獲取執(zhí)法平臺(tái)下發(fā)的執(zhí)法任務(wù)與行進(jìn)路線，通過實(shí)時(shí)攝像頭獲取周圍環(huán)境視頻或圖像數(shù)據(jù)，成功識(shí)別執(zhí)法人員所處井下工作場景后可自動(dòng)生成并呈現(xiàn)執(zhí)法業(yè)務(wù)導(dǎo)航，在執(zhí)法過程中，可利用自帶氣體檢測模塊比對(duì)關(guān)鍵場所環(huán)境氣體參數(shù)，利用音、視頻或圖像拍照功能，記錄井下違章作業(yè)場景，自動(dòng)保存并上傳電子物證數(shù)據(jù)，在執(zhí)法結(jié)束后，可依據(jù)執(zhí)法過程中錄入的氣體參數(shù)、人工記錄、電子物證等信息，自動(dòng)生成執(zhí)法結(jié)果，并附加且能精確查詢執(zhí)法過程中的人員位置、軌跡以及環(huán)境參數(shù)、電子物證信息。

執(zhí)法終端在監(jiān)察執(zhí)法過程中全程自動(dòng)采集視頻信息，結(jié)合特定場景特征及正常工作狀態(tài)，利用卷積神經(jīng)網(wǎng)絡(luò)和循環(huán)神經(jīng)網(wǎng)絡(luò)結(jié)合的方法來檢測執(zhí)法場景及執(zhí)法過程中的問題隱患[5]。具體過程為：首先將執(zhí)法視頻文件轉(zhuǎn)換成卷積神經(jīng)網(wǎng)絡(luò)能夠處理的圖像信息，例如轉(zhuǎn)換成1000幀的視頻圖像信息，之后將轉(zhuǎn)化好的圖像信息輸出到一個(gè)深度神經(jīng)網(wǎng)絡(luò)模型提取圖像特征值，輸出的結(jié)果即為每一幀信息的特征矩陣，最后利用循環(huán)神經(jīng)網(wǎng)絡(luò)對(duì)上述離散的圖像幀信息在整個(gè)時(shí)間域上進(jìn)行整合，通過分類器進(jìn)行場景識(shí)別及相應(yīng)違章行為的分析[6]，整個(gè)過程如圖4所示。

圖4 視頻信息違章分析流程

在煤礦安全監(jiān)察執(zhí)法過程中，借助執(zhí)法終端的機(jī)器視覺技術(shù)并結(jié)合神經(jīng)網(wǎng)絡(luò)算法進(jìn)行場景感知和違章識(shí)別，可以顯著提升執(zhí)法過程的科學(xué)性和高效性[7]。

3 基于時(shí)間戳的電子證據(jù)鏈

監(jiān)察執(zhí)法過程中所采集的電子物證，可利用時(shí)間戳與終端特征參數(shù)交互認(rèn)證的電子證據(jù)鏈可信固化技術(shù)，與情景感知獲取的特征數(shù)據(jù)相融合，從而形成由內(nèi)容至形式不可篡改的完整的電子證據(jù)鏈[9]。具體過程為：首先運(yùn)用時(shí)間戳電子簽名技術(shù)在電子證據(jù)上唯一地標(biāo)識(shí)某一刻的時(shí)間信息，再結(jié)合DSA加密算法給電子證據(jù)附加針對(duì)終端設(shè)備、采集人員體征等物理屬性的完整性權(quán)威，最后通過GIS技術(shù)、實(shí)時(shí)數(shù)據(jù)庫技術(shù)、硬件接口技術(shù)、物聯(lián)網(wǎng)技術(shù)等實(shí)時(shí)上傳至煤礦安全監(jiān)察執(zhí)法平臺(tái)，形成完整、可信證據(jù)鏈。安監(jiān)執(zhí)法系統(tǒng)匯集來自平臺(tái)的電子物證，分析評(píng)判，形成最終執(zhí)法結(jié)果及文書，整個(gè)流程如圖5所示。

圖5 執(zhí)法電子證據(jù)鏈流程

遠(yuǎn)程時(shí)間戳服務(wù)器對(duì)電子物證數(shù)據(jù)提供時(shí)間戳加蓋服務(wù)，當(dāng)客戶端對(duì)電子物證執(zhí)行完取證、固定工作，并將Hash值上傳到時(shí)間戳服務(wù)器時(shí)，時(shí)間戳服務(wù)器對(duì)Hash值上傳時(shí)間進(jìn)行時(shí)間戳加蓋，通過法定時(shí)間參數(shù)的唯一性和不可逆性，輔助證明該電子物證的唯一性[10]，其流程如圖6所示。

圖6 可信時(shí)間戳工作流程

4 基于WebGIS的煤礦安全監(jiān)察執(zhí)法平臺(tái)

煤礦安全監(jiān)察執(zhí)法過程由基于WebGIS的執(zhí)法平臺(tái)統(tǒng)一管理。借助高性能服務(wù)器端強(qiáng)大的應(yīng)用模型分析、運(yùn)算能力，WebGIS服務(wù)可實(shí)現(xiàn)地理空間數(shù)據(jù)發(fā)布、監(jiān)察數(shù)據(jù)查詢與交互、Web資源調(diào)用等功能[11]。按照煤礦安全監(jiān)管監(jiān)察業(yè)務(wù)需要，整個(gè)平臺(tái)可分為八個(gè)功能模塊，如圖7所示。

圖7 系統(tǒng)模塊結(jié)構(gòu)圖

“礦井信息模塊”用于顯示受檢礦井的基本信息，包括礦井特征、運(yùn)行狀態(tài)、人員信息等；“任務(wù)管理模塊”可根據(jù)礦井信息內(nèi)容以及近期的監(jiān)察監(jiān)管計(jì)劃等，自動(dòng)規(guī)劃監(jiān)察執(zhí)法任務(wù)如果確認(rèn)無誤，則可以分配到本安型手持執(zhí)法終端設(shè)備中；“流程管理模塊”顯示監(jiān)管監(jiān)察的執(zhí)法流程及各流程的詳細(xì)說明，方便執(zhí)法人員事先熟悉本次執(zhí)法過程，在執(zhí)法過程中也可起到提示作用，規(guī)范現(xiàn)場執(zhí)法行為；“終端管理模塊”可以授權(quán)、激活本安型手持終端，在執(zhí)法前將執(zhí)法人員與指定終端關(guān)聯(lián)，同時(shí)將本次執(zhí)法任務(wù)下載到手持終端里，在執(zhí)法過程中，平臺(tái)可通過4G、WiFi等移動(dòng)互聯(lián)手段，實(shí)時(shí)與終端通訊，提供技術(shù)支持、獲取并保存加密電子物證，執(zhí)法完成后，可從終端上傳執(zhí)法結(jié)果；“記錄查詢模塊”可以在執(zhí)法記錄上傳之后，隨時(shí)查閱執(zhí)法過程中人工記錄或者拍攝的視頻、圖像等原始記錄；“證據(jù)查詢模塊”可在對(duì)執(zhí)法結(jié)果發(fā)生質(zhì)疑時(shí)，提供物證支持，所有保存在平臺(tái)的電子物證數(shù)據(jù)均為時(shí)間戳及人員體征加密數(shù)據(jù)，真實(shí)有效，透明公開，可防止人為惡意篡改；“實(shí)時(shí)預(yù)覽模塊”可以在GIS地圖上實(shí)時(shí)調(diào)取監(jiān)察執(zhí)法人員的行動(dòng)軌跡，同時(shí)，獲取現(xiàn)場語音、畫面等信息，可遠(yuǎn)程監(jiān)督執(zhí)法人員及執(zhí)法行為是否規(guī)范，當(dāng)現(xiàn)場遇到問題時(shí)，也可以遠(yuǎn)程求助地面人員進(jìn)行協(xié)助處理；“報(bào)告管理模塊”可以根據(jù)執(zhí)法任務(wù)、現(xiàn)場原始記錄、電子物證等信息，自動(dòng)生成并記錄執(zhí)法報(bào)告，同時(shí)向上一級(jí)監(jiān)管部門平臺(tái)推送此次監(jiān)察結(jié)果。

5 結(jié) 語

本文研究內(nèi)容主要為礦山安全生產(chǎn)監(jiān)察執(zhí)法提供技術(shù)支持服務(wù)和手段，通過研究多語義情景感知、多參數(shù)信息采集、異構(gòu)數(shù)據(jù)融合、WebGIS等先進(jìn)技術(shù)，研制相應(yīng)系列安監(jiān)執(zhí)法裝備及管控平臺(tái)。其研究的相關(guān)技術(shù)及設(shè)備可應(yīng)用于全國煤礦企業(yè)和各級(jí)政府監(jiān)管監(jiān)察機(jī)構(gòu)，可有效解決現(xiàn)場執(zhí)法人員在執(zhí)法過程中擁有不同程度自由裁量權(quán)的問題。同時(shí)，對(duì)促進(jìn)煤礦監(jiān)察執(zhí)法技術(shù)裝備的升級(jí)換代，提升監(jiān)管監(jiān)察效能，推動(dòng)行業(yè)技術(shù)全面進(jìn)步，具有積極的作用，社會(huì)效益巨大。