基于大數(shù)據(jù)的煤礦違規(guī)行為分析識(shí)別系統(tǒng)研究

張洪亮

（1.中煤科工集團(tuán)沈陽研究院有限公司，遼寧 撫順 113122；2.煤礦安全技術(shù)國(guó)家重點(diǎn)實(shí)驗(yàn)室，遼寧 撫順 113122）

在大數(shù)據(jù)技術(shù)流行的今天，我國(guó)也加快了對(duì)大數(shù)據(jù)相關(guān)技術(shù)應(yīng)用的進(jìn)程，大數(shù)據(jù)技術(shù)與行業(yè)進(jìn)行了深度融合，同時(shí)也推動(dòng)了各行業(yè)的產(chǎn)業(yè)智能化升級(jí)。2019 年10 月底，國(guó)家煤礦安全監(jiān)察局印發(fā)煤安監(jiān)辦［2019］42 號(hào)《國(guó)家煤礦安全監(jiān)察局關(guān)于加快推進(jìn)煤礦安全風(fēng)險(xiǎn)預(yù)警系統(tǒng)建設(shè)的指導(dǎo)意見》[1-2]，要求“建設(shè)覆蓋國(guó)家、省、煤礦企業(yè)多個(gè)層面的安全生產(chǎn)風(fēng)險(xiǎn)監(jiān)測(cè)預(yù)警系統(tǒng)，打通從企業(yè)向上至煤礦安全監(jiān)管部門、省級(jí)煤監(jiān)機(jī)構(gòu)、國(guó)家煤礦安監(jiān)局系統(tǒng)的數(shù)據(jù)采集、傳輸、共享渠道?！薄Ｍ瑫r(shí)應(yīng)對(duì)煤礦安全生產(chǎn)形勢(shì)依然嚴(yán)峻，如何利用信息化手段提高煤礦安全執(zhí)法，降低煤礦安全生產(chǎn)事故，保障煤礦安全生產(chǎn)是急需解決的問題。因此，急需研究建設(shè)煤礦安監(jiān)執(zhí)法相關(guān)數(shù)據(jù)分析平臺(tái)，對(duì)煤礦企業(yè)的相關(guān)違規(guī)行為進(jìn)行識(shí)別、報(bào)警，并及時(shí)消除安全隱患?；谙冗M(jìn)信息化技術(shù)，不斷推進(jìn)信息化建設(shè)，滿足煤礦企業(yè)自身的安全管理要求，提高煤礦企業(yè)的安全生產(chǎn)管理水平，避免重特大安全事故發(fā)生，保障企業(yè)安全生產(chǎn)的總體目標(biāo)。

1 系統(tǒng)關(guān)鍵技術(shù)

大數(shù)據(jù)技術(shù)是一系列復(fù)雜技術(shù)的總稱，基礎(chǔ)的技術(shù)包含數(shù)據(jù)采集、數(shù)據(jù)倉庫、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)、多線程、可視化等。其主要核心關(guān)鍵技術(shù)包括Hadoop 大數(shù)據(jù)技術(shù)和Hive 數(shù)據(jù)倉庫技術(shù)。大數(shù)據(jù)技術(shù)架構(gòu)如圖1。

圖1 大數(shù)據(jù)技術(shù)架構(gòu)Fig.1 Big data technology architecture

1）Hadoop 技術(shù)。Hadoop 技術(shù)框架是一個(gè)依托于Apache 基金會(huì)的分布式系統(tǒng)基礎(chǔ)架構(gòu)。Hadoop 適合應(yīng)用于大數(shù)據(jù)存儲(chǔ)和大數(shù)據(jù)分析的應(yīng)用，是以一種可靠、高效、可伸縮的方式進(jìn)行處理的。還可以構(gòu)建于公共社區(qū)服務(wù)器，這樣大大降低了用戶的使用、開發(fā)成本。用戶可以方便地在Hadoop 公共社區(qū)服務(wù)器上設(shè)計(jì)、開發(fā)、運(yùn)行和處理海量數(shù)據(jù)的應(yīng)用程序。Hadoop 還支持Java 語言編寫的技術(shù)框架，能夠完美地運(yùn)行在Linux 操作系統(tǒng)上。同時(shí)，Hadoop 也支持其他編程語言。Hadoop 最核心的技術(shù)架構(gòu)是HDFS和MapReduce。HDFS 為海量數(shù)據(jù)提供分布式存儲(chǔ)，MapReduce 為海量數(shù)據(jù)提供了分布式計(jì)算能力。

2）Hive 數(shù)據(jù)倉庫技術(shù)。Hive 是基于Hadoop 的一個(gè)數(shù)據(jù)倉庫工具，用來進(jìn)行海量數(shù)據(jù)的提取、轉(zhuǎn)化和加載，即ETL 操作。Hive 數(shù)據(jù)倉庫相關(guān)工具能夠?qū)⒔Y(jié)構(gòu)化的、有序的數(shù)據(jù)文件轉(zhuǎn)化為關(guān)系型數(shù)據(jù)庫中的數(shù)據(jù)表，并能夠進(jìn)行SQL 語句查詢，能將SQL語句轉(zhuǎn)變成MapReduce 任務(wù)來執(zhí)行。Hive 的優(yōu)勢(shì)是使用成本低，可通過類似關(guān)系型數(shù)據(jù)庫的SQL 語句實(shí)現(xiàn)快速M(fèi)apReduce 計(jì)算，使對(duì)MapReduce 使用變得更簡(jiǎn)單，不必開發(fā)復(fù)雜的MapReduce 模塊程序。

2 系統(tǒng)設(shè)計(jì)

2.1 煤礦常見違規(guī)操作行為

煤礦違規(guī)行為存在于企業(yè)生產(chǎn)、經(jīng)營(yíng)的方方面面，但與安全息息相關(guān)的違規(guī)操作行為還是存在于安全生產(chǎn)的過程之中，主要有變換傳感器接入位置、遮擋傳感器探頭、篡改上傳數(shù)值、人為下調(diào)傳感器安裝位置、中斷傳感器數(shù)據(jù)、無計(jì)劃刪除測(cè)點(diǎn)、傳感器假標(biāo)校等違規(guī)行為。

1）傳感器接入位置信息違規(guī)場(chǎng)景。井下實(shí)際檢測(cè)傳感器已安裝，但是不接信號(hào)或在中心站軟件不定義，使其數(shù)據(jù)不傳到中心站，用別的地方的傳感器信號(hào)代替此位置傳感器的信號(hào)，迷惑檢查人員或上級(jí)人員。如將傳感器放置于甲烷氣體體積分?jǐn)?shù)比較低的進(jìn)風(fēng)巷內(nèi)，導(dǎo)致監(jiān)測(cè)的數(shù)據(jù)遠(yuǎn)遠(yuǎn)低于實(shí)際值。

2）傳感器傳感頭被遮擋違規(guī)場(chǎng)景。將傳感器的傳感頭部分使用塑料口袋等進(jìn)行捆扎，讓外界中的環(huán)境氣體無法進(jìn)入傳感器的感應(yīng)室內(nèi)，導(dǎo)致傳感器無法對(duì)環(huán)境中的甲烷等氣體進(jìn)行檢測(cè)，即使瓦斯氣體超限，傳感器也無法進(jìn)行監(jiān)測(cè)，或者檢測(cè)到的甲烷氣體體積分?jǐn)?shù)值嚴(yán)重偏低。

3）傳感器數(shù)值上傳違規(guī)場(chǎng)景。當(dāng)傳感器的氣體體積分?jǐn)?shù)值將要超限或已超限時(shí)，在數(shù)據(jù)上傳服務(wù)器前將原始數(shù)據(jù)進(jìn)行修改來防止系統(tǒng)發(fā)出報(bào)警。數(shù)據(jù)會(huì)存在突增點(diǎn)、突減點(diǎn)和窄幅震蕩的異常，且在突增異常點(diǎn)、突降異常點(diǎn)之后會(huì)伴隨出現(xiàn)數(shù)據(jù)窄幅震蕩異常，即數(shù)據(jù)整體表現(xiàn)比較平穩(wěn)，但變化頻率較快。

4）下調(diào)傳感器安裝位置違規(guī)場(chǎng)景。相關(guān)安全規(guī)程要求，甲烷傳感器應(yīng)垂直懸掛，距頂板（頂梁、屋頂）不得大于300 mm，距巷道側(cè)壁（墻壁）不得小于200 mm。瓦斯的密度比空氣小，所以瓦斯易在巷道上部積聚。人為下調(diào)傳感器安裝位置或者修改傳感器量程，將導(dǎo)致甲烷傳感器測(cè)量值與實(shí)際瓦斯體積分?jǐn)?shù)值相比整體縮倍偏低。

5）傳感器中斷違規(guī)場(chǎng)景。地面或井下人員在發(fā)現(xiàn)傳感器有上升超限趨勢(shì)后，對(duì)該分站主通訊進(jìn)行中斷或?qū)鞲衅靼蔚?、或?qū)鞲衅髟O(shè)置為不巡檢狀態(tài)、或者出現(xiàn)異常情況后中止上傳，使超限后的數(shù)據(jù)無法正常傳輸?shù)降孛嬷行恼?，待瓦斯體積分?jǐn)?shù)值恢復(fù)正常后恢復(fù)通訊。

6）無計(jì)劃刪除測(cè)點(diǎn)異常場(chǎng)景。地面監(jiān)控人員將已經(jīng)出現(xiàn)的超限（或預(yù)計(jì)將會(huì)出現(xiàn)超限）測(cè)點(diǎn)刪除，致使數(shù)據(jù)上傳中斷。

7）傳感器標(biāo)校周期違規(guī)場(chǎng)景，傳感器需按標(biāo)校周期定期標(biāo)校，并按標(biāo)校氣樣標(biāo)校。礦井標(biāo)校不規(guī)范行為有：在上傳的數(shù)據(jù)中，將傳感器的正常狀態(tài)修改為標(biāo)校，導(dǎo)致傳感器標(biāo)校狀態(tài)持續(xù)時(shí)間過長(zhǎng)；未按標(biāo)校周期對(duì)傳感器進(jìn)行標(biāo)校；1 次標(biāo)校持續(xù)時(shí)長(zhǎng)過短。

2.2 大數(shù)據(jù)分析模型抽象

通過分析煤礦違規(guī)操作行為的各種場(chǎng)景，找出每種違規(guī)行為內(nèi)在的數(shù)據(jù)發(fā)展變化規(guī)律。抽象出每種違規(guī)行為的算法分析模型。研究煤礦傳感器接入位置信息、傳感器探頭被遮擋、傳感器數(shù)值不正常、人為下調(diào)傳感器安裝位置、傳感器中斷、無計(jì)劃刪除測(cè)點(diǎn)、傳感器標(biāo)校周期等違規(guī)操作場(chǎng)景的異常數(shù)據(jù)特征，分析數(shù)據(jù)的變化趨勢(shì)，構(gòu)建數(shù)據(jù)分析模型。

例如：當(dāng)工作面在采煤時(shí)，由于開采導(dǎo)致大量瓦斯涌出，上隅角傳感器T0、工作面?zhèn)鞲衅鱐1、回風(fēng)巷傳感器T2的瓦斯體積分?jǐn)?shù)值均比較高；在非采煤時(shí)，瓦斯不再涌出，傳感器T1、傳感器T2的瓦斯體積分?jǐn)?shù)值會(huì)在快速下降之后保持比較低的水平，而傳感器T0則由于上隅角容易積聚瓦斯，瓦斯體積分?jǐn)?shù)值呈緩慢下降的趨勢(shì)。因此在整個(gè)生產(chǎn)過程中，傳感器T1、傳感器T2的瓦斯數(shù)據(jù)呈一致變化趨勢(shì)，傳感器T0則與之不同。

利用上述各傳感器的數(shù)據(jù)變化特征，從數(shù)據(jù)變化幅度是否劇烈、數(shù)值同時(shí)上升/下降的占比、1 d 內(nèi)數(shù)值變化頻率方面，對(duì)傳感器T0、傳感器T1、傳感器T2連續(xù)計(jì)算多天的數(shù)據(jù)，如果每天的數(shù)據(jù)都異常，則認(rèn)為該傳感器的位置異常，以此判斷傳感器T0、傳感器T1、傳感器T2的安裝位置是否正確,或以此來判斷是否存在違規(guī)操作行為。每種違規(guī)場(chǎng)景都抽象出相應(yīng)的判斷算法，為大數(shù)據(jù)分析識(shí)別模塊的開發(fā)做準(zhǔn)備。

2.3 數(shù)據(jù)的清洗與轉(zhuǎn)換

以煤礦安全監(jiān)測(cè)聯(lián)網(wǎng)數(shù)據(jù)為基礎(chǔ)，通過大數(shù)據(jù)的手段對(duì)可能出現(xiàn)的違規(guī)操作行為場(chǎng)景進(jìn)行分析。首先通過對(duì)集團(tuán)聯(lián)網(wǎng)平臺(tái)原始數(shù)據(jù)文件進(jìn)行實(shí)時(shí)記錄留存，類似飛機(jī)黑匣子的功能，實(shí)時(shí)記錄所有監(jiān)控系統(tǒng)運(yùn)行原始數(shù)據(jù)，作為以上違規(guī)操行行為分析的數(shù)據(jù)來源。實(shí)現(xiàn)與基于大數(shù)據(jù)的煤礦違規(guī)行為分析識(shí)別系統(tǒng)的數(shù)據(jù)對(duì)接。

該過程將使用Hive 工具對(duì)海量數(shù)據(jù)進(jìn)行數(shù)據(jù)提取、轉(zhuǎn)換與加載[3-4]，即ETL 操作。Hive 定義了簡(jiǎn)單的類似SQL 的查詢語言，即HiveSql。論其本質(zhì)，Hive其實(shí)針對(duì)SQL 語句進(jìn)行翻譯、解釋，它能夠?qū)⒂脩糨斎氲腍iveSql 語句轉(zhuǎn)換成MapReduce 作業(yè)，并在Hadoop 集群上運(yùn)行。一般情況下，數(shù)據(jù)倉庫分為ODS、DW 2 部分。通常的做法是從業(yè)務(wù)系統(tǒng)到ODS做數(shù)據(jù)清洗，將臟數(shù)據(jù)和不完整數(shù)據(jù)處理掉，再從ODS 到DW 的過程中做數(shù)據(jù)轉(zhuǎn)換，進(jìn)行不同業(yè)務(wù)規(guī)則數(shù)據(jù)的計(jì)算和整合。數(shù)據(jù)ETL 處理過程如圖2。

圖2 數(shù)據(jù)ETL 處理過程Fig.2 Data ETL processing process

2.3.1 數(shù)據(jù)清洗

數(shù)據(jù)清洗的目的是處理掉那些不滿足計(jì)算統(tǒng)計(jì)要求的各類數(shù)據(jù)，主要包括殘缺的數(shù)據(jù)、錯(cuò)誤的數(shù)據(jù)和冗余的數(shù)據(jù)3 大類。

1）殘缺的數(shù)據(jù)。即信息不完整，存在局部數(shù)據(jù)缺失的數(shù)據(jù)，如監(jiān)測(cè)值、采集時(shí)間等。需要將這一類數(shù)據(jù)過濾出來，處理掉。

2）錯(cuò)誤的數(shù)據(jù)。產(chǎn)生原因是業(yè)務(wù)系統(tǒng)不夠健全，比如超量程數(shù)據(jù)、日期格式不正確、日期越界等。

3）冗余的數(shù)據(jù)。數(shù)據(jù)時(shí)間相同、值相同的數(shù)據(jù)記錄，需將重復(fù)的數(shù)據(jù)的記錄去除，只保留1 條。

數(shù)據(jù)清洗是一個(gè)不斷持續(xù)的過程，不可能在短時(shí)間內(nèi)完成，而是隨著數(shù)據(jù)的采集，不斷地發(fā)現(xiàn)問題，處理問題。對(duì)于清洗之后的數(shù)據(jù)，可寫入文本文件或數(shù)據(jù)庫，以做日志存儲(chǔ)備份，也可以作為將來驗(yàn)證、改進(jìn)數(shù)據(jù)來源的依據(jù)。

2.3.2 數(shù)據(jù)轉(zhuǎn)換

數(shù)據(jù)轉(zhuǎn)換主要是對(duì)數(shù)據(jù)格式、數(shù)據(jù)密度、業(yè)務(wù)規(guī)則不一致的數(shù)據(jù)進(jìn)行一些格式轉(zhuǎn)換、密度調(diào)節(jié)、規(guī)則轉(zhuǎn)換的處理。

1）數(shù)據(jù)格式轉(zhuǎn)換。數(shù)據(jù)格式不一致的數(shù)據(jù)轉(zhuǎn)換主要是一個(gè)格式統(tǒng)一的過程，將不同業(yè)務(wù)系統(tǒng)的相同類型的數(shù)據(jù)按照規(guī)定的統(tǒng)一格式進(jìn)行轉(zhuǎn)換處理，本系統(tǒng)只抽取煤礦安全監(jiān)控系統(tǒng)的聯(lián)網(wǎng)數(shù)據(jù)，不存在不一致數(shù)據(jù)的轉(zhuǎn)換。

2）數(shù)據(jù)密度轉(zhuǎn)換。安全監(jiān)控聯(lián)網(wǎng)系統(tǒng)數(shù)據(jù)一般存儲(chǔ)非常詳細(xì)的數(shù)據(jù)，而數(shù)據(jù)倉庫中的數(shù)據(jù)是用來做分析、統(tǒng)計(jì)的，不需要非常詳細(xì)的數(shù)據(jù)，所以，需將安全監(jiān)控聯(lián)網(wǎng)系統(tǒng)數(shù)據(jù)按照數(shù)據(jù)倉庫設(shè)定的密度進(jìn)行聚合。

3）業(yè)務(wù)規(guī)則不同的數(shù)據(jù)類型轉(zhuǎn)換。這個(gè)類型的轉(zhuǎn)換有時(shí)不是簡(jiǎn)單的加減操作就能完成，需要在ETL 操作中將各業(yè)務(wù)規(guī)則數(shù)據(jù)進(jìn)行計(jì)算，然后存儲(chǔ)在數(shù)據(jù)倉庫中，最后為MapReduce 階段的計(jì)算、分析做準(zhǔn)備。本系統(tǒng)數(shù)據(jù)來源、業(yè)務(wù)規(guī)則單一，不需要進(jìn)行業(yè)務(wù)規(guī)則的數(shù)據(jù)類型轉(zhuǎn)換。

2.4 分析識(shí)別模塊

基于hadoop 的MapReduce 進(jìn)行分布式運(yùn)算程序的開發(fā)[5-8]，實(shí)現(xiàn)海量數(shù)據(jù)的分析、統(tǒng)計(jì)。MapReduce 編程模型只能包含1 個(gè)Map 階段和1 個(gè)Reduce 階段。第1 個(gè)階段的MapTask 并發(fā)實(shí)例，完全并行運(yùn)行，互不相干;第2 個(gè)階段的ReduceTask 并發(fā)實(shí)例互不相干，但是他們的數(shù)據(jù)依賴于上一個(gè)階段的所有MapTask 并發(fā)實(shí)例的輸出。MapReduce 關(guān)系圖如圖3。

圖3 MapReduce 關(guān)系圖Fig.3 MapReduce diagram

1）Map 任務(wù)開發(fā)。首先基于JAVA 技術(shù)定義1個(gè)數(shù)據(jù)讀取類MonitorDataReadMapper，并實(shí)現(xiàn)Mapper 接口map 方法，用于逐行讀取清洗轉(zhuǎn)換好的倉庫里的海量安全監(jiān)測(cè)聯(lián)網(wǎng)數(shù)據(jù)。

2）Reduce 任務(wù)開發(fā)。類似與Map 開發(fā)，首先定義1 個(gè)JAVA 類MonitorDataReduce，并實(shí)現(xiàn)Reduce接口的reduce 方法，對(duì)Map 階段處理之后的數(shù)據(jù)根據(jù)抽象出來的算法模型進(jìn)行統(tǒng)計(jì)分析，找出各種違規(guī)場(chǎng)景風(fēng)險(xiǎn)點(diǎn)，并進(jìn)行統(tǒng)計(jì)結(jié)果的輸出持久化，供可視化展示。

3 分布式運(yùn)行設(shè)計(jì)與計(jì)算

首先，準(zhǔn)備3 臺(tái)客戶機(jī)，在每臺(tái)客戶機(jī)上安裝JDK1.8，并配置環(huán)境變量。再安裝Hadoop，并配置相應(yīng)的環(huán)境變量，最后配置集群[9-10]。啟動(dòng)集群上的每個(gè)數(shù)據(jù)節(jié)點(diǎn)，保證整個(gè)集群的正常運(yùn)行。集群節(jié)點(diǎn)關(guān)系圖如圖4。

圖4 集群節(jié)點(diǎn)關(guān)系圖Fig.4 Cluster node diagram

將2 開發(fā)好的MapReduce 程序放在集群里運(yùn)行。前提需開發(fā)1 個(gè)驅(qū)動(dòng)類MonitorDataDriver。public class MonitorDataDriver{

最后通過Maven 生成JAR 包，并拷貝該JAR 包到Hadoop 集群。執(zhí)行[syccri@hadoop102 software]$hadoop jar MonitorData.jar com.syccri.monitordaaa.MonitorDataDriver 命令，最終生成想要的分析統(tǒng)計(jì)，計(jì)算結(jié)果。

4 結(jié) 語

通過對(duì)大數(shù)據(jù)技術(shù)、算法模型、倉庫技術(shù)、分布式技術(shù)的研究，建立大數(shù)據(jù)開發(fā)、分析環(huán)境。通過對(duì)變換傳感器接入位置、遮擋傳感器探頭、篡改上傳數(shù)值、人為下調(diào)傳感器安裝位置、中斷傳感器數(shù)據(jù)、無計(jì)劃刪除測(cè)點(diǎn)、傳感器假標(biāo)校等違規(guī)操作行為所產(chǎn)生異常數(shù)據(jù)的內(nèi)在規(guī)律性進(jìn)行分析，建立大數(shù)據(jù)數(shù)學(xué)分析模型，開發(fā)大數(shù)據(jù)分析模塊加以分析、識(shí)別，是行之有效的技術(shù)手段，能夠助力安監(jiān)部門監(jiān)察煤礦企業(yè)違規(guī)、違法操作行為，現(xiàn)場(chǎng)精準(zhǔn)取證，消除安全隱患。