數(shù)據(jù)中臺(tái)在煤礦重大災(zāi)害預(yù)警中的應(yīng)用

王洪權(quán) 趙青山 孫學(xué)峰

（兗州煤業(yè)股份有限公司，山東 鄒城 273500）

為了對(duì)煤礦中的瓦斯突出、一氧化碳超限、礦井透水以及應(yīng)力釋放導(dǎo)致的頂板斷裂、底板底鼓、沖擊地壓等災(zāi)害進(jìn)行預(yù)警，兗州煤業(yè)建設(shè)了重大災(zāi)害預(yù)警系統(tǒng)。在系統(tǒng)建設(shè)過程中首要工作是收集、整理以及存儲(chǔ)安全監(jiān)測(cè)系統(tǒng)、應(yīng)力監(jiān)測(cè)系統(tǒng)、涌水量監(jiān)測(cè)系統(tǒng)等監(jiān)測(cè)數(shù)據(jù)。這些數(shù)據(jù)格式不同、實(shí)時(shí)性高，一般的數(shù)據(jù)庫(kù)和數(shù)據(jù)倉(cāng)庫(kù)無(wú)法滿足存儲(chǔ)和分析的要求。數(shù)據(jù)中臺(tái)提供了數(shù)據(jù)的采集、清洗、存儲(chǔ)、實(shí)時(shí)分析功能，因此采用數(shù)據(jù)中臺(tái)技術(shù)作為煤礦重大災(zāi)害預(yù)警平臺(tái)的數(shù)據(jù)管理平臺(tái)。

1 煤礦重大災(zāi)害預(yù)警平臺(tái)

煤礦重大災(zāi)害預(yù)警平臺(tái)按照統(tǒng)一的標(biāo)準(zhǔn)對(duì)煤礦安全風(fēng)險(xiǎn)數(shù)據(jù)進(jìn)行采集、傳輸、清洗、加工、交換，應(yīng)用大數(shù)據(jù)技術(shù)對(duì)大量事故案例進(jìn)行深入挖掘，多維度、多角度分析事故發(fā)生的內(nèi)在關(guān)聯(lián)和規(guī)律性，并通過BP 神經(jīng)網(wǎng)絡(luò)模型實(shí)現(xiàn)事故的預(yù)測(cè)預(yù)判，使煤礦安全生產(chǎn)管理模式由“事后管理”向“事前預(yù)防”轉(zhuǎn)變，有效提升煤礦安全管理能力。

煤礦重大災(zāi)害預(yù)警平臺(tái)主要包含風(fēng)險(xiǎn)的識(shí)別、風(fēng)險(xiǎn)的評(píng)估、風(fēng)險(xiǎn)的監(jiān)測(cè)和風(fēng)險(xiǎn)的管控。平臺(tái)集成了安全監(jiān)測(cè)、人員定位、水文地質(zhì)、微震、礦壓、視頻等監(jiān)測(cè)監(jiān)控系統(tǒng)，按照統(tǒng)一格式和標(biāo)準(zhǔn)存儲(chǔ)實(shí)時(shí)和歷史數(shù)據(jù)，完成數(shù)據(jù)融合，為煤礦提供風(fēng)險(xiǎn)管控治理建議，為制定執(zhí)法計(jì)劃提供參考。

2 數(shù)據(jù)中臺(tái)技術(shù)

數(shù)據(jù)中臺(tái)的定位是一站式數(shù)據(jù)中臺(tái)PaaS，目標(biāo)是通過產(chǎn)品化的方式，構(gòu)建數(shù)據(jù)共享能力中心。數(shù)據(jù)中臺(tái)包含了數(shù)據(jù)采集、數(shù)據(jù)分析、數(shù)據(jù)挖掘、數(shù)據(jù)查詢這一完整的數(shù)據(jù)應(yīng)用過程，覆蓋了建設(shè)數(shù)據(jù)中臺(tái)過程中所需要的各種工具，同時(shí)支持離線計(jì)算和實(shí)時(shí)計(jì)算兩種數(shù)據(jù)處理方式。

數(shù)據(jù)中臺(tái)采用先進(jìn)的大數(shù)據(jù)生態(tài)底層技術(shù)，通過Spark、Flink 等開放的體系架構(gòu)提供實(shí)時(shí)/離線計(jì)算框架，具備高性能且功能豐富的大數(shù)據(jù)處理能力，可以最大化的分析數(shù)據(jù)價(jià)值，實(shí)現(xiàn)數(shù)據(jù)應(yīng)用的閉環(huán)。在提供開發(fā)環(huán)境和平臺(tái)接口的同時(shí)，對(duì)大數(shù)據(jù)離線計(jì)算、實(shí)時(shí)計(jì)算、數(shù)據(jù)倉(cāng)庫(kù)建設(shè)、煤礦圖譜等多種應(yīng)用提供有效支撐。

2.1 數(shù)據(jù)中臺(tái)設(shè)計(jì)理念

數(shù)據(jù)中臺(tái)是一個(gè)承接技術(shù)、引領(lǐng)業(yè)務(wù)、構(gòu)建規(guī)范定義的、全域可連接萃取的、智慧的數(shù)據(jù)處理平臺(tái)，建設(shè)目標(biāo)是為了高效滿足前臺(tái)數(shù)據(jù)分析和應(yīng)用的需求[1]。數(shù)據(jù)中臺(tái)建設(shè)內(nèi)容包含：

（1）集成和存儲(chǔ)煤礦安全生產(chǎn)相關(guān)數(shù)據(jù)。根據(jù)煤礦重大災(zāi)害預(yù)警平臺(tái)要求，集成和存儲(chǔ)測(cè)風(fēng)數(shù)據(jù)、束管防滅火監(jiān)測(cè)系統(tǒng)數(shù)據(jù)、水文監(jiān)測(cè)系統(tǒng)數(shù)據(jù)、沖擊地壓微震監(jiān)測(cè)系統(tǒng)數(shù)據(jù)、設(shè)備管理系統(tǒng)數(shù)據(jù)等安全相關(guān)監(jiān)測(cè)系統(tǒng)中數(shù)據(jù)，并存儲(chǔ)到歷史庫(kù)中。

（2）制定數(shù)據(jù)的企業(yè)標(biāo)準(zhǔn)和集成規(guī)范。集成的數(shù)據(jù)格式多種多樣，數(shù)據(jù)中臺(tái)通過數(shù)據(jù)分層架構(gòu)模式，把異構(gòu)數(shù)據(jù)格式化為規(guī)范的結(jié)構(gòu)化數(shù)據(jù)，實(shí)現(xiàn)了指標(biāo)口徑統(tǒng)一。

（3）建立數(shù)據(jù)資產(chǎn)管理中心，把煤礦中所有數(shù)據(jù)作為數(shù)據(jù)資產(chǎn)進(jìn)行管理。對(duì)數(shù)據(jù)資產(chǎn)可以進(jìn)行分析、應(yīng)用以及優(yōu)化，實(shí)現(xiàn)數(shù)據(jù)價(jià)值。通過數(shù)據(jù)資產(chǎn)管理中心統(tǒng)一管理煤礦中的數(shù)據(jù)資產(chǎn)，降低管理成本、管理難度和技術(shù)門檻。

（4）提供統(tǒng)一的數(shù)據(jù)服務(wù)。數(shù)據(jù)中臺(tái)內(nèi)部對(duì)用戶是透明的，用戶不需要了解數(shù)據(jù)的存儲(chǔ)方式和存儲(chǔ)位置，只需要使用數(shù)據(jù)查詢邏輯即可使用數(shù)據(jù)中臺(tái)中的數(shù)據(jù)，為用戶提供了統(tǒng)一的接口。

2.2 數(shù)據(jù)中臺(tái)技術(shù)架構(gòu)

數(shù)據(jù)采集、數(shù)據(jù)計(jì)算、數(shù)據(jù)服務(wù)、數(shù)據(jù)應(yīng)用是煤礦重大災(zāi)害預(yù)警平臺(tái)中的數(shù)據(jù)中臺(tái)技術(shù)架構(gòu)中劃分的四個(gè)層次，如圖1。

（1）數(shù)據(jù)采集層。數(shù)據(jù)采集分為實(shí)時(shí)采集和離線采集，實(shí)時(shí)采集分為多種方式，采用主流的采集技術(shù)工具來(lái)接入，離線采集使用主流的批量數(shù)據(jù)同步工具。

（2）數(shù)據(jù)技術(shù)層。從采集系統(tǒng)中收集了大量的原始數(shù)據(jù)后，數(shù)據(jù)只有被整合、計(jì)算才能洞察商業(yè)規(guī)律、挖掘潛在信息、實(shí)現(xiàn)大數(shù)據(jù)價(jià)值，達(dá)到賦能生產(chǎn)、安全預(yù)警、創(chuàng)造價(jià)值的目的。OneData 是數(shù)據(jù)整合及管理的方法體系和工具。現(xiàn)有煤礦系統(tǒng)存在重復(fù)建設(shè)的問題，煤礦中各類數(shù)據(jù)存在大量冗余，形成了大量的離散的“孤島數(shù)據(jù)”，在數(shù)據(jù)整合過程中需要規(guī)范數(shù)據(jù)格式、去除數(shù)據(jù)冗余、建立數(shù)據(jù)關(guān)聯(lián)。使用OneData 構(gòu)建重大災(zāi)害預(yù)警平臺(tái)中統(tǒng)一、規(guī)范、可共享的數(shù)據(jù)資源池，充分發(fā)揮大數(shù)據(jù)海量、多樣性方面的獨(dú)特優(yōu)勢(shì)。

（3）數(shù)據(jù)服務(wù)層。數(shù)據(jù)服務(wù)層是未來(lái)所有基礎(chǔ)信息數(shù)據(jù)交換、處理及共享等大數(shù)據(jù)服務(wù)的核心，包含數(shù)據(jù)集成整合、數(shù)據(jù)治理及服務(wù)幾部分。數(shù)據(jù)服務(wù)可以使應(yīng)用對(duì)底層數(shù)據(jù)存儲(chǔ)透明，將海量數(shù)據(jù)方便高效地開放給煤礦內(nèi)部各應(yīng)用使用。數(shù)據(jù)服務(wù)以數(shù)據(jù)倉(cāng)庫(kù)整合計(jì)算好的數(shù)據(jù)作為數(shù)據(jù)源，對(duì)外提供數(shù)據(jù)服務(wù)，主要提供數(shù)據(jù)推送服務(wù)等特色數(shù)據(jù)服務(wù)。

（4）數(shù)據(jù)應(yīng)用層。平臺(tái)數(shù)據(jù)準(zhǔn)備完成后，需要通過合適的應(yīng)用提供給煤礦，讓數(shù)據(jù)最大化地發(fā)揮價(jià)值。應(yīng)用將以微服務(wù)的形式呈現(xiàn)在PaaS平臺(tái)上，煤礦的相關(guān)數(shù)據(jù)或主題分析將直接取結(jié)果數(shù)據(jù)進(jìn)行相關(guān)展示和重大災(zāi)害預(yù)警。

圖1 數(shù)據(jù)中臺(tái)技術(shù)架構(gòu)層次圖

3 數(shù)據(jù)中臺(tái)在煤礦重大災(zāi)害預(yù)警平臺(tái)中的應(yīng)用

3.1 數(shù)據(jù)中臺(tái)作用

重大災(zāi)害預(yù)警平臺(tái)使用數(shù)據(jù)中臺(tái)作為統(tǒng)一的數(shù)據(jù)管理平臺(tái)。數(shù)據(jù)中臺(tái)采集各監(jiān)測(cè)系統(tǒng)中的數(shù)據(jù)，對(duì)數(shù)據(jù)進(jìn)行清洗、規(guī)范化和分析整理，然后提供數(shù)據(jù)查詢邏輯和數(shù)據(jù)接口。通過數(shù)據(jù)中臺(tái)打通了各監(jiān)測(cè)系統(tǒng)，實(shí)現(xiàn)了數(shù)據(jù)的融合，提高了數(shù)據(jù)的利用率，最終實(shí)現(xiàn)數(shù)據(jù)資產(chǎn)的增值。數(shù)據(jù)中臺(tái)不是分布式數(shù)據(jù)存儲(chǔ)庫(kù)，其包含了數(shù)據(jù)的規(guī)范標(biāo)準(zhǔn)和完整的數(shù)據(jù)處置過程。數(shù)據(jù)中臺(tái)采集數(shù)據(jù)、規(guī)范化數(shù)據(jù)、完整性校驗(yàn)數(shù)據(jù)、分析數(shù)據(jù)、提供數(shù)據(jù)，煤礦中的海量數(shù)據(jù)，經(jīng)過數(shù)據(jù)中臺(tái)的處理成為具有價(jià)值的數(shù)據(jù)資產(chǎn)，同時(shí)能被靈活使用，并快速擴(kuò)展。數(shù)據(jù)中臺(tái)的本質(zhì)：

（1）從關(guān)心某個(gè)數(shù)據(jù)指標(biāo)、單獨(dú)的數(shù)據(jù)應(yīng)用轉(zhuǎn)向關(guān)注數(shù)據(jù)整體的梳理、數(shù)據(jù)質(zhì)量。從打基礎(chǔ)開始，逐步構(gòu)建完整的數(shù)據(jù)體系；

（2）將所有數(shù)據(jù)統(tǒng)一的匯聚；

（3）整體的建模；

（4）統(tǒng)一的數(shù)據(jù)治理；

（5）期望以后的數(shù)據(jù)指標(biāo)和應(yīng)用綜合成本降低50%以上。

在充分利用虛擬化資源池的基礎(chǔ)上，全面加強(qiáng)對(duì)各類基礎(chǔ)信息的實(shí)時(shí)采集、動(dòng)態(tài)錄入，做到數(shù)據(jù)全、信息準(zhǔn)、底數(shù)清、情況明，并通過構(gòu)建統(tǒng)一的數(shù)據(jù)中臺(tái)實(shí)現(xiàn)全域數(shù)據(jù)資源的整合共享以及業(yè)務(wù)應(yīng)用的協(xié)同聯(lián)動(dòng)，進(jìn)而有效盤活煤礦各類數(shù)據(jù)資產(chǎn)，最終推動(dòng)數(shù)據(jù)應(yīng)用的融合化建設(shè)。

3.2 數(shù)據(jù)中臺(tái)功能

數(shù)據(jù)中臺(tái)涵蓋數(shù)據(jù)從采集、加工、處理、分析以及服務(wù)的全流程能力，其具備多元化的采集手段，依托統(tǒng)一的元數(shù)據(jù)、主數(shù)據(jù)以及數(shù)據(jù)資產(chǎn)管理形成了一套數(shù)據(jù)治理體系，并以此為基礎(chǔ)構(gòu)建了包括各類基礎(chǔ)信息、數(shù)據(jù)倉(cāng)庫(kù)以及大數(shù)據(jù)資源三大類數(shù)據(jù)資源，最終通過API 服務(wù)的形式形成統(tǒng)一的數(shù)據(jù)服務(wù)平臺(tái)。數(shù)據(jù)中臺(tái)具有以下功能：

（1）數(shù)據(jù)同步。數(shù)據(jù)同步是在各個(gè)存儲(chǔ)單元之間執(zhí)行數(shù)據(jù)交換的管道。為了在數(shù)據(jù)中臺(tái)內(nèi)進(jìn)行大規(guī)模數(shù)據(jù)集的挖掘與計(jì)算，通常的做法是在任務(wù)執(zhí)行前將數(shù)據(jù)傳輸至數(shù)據(jù)中臺(tái)，并在任務(wù)執(zhí)行結(jié)束后將計(jì)算結(jié)果傳輸至外部存儲(chǔ)單元（例如MySQL等應(yīng)用數(shù)據(jù)庫(kù)）。

（2）數(shù)據(jù)開發(fā)。用于構(gòu)建數(shù)據(jù)清洗、統(tǒng)計(jì)或數(shù)據(jù)挖掘的計(jì)算邏輯。煤礦內(nèi)進(jìn)行數(shù)據(jù)分析的場(chǎng)景多種多樣，周期執(zhí)行的任務(wù)、臨時(shí)取數(shù)、數(shù)據(jù)挖掘任務(wù)都會(huì)同時(shí)存在，數(shù)據(jù)中臺(tái)提供多種任務(wù)模式，分別滿足不同分析場(chǎng)景。

（3）數(shù)據(jù)模型。數(shù)據(jù)模型不僅是數(shù)據(jù)中臺(tái)提供的抽象工具，用來(lái)對(duì)現(xiàn)實(shí)世界進(jìn)行數(shù)據(jù)抽象化，還提供了抽象后的數(shù)據(jù)的表示方式，以及數(shù)據(jù)的操作方式。數(shù)據(jù)模型是現(xiàn)實(shí)世界中實(shí)體的數(shù)據(jù)化，是概念的集合。這些概念通過數(shù)據(jù)完整性約束被嚴(yán)格定義，包含現(xiàn)實(shí)世界實(shí)體的靜態(tài)數(shù)據(jù)、動(dòng)態(tài)數(shù)據(jù)以及完整性約束。數(shù)據(jù)的組織結(jié)構(gòu)、數(shù)據(jù)操作和完整性約束是數(shù)據(jù)模型的組成部分。

（4）數(shù)據(jù)地圖。數(shù)據(jù)地圖是可視化的數(shù)據(jù)資產(chǎn)中心，用戶可以在數(shù)據(jù)地圖模塊中查看平臺(tái)內(nèi)的所有數(shù)據(jù)表情況，同時(shí)可以進(jìn)行全方位的管理中臺(tái)內(nèi)的數(shù)據(jù)資產(chǎn)。

（5）數(shù)據(jù)質(zhì)量管控。數(shù)據(jù)質(zhì)量包括及時(shí)性、完整性、一致性、準(zhǔn)確性，數(shù)據(jù)中臺(tái)中數(shù)據(jù)質(zhì)量劃分為規(guī)則的配置、校驗(yàn)結(jié)果的查詢等。

（6）數(shù)據(jù)服務(wù)。數(shù)據(jù)服務(wù)主要解決統(tǒng)一管理對(duì)內(nèi)對(duì)外數(shù)據(jù)服務(wù)。API 管理者可利用產(chǎn)品化的配置工具生成各類API 服務(wù)，監(jiān)控所有API 的調(diào)用及訂購(gòu)情況，讓自己的數(shù)據(jù)資產(chǎn)價(jià)值對(duì)外輸出，同時(shí)可見、可管。與此同時(shí)，對(duì)于API 使用者，可以看見API 市場(chǎng)中所有的API，根據(jù)需求自助選取合適的API，極大地提高了使用效率與易用性。

4 結(jié)語(yǔ)

通過構(gòu)建統(tǒng)一的數(shù)據(jù)中臺(tái)實(shí)現(xiàn)全域數(shù)據(jù)資源的整合、共享以及業(yè)務(wù)應(yīng)用的協(xié)同聯(lián)動(dòng)，進(jìn)而有效盤活煤礦各類數(shù)據(jù)資產(chǎn)，最終推動(dòng)數(shù)據(jù)應(yīng)用的融合化建設(shè)。