基于Hadoop生態(tài)圈的選煤數(shù)據(jù)中臺(tái)設(shè)計(jì)

趙鑫， 王然風(fēng)， 付翔

(太原理工大學(xué) 礦業(yè)工程學(xué)院， 山西 太原 030024)

0 引言

目前智能化煤礦建設(shè)已成為國(guó)家戰(zhàn)略[1]，在智能化選煤廠建設(shè)過程中，主要關(guān)注設(shè)備及其控制的智能化分析，而數(shù)據(jù)智能化是選煤廠智能化的有機(jī)組成部分，對(duì)實(shí)現(xiàn)選煤數(shù)據(jù)精細(xì)化管理具有重要意義[2-5]。

在物聯(lián)網(wǎng)、大數(shù)據(jù)、云計(jì)算、人工智能為核心的新一代信息技術(shù)支撐下，許多學(xué)者對(duì)選煤數(shù)據(jù)智能化進(jìn)行了研究。匡亞莉[6]針對(duì)智能化選煤廠建設(shè)，提出選煤大數(shù)據(jù)系統(tǒng)研究的目標(biāo)是全面的數(shù)據(jù)融合與集成。張磊[7]針對(duì)選煤廠數(shù)據(jù)共享實(shí)時(shí)性差和信息傳輸準(zhǔn)確性低等問題，提出利用PLC二次回路技術(shù)提高現(xiàn)場(chǎng)設(shè)備運(yùn)行數(shù)據(jù)采集的精確度，并通過對(duì)系統(tǒng)集成接口進(jìn)行深度開發(fā)，建立了全面的信息管理系統(tǒng)。高曉茜等[8]為提高選煤廠調(diào)度員數(shù)據(jù)記錄效率，設(shè)計(jì)了基于B/S架構(gòu)的信息化調(diào)度管理系統(tǒng)，實(shí)現(xiàn)了選煤廠生產(chǎn)數(shù)據(jù)自動(dòng)記錄、集成和共享。孫小路等[9]研究了選煤實(shí)時(shí)數(shù)據(jù)、關(guān)系數(shù)據(jù)庫(kù)中離散數(shù)據(jù)的存儲(chǔ)規(guī)則，并通過Web API (Application Programming Interface, 應(yīng)用程序接口)實(shí)現(xiàn)數(shù)據(jù)共享。選煤廠信息管理系統(tǒng)的應(yīng)用，提高了選煤廠生產(chǎn)數(shù)據(jù)的管理效率，但不同系統(tǒng)采用的接口不規(guī)范，導(dǎo)致數(shù)據(jù)重復(fù)采集，使得信息嚴(yán)重冗余，且各系統(tǒng)相互獨(dú)立，對(duì)多源異構(gòu)數(shù)據(jù)處理能力弱，數(shù)據(jù)融合缺乏大數(shù)據(jù)技術(shù)支撐。

針對(duì)上述問題，本文提出了基于Hadoop生態(tài)圈的選煤數(shù)據(jù)中臺(tái)設(shè)計(jì)方案：通過MDM(Master Data Management，主數(shù)據(jù)管理)系統(tǒng)實(shí)現(xiàn)主數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范化；通過ESB(Enterprise Service Bus，企業(yè)服務(wù)總線)實(shí)現(xiàn)系統(tǒng)集成接口規(guī)范化；設(shè)計(jì)歸一化、相關(guān)系數(shù)矩陣和噪聲異常點(diǎn)檢測(cè)程序?qū)崿F(xiàn)數(shù)據(jù)處理；結(jié)合D-S(Dempster-Shafer )證據(jù)理論與Hadoop生態(tài)圈技術(shù)設(shè)計(jì)多源異構(gòu)數(shù)據(jù)融合子系統(tǒng)，實(shí)現(xiàn)數(shù)據(jù)融合共享；運(yùn)用Highcharts數(shù)據(jù)可視化組件實(shí)現(xiàn)數(shù)據(jù)實(shí)時(shí)交互式的可視化展示。

1 選煤數(shù)據(jù)中臺(tái)架構(gòu)

選煤數(shù)據(jù)中臺(tái)由數(shù)據(jù)感知層、基礎(chǔ)設(shè)施層、中臺(tái)實(shí)現(xiàn)層和業(yè)務(wù)服務(wù)層組成，其總體架構(gòu)如圖1所示。

(1) 數(shù)據(jù)感知層負(fù)責(zé)數(shù)據(jù)的自動(dòng)采集與感知。通過PLC、傳感器等智能終端，采用Modbus、OPC協(xié)議自動(dòng)感知洗選、人員定位等數(shù)據(jù)；使用WebService、IEC104協(xié)議實(shí)現(xiàn)SCADA(Supervisory Control and Data Acquisition，數(shù)據(jù)采集與監(jiān)視控制)、ERP(Enterprise Resource Planning，企業(yè)資源計(jì)劃)、OA(Office Automation，辦公自動(dòng)化)等系統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)中計(jì)劃、生產(chǎn)、能源、環(huán)保、安全、設(shè)備等管控?cái)?shù)據(jù)的自動(dòng)采集；通過錄像機(jī)、視頻環(huán)網(wǎng)使用RTSP(Real Time Streaming Protocol，實(shí)時(shí)流傳輸協(xié)議)接入監(jiān)控視頻數(shù)據(jù)。

圖1 選煤數(shù)據(jù)中臺(tái)總體架構(gòu)Fig.1 Overall structure of coal preparation data center

(2) 基礎(chǔ)設(shè)施層由選煤廠互聯(lián)網(wǎng)數(shù)據(jù)中心部署分配的Hadoop分布式服務(wù)器[10-11]集群、上位機(jī)及寬帶、移動(dòng)網(wǎng)絡(luò)組成。Hadoop分布式服務(wù)器集群通過分布式架構(gòu)解決了單臺(tái)服務(wù)器多線程并行計(jì)算耗時(shí)多，大規(guī)模數(shù)據(jù)存儲(chǔ)量大、網(wǎng)絡(luò)帶寬等問題。通過部署服務(wù)器集群[12-13]將大數(shù)據(jù)技術(shù)的相關(guān)模塊部署在不同服務(wù)器并形成備份，以解決高并發(fā)訪問量情況下的負(fù)載不均衡問題，避免了因某一臺(tái)服務(wù)器單點(diǎn)故障而影響整個(gè)數(shù)據(jù)中臺(tái)運(yùn)行。Hadoop分布式服務(wù)器集群由5臺(tái)服務(wù)器組成，每臺(tái)服務(wù)器彼此獨(dú)立，相互之間僅通過消息隊(duì)列通信。

(3) 中臺(tái)實(shí)現(xiàn)層由Hadoop框架、Hive數(shù)據(jù)倉(cāng)庫(kù)和 Highcharts數(shù)據(jù)可視化組件組成。

Hadoop框架包括HDFS(Hadoop Distributed File System，Hadoop分布式文件系統(tǒng))、Yarn(Yet Another Resource Negotiator，另一種資源協(xié)調(diào)者)、MapReduce計(jì)算框架和Spark 4個(gè)組件。HDFS組件中NameNode作為主節(jié)點(diǎn)，負(fù)責(zé)獲取數(shù)據(jù)位置信息；SecondaryNameNode作為輔助節(jié)點(diǎn)，管理元數(shù)據(jù)信息；DataNode作為從節(jié)點(diǎn)，負(fù)責(zé)讀寫、存儲(chǔ)相關(guān)數(shù)據(jù)。Yarn組件中ResourceManager執(zhí)行用戶的計(jì)算請(qǐng)求，并負(fù)責(zé)合理分配資源；NodeManager負(fù)責(zé)管理Hadoop集群中的單個(gè)計(jì)算節(jié)點(diǎn)。MapReduce計(jì)算框架在Map階段將大規(guī)模的計(jì)算任務(wù)拆解成多個(gè)子任務(wù)，在Reduce階段將子任務(wù)計(jì)算結(jié)果合并為最終的計(jì)算結(jié)果。該組件需要處理的原始數(shù)據(jù)及計(jì)算結(jié)果通過HDFS存儲(chǔ)，計(jì)算的同時(shí)需要Yarn并行提供資源調(diào)度。Spark通過RDDs(Resilient Distributed Datasets，彈性分布式數(shù)據(jù)集)執(zhí)行引擎將中間數(shù)據(jù)在服務(wù)器內(nèi)存中迭代存儲(chǔ)，克服了MapReduce計(jì)算框架在磁盤中運(yùn)算的缺陷。

Hive數(shù)據(jù)倉(cāng)庫(kù)面向特定主題，關(guān)注聯(lián)機(jī)分析處理與管理決策。Hive數(shù)據(jù)倉(cāng)庫(kù)包括ODS(Operational Data Store，數(shù)據(jù)運(yùn)營(yíng))層、DW(Data Warehouse，數(shù)據(jù)倉(cāng)庫(kù))層、APP(Application，數(shù)據(jù)應(yīng)用)層。ODS層實(shí)現(xiàn)與其他數(shù)據(jù)中臺(tái)的關(guān)系數(shù)據(jù)庫(kù)數(shù)據(jù)表、文檔、圖片、點(diǎn)擊流日志的同步；DW層對(duì)數(shù)據(jù)進(jìn)行清洗加工、分析與挖掘，并形成特定業(yè)務(wù)主題數(shù)據(jù)存入APP層；APP層提供針對(duì)特定場(chǎng)景的個(gè)性化業(yè)務(wù)數(shù)據(jù)，供后續(xù)數(shù)據(jù)分析與挖掘使用。

Highcharts數(shù)據(jù)可視化組件用于實(shí)現(xiàn)數(shù)據(jù)交互式的可視化展示。

(4) 業(yè)務(wù)服務(wù)層依據(jù)選煤廠及煤炭集團(tuán)業(yè)務(wù)需求，將數(shù)據(jù)中臺(tái)功能進(jìn)行模塊化封裝，根據(jù)用戶操作權(quán)限展示與操作不同功能頁(yè)面。

2 選煤數(shù)據(jù)中臺(tái)關(guān)鍵技術(shù)

面對(duì)TB級(jí)別、彼此孤立存在的海量多源異構(gòu)數(shù)據(jù)，數(shù)據(jù)中臺(tái)通過Hadoop生態(tài)圈技術(shù)實(shí)現(xiàn)數(shù)據(jù)感知、集成、處理、融合、分析、可視化展示的全生命周期管理。

2.1 多源異構(gòu)數(shù)據(jù)集成技術(shù)

(1) MDM系統(tǒng)。數(shù)據(jù)中臺(tái)的主數(shù)據(jù)包括通用基礎(chǔ)類(地區(qū)、民族、資金單位)數(shù)據(jù)、單位類(內(nèi)部單位、外部單位)數(shù)據(jù)和產(chǎn)品類(原煤、中煤、精煤、矸石)數(shù)據(jù)等。針對(duì)主數(shù)據(jù)分類、編碼不一致，關(guān)鍵信息錄入空值、不規(guī)范等問題，數(shù)據(jù)中臺(tái)設(shè)計(jì)MDM系統(tǒng)，根據(jù)DB14/T 2245—2020《煤炭洗選企業(yè)標(biāo)準(zhǔn)化管理規(guī)范》，明確定義增量數(shù)據(jù)中間表的相關(guān)字段、數(shù)據(jù)類型與映射關(guān)系。以產(chǎn)品類主數(shù)據(jù)中間表字段為例，通過MDM系統(tǒng)實(shí)現(xiàn)各生產(chǎn)部門按需選擇主數(shù)據(jù)及相應(yīng)的屬性字段，為ESB提供集成的主數(shù)據(jù)字段映射關(guān)系，相關(guān)信息見表1。

表1 主數(shù)據(jù)煤炭類中間表字段及相關(guān)信息Table 1 Master data coal intermediate table fields and related information

(2) ESB。針對(duì)現(xiàn)有數(shù)據(jù)處理軟件采用不同的編程語(yǔ)言、數(shù)據(jù)庫(kù)及系統(tǒng)集成接口不規(guī)范等問題，數(shù)據(jù)中臺(tái)采用SOA(Service Oriented Architecture，面向服務(wù))架構(gòu)的ESB模式實(shí)現(xiàn)系統(tǒng)集成接口規(guī)范化。SOA架構(gòu)將不同的應(yīng)用功能單元視為一個(gè)服務(wù)，對(duì)服務(wù)定義標(biāo)準(zhǔn)化的接口與契約，實(shí)現(xiàn)松耦合的總線型拓?fù)浣Y(jié)構(gòu)。

ESB模式按照數(shù)據(jù)流的傳輸方向，將訪問服務(wù)分為生產(chǎn)者(數(shù)據(jù)提供方)與消費(fèi)者(數(shù)據(jù)接收方)，如圖2所示。生產(chǎn)者在數(shù)據(jù)發(fā)生變化時(shí)調(diào)用ESB接口傳入Json文件，并發(fā)起流程；ESB調(diào)用數(shù)據(jù)接收接口，使用單條同步的方式進(jìn)行狀態(tài)同步；ESB通過日志回傳接口向生產(chǎn)者反饋消費(fèi)者的狀態(tài)同步結(jié)果。當(dāng)未來新上線的系統(tǒng)需要通過ESB與數(shù)據(jù)中臺(tái)集成時(shí)，統(tǒng)一注冊(cè)并拓展Rest服務(wù)接口，使用標(biāo)準(zhǔn)WebService協(xié)議實(shí)現(xiàn)消息通信、服務(wù)檢測(cè)等功能。

圖2 ESB架構(gòu)Fig.2 ESB architecture

2.2 多源異構(gòu)數(shù)據(jù)處理技術(shù)

針對(duì)數(shù)據(jù)采集、集成過程中數(shù)據(jù)原始量綱不統(tǒng)一，多隨機(jī)變量間相關(guān)關(guān)系無法判斷，數(shù)據(jù)集包含不一致、不完整的“臟數(shù)據(jù)”等問題，數(shù)據(jù)中臺(tái)借助Hadoop生態(tài)圈的ETL(Extract-Transform-Load，數(shù)據(jù)倉(cāng)庫(kù)技術(shù))，研究并設(shè)計(jì)歸一化程序、相關(guān)系數(shù)矩陣程序和噪聲異常點(diǎn)檢測(cè)程序進(jìn)行數(shù)據(jù)處理，為后續(xù)數(shù)據(jù)融合與分析提供數(shù)據(jù)支撐。

(1) 歸一化(去量綱)。將有量綱的數(shù)據(jù)集通過比例縮放轉(zhuǎn)換為無單位的小范圍標(biāo)量。通過線性函數(shù)離差歸一化方法(式(1))，將數(shù)據(jù)集映射到[0，1]區(qū)間。

(1)

式中：x*為歸一化數(shù)據(jù)；x為原始數(shù)據(jù)；X為原始數(shù)據(jù)集。

(2) 相關(guān)系數(shù)矩陣。根據(jù)MapReduce計(jì)算框架的鍵值對(duì)思想，利用Pearson公式對(duì)數(shù)據(jù)集進(jìn)行映射與規(guī)約，計(jì)算每個(gè)特征值之間的相關(guān)系數(shù)。MapReduce計(jì)算框架在Map階段通過多線程并行循環(huán)讀取行數(shù)據(jù)與列數(shù)據(jù)并進(jìn)行分布式計(jì)算，在Reduce階段將分組算出的系數(shù)匯總并輸出。以商品煤質(zhì)量鑒定單中煤泥化驗(yàn)結(jié)果為例，將全水分、灰分和發(fā)熱量3個(gè)字段作為數(shù)據(jù)處理對(duì)象，選取500組數(shù)據(jù)作為數(shù)據(jù)集，見表2。

表2 商品煤質(zhì)量鑒定單Table 2 Commercial coal quality appraisal sheet

采用Pearson公式對(duì)數(shù)據(jù)集進(jìn)行運(yùn)算，運(yùn)算結(jié)果的特征關(guān)系系數(shù)值域?yàn)閇-1，1]，通過Highcharts數(shù)據(jù)可視化組件中的矩陣表示隨機(jī)變量間的相關(guān)性關(guān)系，如圖3所示。

圖3 相關(guān)系數(shù)矩陣Fig.3 Correlation coefficient matrix

由Pearson公式定義可知，相關(guān)系數(shù)>0表示二者之間呈正相關(guān)，相關(guān)系數(shù)<0表示二者之間呈負(fù)相關(guān)。由圖3可知，發(fā)熱量與全水分的相關(guān)系數(shù)為-0.583 562 134，絕對(duì)值位于0.40～0.69之間，表示二者之間呈中度負(fù)相關(guān)；發(fā)熱量與灰分的相關(guān)系數(shù)為-0.883 119 024，絕對(duì)值位于0.70～0.89之間，表示二者之間呈高度負(fù)相關(guān)。通過相關(guān)系數(shù)矩陣程序處理，為下一步數(shù)據(jù)挖掘發(fā)熱量與全水分、灰分的線性關(guān)系提供支持。

(3) 噪聲異常點(diǎn)檢測(cè)。數(shù)據(jù)中臺(tái)引入Spark框架下的DataFrame對(duì)象，借助四分位距原理檢測(cè)一組測(cè)試數(shù)據(jù)中是否存在噪聲異常數(shù)據(jù)。DataFrame對(duì)象將Hive數(shù)據(jù)倉(cāng)庫(kù)、Json文件、關(guān)系型數(shù)據(jù)庫(kù)的數(shù)據(jù)表作為數(shù)據(jù)源，調(diào)用內(nèi)置approxQuantile()方法傳入列名及計(jì)算分位點(diǎn)等參數(shù)，并求出每個(gè)字段的邊界；調(diào)用select()、filter()方法循環(huán)遍歷數(shù)據(jù)集，最終篩選出噪聲異常數(shù)據(jù)。

2.3 多源異構(gòu)數(shù)據(jù)融合技術(shù)

針對(duì)選煤廠海量數(shù)據(jù)融合的需求，結(jié)合經(jīng)典D-S證據(jù)理論[14-15]、Hadoop和Hive數(shù)據(jù)倉(cāng)庫(kù)，設(shè)計(jì)了多源異構(gòu)數(shù)據(jù)融合子系統(tǒng)。D-S證據(jù)理論運(yùn)用Dempster合成準(zhǔn)則和信度函數(shù)描述按時(shí)序獲得的要素間相互關(guān)系。數(shù)據(jù)融合流程如圖4所示，其中FN(·)，BN(·)，PN(·)分別為MapReduce將大規(guī)模計(jì)算任務(wù)拆分成N個(gè)子任務(wù)的正交和組合函數(shù)、信任函數(shù)、似然函數(shù)。

(1) 調(diào)用API(Application Programming Interface，應(yīng)用程序接口)中的showTables()方法判斷數(shù)據(jù)源表是否存在，若存在則調(diào)用selectTable()方法選擇目標(biāo)數(shù)據(jù)源表、調(diào)用map()方法選擇表中的具體字段，否則轉(zhuǎn)至數(shù)據(jù)集成與預(yù)處理。

圖4 數(shù)據(jù)融合流程Fig.4 Data fusion process

(2) 主服務(wù)器(Master)根據(jù)數(shù)據(jù)表字段與節(jié)點(diǎn)個(gè)數(shù)，調(diào)用splite()方法將數(shù)據(jù)集平均分割給各從服務(wù)器(Slave)進(jìn)行融合計(jì)算。

(3) 計(jì)算基本概率分配函數(shù)。設(shè)總樣本空間為Ω，基本概率分配函數(shù)f(·)滿足2個(gè)約束條件：

(2)

式中：f(?)為空命題?為真的概率；A為2Ω中的1個(gè)或多個(gè)命題；f(A)為命題A為真的概率。

(4) 計(jì)算正交和組合函數(shù)F(·)。設(shè)f1(·)，f2(·)為2個(gè)不同的基本概率分配函數(shù)，正交和組合函數(shù)F=f1(·)⊕f2(·)符合F(?)=0,則

(3)

(4)

式中：C為2Ω中的命題；k為證據(jù)沖突因子，當(dāng)k=1時(shí)，表示命題A,C完全沖突；0

(5) 計(jì)算信任函數(shù)B(·)。B(A)表示對(duì)命題A為真的信任度。

(5)

(6) 計(jì)算似然函數(shù)P(·)。P(A)表示對(duì)命題A為非假的信任度。

P(A)=1-B(A)

(6)

(7) 主服務(wù)器重寫reduce()方法，并將從服務(wù)器的融合結(jié)果匯總并寫入HDFS中。

2.4 多源異構(gòu)數(shù)據(jù)可視化技術(shù)

Highcharts 是基于Web應(yīng)用程序、用JavaScript語(yǔ)言編寫的可視化交互圖表庫(kù)。首先通過初始化函數(shù) Highcharts.chart ()創(chuàng)建圖表，然后通過構(gòu)造函數(shù)綁定圖表對(duì)應(yīng)的全局樣式、繪圖區(qū)、圖表事件等配置項(xiàng)，最后通過JavaScript讀取純文本數(shù)據(jù)文件或通過Ajax 請(qǐng)求數(shù)據(jù)接口讀取與處理數(shù)據(jù)。利用Highcharts數(shù)據(jù)可視化組件的jquery.min.js，highcharts.js等靜態(tài)資源庫(kù)，將廠區(qū)地圖、視頻監(jiān)控、工藝流程、生產(chǎn)統(tǒng)計(jì)報(bào)表等數(shù)據(jù)通過豐富的可視化圖表(包括儀表盤、速度儀、散點(diǎn)圖、漏斗圖等)展現(xiàn)給管理決策層，便于其觀看、分析與決策。

3 選煤數(shù)據(jù)中臺(tái)應(yīng)用

該數(shù)據(jù)中臺(tái)已在山西焦煤集團(tuán)有限責(zé)任公司洗選加工部、二級(jí)子公司和分屬選煤廠試運(yùn)行,實(shí)現(xiàn)了數(shù)據(jù)定義與系統(tǒng)集成、數(shù)據(jù)處理、數(shù)據(jù)融合與數(shù)據(jù)可視化展示4大數(shù)據(jù)管理功能。選煤中臺(tái)主要功能模塊如圖5所示。

圖5 選煤數(shù)據(jù)中臺(tái)功能模塊Fig.5 Function module of coal preparation data center platform

(1) 數(shù)據(jù)定義與系統(tǒng)集成管理。該管理模塊構(gòu)建了MDM和ESB 2大系統(tǒng)。MDM系統(tǒng)通過匯總各業(yè)務(wù)部門需用的主數(shù)據(jù)及相應(yīng)的屬性字段，編制了包括單位類、產(chǎn)品類和通用基礎(chǔ)類等主數(shù)據(jù)目錄，便于提供集成的主數(shù)據(jù)字段映射關(guān)系。ESB系統(tǒng)通過拓展Rest服務(wù)接口，成功將已上線的山西焦煤集團(tuán)有限責(zé)任公司主數(shù)據(jù)管理系統(tǒng)、統(tǒng)一認(rèn)證管理平臺(tái)、協(xié)同OA系統(tǒng)、煤炭銷售管理系統(tǒng)等集成，由ESB系統(tǒng)統(tǒng)一進(jìn)行服務(wù)監(jiān)控和消息轉(zhuǎn)發(fā)，滿足了集團(tuán)異構(gòu)系統(tǒng)互通互聯(lián)的集成需求。

(2) 數(shù)據(jù)處理管理。提供了歸一化、相關(guān)系數(shù)矩陣和噪聲異常點(diǎn)檢測(cè)程序，實(shí)現(xiàn)了計(jì)劃(數(shù)/質(zhì)量計(jì)劃、生產(chǎn)計(jì)劃、采購(gòu)計(jì)劃等)、生產(chǎn) (工藝流程、生產(chǎn)指標(biāo)等)、能源 (能源消耗分析、選煤節(jié)能對(duì)標(biāo)等)、安全 (雙預(yù)控、瓦斯、消防等)、環(huán)保 (“三廢”管理等) 等業(yè)務(wù)數(shù)據(jù)的清洗與處理。

(3) 數(shù)據(jù)融合管理。通過多源異構(gòu)數(shù)據(jù)融合子系統(tǒng)，選煤廠成功實(shí)現(xiàn)了多故障類型下壓濾機(jī)等設(shè)備的故障原因分析，避免了只通過單一機(jī)理和傳感器數(shù)據(jù)無法準(zhǔn)確判斷復(fù)雜工況下設(shè)備故障的問題。壓濾機(jī)是最常用的選煤廠煤泥脫水關(guān)鍵設(shè)備，在壓濾生產(chǎn)系統(tǒng)中具有重要作用。壓濾機(jī)發(fā)生故障時(shí)，受復(fù)雜運(yùn)行環(huán)境的影響，如僅通過單一傳感器監(jiān)測(cè)數(shù)據(jù)對(duì)常見故障進(jìn)行原因分析，必然忽視了多種故障因素共同作用的影響。利用多源異構(gòu)數(shù)據(jù)融合子系統(tǒng)定義樣本空間h1(壓濾機(jī)拉鉤傳動(dòng)鏈軸承溫度過高)、h2(壓濾機(jī)拉鉤傳動(dòng)鏈軸承異響)2種異常狀態(tài)。將2種狀態(tài)下軸承處溫度、壓力數(shù)據(jù)集通過噪聲異常點(diǎn)檢測(cè)程序過濾掉異常的“臟數(shù)據(jù)”后，進(jìn)行歸一化處理，并根據(jù)專家知識(shí)庫(kù)給出樣本空間的基本概率分配函數(shù)，見表3。

表3 樣本空間基本概率分配函數(shù)Table 3 Basic probability assignment functions of sample space

將溫度數(shù)據(jù)集與壓力數(shù)據(jù)集對(duì)應(yīng)的基本概率分配函數(shù)進(jìn)行融合，由式(3)、式(4)得出k=0.946 4，F(xiàn)(h1)=0.689，F(xiàn)(h2)=0.049。F(h1)最大，表明壓濾機(jī)拉鉤傳動(dòng)鏈軸承溫度過高的可能性大。由式(5)得出B(h1)=0.689，B(h2)=0.049，由式(6)算出P(h1)=0.951，P(h2)=0.311，B(h1)>B(h2)，P(h1)>P(h2)，根據(jù)當(dāng)前樣本集推斷出壓濾機(jī)處于拉鉤傳動(dòng)鏈軸承溫度過高狀態(tài)的可能性最大。

(4) 數(shù)據(jù)可視化管理。通過Highcharts數(shù)據(jù)可視化組件，將選煤關(guān)鍵指標(biāo)、運(yùn)營(yíng)情況等數(shù)據(jù)通過速度儀表盤、雷達(dá)球等形象化圖表展示給管理決策層。如圖6所示，可視化界面左側(cè)實(shí)時(shí)滾動(dòng)刷新各選煤廠月度技術(shù)指標(biāo)、四耗指標(biāo)和煤炭主營(yíng)業(yè)務(wù)等關(guān)鍵數(shù)據(jù)；中間顯示生產(chǎn)車間的視頻監(jiān)控畫面和調(diào)度室的選煤工藝流程圖；右側(cè)顯示月度生產(chǎn)指標(biāo)、產(chǎn)量與完成率等數(shù)據(jù)。

圖6 Highcharts數(shù)據(jù)可視化Fig.6 Highcharts data visualization

4 結(jié)論

(1) 基于選煤企業(yè)數(shù)據(jù)管理的現(xiàn)狀、存在的問題與需求，運(yùn)用Hadoop生態(tài)圈大數(shù)據(jù)技術(shù)，提出了基于Hadoop生態(tài)圈的選煤數(shù)據(jù)中臺(tái)總體架構(gòu)，研究了數(shù)據(jù)定義與集成、數(shù)據(jù)處理、數(shù)據(jù)融合與數(shù)據(jù)可視化展示等關(guān)鍵技術(shù)。

(2) 應(yīng)用結(jié)果表明，基于Hadoop生態(tài)圈的選煤數(shù)據(jù)中臺(tái)可實(shí)現(xiàn)主數(shù)據(jù)定義標(biāo)準(zhǔn)與系統(tǒng)集成接口規(guī)范化，提高了選煤數(shù)據(jù)處理能力，實(shí)現(xiàn)了多源異構(gòu)選煤數(shù)據(jù)的融合共享、數(shù)據(jù)實(shí)時(shí)交互式的可視化展示。