基于大數(shù)據(jù)的煤礦機(jī)電設(shè)備管理系統(tǒng)設(shè)計(jì)

羅 強(qiáng)

（河南大有能源股份有限公司新安煤礦，河南 洛陽(yáng) 471800）

煤礦機(jī)電系統(tǒng)由多種機(jī)械設(shè)備構(gòu)成，其系統(tǒng)運(yùn)行管理是一項(xiàng)復(fù)雜的工程。煤礦機(jī)電設(shè)備運(yùn)行狀態(tài)直接關(guān)系到煤礦企業(yè)的生產(chǎn)效率及生產(chǎn)安全性、穩(wěn)定性，因此管理和控制煤礦機(jī)電設(shè)備的運(yùn)行工作至關(guān)重要。隨著科學(xué)技術(shù)及現(xiàn)代工業(yè)的發(fā)展，煤礦機(jī)電設(shè)備的性能得到顯著提升，其自動(dòng)化程度也不斷提高，推動(dòng)著生存量的增加，從而提高了企業(yè)經(jīng)濟(jì)效益。然而，制造技術(shù)及先進(jìn)機(jī)電裝備的應(yīng)用、電子商務(wù)的發(fā)展等，使增加效益和節(jié)能減耗成為煤礦企業(yè)面臨的重要任務(wù)。煤礦機(jī)電設(shè)備運(yùn)行過(guò)程中會(huì)產(chǎn)生多種數(shù)據(jù)，數(shù)據(jù)管理的標(biāo)準(zhǔn)及格式存在一定差異，加之機(jī)電設(shè)備管理系統(tǒng)的獨(dú)立性，在數(shù)據(jù)管理中極易存在信息孤島問(wèn)題，導(dǎo)致數(shù)據(jù)難以高效合理地利用[1]。但是智能技術(shù)、大數(shù)據(jù)技術(shù)的發(fā)展，為機(jī)電設(shè)備數(shù)據(jù)管理的自動(dòng)化和智能化提供了重要的技術(shù)支撐，此技術(shù)通過(guò)對(duì)巨量的煤礦機(jī)電設(shè)備運(yùn)行數(shù)據(jù)的處理分析，對(duì)煤礦機(jī)電設(shè)備運(yùn)行進(jìn)行了有效管理。鑒于此，文章依據(jù)煤礦檢點(diǎn)設(shè)備數(shù)據(jù)管理狀況，設(shè)計(jì)了煤礦機(jī)電設(shè)備管理系統(tǒng)平臺(tái)，此平臺(tái)實(shí)現(xiàn)了數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)采集、存儲(chǔ)、數(shù)據(jù)處理分析及挖掘等的一體化，能夠及時(shí)存儲(chǔ)、挖掘和分析數(shù)據(jù)規(guī)律，并對(duì)數(shù)據(jù)進(jìn)行有效利用，以確保煤礦機(jī)電運(yùn)行的穩(wěn)定性和安全性。

1 煤礦機(jī)電管理系統(tǒng)平臺(tái)框架設(shè)計(jì)

（1）總體框架。煤礦機(jī)電設(shè)備運(yùn)行中產(chǎn)生的數(shù)據(jù)量較多，數(shù)據(jù)復(fù)雜且具有異構(gòu)性，文章結(jié)合用戶需求將煤礦機(jī)電設(shè)備管理體系設(shè)計(jì)為資源層、數(shù)據(jù)層、應(yīng)用層和服務(wù)層等架構(gòu)。①資源層主要包括物資管理、資源計(jì)劃、設(shè)備生命周期管理等子系統(tǒng)，以及相應(yīng)的硬件設(shè)備。②數(shù)據(jù)層包括數(shù)據(jù)存儲(chǔ)和數(shù)據(jù)處理兩個(gè)子系統(tǒng)，其中數(shù)據(jù)存儲(chǔ)系統(tǒng)主要由PLM和MMS數(shù)據(jù)庫(kù)、中間數(shù)據(jù)集庫(kù)和ERP數(shù)據(jù)庫(kù)、分布式數(shù)據(jù)庫(kù)、歷史數(shù)據(jù)庫(kù)和云數(shù)據(jù)庫(kù)構(gòu)成，而數(shù)據(jù)處理系統(tǒng)主要由數(shù)據(jù)采集、預(yù)處理、分布式存儲(chǔ)及數(shù)據(jù)挖掘和數(shù)據(jù)可視化等構(gòu)成[2]。數(shù)據(jù)層主要是采集和處理、分析數(shù)據(jù)信息，并對(duì)其進(jìn)行一體化顯示，能夠更好地依據(jù)煤礦機(jī)電設(shè)備大型部件的復(fù)雜性及設(shè)備多樣性的特征構(gòu)建完善的數(shù)據(jù)采集和分類體系，使其采集及信息分類更加規(guī)范。預(yù)處理系統(tǒng)主要是對(duì)物聯(lián)網(wǎng)智慧終端所采集的數(shù)據(jù)進(jìn)行清洗降噪，數(shù)據(jù)分析主要是對(duì)設(shè)備運(yùn)行狀態(tài)及歷史數(shù)據(jù)等進(jìn)行深度分析，挖掘出其運(yùn)行規(guī)律及其高價(jià)值內(nèi)容。實(shí)際顯示主要是將機(jī)電設(shè)備運(yùn)行狀態(tài)以動(dòng)態(tài)化的方式進(jìn)行呈現(xiàn)，實(shí)現(xiàn)對(duì)運(yùn)行狀態(tài)的動(dòng)態(tài)監(jiān)測(cè)。③應(yīng)用層主要由運(yùn)行狀態(tài)監(jiān)控系統(tǒng)、井下設(shè)備動(dòng)態(tài)監(jiān)控系統(tǒng)、設(shè)備數(shù)量在線監(jiān)測(cè)系統(tǒng)、設(shè)備地理位置的監(jiān)控、維修記錄系統(tǒng)、故障模式識(shí)別系統(tǒng)、故障自動(dòng)診斷及設(shè)備健康預(yù)測(cè)系統(tǒng)、運(yùn)行環(huán)境可視化、運(yùn)行狀態(tài)評(píng)估體系、設(shè)備生產(chǎn)周期管理系統(tǒng)及設(shè)備維護(hù)決策優(yōu)化等子系統(tǒng)構(gòu)成[3]。該層主要是依據(jù)用戶需求確保機(jī)電設(shè)備運(yùn)行的優(yōu)化、互聯(lián)和高效運(yùn)維，利用設(shè)備實(shí)時(shí)監(jiān)控、在線數(shù)量監(jiān)測(cè)等將各機(jī)電設(shè)備統(tǒng)一構(gòu)成設(shè)備群，實(shí)現(xiàn)其運(yùn)行管理的整體性和系統(tǒng)化。④服務(wù)層主要由設(shè)備監(jiān)測(cè)、大數(shù)據(jù)分析及運(yùn)維優(yōu)化等子系統(tǒng)構(gòu)成。主要是按照用戶的實(shí)際需求定制應(yīng)用模塊，減少不必要應(yīng)用的資源占用，實(shí)現(xiàn)系統(tǒng)運(yùn)行服務(wù)的透明化、模塊化和標(biāo)準(zhǔn)化。同時(shí)，在服務(wù)層服務(wù)器中接入移動(dòng)裝置，實(shí)現(xiàn)PC端與移動(dòng)端數(shù)據(jù)交互，不但能提高機(jī)電設(shè)備的管理效率，也使管理更加便捷有效。

（2）系統(tǒng)功能設(shè)計(jì)。此煤礦機(jī)電設(shè)備管理體系選用結(jié)構(gòu)化手段設(shè)計(jì)系統(tǒng)功能，系統(tǒng)功能主要為預(yù)處理、采集、分布式存儲(chǔ)、數(shù)據(jù)可視化及數(shù)據(jù)挖掘等模塊，各模塊又包括相應(yīng)的子模塊。數(shù)據(jù)采集模塊包括業(yè)務(wù)系統(tǒng)數(shù)據(jù)、職工信息數(shù)據(jù)、設(shè)備實(shí)時(shí)監(jiān)控?cái)?shù)據(jù)、歷史監(jiān)控?cái)?shù)據(jù)等數(shù)據(jù)的采集模塊，預(yù)處理模塊主要包括多元技術(shù)融合、數(shù)據(jù)轉(zhuǎn)換、提取元數(shù)據(jù)、監(jiān)控?cái)?shù)據(jù)的降噪處理等模塊，數(shù)據(jù)挖掘模塊主要包括設(shè)備健康監(jiān)測(cè)、學(xué)習(xí)算法庫(kù)、傳感器建模、大數(shù)據(jù)專用模型，可視化模塊主要為運(yùn)營(yíng)狀態(tài)的可視化、企業(yè)運(yùn)營(yíng)狀況的可視化、設(shè)備健康狀況的展示等功能模塊。

2 關(guān)鍵技術(shù)構(gòu)成

該系統(tǒng)中主要應(yīng)用了數(shù)據(jù)管理技術(shù)、多元數(shù)據(jù)融合及數(shù)據(jù)并行處理等大數(shù)據(jù)技術(shù)。

（1）數(shù)據(jù)管理技術(shù)。該系統(tǒng)中數(shù)據(jù)管理技術(shù)采用的是高通量技術(shù)。按照煤礦機(jī)電設(shè)備種類多、數(shù)量量大且復(fù)雜的特征，文章所用文件系統(tǒng)為分布式存儲(chǔ)系統(tǒng)，應(yīng)用了LZW及霍夫曼算法的高效編碼壓縮法，對(duì)海量數(shù)據(jù)進(jìn)行非結(jié)構(gòu)化和結(jié)構(gòu)化的寫入。在資源分析及描述基礎(chǔ)上，采用了分布式資源描述框架（RDF）的存儲(chǔ)模式，以確保設(shè)備運(yùn)行數(shù)據(jù)的共享及利用，同時(shí)按照此數(shù)據(jù)描述方法構(gòu)建了機(jī)電設(shè)備運(yùn)行數(shù)據(jù)的元數(shù)據(jù)模型。選用分布式存儲(chǔ)方式進(jìn)行存儲(chǔ)，不但能夠減少存儲(chǔ)開銷，還能提高查詢效率，應(yīng)用可擴(kuò)展性及列存儲(chǔ)的特征滿足巨量RDF數(shù)據(jù)存儲(chǔ)的需求，以向用戶提供索引及查詢服務(wù)，確保查詢服務(wù)的高效。

（2）多元數(shù)據(jù)融合技術(shù)。煤礦機(jī)電設(shè)備多種多樣，其產(chǎn)生的數(shù)據(jù)也較為復(fù)雜多樣，數(shù)據(jù)源形式復(fù)雜。為便于分析和處理機(jī)電設(shè)備的相關(guān)數(shù)據(jù)，文章采用了多元數(shù)據(jù)融合技術(shù)，將企業(yè)資源計(jì)劃作為信息融合的關(guān)系型數(shù)據(jù)，融合過(guò)程中需要利用數(shù)據(jù)庫(kù)所對(duì)應(yīng)的接口表，數(shù)據(jù)并不會(huì)直接導(dǎo)入資源計(jì)劃系統(tǒng)，而是從運(yùn)行環(huán)境、層次化物料表等對(duì)此大數(shù)據(jù)語(yǔ)義實(shí)行一體化的融合，實(shí)現(xiàn)了半結(jié)構(gòu)化與非結(jié)構(gòu)化數(shù)據(jù)同BOM所定義的語(yǔ)義結(jié)構(gòu)的節(jié)點(diǎn)融合，繼而實(shí)現(xiàn)了煤礦企業(yè)數(shù)據(jù)信息的融合統(tǒng)一。為詳細(xì)描述煤礦企業(yè)數(shù)據(jù)資源，按照煤礦機(jī)電設(shè)備運(yùn)行大數(shù)據(jù)的功能、類別及特性等進(jìn)行詳細(xì)分析，在此基礎(chǔ)上定義了煤礦機(jī)電設(shè)備大數(shù)據(jù)詞集。該詞集具有較強(qiáng)的通用性，其內(nèi)容主要為數(shù)據(jù)所屬設(shè)備、數(shù)據(jù)資源名稱、數(shù)據(jù)資源標(biāo)識(shí)、數(shù)據(jù)位置、數(shù)據(jù)所屬企業(yè)及數(shù)據(jù)形成時(shí)間、數(shù)據(jù)狀態(tài)、數(shù)據(jù)約束及數(shù)據(jù)的基本描述。以定義元數(shù)據(jù)的方式對(duì)實(shí)體數(shù)據(jù)內(nèi)容進(jìn)行統(tǒng)一，利用接口標(biāo)準(zhǔn)實(shí)現(xiàn)數(shù)據(jù)交換并確保其規(guī)范性，進(jìn)而形成數(shù)據(jù)池，實(shí)現(xiàn)數(shù)據(jù)專業(yè)性及標(biāo)準(zhǔn)化模型的構(gòu)建。

（3）數(shù)據(jù)并行處理技術(shù)。煤礦企業(yè)機(jī)電設(shè)備的數(shù)據(jù)量較大，可用性不高，質(zhì)量不高。鑒于此，文章選用機(jī)器學(xué)習(xí)算法來(lái)構(gòu)建數(shù)據(jù)預(yù)警分析及清洗模型，機(jī)電設(shè)備運(yùn)行大數(shù)據(jù)的清洗模型依靠時(shí)間序列來(lái)分析，對(duì)機(jī)電設(shè)備運(yùn)行大數(shù)據(jù)的異常值分類，根據(jù)所分類型對(duì)建模的不同影響，選用迭代檢驗(yàn)法檢測(cè)且修復(fù)此異常值。數(shù)據(jù)清洗效率的提高需要利用時(shí)間序列環(huán)境下的數(shù)據(jù)清洗同Mapreduce技術(shù)的集合，共同構(gòu)建設(shè)備運(yùn)行大數(shù)據(jù)的清洗模型。按照處理算法與非線性的時(shí)間序列特征提取、BOM復(fù)雜結(jié)構(gòu)的離散裝備分析建模，對(duì)設(shè)備故障及其同認(rèn)知見的關(guān)系進(jìn)行解析，以實(shí)時(shí)監(jiān)測(cè)煤礦機(jī)電設(shè)備運(yùn)行的健康程度，并實(shí)現(xiàn)故障預(yù)警和跟蹤劣化趨勢(shì)。同時(shí)，還應(yīng)用了時(shí)空數(shù)據(jù)、時(shí)間序列和深度學(xué)習(xí)算法等技術(shù)，以完善數(shù)據(jù)分析處理系統(tǒng)。

（4）可視化技術(shù)。對(duì)職工信息及設(shè)備信息進(jìn)行解析和表達(dá)離不開大數(shù)據(jù)技術(shù)中的可視化技術(shù)，對(duì)機(jī)電設(shè)備故障和特征的關(guān)系進(jìn)行研究，能夠向用戶多角度多層次地展示機(jī)電設(shè)備的運(yùn)行狀況，以更加突出數(shù)據(jù)的說(shuō)服力及客觀性。所用的可視化技術(shù)主要為ECharts工具、前端技術(shù)Ajax技術(shù)和多維數(shù)據(jù)的可視化技術(shù)等。

文章綜合應(yīng)用了上述大數(shù)據(jù)技術(shù)，以確保能夠?qū)崿F(xiàn)數(shù)據(jù)加載的動(dòng)態(tài)化。

3 煤礦機(jī)電設(shè)備管理系統(tǒng)平臺(tái)的軟硬件建設(shè)

（1）硬件設(shè)施建設(shè)。該服務(wù)器內(nèi)存為512G，CPU為NVIDIAK80，固態(tài)硬盤為960G，磁盤存儲(chǔ)空間為10T，能夠高效存儲(chǔ)和處理巨量數(shù)據(jù)。主節(jié)點(diǎn)硬盤容量達(dá)100G，從節(jié)點(diǎn)均為80G；主節(jié)點(diǎn)和從節(jié)點(diǎn)內(nèi)容均為8G，處理器均為4核，主頻均為3.6GHz，操作系統(tǒng)均為16.04LTS。服務(wù)器上共設(shè)虛擬機(jī)3臺(tái)，其中主節(jié)點(diǎn)虛擬機(jī)1臺(tái)，從節(jié)點(diǎn)虛擬機(jī)2臺(tái)。

（2）系統(tǒng)軟件設(shè)施建設(shè)。常見的系統(tǒng)組網(wǎng)主要有虛擬專網(wǎng)和物理專網(wǎng)的方式，其中物理專網(wǎng)中均采用裸光纖，此組網(wǎng)方式能夠?yàn)閿?shù)據(jù)提供最低傳輸延時(shí)和最高傳輸?shù)陌踩?，但此組網(wǎng)成本相對(duì)較高，較適宜用于對(duì)成本不敏感、低時(shí)延和保密性要求高的應(yīng)用環(huán)境。虛擬專網(wǎng)則是通過(guò)現(xiàn)代傳輸網(wǎng)絡(luò)技術(shù)構(gòu)建獨(dú)立虛擬化網(wǎng)絡(luò)，這種組網(wǎng)能夠?yàn)閿?shù)據(jù)提供最低傳輸延時(shí)和最高傳輸?shù)陌踩?，適用于時(shí)延及保密要求都較高且不關(guān)注成本的環(huán)境。同時(shí)，互聯(lián)網(wǎng)數(shù)據(jù)傳輸具有成本低的特征，但其數(shù)據(jù)傳輸?shù)目煽啃约鞍踩詿o(wú)法更好地保障，且延時(shí)較長(zhǎng)，但能夠通過(guò)技術(shù)手段進(jìn)行完善。為此，文章采用了虛擬網(wǎng)絡(luò)+互聯(lián)網(wǎng)的方式進(jìn)行組網(wǎng)，在提高傳輸效率的同時(shí)，也減少了使用成本，保證了其安全性。在此運(yùn)行環(huán)境中，該系統(tǒng)所用服務(wù)器的3臺(tái)虛擬機(jī)IP地址分別為192.168.88.130、192.168.88.135、192.168.88.131，均安裝有ssh和jdk系統(tǒng)，均采用Hadoop2.6版本和HBase1.2.6版本，能夠有效控制和管理相應(yīng)節(jié)點(diǎn)，并做好存儲(chǔ)及計(jì)算。

4 系統(tǒng)應(yīng)用實(shí)踐

該系統(tǒng)實(shí)施后，系統(tǒng)能夠有效清洗出系統(tǒng)平臺(tái)中機(jī)電設(shè)備運(yùn)行狀態(tài)的巨量數(shù)據(jù)，修復(fù)存在的缺失值及噪聲點(diǎn)。當(dāng)數(shù)據(jù)量比較少時(shí)，處于初始化、生產(chǎn)中間文件和傳遞數(shù)據(jù)的狀態(tài)時(shí)需要耗費(fèi)較多的時(shí)間，所以利用時(shí)間序列清洗模型能夠取得較佳的清洗處理效果。數(shù)據(jù)量的持續(xù)增多，系統(tǒng)生成中間文件及初始化、傳遞文件等所耗費(fèi)的時(shí)間同數(shù)據(jù)清洗時(shí)間相比都在持續(xù)減少，可見此機(jī)電設(shè)備運(yùn)行大數(shù)據(jù)清洗系統(tǒng)具有一定的優(yōu)勢(shì)。系統(tǒng)運(yùn)行過(guò)程中，數(shù)據(jù)存儲(chǔ)的性能也非常突出，尤其是面對(duì)大數(shù)據(jù)量時(shí)，系統(tǒng)存儲(chǔ)、處理及管理的計(jì)算耗費(fèi)及網(wǎng)絡(luò)資源都非常少，數(shù)據(jù)加載的效率得到了有效提高。在此系統(tǒng)設(shè)計(jì)中，通過(guò)利用大數(shù)據(jù)技術(shù)中的可視化技術(shù)、數(shù)據(jù)并行處理技術(shù)、多元數(shù)據(jù)融合技術(shù)及數(shù)量高通量管理技術(shù)等，能夠?qū)Υ罅繖C(jī)電設(shè)備的數(shù)據(jù)機(jī)芯融合和匯聚，且可對(duì)此數(shù)據(jù)進(jìn)行深度分析及挖掘，其預(yù)測(cè)分析、可視化分析、數(shù)據(jù)處理及統(tǒng)計(jì)分析等，都能以數(shù)據(jù)的方式呈現(xiàn)機(jī)電設(shè)備運(yùn)行的實(shí)時(shí)動(dòng)態(tài)，強(qiáng)化了多種數(shù)據(jù)的增值服務(wù)，都能為機(jī)電設(shè)備的動(dòng)態(tài)調(diào)撥、后期運(yùn)維、質(zhì)量評(píng)估及采購(gòu)指導(dǎo)等提供良好的數(shù)據(jù)支持。

5 結(jié)束語(yǔ)

總之，大數(shù)據(jù)技術(shù)應(yīng)用在煤礦機(jī)電設(shè)備管理中，利用其數(shù)據(jù)挖掘和深度分析、分布式存儲(chǔ)、多元數(shù)據(jù)融合及高通量管理技術(shù)等，構(gòu)建數(shù)據(jù)管理及分析模型，能夠有效提高對(duì)煤礦機(jī)電設(shè)備運(yùn)行數(shù)據(jù)的管理能力，為機(jī)電設(shè)備的運(yùn)維提供可靠的技術(shù)支撐。