基于Spark的工業(yè)大數(shù)據(jù)能效分析平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn)

摘要：信息技術(shù)的快速發(fā)展以及互聯(lián)網(wǎng)的廣泛應(yīng)用，引發(fā)世界各國先后實(shí)施“再工業(yè)化” 戰(zhàn)略。互聯(lián)網(wǎng)在數(shù)據(jù)傳輸、軟件管理、信息化應(yīng)用等方面的強(qiáng)力保障為包括物聯(lián)網(wǎng)在內(nèi) 的各項(xiàng)技術(shù)應(yīng)用打開了大門。通過新興技術(shù)提升工業(yè)智能化水平，提升企業(yè)的競爭力， 以智能制造為主導(dǎo)的全球化工業(yè)革命已提上日程，工業(yè)智能化將成為構(gòu)建未來工業(yè)體系 的關(guān)鍵所在。以工業(yè)互聯(lián)網(wǎng)為基礎(chǔ)的工業(yè)大數(shù)據(jù)分析技術(shù)及應(yīng)用將成為推動(dòng)智能制造， 提升制造業(yè)生產(chǎn)效率與競爭力的關(guān)鍵要素，是實(shí)施流程管理智能化、生產(chǎn)過程智能化、 制造模式智能化的重要基礎(chǔ)。

關(guān)鍵詞：工業(yè)大數(shù)據(jù);能效分析;spark設(shè)計(jì)

隨著企業(yè)生產(chǎn)的擴(kuò)大化，最直觀地是數(shù)據(jù)成指數(shù)級(jí)增長，更為重要的是，數(shù)據(jù)源越來越豐富，由原來單一地從數(shù)據(jù)庫中獲取生產(chǎn)歷史數(shù)據(jù)擴(kuò)展為 生產(chǎn)管理日志、設(shè)備運(yùn)行數(shù)據(jù)、以及聲音、圖像、視頻等多維數(shù)據(jù)，傳統(tǒng)的數(shù)據(jù)分析管 理手段無法應(yīng)對(duì)企業(yè)迫切想提高生產(chǎn)效率的需求。因此，設(shè)計(jì)并實(shí)現(xiàn)一個(gè)工業(yè)大數(shù)據(jù)分 析平臺(tái)來實(shí)現(xiàn)對(duì)企業(yè)數(shù)據(jù)的統(tǒng)一化管理，并挖掘這些數(shù)據(jù)潛藏的巨大價(jià)值，進(jìn)而指導(dǎo)生 產(chǎn)，提供決策支持，推動(dòng)企業(yè)生產(chǎn)由大批量生產(chǎn)制造向個(gè)性化服務(wù)制造轉(zhuǎn)型具有重要意義。

一、我國基于spark數(shù)據(jù)平臺(tái)設(shè)計(jì)現(xiàn)狀

目前存在許多能效管控系統(tǒng)，但這些管控系統(tǒng)還存在以下局限性[1]： （1） 針對(duì)性不強(qiáng) 目前多數(shù)化工企業(yè)使用的能效監(jiān)控平臺(tái)只是對(duì)部分生產(chǎn)流程進(jìn)行簡單的流程監(jiān)控 與分析，很少有將企業(yè)運(yùn)行數(shù)據(jù)統(tǒng)一整合到能效分析平臺(tái)中，并將這些數(shù)據(jù)與生產(chǎn)能效、生產(chǎn)成本等企業(yè)關(guān)注的重點(diǎn)問題進(jìn)行關(guān)聯(lián)，從而有針對(duì)性地對(duì)企業(yè)給予決策支持。 （2） 可擴(kuò)展性與可維護(hù)性差 傳統(tǒng)的生產(chǎn)流程管理系統(tǒng)多數(shù)都是基于特定的組態(tài)軟件的，都需要企業(yè)在工控機(jī)安 裝專門的組態(tài)軟件。 為了在工業(yè)大數(shù)據(jù)時(shí)代實(shí)現(xiàn)節(jié)能降耗以及產(chǎn)業(yè)結(jié)構(gòu)轉(zhuǎn)型的時(shí)代要求，落實(shí)工業(yè)生產(chǎn) 技術(shù)與信息技術(shù)的深度融合，并完成對(duì)能效的管控以及能源管理決策支持，工業(yè)大數(shù)據(jù) 能效管控平臺(tái)具有極為重要的作用。

二、基于 Spark 的工業(yè)大數(shù)據(jù)平臺(tái)設(shè)計(jì)

2.1 平臺(tái)總體設(shè)計(jì)

本平臺(tái)以實(shí)現(xiàn)一個(gè)基于 Spark 的工業(yè)大數(shù)據(jù)能效分析平臺(tái)為設(shè)計(jì)目標(biāo)，集成了工業(yè) 大數(shù)據(jù)的存儲(chǔ)、分析與挖掘等功能，為企業(yè)眾多業(yè)務(wù)提供決策支持。 從功能上來說，本平臺(tái)具有以下幾個(gè)重要功能：（1） 對(duì)企業(yè)各項(xiàng)數(shù)據(jù)的采集，并完成預(yù)處理。對(duì)能效的相關(guān)工藝參數(shù)進(jìn)行統(tǒng)一設(shè)計(jì)，并對(duì)多源異構(gòu)的工業(yè)數(shù)據(jù)實(shí)現(xiàn)統(tǒng)一存儲(chǔ)，為后續(xù)數(shù)據(jù)分析提供數(shù)據(jù)支持; （2） 對(duì)能效進(jìn)行定義，結(jié)合先進(jìn)的機(jī)器學(xué)習(xí)算法進(jìn)行評(píng)估統(tǒng)計(jì)，針對(duì)評(píng)估結(jié)果給出 節(jié)能降耗以及改善生產(chǎn)、提高能源利用效率的有效建議; （3） 對(duì)整個(gè)企業(yè)能效進(jìn)行管控，保持平臺(tái)運(yùn)行良好的穩(wěn)定性; （4） 支持分析結(jié)果以及數(shù)據(jù)存儲(chǔ)的可視化查詢，能夠?qū)Ψ治鼋Y(jié)果有多方面，多角度 的展現(xiàn)，幫助用戶有效地理解數(shù)據(jù)分析結(jié)果。 除了以上功能外，平臺(tái)還具有以下性能： （1） 高擴(kuò)展性：平臺(tái)應(yīng)該能夠根據(jù)需求的擴(kuò)展以及負(fù)載的增加，能夠通過增加硬件 來完善需求以獲得更為強(qiáng)大的性能; （2） 魯棒性：平臺(tái)應(yīng)具備相當(dāng)程度的容錯(cuò)設(shè)計(jì)，使得在系統(tǒng)故障時(shí)，保障盡量多的 機(jī)器正常工作，保證任務(wù)的繼續(xù)進(jìn)行;

2.2 數(shù)據(jù)集成

數(shù)據(jù)集成主要工作是將多源異構(gòu)的大規(guī)模數(shù)據(jù)進(jìn)行統(tǒng)一歸置，包括數(shù)據(jù)清洗、格式 轉(zhuǎn)換、標(biāo)準(zhǔn)化等工作。 平臺(tái)工業(yè)過程數(shù)據(jù)的來源主要包括以下幾個(gè)部分： （1） 工業(yè)設(shè)備及產(chǎn)品中內(nèi)置的傳感器采集的實(shí)時(shí)流數(shù)據(jù)，這些數(shù)據(jù)包括設(shè)備的狀態(tài) 信號(hào)以及產(chǎn)品的實(shí)時(shí)質(zhì)量參數(shù);（2） Flume 日志收集系統(tǒng)采集的應(yīng)用服務(wù)端數(shù)據(jù)，將散布在不同地方的工業(yè)生產(chǎn)日志 統(tǒng)一收集，并且該日志收集系統(tǒng)提供了通過其與平臺(tái)的緊密融合，將數(shù)據(jù)統(tǒng)一發(fā)往平臺(tái)。

2.3數(shù)據(jù)存儲(chǔ)

（1） key-value 存儲(chǔ)：是 NOSQL 中應(yīng)用最多的存儲(chǔ)方式，典型的系統(tǒng)有 Redis、 Tokyo Cabinet、Amazon Dynamo等。Key-value 是通過 Hash 函數(shù)實(shí)現(xiàn)從 key 到 value 的映射，在進(jìn)行數(shù)據(jù)查詢時(shí)通過查找 key值尋址到數(shù)據(jù)存儲(chǔ)點(diǎn)。這種存儲(chǔ)模型簡單快速， 利于對(duì)數(shù)據(jù)的橫向分割，在大規(guī)模數(shù)據(jù)群中也能有較高的操作性能。key-value 數(shù)據(jù)模型 中的 value 可以包含多個(gè)列，實(shí)現(xiàn)多層嵌套映射，也叫 key-column 存儲(chǔ)，Google 的 Big Table系統(tǒng)和 Hadoop 開源框架中集成的 Hbase 都是以這種數(shù)據(jù)模型進(jìn)行存儲(chǔ)。 （2） 基于文本的存儲(chǔ)：典型的應(yīng)用有 IBM 的 MangoDB等?；谖谋镜拇鎯?chǔ)模型 對(duì)數(shù)據(jù)的結(jié)構(gòu)要求相對(duì)寬松，無需預(yù)定義為統(tǒng)一結(jié)構(gòu)。主要還是以 key-value 為基礎(chǔ)， 一般存儲(chǔ)格式為 JSON 或類 JSON 數(shù)據(jù)列表，存儲(chǔ)效率高，但缺乏統(tǒng)一的查詢語法，加 重了編程人員的操作負(fù)擔(dān)[2]。針對(duì)工業(yè)大數(shù)據(jù)的多源異構(gòu)性，提供類似適配器的數(shù)據(jù)接口，實(shí)現(xiàn)數(shù)據(jù)的統(tǒng)一訪問， 屏蔽掉數(shù)據(jù)間的異構(gòu)性。數(shù)據(jù)適配就是提供多個(gè)配置文件使得數(shù)據(jù)訪問時(shí)通過配置文件 解析出數(shù)據(jù)庫的連接信息，而后對(duì)相應(yīng)的數(shù)據(jù)庫訪問。

三、總結(jié)

隨著企業(yè)生產(chǎn)的擴(kuò)大化，數(shù)據(jù)最直觀地是成指數(shù)級(jí)增長，更為重要的是，數(shù)據(jù)源及 其表現(xiàn)形式越來越豐富，由原來單一地從數(shù)據(jù)庫中獲取生產(chǎn)歷史數(shù)據(jù)擴(kuò)展為生產(chǎn)管理日 志、設(shè)備運(yùn)行數(shù)據(jù)、以及聲音、圖像、視頻等多維數(shù)據(jù)，傳統(tǒng)的數(shù)據(jù)分析管理手段無法 滿足企業(yè)迫切想提高生產(chǎn)效率的需求。在此背景下，本文研究了基于 Spark 的工業(yè)大數(shù) 據(jù)能效分析平臺(tái)，

參考文獻(xiàn)

[1]劉強(qiáng)，秦泗釗. 過程工業(yè)大數(shù)據(jù)建模研究展望[J]. 自動(dòng)化學(xué)報(bào)，2016，42（02）：161-171.

[2]周佳軍，姚錫凡，劉敏，張劍銘，陶韜. 幾種新興智能制造模式研究評(píng)述[J]. 計(jì)算機(jī)集成制造系統(tǒng)，20 17，23（03）： 624-639.

作者簡介：劉喆：2000.07.12 ?身份證號(hào)：370283200007120024、女、漢、山東青島平度、大學(xué)本科 研究方向：大數(shù)據(jù)工程