工業(yè)大數(shù)據(jù)可視化系統(tǒng)實現(xiàn)

摘要：完整的工業(yè)大數(shù)據(jù)能效分析平臺的實現(xiàn)，最終要以直觀、清晰明了的方式呈現(xiàn)到企業(yè)管理人員面前，以便于企業(yè)更有效地分析和管理工業(yè)大數(shù)據(jù)的生產(chǎn)。文章對工業(yè)大數(shù)據(jù)采集后進行實時數(shù)據(jù)的存儲，在經(jīng)過數(shù)據(jù)的預(yù)處理后，再將數(shù)據(jù)保存在基于NoSQL存儲技術(shù)的歷史存儲系統(tǒng)中。在Vue.js中對數(shù)據(jù)進行計算后利用ECharts可視化工具將計算結(jié)果進行可視化展示，幫助工程師對企業(yè)生產(chǎn)數(shù)據(jù)進行能效分析，從而發(fā)現(xiàn)更多與企業(yè)生產(chǎn)工業(yè)大數(shù)據(jù)有關(guān)的潛在的規(guī)律和趨勢，進而對生產(chǎn)過程進行優(yōu)化，提高生產(chǎn)效率，降低生產(chǎn)成本。

關(guān)鍵詞：工業(yè)大數(shù)據(jù)；可視化；能效分析

中圖分類號：TP311文獻標志碼：A

0引言

工業(yè)大數(shù)據(jù)的可視化分析通過對數(shù)據(jù)中隱含的規(guī)律性信息進行展示和呈現(xiàn)。在工業(yè)生產(chǎn)中，工業(yè)大數(shù)據(jù)的可視化分析能夠幫助企業(yè)用戶對潛藏的數(shù)據(jù)信息進行更直觀、顯性的理解，有助于企業(yè)工程師更好地分析數(shù)據(jù)，進而提出改善生產(chǎn)效率的方法，節(jié)約成本，提高生產(chǎn)效率。

文章運用Vue.js技術(shù)中的ECharts工具，對工業(yè)大數(shù)據(jù)進行各種圖形展示，方便企業(yè)用戶從中提取有價值的信息，發(fā)現(xiàn)規(guī)律，利用其對生產(chǎn)過程進行改造，創(chuàng)造出更高、更有效的收益。

1系統(tǒng)總體設(shè)計［1］

文章通過對工業(yè)大數(shù)據(jù)生產(chǎn)管理平臺的開發(fā)，首先建立工業(yè)大數(shù)據(jù)Hadoop HA高可用集群管理平臺，實現(xiàn)對工業(yè)生產(chǎn)數(shù)據(jù)、環(huán)境監(jiān)測數(shù)據(jù)和用戶管理等數(shù)據(jù)的采集、存儲和標準化預(yù)處理。文章圍繞生產(chǎn)數(shù)據(jù)和環(huán)境數(shù)據(jù)處理的關(guān)鍵技術(shù)問題，構(gòu)建工業(yè)大數(shù)據(jù)可視化系統(tǒng)，具體設(shè)計如圖1所示。

通過分析工業(yè)大數(shù)據(jù)的實際生產(chǎn)場景，文章根據(jù)實際業(yè)務(wù)需求構(gòu)建基于Hadoop HA高可用集群管理平臺，包括Spark、Flink、Kafka、HBase、Redis和MySQL等組件［2］。其中HDFS、HBase［3］和Hive［4］用來存儲工業(yè)生產(chǎn)中的源數(shù)據(jù)，Spark組件用來對離線數(shù)據(jù)進行預(yù)處理。Flink作為實時數(shù)據(jù)的計算引擎，從Kafka中讀取實時數(shù)據(jù)的消息隊列，在進行計算后將結(jié)果存儲在Redis和MySQL數(shù)據(jù)庫中。

2系統(tǒng)實現(xiàn)與實例驗證

2.1數(shù)據(jù)庫設(shè)計

在數(shù)據(jù)庫設(shè)計方面，文章建立生產(chǎn)數(shù)據(jù)和環(huán)境監(jiān)測數(shù)據(jù)的數(shù)據(jù)庫，包含設(shè)備信息、設(shè)備各狀態(tài)信息、環(huán)境監(jiān)測信息、設(shè)備產(chǎn)品加工信息，分別如表1—4所示。

2.2數(shù)據(jù)處理流程

數(shù)據(jù)存儲系統(tǒng)包括離線數(shù)據(jù)存儲系統(tǒng)和實時數(shù)據(jù)存儲系統(tǒng)。離線數(shù)據(jù)處理過程如下：將采集的數(shù)據(jù)存儲到Hadoop的HDFS文件存儲系統(tǒng)中；利用Spark對數(shù)據(jù)進行預(yù)處理后存儲到基于NoSQL的存儲系統(tǒng)HBase中；根據(jù)不同的業(yè)務(wù)需求，利用Spark SQL技術(shù)對HBase中的數(shù)據(jù)進行批處理計算后將數(shù)據(jù)存儲到關(guān)系型數(shù)據(jù)庫MySQL中。

實時數(shù)據(jù)處理過程是將數(shù)據(jù)源源不斷地發(fā)送到Kafka消息隊列中，并創(chuàng)建主題（Topic），利用Flink流處理技術(shù)實時獲取Kafka消息隊列中的Topic。文章使用Flink SQL技術(shù)實時處理流數(shù)據(jù)，具體過程如下：一方面，將處理過的數(shù)據(jù)保存到HBase存儲系統(tǒng)中；另一方面，將要用到的數(shù)據(jù)存入Redis存儲系統(tǒng)。為了防止Redis的數(shù)據(jù)超出容量，文章須設(shè)置數(shù)據(jù)過期時間參數(shù)。

2.3多源數(shù)據(jù)的預(yù)處理［2］

在實際生產(chǎn)環(huán)境中，由于周邊環(huán)境復(fù)雜和生產(chǎn)設(shè)備自身噪聲等因素，不可避免地存在各種干擾因素，數(shù)據(jù)存在假信號，從而使采集的數(shù)據(jù)與真實數(shù)據(jù)存在差異。為了提高數(shù)據(jù)準確度，所提方案必須消除數(shù)據(jù)中存在的假信號。文章采取數(shù)據(jù)預(yù)處理技術(shù)對數(shù)據(jù)進行編輯或校正，恢復(fù)保留源數(shù)據(jù)的真實信息，主要包括數(shù)據(jù)抽取、清洗和轉(zhuǎn)換等操作。此項技術(shù)主要通過Spark組件完成。

2.4故障預(yù)警

文章使用Spark中機器學(xué)習(xí)算法庫MLlib進行故障報警預(yù)測，利用經(jīng)過預(yù)處理的100萬條左右歷史數(shù)據(jù)進行訓(xùn)練，再對實時數(shù)據(jù)進行預(yù)測，文章選用隨機森林算法對工業(yè)大數(shù)據(jù)進行故障預(yù)警。

2.5可視化系統(tǒng)展示［5-6］

在Web前端應(yīng)用層的實現(xiàn)上，可視化系統(tǒng)采用Vue.js框架進行開發(fā)，選用ECharts可視化工具，結(jié)合專業(yè)的計算方法和數(shù)據(jù)挖掘算法，根據(jù)不同的展示項目選擇合適的圖形進行可視化展示，提供實時數(shù)據(jù)預(yù)測和監(jiān)測。

3結(jié)語

文章所提的工業(yè)大數(shù)據(jù)可視化系統(tǒng)以大數(shù)據(jù)平臺為基礎(chǔ)，利用Vue.js框架中ECharts工具，通過匯總分析計算對工業(yè)大數(shù)據(jù)設(shè)備運行狀態(tài)、環(huán)境數(shù)據(jù)和故障預(yù)警等信息的動態(tài)展示。所提方案提供了友好的用戶交互方式，綜合運用大數(shù)據(jù)處理和分析、數(shù)據(jù)挖掘等相關(guān)技術(shù)對指定時間、指定設(shè)備進行預(yù)測或預(yù)警，并通過圖形化的方式進行直觀展示，方便企業(yè)管理人員對生產(chǎn)過程的監(jiān)督和管理，具有很強的實用性和創(chuàng)新性。

參考文獻

［1］黎心怡，夏梓彤，莊嘉濠，等.基于大數(shù)據(jù)技術(shù)的實時軌道交通分析預(yù)測可視化系統(tǒng)的設(shè)計與實現(xiàn)［J］.電腦知識與技術(shù)，2023（29）：71-74.

［2］楊嵐.大數(shù)據(jù)環(huán)境下NoSQL數(shù)據(jù)庫查詢技術(shù)應(yīng)用研究［J］.湖北第二師范學(xué)院學(xué)報，2020（8）：36-41.

［3］曹麗蓉.基于HBase數(shù)據(jù)庫的數(shù)據(jù)分布式存儲方法［J］.蘭州工業(yè)學(xué)院學(xué)報，2022（5）：46-50.

［4］繆華，吳淮北，張春梅，等.Hive數(shù)據(jù)倉庫加載數(shù)據(jù)的技術(shù)研究［J］.電腦編程技巧與維護，2023（12）：58-61.

［5］王志鵬，張麗瑤，陳思逸.面向工業(yè)生產(chǎn)的大數(shù)據(jù)管理與可視化系統(tǒng)設(shè)計［J］.電子設(shè)計工程，2019（24）：24-28.

［6］王小培.圖書館大數(shù)據(jù)建設(shè)應(yīng)用實踐：以河北省圖書館讀者大數(shù)據(jù)可視化平臺項目為例［J］.科技資訊，2023（5）：205-208.

（編輯王永超編輯）

Implementation of industrial big data visualization system

ZHANG" Yanmin1， ZHAO" Zhankun1， YANG" Yuanxiang2， YANG" Bingqian1， WU" Weihong1

（1.Hebei Software Institute， Baoding 071000， China; 2.Beijing Sihe Tiandi Technology"Co.， Ltd.， Beijing 100000， China）

Abstract： The implementation of a complete industrial big data energy efficiency analysis platform should ultimately be presented to enterprise managers in an intuitive and clear manner， facilitating more effective analysis and management of industrial big data production. In this paper， the real-time data storage is carried out after the collection of industrial big data. After data preprocessing， the data is saved in a historical storage system based on NoSQL storage technology. After calculating the datas in Vue.js， the ECharts visualization tool is used to visually display the calculation results， helping engineers to analyze the energy efficiency of enterprise production data， discover more potential patterns and trends related to industrial big data， optimize the production process， improve production efficiency and reduce production costs.

Key words： industrial big data; visualization; efficiency analysis