礦山自動化系統(tǒng)數(shù)據(jù)集成和可視化的設(shè)計和應(yīng)用

趙建強 徐寧 王俊鵬 韓海華

摘 要：針對礦山基礎(chǔ)自動化控制系統(tǒng)的數(shù)據(jù)孤島問題，使用數(shù)據(jù)集成工具將多個自動化系統(tǒng)的數(shù)據(jù)集成到數(shù)據(jù)倉庫中，實現(xiàn)數(shù)據(jù)的高效應(yīng)用，為礦山大數(shù)據(jù)的挖掘服務(wù)。使用可視化工具Grafana將數(shù)據(jù)倉庫中集成的自動化系統(tǒng)靈活多變的展示出來，可以使礦山管理人員從大量的數(shù)據(jù)報表和不同的自動化系統(tǒng)中解放出來，輕松高效的掌握礦山數(shù)據(jù)。

關(guān)鍵詞： 礦山大數(shù)據(jù)；數(shù)據(jù)集成；可視化；Grafana

DOI：10.16640/j.cnki.37-1222/t.2018.23.092

1 前言

伴隨著大數(shù)據(jù)時代的快速發(fā)展，我國大數(shù)據(jù)產(chǎn)業(yè)處于快速推進期，世界各國把各種產(chǎn)業(yè)劃分為三大類：第一產(chǎn)業(yè)、第二產(chǎn)業(yè)和第三產(chǎn)業(yè)。我國三大產(chǎn)業(yè)的劃分是農(nóng)業(yè)、工業(yè)和服務(wù)業(yè)。我國當(dāng)前大數(shù)據(jù)應(yīng)用較為普遍和成熟的是服務(wù)業(yè)，典型的應(yīng)用包括交通運輸、城市安防、醫(yī)療、金融、電子商務(wù)等。工業(yè)和農(nóng)業(yè)的大數(shù)據(jù)產(chǎn)業(yè)發(fā)展比較緩慢，主要是和我國農(nóng)業(yè)、工業(yè)的現(xiàn)代化基礎(chǔ)、信息化程度有關(guān)系，也和專業(yè)化程度、從業(yè)人員組成有著較大的關(guān)系。

所有行業(yè)都會從大數(shù)據(jù)的發(fā)展中受益。對于實體工業(yè)來講，大多數(shù)技術(shù)進步是需求驅(qū)動的，而實體工業(yè)的數(shù)據(jù)蘊含的需求更加具體和切實，因而作為國民經(jīng)濟支柱產(chǎn)業(yè)的礦業(yè)更加急需實現(xiàn)礦山大數(shù)據(jù)的開發(fā)。

然而在我國礦業(yè)領(lǐng)域普遍存在著如下問題：

（1）作業(yè)條件惡劣、環(huán)境復(fù)雜、安全風(fēng)險大，檢測裝置的可靠運行頗為困難，數(shù)據(jù)自動采集率低。

（2）裝備設(shè)施不足，網(wǎng)絡(luò)覆蓋、人機交互、數(shù)據(jù)集成的成熟度和完整度都滿足不了礦山的發(fā)展與變化。

（3）技術(shù)力量薄弱，一方面是面向礦業(yè)的人才培養(yǎng)缺乏系統(tǒng)規(guī)劃、導(dǎo)致人才儲備不足；一方面由于礦山的自然環(huán)境、生活條件、工作條件等因素?zé)o法留住年輕的工程技術(shù)人員。

上述問題對礦山大數(shù)據(jù)業(yè)務(wù)的開發(fā)和實施形成了很大的約束。礦山大數(shù)據(jù)服務(wù)的開發(fā)包含礦山企業(yè)各業(yè)務(wù)領(lǐng)域，具體的說，工業(yè)技術(shù)進步是通過改進一項項具體的業(yè)務(wù)而實現(xiàn)的，因此“業(yè)務(wù)數(shù)據(jù)化”和“數(shù)據(jù)業(yè)務(wù)化”是工業(yè)大數(shù)據(jù)應(yīng)用的動力、目標和主要內(nèi)容。

本文將以礦山生產(chǎn)最基礎(chǔ)的數(shù)據(jù)提供者—礦山自動化系統(tǒng)為例介紹數(shù)據(jù)集成和數(shù)據(jù)可視化的實現(xiàn)。相比于礦山其他業(yè)務(wù)模塊，自動化系統(tǒng)的數(shù)據(jù)集成更具有代表性和重要性，其數(shù)據(jù)內(nèi)容是其他業(yè)務(wù)模塊的基礎(chǔ)，然而因為自動化系統(tǒng)的多樣性和數(shù)據(jù)的繁雜性，數(shù)據(jù)集成度往往很低，其數(shù)據(jù)價值并沒有得到挖掘。

2 自動化實時數(shù)據(jù)集成設(shè)計和實現(xiàn)

礦山自動化系統(tǒng)具有多樣性和繁雜性。礦山企業(yè)按照生產(chǎn)任務(wù)一般分為采礦廠和選礦廠，采礦廠又可分為露天采礦和井下采礦，因為工作場景不同，其工作設(shè)備和控制系統(tǒng)也不盡相同，選礦廠按照選礦工藝又有各種不同的自動化控制流程，流程內(nèi)工作設(shè)備和工藝參數(shù)等均存在差異，因而，一個礦山企業(yè)往往存在多套獨立的自動化系統(tǒng)，而這些獨立的自動化系統(tǒng)內(nèi)時刻產(chǎn)生著龐大的基礎(chǔ)數(shù)據(jù)量。這些數(shù)據(jù)之間有的是具有很強的聯(lián)系的，有的則是獨立存在的，然而這些數(shù)據(jù)游離于各個數(shù)據(jù)孤島中，其數(shù)據(jù)價值便得不到挖掘。

這些獨立的自動化系統(tǒng)因為建設(shè)時間和建設(shè)單位的不同，控制器（PLC）類型、通訊接口、通訊協(xié)議均不盡相同。要想將存在于各個設(shè)備和系統(tǒng)中的數(shù)據(jù)集中到統(tǒng)一的數(shù)據(jù)倉庫中，需要針對各個設(shè)備和系統(tǒng)采用針對性的技術(shù)手段。對于直接產(chǎn)生實時動態(tài)數(shù)據(jù)的設(shè)備，需要使用專用的數(shù)據(jù)采集工具。圖1是數(shù)據(jù)集成的示意圖。

以選礦廠為例，破碎機、球磨機、旋流器、浮選機、空壓機、加藥機等大中型設(shè)備每個都有自己的獨立控制系統(tǒng)，而且是不同品牌，不同型號，不同通訊接口，不同通訊協(xié)議的控制器；而分散范圍更廣的各種流量、壓力、物位、電能等測量儀表則品牌、型號和通訊接口更加復(fù)雜。雖然選礦廠的DCS/FCS系統(tǒng)能將大部分分散的各個設(shè)備和儀表都能集中到一種通訊協(xié)議下，但數(shù)據(jù)采集軟件也需要考慮對各個設(shè)備和儀表單獨通訊的可能。工業(yè)實時數(shù)據(jù)采集工具框圖如圖2所示。數(shù)據(jù)采集、數(shù)據(jù)存儲和數(shù)據(jù)轉(zhuǎn)發(fā)是工業(yè)實時數(shù)據(jù)采集工具的三大基本功能。

2.1 數(shù)據(jù)采集

數(shù)據(jù)采集要求數(shù)據(jù)采集工具要具有靈活多樣的通訊驅(qū)動程序，能夠與市場上絕大部分PLC系統(tǒng)、儀表系統(tǒng)通訊，能夠兼容各種主流的通訊協(xié)議，并且開發(fā)驅(qū)動程序庫中沒有的驅(qū)動程序時要快速和廉價。只有如此才能適應(yīng)市場上多種多樣的終端設(shè)備。在實現(xiàn)上可以采用市面上性價比較高的杰控組態(tài)軟件等。

2.2 數(shù)據(jù)存儲

并非所有采集到運行數(shù)據(jù)庫中的數(shù)據(jù)都需要存儲進歷史數(shù)據(jù)庫。數(shù)據(jù)采集系統(tǒng)需要根據(jù)各個信號自身的特性決定其存儲的頻率。對于快速變化的信號，需要適當(dāng)增加存儲頻率，以防止存儲的信號失真；對于慢速變化的信號，則要適當(dāng)降低存儲的頻率，以節(jié)省存儲空間；對于基本不大變化的信號，則要采用變化存儲的策略等等。

2.3 數(shù)據(jù)轉(zhuǎn)發(fā)

將數(shù)據(jù)存儲進入歷史數(shù)據(jù)庫并非數(shù)據(jù)采集工具系統(tǒng)的最終目的。數(shù)據(jù)采集工具的最終目的是要將采集到的數(shù)據(jù)推送轉(zhuǎn)儲到數(shù)據(jù)倉庫中。因此數(shù)據(jù)采集工具必須具備數(shù)據(jù)轉(zhuǎn)發(fā)的功能，能夠?qū)⑴R時存儲在數(shù)據(jù)采集工具歷史數(shù)據(jù)庫當(dāng)中的數(shù)據(jù)轉(zhuǎn)發(fā)的數(shù)據(jù)倉庫中。數(shù)據(jù)轉(zhuǎn)發(fā)通道可以是有線網(wǎng)絡(luò)，WiFi網(wǎng)絡(luò)，或者3G/4G網(wǎng)絡(luò)，以便能夠方便的在廣泛的地域空間部署為現(xiàn)場設(shè)備就近部署數(shù)據(jù)采集系統(tǒng)。

3 可視化設(shè)計和實現(xiàn)

人類擁有視覺、聽覺、嗅覺、觸覺、味覺五種感覺，在借助“五感”所獲得的信息中，大約有80%是來自視覺。同時，視覺信息也是人類最容易了解和最可信賴的信息。因此，如何利用人類視覺認知的高通量特點，通過圖形的形式表現(xiàn)礦山大數(shù)據(jù)信息的內(nèi)在規(guī)律，以及其傳遞、表達的過程，實現(xiàn)大數(shù)據(jù)資源的可視化表現(xiàn)、分析、推理和決策，是辨析數(shù)據(jù)關(guān)系、整合數(shù)據(jù)價值、詮釋數(shù)據(jù)意義和理解數(shù)據(jù)表現(xiàn)的重要手段和途徑。

在許多人機交互場景中，都遵循所見即所得的原則，例如文本和圖像編輯器等。在大數(shù)據(jù)應(yīng)用中，混雜的數(shù)據(jù)本身是難以輔助決策的，只有將分析后的結(jié)果以友好的形式展現(xiàn)，才會被用戶接受并加以利用。報表、直方圖、餅狀圖、回歸曲線等經(jīng)常被用于表現(xiàn)數(shù)據(jù)分析的結(jié)果。

在上面的介紹中，我們已經(jīng)實現(xiàn)了自動化數(shù)據(jù)的采集和存儲，下面就介紹如何將數(shù)據(jù)做可視化輸出。

3.1 可視化工具介紹

Grafana是一個可視化面板（Dashboard），有著非常美觀的圖表和布局展示，功能齊全的度量儀表盤和圖形編輯器，靈活豐富的圖形化選項，支持Grafana支持多種不同的數(shù)據(jù)庫數(shù)據(jù)源，Grafana對每種數(shù)據(jù)源提供不同的查詢方法，而且能很好的支持每種數(shù)據(jù)源的特性。

3.2 可視化主要表現(xiàn)形式

數(shù)據(jù)可視化視圖中圖形的主要表現(xiàn)形式是文本、趨勢曲線、柱狀圖、儀表面板圖和表格等，各種圖形元素的示例和說明如表格1所示。

3.3 可視化實現(xiàn)

Grafana實現(xiàn)可視化的重要組成是其基于GO語言開發(fā)的實現(xiàn)各種數(shù)據(jù)展示形式的Panel，在安裝配置好開發(fā)環(huán)境后，打開計算機本地端口3000，即可在瀏覽器下對項目進行開發(fā)。

3.3.1 項目開發(fā)步驟

（1）解讀分析自動化數(shù)據(jù)集成數(shù)據(jù)庫結(jié)構(gòu)。

（2）規(guī)劃數(shù)據(jù)展示內(nèi)容。

（3）建立數(shù)據(jù)源，根據(jù)不同數(shù)據(jù)庫可以建立不同的數(shù)據(jù)源。

（4）新建數(shù)據(jù)模板。

（5）添加需求Panel控件。

（6）進入編輯頁，選擇數(shù)據(jù)源，編寫SQL查詢語句，支持數(shù)據(jù)聚合。

（7）調(diào)整數(shù)據(jù)展示細節(jié)。

3.3.2 數(shù)據(jù)可視化效果

本文以某礦山自動化數(shù)據(jù)集成子系統(tǒng)品位分析儀可視化監(jiān)控系統(tǒng)為例，將數(shù)據(jù)展示規(guī)劃為設(shè)備監(jiān)控頁和測量數(shù)據(jù)頁：設(shè)備監(jiān)控頁面可實時展示設(shè)備核心部件狀態(tài)值，以及報警信息和參數(shù)內(nèi)容等內(nèi)容，測量數(shù)據(jù)頁面可實時展示儀器測量數(shù)據(jù)，以及測量班報數(shù)據(jù)等內(nèi)容。可視化頁面支持選擇查詢時間，已經(jīng)數(shù)據(jù)更新頻率等。效果如圖3和圖 4所示：

4 應(yīng)用和結(jié)論

應(yīng)用數(shù)據(jù)集成工具將繁雜的基礎(chǔ)自動化系統(tǒng)數(shù)據(jù)統(tǒng)一的集成到數(shù)據(jù)倉庫內(nèi)，可以保障數(shù)據(jù)的高效應(yīng)用和數(shù)據(jù)挖掘，但這要求設(shè)計者對數(shù)據(jù)倉庫的設(shè)計嚴謹、高效。使用grafana可視化工具將自動化系統(tǒng)數(shù)據(jù)做數(shù)據(jù)展示，相較于原有的組態(tài)軟件系統(tǒng)更加美觀和靈活，且可以同時集成多個自動化系統(tǒng)于同一項目下，開發(fā)好的本地可視化項目也可以通過網(wǎng)站發(fā)布到廣域網(wǎng)，方便隨時查看系統(tǒng)數(shù)據(jù)。

參考文獻：

[1]黃解軍，崔巍等.面向數(shù)字礦山的數(shù)據(jù)倉庫構(gòu)建及其應(yīng)用研究[B].中國礦業(yè)，2009，18（11）：77-79.

[2]僧德文，李仲學(xué)，張順堂等.數(shù)字礦山系統(tǒng)框架與關(guān)鍵技術(shù)研究[J].金屬礦山，2005（12）：47-50.

[3]任磊，杜一，馬帥，張小龍，戴國忠.大數(shù)據(jù)可視分析綜述[J].軟件學(xué)報，2014，25（09）：1909-1936.

[4].https：//grafana.com/.[DB/OL].

作者簡介：趙建強（1990-），男，河北康保人，大專，從事工業(yè)自動化及計算機應(yīng)用軟件的研究開發(fā)工作。