基于礦山數(shù)據(jù)集成的數(shù)據(jù)中心在東部某銅礦的設計與應用

韓海華 李子龍 單延健

摘 要：針對礦山數(shù)據(jù)發(fā)展現(xiàn)狀的特點，以東部某銅礦為背景，闡述了基于礦山數(shù)據(jù)集成的數(shù)據(jù)中心的搭建過程。對數(shù)據(jù)中心需求進行分析，從軟硬件構建基礎到功能服務，重點分析數(shù)據(jù)中心的核心功能和隱性優(yōu)勢。從實際結果表明，數(shù)據(jù)中心是礦山數(shù)據(jù)發(fā)展中一個重要的方向和環(huán)節(jié)，將復雜、多類型的礦山數(shù)據(jù)統(tǒng)一歸入數(shù)據(jù)中心后，不僅有效避免了數(shù)據(jù)的冗余存儲，解決了新系統(tǒng)數(shù)據(jù)來源問題，而且提高了數(shù)據(jù)的利用率，為挖掘數(shù)據(jù)之間的隱性關系創(chuàng)造了基礎條件，更好的利用數(shù)據(jù)指導生產(chǎn)。

關鍵詞：礦山數(shù)據(jù)集成；數(shù)據(jù)中心；數(shù)據(jù)挖掘；數(shù)據(jù)應用

DOI：10.16640/j.cnki.37-1222/t.2018.23.085

東部某銅礦的生產(chǎn)數(shù)據(jù)處于數(shù)據(jù)孤島狀態(tài)，各系統(tǒng)間數(shù)據(jù)獨立，數(shù)據(jù)共通性不足，使得各系統(tǒng)數(shù)據(jù)源無法共享，多系統(tǒng)共同使用某數(shù)據(jù)時，需要頻繁多次錄入，造成資源浪費，極大的增加了數(shù)據(jù)獲取的成本，并且容易出現(xiàn)數(shù)據(jù)錯誤問題。數(shù)據(jù)作為銅礦各系統(tǒng)應用的關鍵環(huán)節(jié)，直接影響各系統(tǒng)是否能正常使用以及各系統(tǒng)功能結果的準確性。2018年7月該公司投資建設礦山數(shù)據(jù)中心，目前項目還在進行中，但已經(jīng)實現(xiàn)多個重點系統(tǒng)之間的數(shù)據(jù)集成和應用，打破了數(shù)據(jù)孤島的現(xiàn)狀。

結合該礦山應用系統(tǒng)現(xiàn)狀，以數(shù)據(jù)中心為核心數(shù)據(jù)庫，通過系統(tǒng)基礎生產(chǎn)數(shù)據(jù)同步推送的方案，實現(xiàn)各系統(tǒng)數(shù)據(jù)在數(shù)據(jù)中心的入庫，然后針對需求，對數(shù)據(jù)中心存儲的數(shù)據(jù)進行處理并預留對接接口，實現(xiàn)數(shù)據(jù)源數(shù)據(jù)同步至數(shù)據(jù)中心再推送到應用的數(shù)據(jù)流向過程。

1 數(shù)據(jù)中心需求分析

東部某銅礦有多套實時控制系統(tǒng)和管理信息系統(tǒng)急需進行數(shù)據(jù)集成，解決當前礦山業(yè)務管理上存在的瓶頸和痛點，如圖1所示。結合數(shù)據(jù)特點，數(shù)據(jù)中心的功能需求有：（1）實現(xiàn)數(shù)據(jù)管理和多系統(tǒng)數(shù)據(jù)共享；（2）實現(xiàn)數(shù)據(jù)錄入及解決多系統(tǒng)間無意義冗余；（3）提高數(shù)據(jù)利用率，對原有月度類數(shù)據(jù)追溯數(shù)據(jù)源；（4）實現(xiàn)礦山外部數(shù)據(jù)互通，為礦山上級集團及系統(tǒng)提供數(shù)據(jù)；（5）生產(chǎn)數(shù)據(jù)直接及間接關系挖掘；（6）數(shù)據(jù)中心應用界面，對處理后數(shù)據(jù)展示。

2 數(shù)據(jù)中心網(wǎng)絡結構和硬件基礎

2.1 數(shù)據(jù)中心網(wǎng)絡結構設計

整個數(shù)據(jù)中心網(wǎng)絡結構依附數(shù)據(jù)流向分類，可以概述為各系統(tǒng)級網(wǎng)絡、數(shù)據(jù)中心網(wǎng)絡兩部分，兩者通過礦山內(nèi)網(wǎng)進行互通，采用http協(xié)議進行數(shù)據(jù)通訊。以數(shù)據(jù)中心為網(wǎng)絡的中心，連通數(shù)據(jù)中心及下級的各系統(tǒng)級網(wǎng)絡通訊，且各系統(tǒng)級網(wǎng)絡直接立足于各系統(tǒng)數(shù)據(jù)庫所在服務器，保證服務器網(wǎng)絡通訊的的情況下，各自與數(shù)據(jù)中心通訊，一個系統(tǒng)數(shù)據(jù)庫服務器網(wǎng)絡故障不會對其他系統(tǒng)數(shù)據(jù)庫服務器數(shù)據(jù)的通訊造成影響。

2.2 數(shù)據(jù)中心硬件設備

數(shù)據(jù)中心主服務器為一臺CPU型號E5-2630，64G運行內(nèi)存的服務器，用于接收各系統(tǒng)數(shù)據(jù)庫所在服務器提供的數(shù)據(jù)，而各系統(tǒng)數(shù)據(jù)庫所在服務器的型號及操作系統(tǒng)各不相同，處理能力及數(shù)據(jù)傳輸能力也不同，通過在各服務器部署同步軟件，針對各服務器處理能力調(diào)試后，進行同步操作。

3 數(shù)據(jù)中心核心應用

數(shù)據(jù)中心的核心部分主要包括數(shù)據(jù)入庫、數(shù)據(jù)處理、數(shù)據(jù)應用三方面，數(shù)據(jù)入庫用于對各系統(tǒng)數(shù)據(jù)的存儲，數(shù)據(jù)處理的作用是對數(shù)據(jù)按照需求進行加工，數(shù)據(jù)應用包括對基礎數(shù)據(jù)及加工數(shù)據(jù)的應用以及數(shù)據(jù)對外輸出。

3.1 數(shù)據(jù)入庫

數(shù)據(jù)入庫即對礦山各系統(tǒng)數(shù)據(jù)進行歸檔操作的過程，是數(shù)據(jù)中心數(shù)據(jù)的來源和基礎，為數(shù)據(jù)處理和數(shù)據(jù)應用提供數(shù)據(jù)保障。為了保證數(shù)據(jù)的準確性與共享性，數(shù)據(jù)入庫應該實現(xiàn)以下功能：

（1）各系統(tǒng)獨立的數(shù)據(jù)入庫過程。各系統(tǒng)數(shù)據(jù)的集成應該是相互獨立的，某一系統(tǒng)的啟停不能對其他系統(tǒng)的數(shù)據(jù)入庫造成影響，數(shù)據(jù)入庫的頻率及時效性應根據(jù)各系統(tǒng)特點進行單獨設計。

（2）數(shù)據(jù)中心存儲結構的設計，要在全礦相關聯(lián)的前提下，維持各系統(tǒng)數(shù)據(jù)的相對獨立。

（3）數(shù)據(jù)入庫要有一定的自我修復能力。要保證某系統(tǒng)維護、重啟、斷電等正?；蛲话l(fā)狀況后，數(shù)據(jù)不會出現(xiàn)漏傳、錯傳現(xiàn)象，一般以時間標或遞增的id作為續(xù)傳的判斷依據(jù)。

（4）數(shù)據(jù)入庫要有一定無效數(shù)據(jù)檢測功能。要對明顯的無效數(shù)據(jù)及無效設備的數(shù)據(jù)進行甄別，并在數(shù)據(jù)抽取過程中初步過濾這些數(shù)據(jù)，減少無效數(shù)據(jù)對數(shù)據(jù)庫的占用。

（5）數(shù)據(jù)入庫要有一定重復數(shù)據(jù)檢測功能。在同步數(shù)據(jù)過程中，抽取同步數(shù)據(jù)是由人為選擇抽取的范圍及頻率的，當多個系統(tǒng)對同一類型數(shù)據(jù)進行存儲，且無差別時，應選擇其中一處進行抽取，減少數(shù)據(jù)冗余現(xiàn)象。

3.2 數(shù)據(jù)處理

數(shù)據(jù)處理即對入庫的數(shù)據(jù)進行加工處理的過程，是數(shù)據(jù)中心中最關鍵的部分。要在數(shù)據(jù)處理的過程中找到全礦數(shù)據(jù)之間的關聯(lián)性，對重復冗余數(shù)據(jù)進行合并，對有效數(shù)據(jù)進行加工等，是數(shù)據(jù)應用的基礎，為對外數(shù)據(jù)接口及界面展示提供保障。數(shù)據(jù)處理主要包含數(shù)據(jù)歸類統(tǒng)計處理、數(shù)據(jù)質(zhì)量處理、數(shù)據(jù)二次加工存儲以及數(shù)據(jù)挖掘四大類，下面將對四大類單獨解釋。

3.2.1 數(shù)據(jù)歸類統(tǒng)計處理

數(shù)據(jù)歸類統(tǒng)計處理主要解決數(shù)據(jù)歸類問題，對整個礦山的數(shù)據(jù)統(tǒng)一整理后，綜合考慮所屬區(qū)域及類型進行分類，并對數(shù)據(jù)之間的關聯(lián)關系進行確認。

如圖4所示，我們將礦山數(shù)據(jù)類型大致劃分了六大類，包括采場、選廠、能源、安環(huán)、水資源以及資源管理數(shù)據(jù)，各自主要內(nèi)容包含如下：

（1）采場數(shù)據(jù)。即采礦場生產(chǎn)數(shù)據(jù)，主要包括采礦場所有設備的運行數(shù)據(jù)（如運行時間、臺效、臺時、可開動率等）以及產(chǎn)量數(shù)據(jù)（包括采剝量、輔助工作量、維修工作量等）。

（2）選廠數(shù)據(jù)。即選礦廠生產(chǎn)數(shù)據(jù)，主要包括選礦廠各類傳感器自動采集數(shù)據(jù)，以DCS數(shù)據(jù)為最主要部分，并通過自動采集的數(shù)據(jù)及質(zhì)檢相關數(shù)據(jù)反算出設備運行臺時、產(chǎn)出量及品位等數(shù)據(jù)。

（3）能源數(shù)據(jù)。即全礦能源消耗數(shù)據(jù)，主要是全礦的電力消耗，通過可自動采集的電表，獲取礦山總進線及各支線每小時的耗電量及累計耗電量，在礦山成本預算中占有重要的地位。

（4）安環(huán)數(shù)據(jù)。即全礦安全排查數(shù)據(jù)，包括邊坡安全監(jiān)測、粉塵、污染物、水污染等各類安全監(jiān)測數(shù)據(jù)。

（5）水資源數(shù)據(jù)。即生產(chǎn)水消耗數(shù)據(jù)，主要是水資源在生產(chǎn)過程中的損耗及水平衡情況，回水利用比例和新水比例對生產(chǎn)成本同樣有很大的影響。

（6）資源管理數(shù)據(jù)。即全礦資源數(shù)據(jù)，主要包括固有類軟、硬件資產(chǎn)及消耗類資源損耗及進出數(shù)據(jù)。硬件資產(chǎn)包括各類生產(chǎn)設備、過程設備、動力設備、網(wǎng)絡設備等。軟件資產(chǎn)包括企業(yè)的控制軟件、信息化軟件、OA軟件等[1]。

六大類數(shù)據(jù)之間不存在隔離關系，互相之間有強相關性，主要通過時間關系進行關聯(lián)，并對不同需求，在數(shù)據(jù)二次加工存儲過程中，針對性選擇六大類中的數(shù)據(jù)進行組合，對整個礦山生產(chǎn)產(chǎn)出情況、成本消耗情況及隱性產(chǎn)出及消耗進行計算。

3.2.2 數(shù)據(jù)質(zhì)量處理

數(shù)據(jù)質(zhì)量處理主要針對無效數(shù)據(jù)進行處理，對長期處于特定狀態(tài)不發(fā)生變化的數(shù)據(jù)，如啟停狀態(tài)、運行信號等，采取數(shù)據(jù)變化存儲不變不處理的方式進行存儲，保證數(shù)據(jù)不失真不丟失重要節(jié)點的前提下，盡量縮減內(nèi)存占用；對已知標準范圍外的數(shù)據(jù)，如負數(shù)、大于最大功率、大于一天時長等明顯不符合常規(guī)條件的數(shù)據(jù)，采取保存但不統(tǒng)計的方式進行處理，即數(shù)據(jù)存儲于數(shù)據(jù)庫內(nèi)，在后續(xù)排錯過程中可能應用，但在實際計算（如求均值、求極限等）過程中不作為參數(shù)計算。

3.2.3 數(shù)據(jù)二次加工存儲

數(shù)據(jù)二次加工存儲主要是在數(shù)據(jù)歸類及數(shù)據(jù)質(zhì)量處理的基礎上，對基礎數(shù)據(jù)進行明確的、有規(guī)則的加工計算并存儲的過程，主要包括以下步驟：

（1）單一變量分析。明確單一變量所表述的含義及作用，并針對需求對不同變量進行歸類，主要劃分為狀態(tài)量、累計量、實時量、控制變量、操作變量、系統(tǒng)變量等不同類數(shù)據(jù)。

（2）單一變量直接統(tǒng)計。在第一步明確單一變量類型基礎上，根據(jù)業(yè)務需求，對需要統(tǒng)計的變量進行甄別統(tǒng)計，如累計量需要求小時累計、班累計、月累計、年累計等，根據(jù)不同礦山對報表需求的不同，進行統(tǒng)計。

（3）變量間接統(tǒng)計。在實際生產(chǎn)中需求對某些功能進行統(tǒng)計，如設備運轉(zhuǎn)率、設備臺效等，這些變量在實際生產(chǎn)中非常重要，但并沒有直接的變量可供讀取，這時需要根據(jù)業(yè)務，進行統(tǒng)計方法的設計，如運轉(zhuǎn)率可以通過運行時間和工作時間進行計算，設備臺效可以根據(jù)設備運行時間和處理量進行計算，且在沒有單獨的設備處理量時還需要根據(jù)其他條件進行處理量推算等，這些數(shù)據(jù)通過復雜的計算相互關聯(lián)，任何一個值的變動都會對生產(chǎn)流程中的其他指標帶來變動，對產(chǎn)品質(zhì)量和生產(chǎn)效率產(chǎn)生影響[2]。

（4）二次加工數(shù)據(jù)存儲。進行二次計算之前，對計算的結果要有清晰的認識，依據(jù)計算結果之間的關聯(lián)方式方法以及時間區(qū)分等創(chuàng)建對應的存儲表，進行數(shù)據(jù)存儲，存儲表應以滿足數(shù)據(jù)輸出及業(yè)務展示為基礎。

3.2.4 數(shù)據(jù)挖掘

數(shù)據(jù)挖掘技術（Knowledge Discovery in Datebase， KKD） ， 是一種新興的信息處理技術， 它融匯了人工智能、模糊識別、模糊數(shù)學、數(shù)據(jù)庫、數(shù)理統(tǒng)計等多種技術方法， 專門用于海量數(shù)據(jù)的處理， 從大量的、不完全的、有噪聲的、模糊的、隨機的數(shù)據(jù)集中， 提取隱含在其中的、人們事先不知道的、但又是潛在的有用的信息和知識， 其目的是發(fā)現(xiàn)規(guī)律而不是驗證假設[3]。

數(shù)據(jù)挖掘可以認為是更高層級的二次加工數(shù)據(jù)，與上述加工處理的區(qū)別主要是數(shù)據(jù)加工過程中沒有明確的、有規(guī)則的加工過程和步驟，數(shù)據(jù)之間往往處于弱關聯(lián)性，在實際操作中也處于弱相關，例采礦場給礦硬度變化對最終金屬量的影響。

4 數(shù)據(jù)應用

數(shù)據(jù)應用主要分為服務應用和數(shù)據(jù)推送，包括數(shù)據(jù)中心平臺本身的頁面展示功能及對其他系統(tǒng)的數(shù)據(jù)對接接口，與其他系統(tǒng)的數(shù)據(jù)對接主要通過后臺網(wǎng)絡，頁面展示則直接通過數(shù)據(jù)中心平臺，對一些基礎數(shù)據(jù)及關鍵的二次加工數(shù)據(jù)進行展示。

數(shù)據(jù)中心頁面展示功能主要包括：

（1）采場、選廠、能源、安環(huán)、水資源、資源管理六大類數(shù)據(jù)關鍵數(shù)據(jù)的展示；

（2）礦山月度、年度報表；

（3）礦山小時、班組、月度生產(chǎn)數(shù)據(jù)。

5 總結

數(shù)據(jù)中心在某銅礦現(xiàn)場實行邊開的邊投入測試的方式，數(shù)據(jù)中心啟用后，對數(shù)據(jù)管理和數(shù)據(jù)利用明顯改善。

（1）生產(chǎn)中的工藝指標優(yōu)劣可以更及時的查看，更加便捷的查看處理量、資源消耗情況。

（2）通過基礎生產(chǎn)數(shù)據(jù)的波動，可以更及時的對設備做出診斷，對設備非正常運轉(zhuǎn)情況可以更快更直觀的進行判斷。

（3）提供了一條信息傳輸?shù)耐ǖ?，提高了全礦生產(chǎn)情況傳遞的速度。

參考文獻：

[1]周俊武，徐寧.智能選礦廠架構設計[J].自動化儀表，2016（37）：

1-5.

[2]田慶梅，李國清，侯杰等.黃金礦山選礦生產(chǎn)信息管理系統(tǒng)設計與實現(xiàn)[J].有色金屬（選礦部分），2015（04）：75-79.

[3]舒正渝.淺談數(shù)據(jù)挖掘技術及應用[J].中國西部科技，2010，9（05） ：38-39.