供水生產(chǎn)數(shù)據(jù)中心的設(shè)計(jì)與建設(shè)

文｜王雷 金程 徐速

蕪湖華衍水務(wù)有限公司已經(jīng)基本建立了比較完備的終端監(jiān)測(cè)設(shè)備，通過光纖傳輸或GPRS無(wú)線傳輸?shù)确绞絺骰毓菊{(diào)度中心。但是公司缺乏完善的數(shù)據(jù)采集機(jī)制，也沒有建立統(tǒng)一的數(shù)據(jù)中心，由各種品牌的終端監(jiān)測(cè)設(shè)備和各家軟件開發(fā)商建立的系統(tǒng)，這些相關(guān)的監(jiān)測(cè)數(shù)據(jù)、業(yè)務(wù)數(shù)據(jù)存儲(chǔ)于不同的服務(wù)器，有各自不同的數(shù)據(jù)格式，彼此孤立，數(shù)據(jù)管理比較分散。隨著監(jiān)測(cè)數(shù)據(jù)的日益增多和公司信息化水平的不斷提高，對(duì)公司的管理提出了更高的要求，因此公司亟需在數(shù)據(jù)采集、數(shù)據(jù)中心建設(shè)和生產(chǎn)管理方面進(jìn)行信息化的集中升級(jí)，建立完善的數(shù)據(jù)采集機(jī)制，對(duì)分散的數(shù)據(jù)進(jìn)行集中整合，并且建立起以大數(shù)據(jù)技術(shù)為依托的企業(yè)生產(chǎn)數(shù)據(jù)中心，以利于對(duì)數(shù)據(jù)進(jìn)行分析、挖掘和應(yīng)用。

建設(shè)目標(biāo)

基于大數(shù)據(jù)理念的生產(chǎn)數(shù)據(jù)管理體系與分析方法，利用云計(jì)算技術(shù)，構(gòu)建供水生產(chǎn)數(shù)據(jù)中心，打通企業(yè)生產(chǎn)型數(shù)據(jù)的壁壘，全面整合企業(yè)各種生產(chǎn)數(shù)據(jù)。

結(jié)合HY水務(wù)公司現(xiàn)有自控系統(tǒng)以及其他信息系統(tǒng)建設(shè)現(xiàn)狀，充分利用在線監(jiān)測(cè)、數(shù)據(jù)采集、計(jì)算機(jī)網(wǎng)絡(luò)、自動(dòng)化控制等技術(shù)，對(duì)公司下轄各個(gè)水廠、泵站及多個(gè)獨(dú)立遠(yuǎn)程儀表產(chǎn)生的海量數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化統(tǒng)一管理，快速整合來(lái)自PLC系統(tǒng)、RTU系統(tǒng)以及其他信息系統(tǒng)的監(jiān)測(cè)、業(yè)務(wù)等各種數(shù)據(jù)，輔以傳輸、存儲(chǔ)的優(yōu)化保障機(jī)制，再通過篩選、分析、關(guān)聯(lián)和挖掘，形成有價(jià)值的數(shù)據(jù)信息，進(jìn)而實(shí)現(xiàn)對(duì)多源數(shù)據(jù)進(jìn)行高級(jí)的利用，為大數(shù)據(jù)分析奠定技術(shù)基礎(chǔ)，為生產(chǎn)管理系統(tǒng)平臺(tái)提供強(qiáng)有力的綜合大數(shù)據(jù)支撐。

總體設(shè)計(jì)

1.數(shù)據(jù)中心架構(gòu)

公司生產(chǎn)管理系統(tǒng)平臺(tái)以數(shù)據(jù)為中心，以虛擬化技術(shù)為手段來(lái)整合分布在網(wǎng)絡(luò)上的大量的服務(wù)器集群的處理能力，并利用SOA架構(gòu)為用戶提供安全、可靠、便捷的各種應(yīng)用數(shù)據(jù)服務(wù)；用戶可以在任何時(shí)間、地點(diǎn)，用任何可以連接到網(wǎng)絡(luò)的終端設(shè)備來(lái)訪問這些服務(wù)。

數(shù)據(jù)中心存儲(chǔ)生產(chǎn)管理平臺(tái)的所有數(shù)據(jù)。本方案采用云數(shù)據(jù)管理中心，基于網(wǎng)絡(luò)為各個(gè)用戶提供數(shù)據(jù)管理與維護(hù)服務(wù)。將實(shí)時(shí)數(shù)據(jù)和歷史數(shù)據(jù)獨(dú)立存儲(chǔ)，提高平臺(tái)的訪問性能。實(shí)時(shí)數(shù)據(jù)根據(jù)現(xiàn)場(chǎng)測(cè)試結(jié)果確定采用實(shí)時(shí)型數(shù)據(jù)庫(kù)或者關(guān)系型數(shù)據(jù)庫(kù)。

數(shù)據(jù)中心通過對(duì)來(lái)自監(jiān)測(cè)設(shè)備和其他原有系統(tǒng)數(shù)據(jù)集成的管理，進(jìn)行數(shù)據(jù)的采集入庫(kù)，主要包括數(shù)據(jù)集成管理、數(shù)據(jù)訪問服務(wù)、數(shù)據(jù)推送管理等，在此基礎(chǔ)上實(shí)現(xiàn)數(shù)據(jù)管理、在線監(jiān)控、統(tǒng)計(jì)分析、綜合查詢等。

數(shù)據(jù)通過在應(yīng)用層進(jìn)行發(fā)布與展示。以個(gè)性化門戶設(shè)計(jì)的形式，針對(duì)不同用戶角色有針對(duì)性的進(jìn)行數(shù)據(jù)展現(xiàn)，與此同時(shí)，根據(jù)生產(chǎn)業(yè)務(wù)數(shù)據(jù)類別的劃分，進(jìn)行深層次挖掘分析，通過在線監(jiān)控系統(tǒng)、調(diào)度分析系統(tǒng)以及報(bào)表系統(tǒng)分別進(jìn)行分析與展現(xiàn)。（如圖1）

2、物理部署架構(gòu)

若干的廠站數(shù)據(jù)采集前端服務(wù)器用來(lái)作為數(shù)據(jù)采集處理的前端，均采用PC服務(wù)器，將各種實(shí)時(shí)數(shù)據(jù)平臺(tái)上的數(shù)據(jù)進(jìn)行歸集，傳輸?shù)綄?shí)時(shí)數(shù)據(jù)庫(kù)中。

數(shù)據(jù)庫(kù)采用主從備用的模式，保證數(shù)據(jù)的安全性和可用性。實(shí)時(shí)數(shù)據(jù)庫(kù)采用雙機(jī)集群的方式，保證實(shí)時(shí)數(shù)據(jù)庫(kù)的可用性。應(yīng)用服務(wù)器用來(lái)部署生產(chǎn)管理系統(tǒng)平臺(tái)的所有系統(tǒng)模塊。由于公司已經(jīng)具備了虛擬化平臺(tái)，所有服務(wù)器均采用虛擬化部署的方式，應(yīng)用服務(wù)器的高可用也采用虛擬化的高可用方案來(lái)解決。（如圖2）

建設(shè)方案

1、多源數(shù)據(jù)采集

（1）采集方案

根據(jù)各水廠及加壓泵站自控系統(tǒng)建設(shè)以及設(shè)備配置現(xiàn)狀，數(shù)據(jù)采集分以下4種方式實(shí)現(xiàn)。（如圖3）

①新招標(biāo)RTU設(shè)備數(shù)據(jù)采集

新招標(biāo)RTU設(shè)備采集管網(wǎng)數(shù)據(jù)，包含正常數(shù)據(jù)和報(bào)警數(shù)據(jù)。正常數(shù)據(jù)包括壓力、瞬時(shí)流量、正向累計(jì)流量（水表讀數(shù)）、反向累計(jì)流量、余氯、濁度、PH值等數(shù)據(jù)；報(bào)警數(shù)據(jù)包含上下限、突變、斷電得電、電池低電壓（電池供電）等。RTU提供商根據(jù)RTU廠家的數(shù)據(jù)協(xié)議，開發(fā)數(shù)據(jù)接收服務(wù)器UDP Socket Server，接收管網(wǎng)監(jiān)測(cè)設(shè)備上傳的數(shù)據(jù)包并根據(jù)相應(yīng)的協(xié)議進(jìn)行數(shù)據(jù)解析以及后續(xù)處理。

②PLC系統(tǒng)數(shù)據(jù)采集

水廠及加壓泵站的數(shù)據(jù)通過OPC Server 從PLC進(jìn)行數(shù)據(jù)采集，并通過光纖通道進(jìn)行數(shù)據(jù)推送。采集對(duì)象主要包括原水、加氯、加藥、出廠水等全過程數(shù)據(jù)，具體參數(shù)包含壓力、水位、濁度、余氯、流量、電機(jī)開關(guān)、電量信息等開關(guān)量和模擬量。

圖1 數(shù)據(jù)中心架構(gòu)圖

圖2 物理部署結(jié)構(gòu)圖

③流量計(jì)、大水表的數(shù)據(jù)采用現(xiàn)有RTU設(shè)備，從現(xiàn)有數(shù)據(jù)庫(kù)進(jìn)行數(shù)據(jù)集成。

④預(yù)留二次供水泵站的數(shù)據(jù)采集接口，二次供水泵站采用PLC的方式進(jìn)行數(shù)據(jù)采集。

（2）數(shù)據(jù)采集通信標(biāo)準(zhǔn)

圖3 多源數(shù)據(jù)采集方案

水廠和泵站通常在現(xiàn)場(chǎng)控制層采用PLC作為控制器，采集各種生產(chǎn)數(shù)據(jù)，通過傳輸介質(zhì)和通信協(xié)議實(shí)現(xiàn)PLC與采集終端的數(shù)據(jù)交換。由于PLC型號(hào)或者控制網(wǎng)絡(luò)結(jié)構(gòu)不同，支持的通信機(jī)制不盡相同，解決PLC與數(shù)據(jù)采集端通信的普適性問題是數(shù)據(jù)采集的關(guān)鍵。

本方案選擇 OPC（OLE for Process Control）通信協(xié)議實(shí)現(xiàn)數(shù)據(jù)采集，該協(xié)議作為通用的工業(yè)標(biāo)準(zhǔn)受到絕大多數(shù)PLC廠家的支持，包括西門子、施耐德、AB等主流的PLC品牌。在采集終端部署OPC服務(wù)器，配合不同PLC、不同網(wǎng)絡(luò)結(jié)構(gòu)的驅(qū)動(dòng)程序，即可方便地實(shí)現(xiàn)各監(jiān)測(cè)點(diǎn)數(shù)據(jù)的采集。在客戶端部署采集程序?qū)崿F(xiàn)水廠及加壓泵站數(shù)據(jù)的采集。

（3）數(shù)據(jù)采集傳輸標(biāo)準(zhǔn)

通過采集終端采集后的數(shù)據(jù)使用安全高效的通信技術(shù)，采用SOAP標(biāo)準(zhǔn)傳輸通訊協(xié)議上傳至數(shù)據(jù)服務(wù)器進(jìn)行統(tǒng)一管理。

2、數(shù)據(jù)存儲(chǔ)

結(jié)合數(shù)據(jù)使用的不同的應(yīng)用場(chǎng)景，對(duì)不同的數(shù)據(jù)基于其特點(diǎn)以及使用需求，分成三種數(shù)據(jù)存儲(chǔ)方式：（如圖4）

①實(shí)時(shí)數(shù)據(jù)庫(kù)。采用Redis內(nèi)存實(shí)時(shí)數(shù)據(jù)庫(kù)，用來(lái)接收海量實(shí)時(shí)數(shù)據(jù)，保證實(shí)時(shí)數(shù)據(jù)采集和使用的性能；在實(shí)時(shí)數(shù)據(jù)的推送上，采用基于Socket的消息隊(duì)列技術(shù)，保證數(shù)據(jù)推送的及時(shí)性與性能。

②關(guān)系型數(shù)據(jù)庫(kù)。實(shí)時(shí)采集數(shù)據(jù)經(jīng)過處理壓縮存入關(guān)系數(shù)據(jù)庫(kù)成為歷史數(shù)據(jù)；關(guān)系型數(shù)據(jù)庫(kù)還保存了包含業(yè)務(wù)流程、事務(wù)操作等業(yè)務(wù)數(shù)據(jù)；

③NoSQL數(shù)據(jù)庫(kù)。采用MongoDB進(jìn)行大數(shù)據(jù)匯集存儲(chǔ)，便于數(shù)據(jù)挖掘與深入分析。

3、數(shù)據(jù)中心功能

圖4 數(shù)據(jù)存儲(chǔ)方式

數(shù)據(jù)存儲(chǔ)。數(shù)據(jù)中心存儲(chǔ)生產(chǎn)管理平臺(tái)的所有數(shù)據(jù)，包含實(shí)時(shí)數(shù)據(jù)、歷史數(shù)據(jù)、報(bào)表數(shù)據(jù)、各類生產(chǎn)業(yè)務(wù)數(shù)據(jù)和配置管理數(shù)據(jù)等。

數(shù)據(jù)實(shí)時(shí)計(jì)算。數(shù)據(jù)采集上傳至數(shù)據(jù)中心后，基于實(shí)時(shí)數(shù)據(jù)能夠?qū)崟r(shí)進(jìn)行計(jì)算，可以根據(jù)管理需要，統(tǒng)計(jì)相關(guān)數(shù)據(jù)的累計(jì)值、均值、最大/最小值，也可以根據(jù)生產(chǎn)總量數(shù)據(jù)計(jì)算單耗、成本等數(shù)據(jù)。實(shí)時(shí)計(jì)算后將這些計(jì)算數(shù)據(jù)存入歷史數(shù)據(jù)，進(jìn)而最大限度的發(fā)揮數(shù)據(jù)中心的優(yōu)勢(shì)，進(jìn)行生產(chǎn)統(tǒng)計(jì)分析。

資產(chǎn)樹管理。數(shù)據(jù)中心采用對(duì)象的方式管理所有監(jiān)測(cè)對(duì)象及屬性，可以建立各種檢測(cè)對(duì)象模板；從現(xiàn)有的對(duì)象模板生成新的對(duì)象并可以擴(kuò)展新的屬性；修改模板時(shí)，現(xiàn)有從此模板生成的對(duì)象自動(dòng)進(jìn)行調(diào)整；系統(tǒng)可以創(chuàng)建虛擬對(duì)象，對(duì)應(yīng)的屬性可以由現(xiàn)有對(duì)象的屬性組合運(yùn)算而成。

數(shù)據(jù)分發(fā)。數(shù)據(jù)中心具有數(shù)據(jù)分發(fā)功能，可以通過MQ第一時(shí)間推送實(shí)時(shí)數(shù)據(jù)消息。

報(bào)警和事件管理。數(shù)據(jù)中心能夠?qū)崟r(shí)生成各種報(bào)警信息和事件信息，報(bào)警包含各種上下限報(bào)警、突變報(bào)警、數(shù)據(jù)不變報(bào)警、斷電得電報(bào)警、通訊中斷恢復(fù)報(bào)警，事件包含泵的開停等，并推送給客戶端。

報(bào)表數(shù)據(jù)管理。通過ETL工具分析匯總原始生產(chǎn)數(shù)據(jù)，匯總時(shí)間周期為1分鐘、15分鐘、1小時(shí)、1天、1月。并能根據(jù)內(nèi)置算法自動(dòng)進(jìn)行統(tǒng)計(jì)，計(jì)算最大值、最小值、平均值、累計(jì)值等，為生產(chǎn)管理提供可靠的數(shù)據(jù)支撐。

供水生產(chǎn)數(shù)據(jù)中心融入了大數(shù)據(jù)分析的理念，全面打通了企業(yè)各種生產(chǎn)數(shù)據(jù)之間的通路，實(shí)現(xiàn)了多廠家RTU統(tǒng)一數(shù)據(jù)接口規(guī)范，支持多源數(shù)據(jù)采集和數(shù)據(jù)填報(bào)，將實(shí)時(shí)監(jiān)測(cè)數(shù)據(jù)、業(yè)務(wù)填報(bào)數(shù)據(jù)、運(yùn)行管理數(shù)據(jù)等緊密結(jié)合在一起，挖掘形成有效數(shù)據(jù)，逐步開發(fā)各種主題應(yīng)用，為生產(chǎn)管理系統(tǒng)平臺(tái)提供強(qiáng)有力的綜合大數(shù)據(jù)支撐。