淺談制水公司數(shù)據(jù)采集與處理平臺構(gòu)建

（上海嘉勉信息技術(shù)有限公司，上海 201900）

引言

隨著信息化建設(shè)應(yīng)用經(jīng)驗(yàn)的不斷積累，制水生產(chǎn)管理對信息系統(tǒng)所產(chǎn)生的價(jià)值要求也在逐漸轉(zhuǎn)變，由現(xiàn)有的生產(chǎn)管理、數(shù)據(jù)匯聚和流程應(yīng)用向數(shù)據(jù)分析、節(jié)能減排，生產(chǎn)指導(dǎo)優(yōu)化，設(shè)備預(yù)知維護(hù)，以及其他應(yīng)用及優(yōu)化方向邁進(jìn)[1]。迫切需要使用主流的工業(yè)物聯(lián)網(wǎng)技術(shù)以及大數(shù)據(jù)分析與挖掘技術(shù)，能夠統(tǒng)一高效的采集、存儲、分析廠站工業(yè)現(xiàn)場數(shù)據(jù)，靈活實(shí)現(xiàn)不同系統(tǒng)間的信息交換、信息共享與業(yè)務(wù)協(xié)同，加強(qiáng)信息資源管理，開展數(shù)據(jù)和應(yīng)用整合，進(jìn)一步發(fā)揮數(shù)據(jù)資產(chǎn)信息資源和應(yīng)用系統(tǒng)的效能，提升信息化建設(shè)對制水公司業(yè)務(wù)和管理的支撐作用。

一、總體規(guī)劃

系統(tǒng)的總體規(guī)劃應(yīng)從根據(jù)制水公司生產(chǎn)工藝的實(shí)際情況，發(fā)揮水廠、泵站一體化管理體制優(yōu)勢，以網(wǎng)絡(luò)系統(tǒng)安全、分布式多協(xié)議采集、海量數(shù)據(jù)存儲以及數(shù)據(jù)資產(chǎn)管理規(guī)范為核心，圍繞數(shù)據(jù)采集監(jiān)控平臺的各個(gè)環(huán)節(jié)，統(tǒng)籌規(guī)劃，集約建設(shè)，行業(yè)引領(lǐng)，總體推進(jìn)，建設(shè)能夠?yàn)橹扑窘鉀Q實(shí)際問題的大數(shù)據(jù)采集與處理平臺。

1.數(shù)據(jù)管理標(biāo)準(zhǔn)

數(shù)據(jù)標(biāo)準(zhǔn)是進(jìn)行信息化建設(shè)的基礎(chǔ)性工作，是實(shí)現(xiàn)信息共享的重要依據(jù)，是系統(tǒng)建設(shè)的規(guī)范要求。通過加強(qiáng)數(shù)據(jù)標(biāo)準(zhǔn)化、規(guī)范化管理，有利于實(shí)現(xiàn)制水公司各基層單位生產(chǎn)數(shù)據(jù)的整合和優(yōu)化，實(shí)現(xiàn)數(shù)據(jù)資源信息的集成與共享，從而保證生產(chǎn)業(yè)務(wù)的安全進(jìn)行。凡有國家標(biāo)準(zhǔn)、行業(yè)標(biāo)準(zhǔn)的采用現(xiàn)有標(biāo)準(zhǔn)，各類標(biāo)準(zhǔn)不一致的原則上采用最高級別的標(biāo)準(zhǔn)。在國家、地方等相關(guān)標(biāo)準(zhǔn)規(guī)范的基礎(chǔ)上，結(jié)合制水公司水廠、泵站的實(shí)際生產(chǎn)情況，制定制水公司采集監(jiān)管相關(guān)數(shù)據(jù)標(biāo)準(zhǔn)，來指導(dǎo)平臺建設(shè)后續(xù)實(shí)施，也可以約束其他系統(tǒng)開發(fā)方，按統(tǒng)一的標(biāo)準(zhǔn)和規(guī)則提供數(shù)據(jù)或使用數(shù)據(jù)。

制定數(shù)據(jù)標(biāo)準(zhǔn)可從業(yè)務(wù)和技術(shù)這兩個(gè)方面展開。業(yè)務(wù)方面主要是從數(shù)據(jù)項(xiàng)在實(shí)際生產(chǎn)中涉及的屬性信息，比如在PLC對應(yīng)IP地址、所屬工藝段、定義、描述、數(shù)據(jù)類型、單位、PLC上變量名、出現(xiàn)不同值代表的含義描述（狀態(tài)量）、數(shù)據(jù)處理方法/公式，編碼等方面去規(guī)定每個(gè)數(shù)據(jù)項(xiàng)應(yīng)該遵循的標(biāo)準(zhǔn)、規(guī)則。技術(shù)方面主要是從數(shù)據(jù)存儲（如字段長度）、數(shù)據(jù)安全（如權(quán)限）等技術(shù)角度來規(guī)范每個(gè)數(shù)據(jù)項(xiàng)，目的就是保證采集的數(shù)據(jù)不間斷的正常運(yùn)轉(zhuǎn)。具體的數(shù)據(jù)標(biāo)準(zhǔn)產(chǎn)生的邏輯框架（見圖1）。

2.數(shù)據(jù)分類

依據(jù)制水公司生產(chǎn)流程以及日常運(yùn)維經(jīng)驗(yàn)，可將采集的數(shù)據(jù)進(jìn)行分類梳理，比如按照數(shù)據(jù)的重要性：原水進(jìn)水流量數(shù)據(jù)，出廠水水質(zhì)、出廠流量和壓力數(shù)據(jù)是重點(diǎn)關(guān)注數(shù)據(jù)（可定義為一級數(shù)據(jù)）；沉淀池水質(zhì)、流量，濾池水質(zhì)、流量，清水庫液位等主要的過程水是次重要的關(guān)注數(shù)據(jù)（可定義為二級數(shù)據(jù)）；電量數(shù)據(jù)，加藥數(shù)據(jù)，閥門開度等就是一般關(guān)注數(shù)據(jù)（可定義為三級數(shù)據(jù)）。

3.數(shù)據(jù)存儲

數(shù)據(jù)存儲作為數(shù)據(jù)采集的下層系統(tǒng)，作為數(shù)據(jù)分析共享的支撐，也是制水公司數(shù)據(jù)采集與處理平臺的核心組成部分。數(shù)據(jù)存儲平臺需要滿足對結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)和半結(jié)構(gòu)化數(shù)據(jù)的統(tǒng)一存儲和查詢的需求，同時(shí)，保證查詢的高效性和存儲的安全性。擬采用分布式存儲系統(tǒng)Hbase為主要存儲介質(zhì)，同時(shí)，搭配關(guān)系型數(shù)據(jù)庫（mysql、Oracle等）作為輔助的存儲介質(zhì)。

圖1 數(shù)據(jù)標(biāo)準(zhǔn)邏輯框架

4.數(shù)據(jù)分析

數(shù)據(jù)分析是實(shí)現(xiàn)業(yè)務(wù)功能和可視化展示的基礎(chǔ)，利用分布式存儲和并行計(jì)算框架，結(jié)合多種分布式計(jì)算引擎，對各類結(jié)構(gòu)化、半結(jié)構(gòu)化及非結(jié)構(gòu)化的數(shù)據(jù)進(jìn)行快速的分布式計(jì)算，并提供基于關(guān)聯(lián)、聚類、分類、預(yù)測等類算法庫[3]，同時(shí)，實(shí)施包含數(shù)據(jù)采集、清洗、轉(zhuǎn)換、分析、應(yīng)用等數(shù)據(jù)全生命周期的數(shù)據(jù)治理，提高數(shù)據(jù)及時(shí)性、準(zhǔn)確性與可用性。

5.數(shù)據(jù)資產(chǎn)管理

數(shù)據(jù)資產(chǎn)管理的含義，根據(jù)DAMA（國際數(shù)據(jù)管理協(xié)會）的定義來說是指企業(yè)或組織采取的各種管理活動，用于保證數(shù)據(jù)資產(chǎn)的安全、完整、合理配置，有效利用，從而提升經(jīng)濟(jì)效應(yīng)[2]。制水公司做數(shù)據(jù)資產(chǎn)管理的目的就是為了讓數(shù)據(jù)使用者能夠清楚地認(rèn)識數(shù)據(jù)和數(shù)據(jù)關(guān)系，進(jìn)而更好地運(yùn)用數(shù)據(jù)；為了讓數(shù)據(jù)應(yīng)用的管理者能夠洞察數(shù)據(jù)、應(yīng)用、系統(tǒng)之間的復(fù)雜依賴關(guān)系，進(jìn)而更好的管理數(shù)據(jù)。

根據(jù)當(dāng)前的不完全統(tǒng)計(jì)，制水公司生產(chǎn)過程每天需要采集和處理龐大體量的數(shù)據(jù)，而每個(gè)數(shù)據(jù)項(xiàng)每天每時(shí)每刻都在產(chǎn)生實(shí)時(shí)數(shù)據(jù)，面對如此龐雜的實(shí)時(shí)數(shù)據(jù)，而且還需要通過它們來指導(dǎo)和管理實(shí)際生產(chǎn)，這對于管理者來說確實(shí)難度很大，所以有必要對于數(shù)據(jù)項(xiàng)以及會影響數(shù)據(jù)項(xiàng)實(shí)時(shí)數(shù)據(jù)好壞的因素做相應(yīng)的管控，以快速、準(zhǔn)確地解決實(shí)際生產(chǎn)的需要。

二、系統(tǒng)設(shè)計(jì)架構(gòu)

系統(tǒng)主要采用分布式架構(gòu)，支持分布式部署方式、分布式計(jì)算，支持Master/Slave的集群架構(gòu)，系統(tǒng)性能隨著節(jié)點(diǎn)數(shù)增加而線性提升，基于Hbase搭建的工業(yè)數(shù)據(jù)庫支持分布式事務(wù)處理能力[4]。主要功能塊包括數(shù)據(jù)采集層設(shè)計(jì)、數(shù)據(jù)處理層設(shè)計(jì)、數(shù)據(jù)管理層設(shè)計(jì)以及工業(yè)數(shù)據(jù)庫設(shè)計(jì)、可視化監(jiān)控設(shè)計(jì)等幾大塊的內(nèi)容。設(shè)計(jì)架構(gòu)（見圖2）。

圖2 系統(tǒng)設(shè)計(jì)框架

1.數(shù)據(jù)源層

其中數(shù)據(jù)源層是指所要面對的數(shù)據(jù)采集對象，按照數(shù)據(jù)源結(jié)構(gòu)的不同可分為兩大塊：設(shè)備數(shù)據(jù)源和系統(tǒng)數(shù)據(jù)源，其中設(shè)備數(shù)據(jù)源包括各種PLC設(shè)備、儀表設(shè)備等，系統(tǒng)數(shù)據(jù)源主要包括各種數(shù)據(jù)庫系統(tǒng)、文本文件和各類WEB系統(tǒng)等。

2.數(shù)據(jù)采集層

數(shù)據(jù)采集層就是針對不同的數(shù)據(jù)源所開發(fā)的數(shù)據(jù)采集系統(tǒng)，數(shù)據(jù)采集系統(tǒng)分為數(shù)據(jù)采集終端和服務(wù)器接收端并搭配企業(yè)級數(shù)據(jù)總線，能用于不同數(shù)據(jù)源的數(shù)據(jù)采集、接收與發(fā)布。

3.數(shù)據(jù)處理層

數(shù)據(jù)處理層是對數(shù)據(jù)進(jìn)行抽取、轉(zhuǎn)換、預(yù)處理的工作過程，通過對數(shù)據(jù)采集層所采集到的數(shù)據(jù)進(jìn)行格式轉(zhuǎn)換、過濾、清洗等操作，將多種不同設(shè)備、系統(tǒng)的數(shù)據(jù)進(jìn)行整合，同時(shí)，將數(shù)據(jù)項(xiàng)按照以制定好的數(shù)據(jù)標(biāo)準(zhǔn)進(jìn)行分類、歸檔。

4.數(shù)據(jù)管理層

數(shù)據(jù)管理層是通過元數(shù)據(jù)管理、主數(shù)據(jù)管理、數(shù)據(jù)資產(chǎn)管理等功能模塊，再加上相應(yīng)的數(shù)據(jù)管理流程對數(shù)據(jù)實(shí)行管理的一種方法和手段，保障數(shù)據(jù)的一致性與準(zhǔn)確性，進(jìn)一步發(fā)揮數(shù)據(jù)作為資產(chǎn)的價(jià)值。

5.數(shù)據(jù)中心層

數(shù)據(jù)中心層是指業(yè)務(wù)數(shù)據(jù)庫和大數(shù)據(jù)存儲倉庫。業(yè)務(wù)數(shù)據(jù)庫用于數(shù)據(jù)采集匯總平臺所需要配置的信息，包括采集標(biāo)記名、站點(diǎn)屬性以及系統(tǒng)本身所需要的配置信息。大數(shù)據(jù)存儲倉庫是將數(shù)據(jù)采集、處理層所產(chǎn)生的規(guī)范數(shù)據(jù)做統(tǒng)一的存儲，消除了各數(shù)據(jù)中的不一致性，將數(shù)據(jù)按照統(tǒng)一的標(biāo)準(zhǔn)做實(shí)時(shí)的存儲，從而為制水公司數(shù)據(jù)采集與處理平臺提供多維度數(shù)據(jù)分析支持，真正將數(shù)據(jù)轉(zhuǎn)換為價(jià)值。

6.數(shù)據(jù)監(jiān)控層

可視化監(jiān)控層主要包括數(shù)據(jù)實(shí)時(shí)監(jiān)控、數(shù)據(jù)地圖、3D工藝過程監(jiān)控以及報(bào)表統(tǒng)計(jì)、數(shù)據(jù)資產(chǎn)目錄等。同時(shí)，盡可能實(shí)時(shí)動態(tài)反應(yīng)生產(chǎn)情況，實(shí)時(shí)監(jiān)控關(guān)鍵工藝環(huán)節(jié)、關(guān)鍵點(diǎn)的壓力、流量、濁度、余氯等數(shù)據(jù)，完成系統(tǒng)平臺內(nèi)各水廠、泵站等生產(chǎn)全過程數(shù)據(jù)的動態(tài)監(jiān)控與管理。

圖3 3D工藝過程監(jiān)控

同時(shí)，數(shù)據(jù)安全和數(shù)據(jù)全生命周期為各層數(shù)據(jù)提供基礎(chǔ)保障，在保證數(shù)據(jù)安全的基礎(chǔ)上，記錄數(shù)據(jù)從產(chǎn)生到呈現(xiàn)的全過程，實(shí)現(xiàn)對數(shù)據(jù)資產(chǎn)真正的管理。

三、展望

隨著信息時(shí)代的發(fā)展，水務(wù)建設(shè)已成為智慧城市建設(shè)的重要環(huán)節(jié)，而制水作為智慧水務(wù)建設(shè)的重要工藝環(huán)節(jié)，要從被動的支撐水務(wù)管理變成主動監(jiān)管，為生產(chǎn)全鏈條制水環(huán)節(jié)實(shí)施全過程實(shí)時(shí)監(jiān)控、動態(tài)化管理、生產(chǎn)運(yùn)行優(yōu)化、設(shè)備保障以及為水務(wù)建設(shè)提供強(qiáng)有力的數(shù)據(jù)保障，從而推進(jìn)制水公司數(shù)據(jù)采集與處理平臺實(shí)現(xiàn)智能感知、智能共享、智能分析、智能響應(yīng)、智能處置、智能指揮，提高制水公司的管理能力，驅(qū)動生產(chǎn)過程的數(shù)據(jù)管理向智能化轉(zhuǎn)變[5]，實(shí)現(xiàn)海量數(shù)據(jù)的匯聚、存儲、整合與共享。

四、總結(jié)

制水公司數(shù)據(jù)采集與處理平臺是運(yùn)用新一代信息化技術(shù)實(shí)現(xiàn)采集水務(wù)信息，并進(jìn)行實(shí)時(shí)處理與分析，以更加精細(xì)、動態(tài)、實(shí)時(shí)的方式管理制水公司生產(chǎn)全過程的數(shù)據(jù)，實(shí)現(xiàn)對制水公司數(shù)據(jù)資產(chǎn)化的管理流程。同時(shí)，大數(shù)據(jù)技術(shù)與數(shù)據(jù)管理結(jié)合有效地為制水公司調(diào)度決策提供了真實(shí)有效數(shù)據(jù)支撐和決策依據(jù)，為城市智慧水務(wù)的建設(shè)添磚加瓦。