水務(wù)企業(yè)數(shù)據(jù)整合與共享關(guān)鍵技術(shù)研究及應(yīng)用

彭 燁 李曉如 韓勇華

（深圳市深水龍崗水務(wù)集團有限公司，深圳 518030）

數(shù)據(jù)資產(chǎn)管理近年來已成為政府和企業(yè)領(lǐng)導(dǎo)層特別關(guān)注的領(lǐng)域。一個擁有大量數(shù)據(jù)的企業(yè)，要發(fā)揮其數(shù)據(jù)的價值必須整合和加工現(xiàn)有或新建的各種信息系統(tǒng)中的數(shù)據(jù)，實現(xiàn)企業(yè)數(shù)據(jù)資產(chǎn)的集中管控。發(fā)展智慧水務(wù)，挖掘沉淀價值，是傳統(tǒng)水務(wù)企業(yè)發(fā)展的新機遇。本文以深水龍崗水務(wù)集團數(shù)據(jù)整合與共享建設(shè)為案例，提出了一套信息存儲及命名規(guī)則，完成對現(xiàn)有業(yè)務(wù)數(shù)據(jù)的綜合整合，并研發(fā)了兩套數(shù)據(jù)接口標(biāo)準(zhǔn)，滿足企業(yè)內(nèi)外部數(shù)據(jù)對接的需求，為水務(wù)企業(yè)的智慧化生產(chǎn)、智慧化管理提供數(shù)據(jù)支撐。

1.系統(tǒng)技術(shù)路線

系統(tǒng)研究主要分為數(shù)據(jù)抽取與篩選、數(shù)據(jù)存儲及數(shù)據(jù)服務(wù)三部分，總體技術(shù)架構(gòu)如圖1所示。

圖1 數(shù)據(jù)架構(gòu)示意圖

首先梳理水務(wù)企業(yè)存量信息化系統(tǒng)現(xiàn)狀，全面分析企業(yè)生產(chǎn)經(jīng)營過程中所需的人、財、物等信息資源，然后建立一套信息存儲及命名規(guī)則，將系統(tǒng)抽取數(shù)據(jù)按照制定的規(guī)則存放至目標(biāo)數(shù)據(jù)庫，最后建立兩套數(shù)據(jù)接口標(biāo)準(zhǔn)，即Web API和消息隊列接口，與其它系統(tǒng)進行數(shù)據(jù)交互、共享和數(shù)據(jù)分析利用。

系統(tǒng)各項應(yīng)用和服務(wù)都部署在超融合服務(wù)器上，借助虛擬化、分布式存儲等技術(shù)可以充分發(fā)揮服務(wù)器所擁有的資源，并且提供應(yīng)用敏捷上線和資源按需擴展的能力。

2.數(shù)據(jù)整合

2.1 數(shù)據(jù)抽取

數(shù)據(jù)抽取是指從數(shù)據(jù)源系統(tǒng)抽取目的數(shù)據(jù)庫需要的數(shù)據(jù)，根據(jù)業(yè)務(wù)應(yīng)用系統(tǒng)的不同，采用的數(shù)據(jù)抽取方式也不同。龍崗水務(wù)集團生產(chǎn)在線監(jiān)測系統(tǒng)采用的是GE的IFIX軟件，此軟件配套有IGS驅(qū)動軟件，通過OPC協(xié)議可快速完成數(shù)據(jù)的采集與傳輸。生產(chǎn)管理信息化系統(tǒng)、智慧巡檢系統(tǒng)、智能水表系統(tǒng)、客戶服務(wù)信息系統(tǒng)等業(yè)務(wù)應(yīng)用系統(tǒng)數(shù)據(jù)可采用ETL[1]工具完成數(shù)據(jù)的抽取。

數(shù)據(jù)抽取可分為全量抽取和增量抽取。全量抽取類似于數(shù)據(jù)遷移或數(shù)據(jù)復(fù)制，它將數(shù)據(jù)源中的表或視圖的數(shù)據(jù)原封不動的從數(shù)據(jù)庫中抽取出來，并轉(zhuǎn)換成ETL工具可以識別的格式。增量抽取只抽取自上次抽取以來數(shù)據(jù)庫中要抽取的表中新增或修改的數(shù)據(jù)。在ETL使用過程中，增量抽取較全量抽取應(yīng)用更廣。如何捕獲變化的數(shù)據(jù)是增量抽取的關(guān)鍵。目前增量數(shù)據(jù)抽取常用的捕獲變化數(shù)據(jù)方法有：觸發(fā)器、時間戳、全表比對、日志對比。本系統(tǒng)同時采用了全量抽取與增量抽取兩種方式，即數(shù)據(jù)整合第一次采用全量抽取，后期采用增量抽取方式。

2.2 數(shù)據(jù)轉(zhuǎn)換

從數(shù)據(jù)源系統(tǒng)中抽取的數(shù)據(jù)不一定完全滿足目的數(shù)據(jù)庫的要求，例如數(shù)據(jù)格式不一致、數(shù)據(jù)輸入錯誤、數(shù)據(jù)不完整等等，因此有必要對抽取的數(shù)據(jù)進行轉(zhuǎn)換和加工，將數(shù)據(jù)轉(zhuǎn)換成符合需求的數(shù)據(jù)格式。數(shù)據(jù)的轉(zhuǎn)換可以在ETL引擎中進行，也可以在數(shù)據(jù)抽取過程中利用關(guān)系數(shù)據(jù)庫的特性同時進行。相比在ETL引擎中進行數(shù)據(jù)轉(zhuǎn)換和加工，直接用SQL語句中進行轉(zhuǎn)換和加工更加簡單，性能更高，對于SQL語句無法處理的可以交由ETL引擎處理。系統(tǒng)根據(jù)實際需求，建立了一套符合企業(yè)自身需求的信息存儲及命名規(guī)則，如表1所示。

表1 信息存儲及命名規(guī)則

2.3 數(shù)據(jù)裝載

數(shù)據(jù)裝載是將轉(zhuǎn)換后的數(shù)據(jù)裝載到目的數(shù)據(jù)庫中。裝載數(shù)據(jù)的最佳方法取決于所執(zhí)行操作的類型以及需要裝入多少數(shù)據(jù)。當(dāng)目的數(shù)據(jù)庫是關(guān)系型數(shù)據(jù)庫時，可以采用兩種裝載方式：直接SQL語句進行insert、updata、delete操作；采用批量裝載方法，如bcp、bulk、關(guān)系數(shù)據(jù)庫特有的批量裝載工具或api。

2.4 目的數(shù)據(jù)庫

目的數(shù)據(jù)庫根據(jù)存儲數(shù)據(jù)需求采用傳統(tǒng)關(guān)系型數(shù)據(jù)庫（SQL）和非關(guān)系型庫（NOSQL）結(jié)合的方式進行數(shù)據(jù)層架構(gòu)。其中非關(guān)系型數(shù)據(jù)庫主要適用于性能要求非常高、數(shù)據(jù)存儲規(guī)模非常大的生產(chǎn)數(shù)據(jù)存儲。關(guān)系型數(shù)據(jù)庫主要適用于業(yè)務(wù)分析數(shù)據(jù)、配置數(shù)據(jù)和應(yīng)用系統(tǒng)數(shù)據(jù)存儲。由于企業(yè)生產(chǎn)在線監(jiān)測數(shù)據(jù)量大，并且數(shù)據(jù)的實時性要求比較高，對于這塊的數(shù)據(jù)優(yōu)先存儲至?xí)r序數(shù)據(jù)庫（influxDB）中，存儲1年，超過1年后，數(shù)據(jù)轉(zhuǎn)存到非關(guān)系型庫中永久存儲。

3.數(shù)據(jù)共享

系統(tǒng)為第三方服務(wù)定義統(tǒng)一的數(shù)據(jù)訪問接口，可與第三方系統(tǒng)進行數(shù)據(jù)交換和控制響應(yīng)。根據(jù)對接數(shù)據(jù)的不同，開發(fā)了2種數(shù)據(jù)接口，具體說明如下：

（1）Web API接口

Web API接口[2]主要用于對接各業(yè)務(wù)應(yīng)用系統(tǒng)的業(yè)務(wù)數(shù)據(jù)、例如生產(chǎn)、管網(wǎng)、客服與管控主題KPI數(shù)據(jù)等。采用Web API接口主要是從安全性考慮，當(dāng)Web API收到接口調(diào)用請求時需先檢查傳遞的簽名是否合法，驗證后才允許調(diào)用相關(guān)接口。

（2）消息隊列

消息隊列采用MQTT協(xié)議[3]，主要用于對接各水廠生產(chǎn)在線監(jiān)測數(shù)據(jù)，此類數(shù)據(jù)為實時數(shù)據(jù)，對于數(shù)據(jù)的實時性要求比較高。MQTT協(xié)議實現(xiàn)方式如圖2所示。

圖2 MQTT協(xié)議實現(xiàn)方式

實現(xiàn)MQTT協(xié)議需要客戶端和服務(wù)器端。MQTT協(xié)議中有3中身份，即發(fā)布者、代理和訂閱者。其中消息的發(fā)布者和訂閱者都是客戶端，消息代理是服務(wù)器（例如EMQ），消息發(fā)布者可以同時是訂閱者。

4.應(yīng)用情況

目前該系統(tǒng)已在深水龍崗水務(wù)集團試運行6個月，就運行情況來看，效果良好。系統(tǒng)在線監(jiān)測數(shù)據(jù)采用訂閱主題的方式，向第三方推送消息。

圖3 數(shù)據(jù)訂閱主題

系統(tǒng)的應(yīng)用已成功完成了目前企業(yè)存量信息化數(shù)據(jù)的集中存儲，并基于數(shù)據(jù)模型分析，實現(xiàn)了企業(yè)生產(chǎn)、管網(wǎng)、客服、管控等各類業(yè)務(wù)KPI指標(biāo)的制定，為企業(yè)的業(yè)務(wù)發(fā)展提供了高質(zhì)量數(shù)據(jù)決策支持，同時暢通數(shù)據(jù)共享機制，提升了企業(yè)跨部門、跨業(yè)務(wù)協(xié)同能力。

5.結(jié)語

本文通過開展水務(wù)企業(yè)存量信息化系統(tǒng)數(shù)據(jù)的整合與共享關(guān)鍵技術(shù)研究及應(yīng)用，一方面可為后續(xù)建立的業(yè)務(wù)系統(tǒng)提供數(shù)據(jù)支撐，減少系統(tǒng)建立時不同業(yè)務(wù)系統(tǒng)數(shù)據(jù)對接的工作量，另一方面也有助于企業(yè)進大數(shù)據(jù)分析，指導(dǎo)水務(wù)企業(yè)的生產(chǎn)運營。水務(wù)企業(yè)數(shù)據(jù)整合與共享是一項長期且需不斷完善的工作，需要我們堅持技術(shù)與管理并重，真正去做足、做實、做好這項工作。