監(jiān)控數(shù)據(jù)統(tǒng)一接收平臺的研究與設(shè)計

郭永平　朱宇

摘 要：設(shè)計了一種能夠適應(yīng)多種類型的監(jiān)測站、人工采集、外部系統(tǒng)等多種監(jiān)測數(shù)據(jù)的統(tǒng)一數(shù)據(jù)接收平臺。該方法對多種類型監(jiān)控系統(tǒng)數(shù)據(jù)的接收過程進(jìn)行了分析，采用面向接口的編程技術(shù)及數(shù)據(jù)庫設(shè)計技巧，實現(xiàn)了多數(shù)據(jù)源監(jiān)控信息的接收，對接收的數(shù)據(jù)統(tǒng)一進(jìn)行修正及合法識別，為監(jiān)測分析系統(tǒng)提供有效的數(shù)據(jù)。該監(jiān)控數(shù)據(jù)統(tǒng)一接收平臺的設(shè)計為開發(fā)通用監(jiān)控系統(tǒng)數(shù)據(jù)伺服程序具有一定的借鑒意義。

關(guān)鍵詞：監(jiān)控數(shù)據(jù)；統(tǒng)一接收平臺；研究與設(shè)計；伺服程序

中圖分類號：TP311 文獻(xiàn)標(biāo)識碼：A 文章編號：2095-1302（2016）04-00-04

0 引 言

遠(yuǎn)程監(jiān)控系統(tǒng)廣泛地應(yīng)用于水文、國土、環(huán)保、道路交通等領(lǐng)域，在自然災(zāi)害、安全防護(hù)等方面發(fā)揮著舉足輕重的作用。監(jiān)控系統(tǒng)中的預(yù)測預(yù)警功能利用行業(yè)內(nèi)研究分析模型，對采集的數(shù)據(jù)進(jìn)行分析，以圖表、仿真、動畫演進(jìn)等方式，展示監(jiān)控對象的發(fā)展變化趨勢，用于滿足決策者的信息需求。數(shù)據(jù)采集負(fù)責(zé)遠(yuǎn)程監(jiān)控系統(tǒng)數(shù)據(jù)來源，是整個系統(tǒng)的基礎(chǔ)。目前數(shù)據(jù)采集主要有監(jiān)測站采集、外部系統(tǒng)集成和人工報送三種方式。遠(yuǎn)程監(jiān)控系統(tǒng)的網(wǎng)絡(luò)結(jié)構(gòu)示意圖如圖1所示。

1 遠(yuǎn)程監(jiān)控系統(tǒng)的數(shù)據(jù)來源

1.1 自動監(jiān)測站采集

隨著無線網(wǎng)絡(luò)及傳感器技術(shù)的發(fā)展，自動監(jiān)測站成為當(dāng)前監(jiān)控系統(tǒng)最主要的數(shù)據(jù)來源，對自動監(jiān)測站數(shù)據(jù)的接收是統(tǒng)一數(shù)據(jù)接收平臺的核心內(nèi)容，需要能夠兼容不同版本的傳輸規(guī)約。監(jiān)測站數(shù)據(jù)采集系統(tǒng)由自動監(jiān)測站、傳輸網(wǎng)絡(luò)、監(jiān)控中心三部分組成，自動監(jiān)測站在數(shù)據(jù)傳遞前需對傳送信息按照傳輸規(guī)約進(jìn)行編報，監(jiān)控中心數(shù)據(jù)接收則需完成對報文的收取、解譯及解譯后數(shù)據(jù)的容錯、修正、存儲操作。其工作流程如圖2所示，具體如下所示：

（1）監(jiān)測站監(jiān)測到定點報或加報的條件得到滿足；

（2）依據(jù)傳輸規(guī)約編制報文；

（3）通過無線網(wǎng)絡(luò)將編制好的報文發(fā)送至監(jiān)測中心工控機上；

（4）工控機上安裝的數(shù)據(jù)接收程序?qū)笪倪M(jìn)行接收；

（5）將接收到的報文按照傳輸規(guī)約進(jìn)行解包，將其解譯為人工可以識別的數(shù)字；

（6）根據(jù)解譯出報文中監(jiān)測站的信息、修正信息和設(shè)定的閾值，按照一定的規(guī)則進(jìn)行容錯、修正處理；

（7）對處理的結(jié)果進(jìn)行存儲。

1.2 外部系統(tǒng)數(shù)據(jù)集成

外部系統(tǒng)數(shù)據(jù)是遠(yuǎn)程監(jiān)控系統(tǒng)數(shù)據(jù)的補充來源之一，具有成本低、數(shù)據(jù)量大、避免重復(fù)投資等特點。如水質(zhì)監(jiān)測分析系統(tǒng)需要集成固定實驗室系統(tǒng)的檢測數(shù)據(jù)；水雨情監(jiān)測預(yù)警系統(tǒng)需要集成氣象局雨量監(jiān)測數(shù)據(jù)、水文局水位監(jiān)測數(shù)據(jù)。其數(shù)據(jù)采集方式一般使用發(fā)布與訂閱模式進(jìn)行數(shù)據(jù)集成。具體步驟如下：

（1）發(fā)布方將發(fā)送的數(shù)據(jù)寫入到接收方可以操作的區(qū)域，通知接收方進(jìn)行數(shù)據(jù)收??；

（2）接收方讀取文件，將數(shù)據(jù)存儲到數(shù)據(jù)庫中。

1.3 人工采集

人工采集模式通過人工觀察，將觀察結(jié)果通過移動終端App或基于PC端的Web應(yīng)用系統(tǒng)進(jìn)行上報，上報至監(jiān)測中心。

2 傳統(tǒng)數(shù)據(jù)接收平臺存在的問題

傳統(tǒng)的某一版本的數(shù)據(jù)接收程序僅完成使用特定傳輸規(guī)約自動監(jiān)測站的數(shù)據(jù)采集，依賴于監(jiān)控系統(tǒng)定義的傳輸規(guī)約及特定項目的數(shù)據(jù)容錯、修正規(guī)則。外部數(shù)據(jù)集成及人工采集直接寫入分析系統(tǒng)的數(shù)據(jù)庫中，即默認(rèn)了這兩部分?jǐn)?shù)據(jù)的有效性。對傳統(tǒng)數(shù)據(jù)接收程序進(jìn)行分析后，不難發(fā)現(xiàn)存在四點缺陷。

2.1 預(yù)警預(yù)報系統(tǒng)與數(shù)據(jù)接收系統(tǒng)耦合度高

預(yù)警預(yù)報系統(tǒng)的職責(zé)是使用相應(yīng)的數(shù)據(jù)模型和采集到的數(shù)據(jù)對現(xiàn)場狀況進(jìn)行分析預(yù)測，提供告警服務(wù)和輸出變化趨勢分析結(jié)果，并不關(guān)心數(shù)據(jù)來源及數(shù)據(jù)正確與否。人工采集和外部數(shù)據(jù)集成的數(shù)據(jù)直接寫入分析系統(tǒng)數(shù)據(jù)庫中，預(yù)警預(yù)報系統(tǒng)除需完成分析預(yù)測，還需對這部分?jǐn)?shù)據(jù)的合法性進(jìn)行驗證和修正。

2.2 維護(hù)成本高

自動監(jiān)測站在不同時期的傳輸規(guī)約和業(yè)務(wù)規(guī)則會發(fā)生相應(yīng)的變化，傳統(tǒng)接收程序是基于具體業(yè)務(wù)規(guī)則開發(fā)的，而不是基于抽象接口，在業(yè)務(wù)規(guī)則發(fā)生變化時，程序維護(hù)工作量大，且容易出錯。

2.3 可移植性差

不同項目由于監(jiān)測對象及應(yīng)用地區(qū)不同，其傳輸規(guī)約和數(shù)據(jù)處理不同。傳統(tǒng)的數(shù)據(jù)接收程序無法進(jìn)行移植，必須修改原有程序，成果的復(fù)用僅僅是基于代碼級別的，無法實現(xiàn)可配置化的開發(fā)，程序移植性差，增加了單個項目的開發(fā)成本。

2.4 故障排查困難

監(jiān)控系統(tǒng)中信息加工的環(huán)節(jié)很多，傳感器、編報軟件、解譯程序、分析算法、安裝工藝均有可能存在缺陷。在系統(tǒng)運行階段，當(dāng)發(fā)生不可預(yù)期的錯誤時，無法進(jìn)行追溯，從而無法準(zhǔn)確的預(yù)判系統(tǒng)出現(xiàn)問題的環(huán)節(jié)。沒有保留處理過程數(shù)據(jù)，不易排查發(fā)生故障的原因。

3 概要設(shè)計

3.1 框架設(shè)計

數(shù)據(jù)統(tǒng)一接收平臺為所有數(shù)據(jù)采集模式使用統(tǒng)一的數(shù)據(jù)輸出接口。接收平臺先將接收到的原始數(shù)據(jù)存入本地數(shù)據(jù)庫原始數(shù)據(jù)表中，由數(shù)據(jù)處理模塊統(tǒng)一完成數(shù)據(jù)的驗證與修正，對于不能滿足分析系統(tǒng)對采集頻率有要求的監(jiān)測項目，利用平臺提供人機交互接口進(jìn)行統(tǒng)一插補。平臺將數(shù)據(jù)接收使用的數(shù)據(jù)庫同分析使用的數(shù)據(jù)庫進(jìn)行隔離，分析系統(tǒng)僅轉(zhuǎn)移接收數(shù)據(jù)庫中的合法數(shù)據(jù)。數(shù)據(jù)統(tǒng)一接收平臺是按照分層模式進(jìn)行設(shè)計的，其應(yīng)用層和數(shù)據(jù)接收組件主要通過數(shù)據(jù)層進(jìn)行耦合，耦合度比較低。數(shù)據(jù)統(tǒng)一接收平臺應(yīng)用框架圖如圖3所示。

（1）應(yīng)用層：是人機交互的接口，功能有實時數(shù)據(jù)顯示、原始數(shù)據(jù)查詢、質(zhì)疑數(shù)據(jù)人工干預(yù)、數(shù)據(jù)插補及出錯診斷、參數(shù)設(shè)置等。同時為數(shù)據(jù)接收組件提供了標(biāo)準(zhǔn)的調(diào)用接口，是報文接收、解譯及解譯后的數(shù)據(jù)處理組件的調(diào)度程序。

（2）數(shù)據(jù)層：臨時存儲數(shù)據(jù)的本地數(shù)據(jù)庫，包括監(jiān)測站信息、接收到的原始數(shù)據(jù)、經(jīng)數(shù)據(jù)處理程序處理后的質(zhì)疑數(shù)據(jù)和合法數(shù)據(jù)等。

（3）支撐層：由數(shù)據(jù)接收統(tǒng)一平臺的應(yīng)用組件組成，包括報文接收、報文解譯、數(shù)據(jù)處理、數(shù)據(jù)訪問、數(shù)據(jù)集成等應(yīng)用組件。

（4）網(wǎng)絡(luò)層：包括傳輸網(wǎng)絡(luò)和監(jiān)控中心的軟硬件環(huán)境。

（5）采集層：包括自動監(jiān)測站、外部系統(tǒng)和手工報送的數(shù)據(jù)。

3.2 本地數(shù)據(jù)庫設(shè)計

本地數(shù)據(jù)庫用于存儲數(shù)據(jù)接收的臨時數(shù)據(jù)庫，為了確保程序運行性能，該數(shù)據(jù)庫中的數(shù)據(jù)可以按照一定規(guī)則進(jìn)行清除。本地數(shù)據(jù)庫由原始數(shù)據(jù)表、質(zhì)疑數(shù)據(jù)表及合格數(shù)據(jù)表三部分組成，其中原始數(shù)據(jù)表存儲接收的原始數(shù)據(jù)，經(jīng)過數(shù)據(jù)處理服務(wù)對原始的數(shù)據(jù)進(jìn)行處理后，將判斷有問題的數(shù)據(jù)存入質(zhì)疑數(shù)據(jù)表，并推送至工作人員工作桌面，交與工作人員進(jìn)行人工干預(yù)，合格數(shù)據(jù)則存入合格數(shù)據(jù)表，為分析系統(tǒng)進(jìn)行轉(zhuǎn)移的程序僅和合格數(shù)據(jù)表發(fā)生關(guān)系。本地數(shù)據(jù)庫實體關(guān)系圖如圖4所示。

本地數(shù)據(jù)庫設(shè)計中增加了用于存儲原始數(shù)據(jù)表，便于進(jìn)行錯誤溯源的功能。如當(dāng)數(shù)據(jù)出現(xiàn)異常時，若數(shù)據(jù)是自動監(jiān)測站采集的，可由原始數(shù)據(jù)表中提取原始報文，按照傳輸規(guī)約進(jìn)行手工解譯，便可分析出錯誤是由監(jiān)測站軟硬件引發(fā)的還是監(jiān)控中心解譯程序引發(fā)的，若為監(jiān)測站軟硬件故障，進(jìn)一步對出現(xiàn)異常的數(shù)據(jù)進(jìn)行頻率分析，即可判定是設(shè)備故障還是安裝工藝出現(xiàn)問題。

4 系統(tǒng)實現(xiàn)

數(shù)據(jù)統(tǒng)一接收平臺使用微軟提供的Visual Studio 2010 軟件開發(fā)平臺進(jìn)行開發(fā)，Visual Studio 2010平臺提供了豐富的界面控件和類庫，為開發(fā)人員提供了極大的便利。接收平臺的本地數(shù)據(jù)庫選擇MySQL。采用面向接口編程思想進(jìn)行構(gòu)件化設(shè)計，在自動監(jiān)測站數(shù)據(jù)接收中，對容易變化的部分使用了工廠方法模式，統(tǒng)一數(shù)據(jù)接收平臺部分的靜態(tài)類圖如圖5所示。

4.1 應(yīng)用主程序

為C/S結(jié)構(gòu)的應(yīng)用程序，監(jiān)控中心運維工作人員與監(jiān)控系統(tǒng)進(jìn)行交互的接口，為工作人員提供觀察數(shù)據(jù)接收情況、進(jìn)行質(zhì)疑數(shù)據(jù)的人工處理和數(shù)據(jù)插補，故障預(yù)判等功能。

4.2 數(shù)據(jù)通訊組件

自動監(jiān)測站與監(jiān)控中心工控機通訊是基于TCP/IP的通訊方式，數(shù)據(jù)通訊組件采用多線程非阻塞式進(jìn)行報文接收。Visual Studio 2010平臺提供了TcpListener 、TcpClient、UdpClient等通訊類，使得通訊程序開發(fā)變的非常簡單。

4.3 報文解譯

報文解譯組件引進(jìn)了工廠方法模式，將主調(diào)用程序和具體的實現(xiàn)類進(jìn)行隔離，它僅依賴于穩(wěn)定的解譯接口和創(chuàng)建解譯實例的工廠接口，與具體的解譯類無關(guān)，這樣在數(shù)據(jù)接收服務(wù)程序運行過程中，根據(jù)具體運行環(huán)境可動態(tài)創(chuàng)建具體解譯對象，實現(xiàn)可配置化的應(yīng)用，用于應(yīng)對傳輸規(guī)約變化。在圖5中，定義工廠方法模式的核心類工廠接口，在接口中有獲取報文解譯實例方法。解譯工廠類是實現(xiàn)了工廠接口的具體類，主調(diào)用程序僅依賴相關(guān)解譯的接口，而不是具體的實現(xiàn)。將實例的創(chuàng)建放在幾乎不包含業(yè)務(wù)邏輯的工廠類中創(chuàng)建，這樣做的好處是代碼結(jié)構(gòu)更清晰。在調(diào)用程序和創(chuàng)建工廠之間增加協(xié)調(diào)類，協(xié)調(diào)類的作用是避免主程序與子工廠交流，進(jìn)一步隔離了使用者和對象創(chuàng)建者的關(guān)系。同時在協(xié)調(diào)類中使用反射機制，通過配置文件實現(xiàn)可配置化的應(yīng)用。在協(xié)調(diào)類的構(gòu)造函數(shù)中，讀取配置文件所要創(chuàng)建的業(yè)務(wù)對象工廠字符串，通過類的反射實現(xiàn)了工廠對象的創(chuàng)建，由工廠去實例化具體的業(yè)務(wù)類，程序代碼并不涉及是對哪種監(jiān)測對象進(jìn)行監(jiān)測。通過以上代碼可以容易看出，調(diào)用主程序只關(guān)心要執(zhí)行的操作，具體是哪種工廠創(chuàng)建的實例對其而言是透明的。這樣，當(dāng)實際工作中的傳輸規(guī)約發(fā)生變化時，我們只需增加一個實現(xiàn)解譯接口的具體類，通過修改配置文件中的使用工廠類名稱，即可實現(xiàn)監(jiān)測數(shù)據(jù)接收程序的升級或開發(fā)，并不對程序原有部分做任何更改。

4.4 數(shù)據(jù)處理

數(shù)據(jù)處理模塊是業(yè)務(wù)規(guī)則的易變部分，在設(shè)計上與報文解譯部分類同，由工廠類進(jìn)行實例的創(chuàng)建，如圖5中的水質(zhì)工廠類，能夠創(chuàng)建水質(zhì)解譯實例和水質(zhì)數(shù)據(jù)處理實例。

5 數(shù)據(jù)訪問

數(shù)據(jù)訪問模塊對數(shù)據(jù)庫的連接、數(shù)據(jù)查詢、更新的二次封裝提供數(shù)據(jù)集合向?qū)嶓w對象轉(zhuǎn)化的ORMapping。將對數(shù)據(jù)庫底層的數(shù)據(jù)訪問操作和上層的商務(wù)邏輯分開，提供了調(diào)用程序中的數(shù)據(jù)查詢、提取、保存等業(yè)務(wù)。

6 結(jié) 語

監(jiān)控數(shù)據(jù)統(tǒng)一接收平臺實現(xiàn)了多種數(shù)據(jù)源的監(jiān)測數(shù)據(jù)接收問題，使用統(tǒng)一的處理方法，完成了數(shù)據(jù)的容錯、修正、分類等處理，不間斷地為監(jiān)控數(shù)據(jù)分析系統(tǒng)提供合法有效的數(shù)據(jù)。在系統(tǒng)設(shè)計中增加了用于存儲臨時數(shù)據(jù)的本地數(shù)據(jù)庫，完成了過程數(shù)據(jù)的存儲，解決錯誤追溯，并將數(shù)據(jù)接收系統(tǒng)與數(shù)據(jù)分析系統(tǒng)通過創(chuàng)建不同的數(shù)據(jù)庫進(jìn)行隔離，提高了程序的穩(wěn)健性。在業(yè)務(wù)規(guī)則易變的報文解譯和數(shù)據(jù)驗證部分，將工廠方法模式和類的反射機制配合使用，使得程序結(jié)構(gòu)更加清晰，增強了軟件的可維護(hù)性，實現(xiàn)了監(jiān)控數(shù)據(jù)接收服務(wù)程序可配置化應(yīng)用與開發(fā)，對開發(fā)通用的監(jiān)測數(shù)據(jù)接收服務(wù)程序具有一定的借鑒意義。

參考文獻(xiàn)

[1]中華人民共和國水利部.水資源監(jiān)控管理系統(tǒng)數(shù)據(jù)傳輸規(guī)約（SL427-2008）[M].北京：北京科文圖書業(yè)信息技術(shù)有限公司，2008.

[2] GAMMA E.Design patterns：abstraction and reuse of object--oriented software[M].Reading，Mass：Addison—Wesley，1995.

[3] 李鳳云，嚴(yán)德昆，季峰.GPRS城市供水遠(yuǎn)程無線監(jiān)測管理系統(tǒng)[J].機械與電子，2007（1）：80-81.

[4] 黃傳華，陳燕，艾麗軍.水資源遠(yuǎn)程實時監(jiān)控系統(tǒng)傳輸網(wǎng)絡(luò)設(shè)計探討[J].中國水利，2004（23）：43-44.

[5] 任中方，張華.MVC模式研究的綜述[J].計算機應(yīng)用研究，2004 （10）：1-4.

[6] Kouresh Ardestani，Kevin Hoffman，Dnald Xie.高效掌握ADO.NET—C#編程篇[M]. 張哲峰，譯.北京：清華大學(xué)出版社， 2003.

[7]郭永平.水資源信息監(jiān)控系統(tǒng)的設(shè)計與實現(xiàn)[D].西安：西安電子科技大學(xué)，2012.

[8]中華人民共和國水利部.國家水資源監(jiān)控能力建設(shè)項目實施方案（2012-2014）[M].2011.

[9]戴智英.計算機軟件應(yīng)用及發(fā)展趨勢探析[J].電子技術(shù)與軟件工程，2014（4）：92.

[10] 楊修志.公路橋梁養(yǎng)護(hù)管理工作中凝結(jié)的新理念[J].北京公路，2011（1）：35-37.

[11]湯濤.NET企業(yè)級應(yīng)用程序開發(fā)教程[M]. 北京：清華大學(xué)出版社， 2005.