基于云監(jiān)測平臺(tái)的堤防安全信息管理系統(tǒng)研究

關(guān)許為，肖慶華 ，張 慶

(1. 上海勘測設(shè)計(jì)研究院有限公司，上海 200434；2.上海浦宜亞軟件有限公司，上海 200063)

上海三面濱江臨海，易遭受風(fēng)暴潮、上游洪水等災(zāi)害的影響，沿江海堤防是抵御風(fēng)暴潮等各種自然災(zāi)害的第一道防線，其安全可靠性和防御能力直接關(guān)系上海城市的安全。

然而，20世紀(jì)90年代以來，由于人類活動(dòng)、氣候變暖、海平面上升、風(fēng)暴潮頻發(fā)以及上游工情水情變化如流域來沙的逐年減少等多重因素的交互影響，導(dǎo)致部分岸段堤防及圍墾工程前沿灘地沖刷加劇，長江口與杭州灣重要岸段堤防及圍墾工程安全保障受到嚴(yán)重威脅。如1997年8月18日，“9711”號(hào)臺(tái)風(fēng)影響上海，陣風(fēng)普遍達(dá)到8～10級(jí)，崇明陣風(fēng)11級(jí)，蘆潮港陣風(fēng)達(dá)12級(jí)(38 m/s)，導(dǎo)致吳淞口潮位5.99 m，超過警戒水位1.19 m破歷史紀(jì)錄。暴雨和大風(fēng)造成市區(qū)防汛墻決口3處，漫溢倒灌20處；沿江沿海主海塘多處潰決，受損處511處(69 km)。金山嘴潮位達(dá)到6.57 m(歷史最高潮位5.97 m)；奉賢長約22.6 km堤防全線漫溢；松江縣沿黃浦江有35處(14 km)漫溢，13處(158 m)潰決。臺(tái)風(fēng)襲擊過程中，死亡7人，傷多人，直接經(jīng)濟(jì)損失6.3億元以上。

多年來圍墾工程是解決上海城市土地資源短缺矛盾的重要途徑，自1949年以來，上海市通過灘涂圍墾新增土地面積約185 萬hm2(相當(dāng)新增陸域土地面積20%)，為上海城市可持續(xù)健康發(fā)展提供了有力保障。但是，堤防及圍墾工程安全與防護(hù)相關(guān)的科研工作還相對(duì)滯后，堤防及圍墾工程防御預(yù)警能力還相對(duì)較弱[1]。此外，目前上海市堤防管理智能化、網(wǎng)格化、信息化、精細(xì)化程度仍不高，有必要應(yīng)用目前互聯(lián)網(wǎng)較先進(jìn)技術(shù)開發(fā)研制上海市堤防安全智能化管理信息系統(tǒng)[2]，為上海市長江口與杭州灣重要岸段堤防及圍墾工程安全管理科學(xué)決策提供信息化平臺(tái)支持。

綜上所述，堤防管理信息化[3]是堤防管理的現(xiàn)代化要求，也是提高堤防管理和搶險(xiǎn)能力的有效手段和方式，可以為堤防管理部門及時(shí)、準(zhǔn)確地進(jìn)行決策提供依據(jù)。在此基礎(chǔ)上，物聯(lián)網(wǎng)云平臺(tái)技術(shù)[4]的應(yīng)用使信息管理系統(tǒng)的擴(kuò)容性得以提高，并進(jìn)一步加強(qiáng)了堤防安全管理的高效性、實(shí)時(shí)性及可靠性。

1 堤防管理云平臺(tái)

1.1 堤防管理云平臺(tái)總體架構(gòu)

圖1和圖2分別為堤防云平臺(tái)總體物理架構(gòu)圖和堤防云監(jiān)測節(jié)點(diǎn)的架構(gòu)圖。

圖1 堤防云平臺(tái)總體物理架構(gòu)圖

圖2 堤防云監(jiān)測節(jié)點(diǎn)的架構(gòu)圖

通過超大規(guī)模部署堤防云監(jiān)測節(jié)點(diǎn)，組成堤防監(jiān)測物聯(lián)網(wǎng)，針對(duì)堤防監(jiān)測建立堤防云監(jiān)測平臺(tái)。堤防云監(jiān)測節(jié)點(diǎn)的監(jiān)測項(xiàng)目相關(guān)信息，通過GPRS進(jìn)行無線數(shù)據(jù)傳輸，傳輸?shù)皆破脚_(tái)，在數(shù)據(jù)接收服務(wù)器上進(jìn)行數(shù)據(jù)接收、解析和預(yù)處理，將數(shù)據(jù)存入數(shù)據(jù)立方進(jìn)行云存儲(chǔ)和云計(jì)算[5]，并且通過WEB服務(wù)器進(jìn)行數(shù)據(jù)的最后處理和發(fā)布。通過WEB頁面和移動(dòng)終端可以實(shí)時(shí)的查看所有堤防云監(jiān)測節(jié)點(diǎn)的監(jiān)測項(xiàng)目的實(shí)時(shí)情況和歷史數(shù)據(jù)，以及監(jiān)測項(xiàng)目的變化過程，為堤防管理者用大數(shù)據(jù)科學(xué)地分析堤防安全情況，及決策制定提供完善的堤防安全的信息化技術(shù)支持。

堤防云監(jiān)測是堤防監(jiān)測物聯(lián)網(wǎng)的核心，實(shí)現(xiàn)了網(wǎng)絡(luò)節(jié)點(diǎn)的配置和控制、信息的采集和計(jì)算功能，在實(shí)現(xiàn)上可以采用分布式存儲(chǔ)、分布式計(jì)算技術(shù)，實(shí)現(xiàn)對(duì)海量數(shù)據(jù)的分析處理，以滿足大數(shù)據(jù)量且實(shí)時(shí)性要求非常高的數(shù)據(jù)處理要求[6]。

1.2 堤防云平臺(tái)組成架構(gòu)

平臺(tái)主要有堤防安全監(jiān)測系統(tǒng)[7]，堤防安全預(yù)警系統(tǒng)，云存儲(chǔ)系統(tǒng)[8]，堤防安全監(jiān)測項(xiàng)目實(shí)時(shí)變化過程，面向 Jobkeeper分布式調(diào)度，分布式數(shù)據(jù)立方系統(tǒng)和堤防安全數(shù)據(jù)個(gè)性化服務(wù)等組成。

在云建設(shè)中，分布式文件系統(tǒng)屬于基礎(chǔ)平臺(tái)支撐層，以用于數(shù)據(jù)集中存儲(chǔ)和共享，實(shí)現(xiàn)對(duì)數(shù)據(jù)的統(tǒng)一管理和高效應(yīng)用；分布式數(shù)據(jù)立方屬于分布式數(shù)據(jù)庫層，用于結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的高性能訪問；分布式計(jì)算和Hive則基于云存儲(chǔ)進(jìn)行大規(guī)模的高性能的并發(fā)計(jì)算和數(shù)據(jù)的挖掘。

2 堤防管理云平臺(tái)主要系統(tǒng)組成

2.1 堤防云平臺(tái)安全監(jiān)測系統(tǒng)

堤防監(jiān)測及預(yù)警系統(tǒng)完全基于B/S[9]結(jié)構(gòu)設(shè)計(jì)，為管理人員提供完善的操作平臺(tái)，同時(shí)，為其他普通人員定制基于B/S結(jié)構(gòu)的瀏覽模塊。系統(tǒng)通過權(quán)限訪問，提高系統(tǒng)運(yùn)行的安全性[10]。系統(tǒng)可實(shí)時(shí)、準(zhǔn)確、高效地監(jiān)測堤防安全情況，并對(duì)數(shù)據(jù)整編入庫、分析處理，形成結(jié)果，供決策人員使用。超大規(guī)模的部署堤防云監(jiān)測節(jié)點(diǎn)，通過GPRS等方式傳輸?shù)皆破脚_(tái)后至堤防監(jiān)測平臺(tái)，監(jiān)測數(shù)據(jù)直接通過云計(jì)算技術(shù)入庫，作為堤防數(shù)據(jù)存放起來，以及后期堤防安全情況的分析作為詳實(shí)準(zhǔn)確的數(shù)據(jù)基礎(chǔ)。功能主要包括堤防監(jiān)測數(shù)據(jù)入庫模塊，堤防監(jiān)測數(shù)據(jù)分析模塊，海量數(shù)據(jù)分析模塊，同時(shí)結(jié)合地理信息和堤防斷面信息，便于管理者進(jìn)行地理位置查詢。

2.2 堤防云平臺(tái)安全預(yù)警系統(tǒng)

作為堤防管理云平臺(tái)的重要功能，堤防安全預(yù)警平臺(tái)承擔(dān)著更多實(shí)時(shí)信息，為堤防管理者提供更多及時(shí)的有效的信息化支持。

預(yù)警系統(tǒng)的運(yùn)行是根據(jù)堤防安全監(jiān)測數(shù)據(jù)及數(shù)據(jù)處理平臺(tái)形成的結(jié)果，當(dāng)數(shù)據(jù)達(dá)到設(shè)定報(bào)警值時(shí)，預(yù)警系統(tǒng)會(huì)自動(dòng)啟動(dòng)，決定預(yù)警級(jí)別及范圍。并根據(jù)系統(tǒng)設(shè)定，啟動(dòng)報(bào)警通過郵件，APP推送或者是短信等方式直接發(fā)送給相關(guān)人員。

2.3 堤防云平臺(tái)Jobkeeper系統(tǒng)

云平臺(tái)Jobkeeper系統(tǒng)的總體架構(gòu)涵蓋資源、存儲(chǔ)、處理、業(yè)務(wù)化應(yīng)用等方面(見圖3和圖4)。其中，虛擬化資源層將機(jī)器進(jìn)行虛擬化，形成更大范圍的服務(wù)集群；存儲(chǔ)層則為存儲(chǔ)數(shù)據(jù)的處理結(jié)果集或其他中間結(jié)果集的單元；數(shù)據(jù)處理層為獨(dú)立的數(shù)據(jù)處理程序，是對(duì)不同需求數(shù)據(jù)的統(tǒng)一處理方案，由Jobkeeper調(diào)度平臺(tái)進(jìn)行統(tǒng)一的配置管理；業(yè)務(wù)層則是對(duì)于應(yīng)用層的相關(guān)功能的業(yè)務(wù)化、數(shù)字化處理，用于將應(yīng)用層的需求任務(wù)進(jìn)行規(guī)則化劃分，以形成統(tǒng)一的處理化模式；應(yīng)用層是一組用于管理和結(jié)果反饋的顯示組件，是整個(gè)系統(tǒng)面向用戶和開發(fā)人員的基礎(chǔ)承載。

圖3 Jobkeeper系統(tǒng)總體架構(gòu)圖

圖4 Jobkeeper任務(wù)分發(fā)流程圖

通過堤防云平臺(tái)Jobkeeper系統(tǒng)調(diào)度，當(dāng)用戶在應(yīng)用層下發(fā)任務(wù)給管理節(jié)點(diǎn)，管理節(jié)點(diǎn)調(diào)度機(jī)器采集機(jī)器節(jié)點(diǎn)的信息，根據(jù)具體的算法選取最優(yōu)節(jié)點(diǎn)并分發(fā)任務(wù)，接下來具體的處理節(jié)點(diǎn)接收到任務(wù)并處理同時(shí)將結(jié)果返回給管理節(jié)點(diǎn)，管理節(jié)點(diǎn)整理匯總處理結(jié)果，而后返回給應(yīng)用層。其中，服務(wù)器節(jié)點(diǎn)組主要負(fù)責(zé)對(duì)處理節(jié)點(diǎn)的系統(tǒng)信息以及任務(wù)處理信息進(jìn)行實(shí)時(shí)的跟蹤和保存，并將對(duì)應(yīng)的信息鏡像存儲(chǔ)在基于cStor或者NFS服務(wù)的存儲(chǔ)系統(tǒng)上；而處理節(jié)點(diǎn)組則通過RPC的遠(yuǎn)程調(diào)用獲取各自節(jié)點(diǎn)的任務(wù)處理目標(biāo)，并實(shí)時(shí)和處理節(jié)點(diǎn)上的任務(wù)處理目標(biāo)進(jìn)行對(duì)比，控制程序的執(zhí)行和結(jié)束，并在一個(gè)設(shè)定的心跳間隔內(nèi)主動(dòng)和管理節(jié)點(diǎn)組聯(lián)系一次，報(bào)告節(jié)點(diǎn)存活狀態(tài)。

2.4 堤防云平臺(tái)分布式數(shù)據(jù)立方系統(tǒng)

分布式數(shù)據(jù)立方，是一個(gè)高可靠性、高性能、面向列、可伸縮的分布式存儲(chǔ)系統(tǒng)，利用分布式數(shù)據(jù)立方技術(shù)可在廉價(jià)PC Server上搭建起大規(guī)模結(jié)構(gòu)化存儲(chǔ)集群。其目的是處理龐大的表，可以用普通的計(jì)算機(jī)處理10億行數(shù)據(jù)，并且有數(shù)百萬列元素組成的數(shù)據(jù)表這張表的索引是行關(guān)鍵字。

分布式數(shù)據(jù)立方可以直接使用本地的文件系統(tǒng)和云計(jì)算作為數(shù)據(jù)存儲(chǔ)方式。不過，為了提高數(shù)據(jù)的可靠性和系統(tǒng)的健壯性，發(fā)揮分布式數(shù)據(jù)立方處理大數(shù)據(jù)量等功能，通常需要使用云計(jì)算作為文件系統(tǒng)[11]。

3 結(jié) 語

通過研究與開發(fā)，本文研發(fā)的基于物聯(lián)網(wǎng)堤防管理云平臺(tái)由堤防安全監(jiān)測系統(tǒng)、堤防安全預(yù)警系統(tǒng)、Jobkeeper系統(tǒng)、分布式數(shù)據(jù)立方系統(tǒng)等組成，具有以下功能和特點(diǎn)。

(1)可超大規(guī)模部署。堤防云監(jiān)測節(jié)點(diǎn)的安裝部署方式方便，這種部署方式完全和傳統(tǒng)的部署方式不同，符合超大規(guī)模部署的條件。并且堤防云監(jiān)測節(jié)點(diǎn)完全基于的云平臺(tái)，可以同時(shí)接入成千上萬的堤防云監(jiān)測節(jié)點(diǎn)。

(2)在線監(jiān)測實(shí)時(shí)性強(qiáng)?？梢愿鶕?jù)需求進(jìn)行增加堤防云監(jiān)測節(jié)點(diǎn)，擴(kuò)展整個(gè)系統(tǒng)的覆蓋范圍，但是不需要繼續(xù)復(fù)雜的操作，可以動(dòng)態(tài)的增加堤防云監(jiān)測節(jié)點(diǎn)，并能自動(dòng)組網(wǎng)，具有很強(qiáng)的擴(kuò)容性。

(3)基于云平臺(tái)的超強(qiáng)擴(kuò)容性。云存儲(chǔ)資源管理系統(tǒng)擴(kuò)容非常方便，支持不停止服務(wù)的情況下，動(dòng)態(tài)加入新的存儲(chǔ)節(jié)點(diǎn)，無需任何操作，即實(shí)現(xiàn)擴(kuò)容；同時(shí)，無需人為干預(yù)，也可以摘下任意節(jié)點(diǎn)，系統(tǒng)自動(dòng)縮小規(guī)模而不丟失數(shù)據(jù)，存儲(chǔ)在此節(jié)點(diǎn)上的數(shù)據(jù)將會(huì)重新備份到其他節(jié)點(diǎn)上。

(4)云計(jì)算海量數(shù)據(jù)處理。架構(gòu)云計(jì)算海量數(shù)據(jù)處理平臺(tái)，采用先進(jìn)的云計(jì)算處理技術(shù)，支持自動(dòng)容錯(cuò)和動(dòng)態(tài)擴(kuò)展，具有實(shí)時(shí)性、高可靠性、可伸縮性、高性價(jià)比等特點(diǎn)。

(5)平臺(tái)科學(xué)管理。系統(tǒng)采用云計(jì)算架構(gòu)的平臺(tái)，提供科學(xué)的管理系統(tǒng)，以及服務(wù)器節(jié)點(diǎn)的管理達(dá)到任何一臺(tái)服務(wù)器斷電都不會(huì)影響到其他服務(wù)器，最大程度的解決運(yùn)維管理人員的運(yùn)維壓力，保證系統(tǒng)的正常。

(6)及時(shí)提供安全預(yù)警。該系統(tǒng)根據(jù)堤防監(jiān)測與檢測數(shù)據(jù)以及設(shè)定的安全評(píng)價(jià)規(guī)則，可適時(shí)給出堤防安全影響的評(píng)估意見，為堤防管理相關(guān)單位及時(shí)提供堤防安全預(yù)警信息。

□

參考文獻(xiàn)：

[1] 義紅君.水利工程安全隱患分析及其對(duì)策[J].北京農(nóng)業(yè),2012,(12):268.

[2] 王天新.管理信息系統(tǒng)發(fā)展[J].現(xiàn)代情報(bào),2007,(6):224-225.

[3] 魏承富,王 俊,李亞平.堤防管理信息化[J].水利科技與經(jīng)濟(jì),2014,20(10):105-107.

[4] Partha Pratim Ray. A survey of IOT Cloud Plat-forms[J]. Future Computing and Informatics Journal, 2016,1(1-2):35-46.

[5] 林克振.對(duì)云計(jì)算與云存儲(chǔ)技術(shù)研究的探討[J].計(jì)算機(jī)光盤軟件與應(yīng)用,2014,17(20):39-40.

[6] 郭 崇.云端服務(wù)下物聯(lián)網(wǎng)云儲(chǔ)存技術(shù)研究[J].信息系統(tǒng)工程,2017,(7):78-79.

[7] 孫 彤,貢 欣,運(yùn)乃斌.堤防安全監(jiān)測系統(tǒng)的構(gòu)建[J].現(xiàn)代農(nóng)業(yè)科技,2012,(6):270.

[8] 傅穎勛,羅圣美,舒繼武.安全云存儲(chǔ)系統(tǒng)與關(guān)鍵技術(shù)綜述[J].計(jì)算機(jī)研究與發(fā)展,2013,50(1):136-145.

[9] 李云云.淺析B/S和C/S體系結(jié)構(gòu)[J].科學(xué)之友, 2011,(1):6-8.

[10] 任海鵬,方繼才,何 晶,等.物聯(lián)網(wǎng)環(huán)境下的云數(shù)據(jù)存儲(chǔ)安全技術(shù)研究[J].無線互聯(lián)科技, 2015,(17):24-25.

[11] D Li, G Chen, H Zhang. Analysis of hot topics in cloud computing[J]. ZTE Communications, 2010,8(4):1-5.