水庫綜合信息管理平臺關(guān)鍵技術(shù)研究與應(yīng)用

林艷燕 ，陳 季 ，金有杰

（1. 水利部南京水利水文自動化研究所，江蘇 南京 210012； 2. 南京水利科學(xué)研究院，江蘇 南京 210029；3. 水利部水文水資源監(jiān)控工程技術(shù)研究中心，江蘇 南京 210012）

0 引言

截至 2020 年底，全國水利部門共注冊登記水庫 96 180 座，總庫容為 4 816 億 m3，水庫現(xiàn)存業(yè)務(wù)系統(tǒng)分別在不同的時期建設(shè)，沒有統(tǒng)一的規(guī)劃，各自獨(dú)立運(yùn)行，形成信息孤島。以大壩安全滲流監(jiān)測為例，滲壓計測量計算形成水位高程成果值，在實際應(yīng)用時需要與庫水位值或其他環(huán)境量進(jìn)行相關(guān)性分析，水庫雨水情與大壩安全監(jiān)控系統(tǒng)由不同的廠家建設(shè)，分別部署在不同的服務(wù)器上，導(dǎo)致相關(guān)的高級應(yīng)用開發(fā)困難，無法提供綜合性分析，最終造成水庫整體信息化能力低、可視化技術(shù)不足的情況，影響了水庫安全運(yùn)行管理工作的高效運(yùn)行。

為此，建設(shè)水庫綜合信息化管理平臺（以下簡稱管理平臺），要求在保證已建系統(tǒng)功能和數(shù)據(jù)仍能獨(dú)立使用的前提下，在監(jiān)控中心層對各雨水情、工情、大壩安全、氣象、土壤墑情等多系統(tǒng)數(shù)據(jù)進(jìn)行整合，通過構(gòu)建中心站數(shù)據(jù)庫，將各子系統(tǒng)數(shù)據(jù)抽取至中心站，實現(xiàn)對水庫各子系統(tǒng)監(jiān)測數(shù)據(jù)的綜合管理，通過提供監(jiān)測信息匯集應(yīng)用與共享服務(wù)接口，達(dá)到資源的合理配置和高效利用，提高水庫綜合信息監(jiān)測、管理和應(yīng)用能力，促進(jìn)所在流域經(jīng)濟(jì)社會持續(xù)穩(wěn)定的發(fā)展。

1 管理平臺需求與目標(biāo)

現(xiàn)有大中型水庫一般都按需建立了信息化系統(tǒng)，如工情信息管理、雨水情遙測、土壤墑情監(jiān)測、大壩安全監(jiān)測、閘門監(jiān)控及辦公管理等系統(tǒng)。原有老系統(tǒng)大多采用 C/S 單機(jī)版架構(gòu)，可擴(kuò)展性差，客戶端須安裝在指定機(jī)器上，無法進(jìn)行遠(yuǎn)程數(shù)據(jù)查詢和視頻瀏覽。新舊各系統(tǒng)間相對孤立，缺少相應(yīng)的數(shù)據(jù)融合、分析和預(yù)警監(jiān)視功能。此外，在系統(tǒng)安全性上，并未實現(xiàn)用戶分級管理與數(shù)據(jù)接口的安全性控制，對系統(tǒng)安全性與穩(wěn)定性造成了影響。為此，水庫綜合信息化管理系統(tǒng)以平臺化為目標(biāo)，互聯(lián)網(wǎng)技術(shù)為手段，解決水庫信息化管理中數(shù)據(jù)分散、可視化能力低、功能權(quán)限分配等問題。

1.1 實現(xiàn)異構(gòu)數(shù)據(jù)整合與應(yīng)用

水庫運(yùn)維過程中，各獨(dú)立運(yùn)行的信息系統(tǒng)產(chǎn)生的數(shù)據(jù)主要包括水庫氣象、周邊土壤墑情、工情，以及大壩安全監(jiān)測及水文等數(shù)據(jù)。

對各專業(yè)異構(gòu)數(shù)據(jù)的匯集有自動上報和主動抓取 2 種方式。從數(shù)據(jù)的時效性考慮，自動上報優(yōu)于主動抓取，但實際操作時，自動上報的方式要求各子系統(tǒng)調(diào)用由平臺端發(fā)布的接口將數(shù)據(jù)實時傳至中心端，但大多數(shù)水庫專業(yè)子系統(tǒng)缺乏專門的運(yùn)維人員，自動上報實現(xiàn)起來有一定難度，因此本研究采用主動抓取的方式。通過構(gòu)建 1 個基礎(chǔ)信息庫和多個業(yè)務(wù)數(shù)據(jù)庫，將各子系統(tǒng)中與基礎(chǔ)信息相關(guān)的庫表遷移至基礎(chǔ)信息庫，業(yè)務(wù)數(shù)據(jù)庫表遷移至對應(yīng)的業(yè)務(wù)數(shù)據(jù)庫，形成統(tǒng)一的基礎(chǔ)信息庫與業(yè)務(wù)數(shù)據(jù)庫。

在積累足夠的監(jiān)測數(shù)據(jù)后，可利用多元線性回歸統(tǒng)計模型或其他常見理論計算方法（如置信區(qū)間法、小概率法、極限狀態(tài)法、結(jié)構(gòu)分析法）確定測點的技術(shù)警戒值，實現(xiàn)數(shù)據(jù)的異常預(yù)警。

1.2 提供統(tǒng)一接口服務(wù)

管理平臺需要依托各業(yè)務(wù)數(shù)據(jù)庫和基礎(chǔ)庫開發(fā)統(tǒng)一的數(shù)據(jù)接口，基于數(shù)據(jù)庫設(shè)計將服務(wù)接口劃分為基礎(chǔ)數(shù)據(jù)、專業(yè)業(yè)務(wù)數(shù)據(jù)、綜合服務(wù)等 3 類接口，其中基礎(chǔ)數(shù)據(jù)接口主要提供基礎(chǔ)信息庫的數(shù)據(jù)維護(hù)功能，專業(yè)業(yè)務(wù)數(shù)據(jù)接口提供單一專業(yè)的數(shù)據(jù)服務(wù)，綜合服務(wù)接口可通過跨 Schema 的聯(lián)合查詢或單一業(yè)務(wù)的數(shù)據(jù)組裝提供綜合性的數(shù)據(jù)服務(wù)。最終形成標(biāo)準(zhǔn)的 RESTful 接口文檔，實現(xiàn)一套平臺，多種應(yīng)用，為構(gòu)建移動端多種應(yīng)用打下基礎(chǔ)，同時為共享交換數(shù)據(jù)庫預(yù)留接口，用以實現(xiàn)與其他專業(yè)系統(tǒng)或高級應(yīng)用的數(shù)據(jù)共享交換。

1.3 提高可視化能力

中小型水庫信息化系統(tǒng)大壩安全監(jiān)測部分主要包括變形、滲流、環(huán)境量等的監(jiān)測，為提高系統(tǒng)可視化能力，管理平臺將有效利用各階段輸出的 CAD 工程圖，重點增加檢測部位的可視化查詢功能。

大多數(shù)水庫的 CAD 工程圖紙，貫穿規(guī)劃、布置、設(shè)計、施工、維護(hù)全過程，是提高管理平臺可視化能力的重要素材。例如：安全監(jiān)測水工建筑物剖面圖和平面圖，可用于測點可視化查詢；大壩斷面圖常作為底圖，用于浸潤線、水位線的可視化查詢界面；水庫布置圖，可展現(xiàn)水庫中水工建筑物在整體水庫布局的位置，標(biāo)識重點建筑物或關(guān)注位置（如重要斷面、溢洪道、泄洪閘）的重點監(jiān)測信息。

1.4 保證數(shù)據(jù)安全性

管理平臺對外發(fā)布統(tǒng)一的 HTTP 數(shù)據(jù)接口，需要采用一定的鑒權(quán)機(jī)制[1]實現(xiàn)接口調(diào)用過程的安全管理。根據(jù)具體業(yè)務(wù)需求，只對滿足權(quán)限的用戶提供服務(wù)，以保證站點數(shù)據(jù)與基礎(chǔ)信息的保密性和安全性。

1.5 實現(xiàn)用戶分級管理

管理平臺的使用者包括領(lǐng)導(dǎo)、操作員、社會公眾等，因此需要對不同級別的用戶進(jìn)行功能權(quán)限劃分。通過對用戶訪問的功能菜單進(jìn)行管理和規(guī)劃，完成基于用戶所屬角色的權(quán)限分配，可對不同的用戶身份進(jìn)行鑒別，防止用戶的越權(quán)訪問。

2 軟件關(guān)鍵技術(shù)研究與應(yīng)用

2.1 基于 ETL 的數(shù)據(jù)整合

對歷史站點的監(jiān)測數(shù)據(jù)，采用 Kettle 進(jìn)行歷史數(shù)據(jù)庫的數(shù)據(jù)遷移與監(jiān)控[2-3]，通過分析源系統(tǒng)數(shù)據(jù)結(jié)構(gòu)，基于業(yè)務(wù)制定 ETL 方案，完成源數(shù)據(jù)庫向目標(biāo)數(shù)據(jù)庫的適配，實現(xiàn)異構(gòu)數(shù)據(jù)的平滑流動。Kettle 是一款開源 ETL 工具，數(shù)據(jù)整合階段主要使用到其中 2 項產(chǎn)品 Spoon 和 Kitchen：Spoon 允許通過圖形界面設(shè)計 ETL 轉(zhuǎn)換過程；Kitchen 是一個后臺運(yùn)行的程序，允許批量使用由 Chef 設(shè)計的任務(wù)。

利用 Spoon，可以開發(fā)轉(zhuǎn)換和作業(yè)內(nèi)容，用于構(gòu)建整個 Kettle 工作流程的基礎(chǔ)。轉(zhuǎn)換主要是針對數(shù)據(jù)的各種處理，1 個轉(zhuǎn)換里可以包含多個步驟。作業(yè)相較于轉(zhuǎn)換，是更高級的操作。1 個作業(yè)里包括多個作業(yè)項，1 個作業(yè)項代表1 項工作，而轉(zhuǎn)換是 1 種作業(yè)項，即作業(yè)里面可以包括多個轉(zhuǎn)換。

為確保已建大壩安全監(jiān)測系統(tǒng)仍能獨(dú)立運(yùn)行，需要利用轉(zhuǎn)換一次性將原有數(shù)據(jù)庫的基礎(chǔ)數(shù)據(jù)遷移至目標(biāo)庫，后續(xù)采用作業(yè)對實時監(jiān)測數(shù)據(jù)進(jìn)行定時抽取。以紅崖山水庫大壩安全監(jiān)測數(shù)據(jù)定時抽取的作業(yè)為例的轉(zhuǎn)換作業(yè)如圖1 所示，改作業(yè)步驟如下：首先基于數(shù)據(jù)同步表獲取所有測點的最新數(shù)據(jù)時間，再調(diào)用子作業(yè)“數(shù)據(jù)同步”將最新的數(shù)據(jù)同步至中心庫，最后執(zhí)行 SQL 語句更新數(shù)據(jù)同步表的最新數(shù)據(jù)時間。利用 Kitchen 組件可實現(xiàn)作業(yè) 5 min調(diào)度 1 次，保障數(shù)據(jù)的時效性。其他氣象、土壤墑情、雨水情等數(shù)據(jù)的匯集也可采用類似方法處理。

圖1 轉(zhuǎn)換作業(yè)實例

2.2 基于 Druid 的動態(tài)數(shù)據(jù)源配置

數(shù)據(jù)訪問層采用動態(tài)數(shù)據(jù)源技術(shù)，管理平臺可設(shè)置多個數(shù)據(jù)源，根據(jù)配置項決定加載 1 個或多個數(shù)據(jù)源。Druid[4]是一個開源的分布式的支持實時分析和攝入的數(shù)據(jù)存儲系統(tǒng)，每個 Druid 進(jìn)程都可以獨(dú)立配置和擴(kuò)展，各數(shù)據(jù)源相互獨(dú)立，為系統(tǒng)提供最大的靈活性。

利用 Druid 將數(shù)據(jù)庫按業(yè)務(wù)分類：大壩數(shù)據(jù)源配置為大壩安全監(jiān)測數(shù)據(jù)庫，為大壩安全監(jiān)測提供服務(wù)接口；雨水情數(shù)據(jù)源配置為雨水情數(shù)據(jù)庫提供雨水情相關(guān)服務(wù)接口；氣象數(shù)據(jù)源配置為氣象服務(wù)提供數(shù)據(jù)接口；墑情數(shù)據(jù)源提供土壤墑情數(shù)據(jù)服務(wù)；公共數(shù)據(jù)源包括水庫基礎(chǔ)信息數(shù)據(jù)庫和測站信息，用于提供公共的服務(wù)接口。管理平臺針對公共業(yè)務(wù)開發(fā)通用的數(shù)據(jù)服務(wù)接口，同時在控制層靈活地對業(yè)務(wù)接口進(jìn)行基于具體業(yè)務(wù)的組裝使用。管理平臺基于 Springboot 開發(fā)，集成 Swagger 組件發(fā)布數(shù)據(jù)接口 UI 界面，可利用可視化界面模擬接口請求，在應(yīng)用系統(tǒng)開發(fā)時降低前后端聯(lián)調(diào)的溝通成本，為基于管理平臺的多端應(yīng)用開發(fā)提供良好的支撐。

2.3 基于 WebGIS 的可視化查詢

利用 CAD 工程圖實現(xiàn)可視化查詢功能，需要完成 DWG 文件的轉(zhuǎn)換 、發(fā)布、加載 3 個步驟。首先利用 ArcMap 將 DWG 的點線面分別轉(zhuǎn)換成 SHP 格式，然后利用 GeoServer 添加 SHP 數(shù)據(jù)并發(fā)布為點線面圖層，最后利用 OpenLayesr.js 加載并操作圖層完成可視化查詢功能。

2.3.1 CAD 制圖的轉(zhuǎn)換與處理

CAD 制圖成果是 DWG 文件，DWG 是基于 CAD保存設(shè)計數(shù)據(jù)所用的一種專有文件格式，但實際 GIS 應(yīng)用中，離不開 SHP 文件。SHP 是一種空間數(shù)據(jù)開放格式，已成為地理信息軟件界的一個開放標(biāo)準(zhǔn)。因此，需要利用 ArcMap 對 CAD 進(jìn)行按需轉(zhuǎn)換，轉(zhuǎn)換時只需關(guān)注和業(yè)務(wù)相關(guān)的圖層文件并做針對業(yè)務(wù)的處理。

出于方便人為的管理， CAD 中每個圖層文字、點、線、面都可以畫，在 ArcGIS 中每個圖層強(qiáng)制按照點線面劃分，在此基礎(chǔ)上再按照人為因素劃分。因此在做圖層導(dǎo)出時，需要針對點、線、面分別進(jìn)行，再根據(jù)業(yè)務(wù)的需要對屬性表做相應(yīng)的處理，ArcMap 的屬性表中記錄著圖層各個要素的信息，通常結(jié)合實際業(yè)務(wù)數(shù)據(jù)庫做字段的增加或刪除。

2.3.2 SHP 文件的發(fā)布

在進(jìn)行圖層發(fā)布時，采用風(fēng)格化圖層描述器 SLD[5]對地圖可視化的表現(xiàn)形式進(jìn)行擴(kuò)展。沒有 SLD 標(biāo)準(zhǔn)前，只能使用一些已經(jīng)在服務(wù)器上規(guī)定好的樣式對地圖進(jìn)行可視化；使用實現(xiàn)了 SLD 標(biāo)準(zhǔn)后，允許從客戶端進(jìn)行圖層樣式的渲染、分級顯示等操作，極大地擴(kuò)展了地圖可視化的靈活性。

2.3.3 圖層的加載與應(yīng)用

OpenLayers 是專為 GIS 客戶端開發(fā)提供的 JavaScript 類庫包，用于實現(xiàn)標(biāo)準(zhǔn)格式發(fā)布的地圖數(shù)據(jù)訪問，管理平臺利用 OpenLayers 加載點線面圖層。目前 CAD 圖紙大多應(yīng)用在平面布置圖和斷面浸潤線的功能頁面中：平面布置圖一般用于查看測點在水工建筑物中的具體位置，可進(jìn)行拖拽、放大、縮小等操作；浸潤線的加載較平面布置圖的加載更為復(fù)雜，除了基礎(chǔ)點線面圖層的加載外，還需要記錄測點在圖層標(biāo)尺上的相對位置，根據(jù)實測水位高程推算滲壓水位在標(biāo)尺上的位置。圖2 為利用斷面 CAD 圖實現(xiàn)的浸潤線功能，圖中包含 2 個滲壓監(jiān)測點，當(dāng)黑色浸潤線高于紅色警戒線時，說明當(dāng)前滲壓計計算的水位高程偏高，需要引起注意。

圖2 利用 CAD 圖繪制的大壩斷面浸潤線

2.4 訪問控制

2.4.1 角色權(quán)限訪問控制

管理平臺以 RBAC（Role-Based Access Control）模型為基礎(chǔ)，基于 Apache Shrio 的權(quán)限控制框架，實現(xiàn)用戶權(quán)限的控制與功能的可擴(kuò)展。RBAC 又稱為基于角色的訪問控制[6]，在 RBAC 模型中，一個平臺用戶擁有若干角色，每個角色擁有若干權(quán)限，構(gòu)造成用戶-角色-權(quán)限的授權(quán)模型，用戶與角色之間，角色與權(quán)限之間，一般都是多對多的關(guān)系。最終實現(xiàn)的功能模塊主要包括組織機(jī)構(gòu)管理、用戶角色管理、用戶權(quán)限設(shè)置等內(nèi)容。

Apache Shrio 包含以下 3 個核心組件：1）Subject（主體）。主體是任何可以與應(yīng)用交互的用戶。2）SecurityManager。SecurityManager 是 Shiro的心臟，所有具體的交互都通過 SecurityManager 進(jìn)行控制，管理著所有 Subject，且負(fù)責(zé)進(jìn)行認(rèn)證和授權(quán)，以及會話、緩存的管理。3）Realm。Realm 是與安全相關(guān)的 DAO（Data Access Object），它封裝了數(shù)據(jù)源的連接細(xì)節(jié)，并在需要時將相關(guān)數(shù)據(jù)提供給 Shiro。在實際應(yīng)用中，1 個 Realm 可負(fù)責(zé)校驗 1 類令牌（Token），目前管理平臺中集成了 2 個 Realm，1 個用于鑒別基礎(chǔ)的用戶名密碼 Token，另 1 個用于鑒別 JWT（JSON Web Token）Token。

2.4.2 接口訪問控制

在角色訪問控制基礎(chǔ)上，為防止外部惡意調(diào)用數(shù)據(jù)接口，管理平臺結(jié)合 JWT 鑒權(quán)實現(xiàn)數(shù)據(jù)接口的訪問控制，JWT 是一種基于 JSON 的用于在網(wǎng)絡(luò)上聲明某種主張的 Token。用戶在登錄驗證成功后，后臺返回給請求源 1 個Token，接下來任何的數(shù)據(jù)請求都必須將 Token 放在 HTTP 請求的頭部，任意的成功數(shù)據(jù)請求后臺都會更新 Token，更新后的 Token 保留原先 Token 的所有數(shù)據(jù)信息，只刷新過期時間，從而維護(hù) Token 的時效性。JWT 鑒權(quán)開銷小，Token 只需要在客戶端保留，服務(wù)端不用保存Token，分布式環(huán)境下后端無需再做 Session 共享，為后期系統(tǒng)由單體應(yīng)用向分布式演化提供方便，同時，JWT 鑒權(quán)適用于前后端分離的開發(fā)模式，為管理平臺后端服務(wù)安全性提供技術(shù)支撐。JWT 由以下 3 個部分組成：1）頭信息，指定該 JWT 使用的簽名算法；2）消息體，包含 JWT 的意圖，如 userId，roleId，expireTime 等；3）簽名，是對前兩部分的簽名，防止數(shù)據(jù)被篡改。

簽名首先需要指定 1 個秘鑰，這個秘鑰只有服務(wù)器知道，不能泄露給用戶，然后使用 Header 里面指定的簽名算法（默認(rèn)是 HMAC SHA256）產(chǎn)生簽名。算出簽名后，Header，Payload，Signature 3 個部分拼成 1 個字符串，每個部分之間用（.）分隔，再返回給用戶。

3 管理平臺開發(fā)與工程應(yīng)用

管理平臺軟件采用 SpringBoot 框架[7]開發(fā)，SpringBoot 不僅繼承了 Spring 框架原有的優(yōu)秀特性，還通過簡化配置進(jìn)一步簡化了 Spring 應(yīng)用的整個搭建和開發(fā)過程。另外 SpringBoot 通過集成大量的框架，使得依賴包的版本沖突及引用的不穩(wěn)定性等問題得到了有效控制。管理平臺現(xiàn)可適配多主流數(shù)據(jù)庫廠家，基于通用業(yè)務(wù)接口能夠?qū)崿F(xiàn)應(yīng)用的快速搭建與部署，已成功部署的項目包括單水庫項目 4 個，區(qū)域多水庫項目 2 個。圖3 為管理平臺在紅崖山水庫的應(yīng)用截圖，紅崖山水庫涵蓋的業(yè)務(wù)包括大壩安全監(jiān)測分析、人工位移對比、雨水情監(jiān)測、水質(zhì)監(jiān)測、蒸發(fā)監(jiān)測、道閘控制等。

圖3 紅崖山綜合監(jiān)控界面

通過多元監(jiān)測數(shù)據(jù)的融合與應(yīng)用，管理平臺可滿足水庫管理各級用戶的需要，現(xiàn)已在廣東、甘肅、安徽、四川、江蘇等省得到應(yīng)用，經(jīng)濟(jì)和社會效益顯著。可有效解決水庫管理單位信息化缺乏統(tǒng)一規(guī)劃、運(yùn)行環(huán)境差別大、系統(tǒng)生命周期短，以及集成度低而造成不兼容、難以整合發(fā)揮協(xié)同作用等問題，實現(xiàn)水庫由粗放管理向精細(xì)化管理轉(zhuǎn)變，由傳統(tǒng)人工管理為主向水利現(xiàn)代化管理為主轉(zhuǎn)變。

4 結(jié)語

通過對水庫信息化現(xiàn)狀進(jìn)行分析，結(jié)合 ETL 工具，Druid 多數(shù)據(jù)源，WebGIS 等技術(shù)開發(fā)水庫綜合信息化管理平臺，管理平臺具備良好的可擴(kuò)展性和移植性，可減輕水庫管理人員工作強(qiáng)度，同時保證監(jiān)測數(shù)據(jù)的及時性。今后管理平臺將進(jìn)一步實現(xiàn)實時信息的統(tǒng)一采集，加強(qiáng)各專業(yè)子系統(tǒng)間實時數(shù)據(jù)的交互。以機(jī)器學(xué)習(xí)和業(yè)務(wù)模型相結(jié)合的方式，在基于數(shù)字孿生的平臺環(huán)境下，深度融合和挖掘有效信息，當(dāng)出現(xiàn)不利于工程安全運(yùn)行的場景條件時，能自動對大數(shù)據(jù)進(jìn)行分析評估，提供智能預(yù)警與輔助決策，為汛期水庫安全運(yùn)行提供保障。