水資源多元數(shù)據(jù)融合與治理技術(shù)探討

王銘銘 董凱頌

摘 要：水資源多元數(shù)據(jù)融合與治理是水資源走向智慧化管理的必經(jīng)之路。探討了水資源多元數(shù)據(jù)融合與治理技術(shù)，包括多元數(shù)據(jù)匯聚、數(shù)據(jù)融合、數(shù)據(jù)治理等內(nèi)容，實(shí)現(xiàn)水資源數(shù)據(jù)資源一體化匯聚、動(dòng)態(tài)化管理和高效化服務(wù)。技術(shù)成果在安徽省水資源監(jiān)管體系中得到了廣泛應(yīng)用，推動(dòng)了水資源管理向數(shù)字化與智慧化的發(fā)展。成果在安徽省水資源取用水監(jiān)測(cè)與管理中得到廣泛應(yīng)用，為水資源取水動(dòng)態(tài)監(jiān)管、智能預(yù)警、一站式業(yè)務(wù)線上服務(wù)等提供了堅(jiān)實(shí)的數(shù)據(jù)支撐，有效促進(jìn)了安徽省水資源監(jiān)管能力提升。

關(guān)鍵詞：水資源;多元數(shù)據(jù);數(shù)據(jù)融合;數(shù)據(jù)治理

中圖法分類號(hào)：TP311.13;TV213? ? 文獻(xiàn)標(biāo)志碼：A? ? ? ? ?DOI：10.19679/j.cnki.cjjsjj.2021.0516

水是人類賴以生存的自然資源，同時(shí)也是國(guó)家經(jīng)濟(jì)發(fā)展與人民生活水平持續(xù)提升的關(guān)鍵所在，最嚴(yán)格水資源管理、創(chuàng)建節(jié)水型社會(huì)、改善水生態(tài)環(huán)境等是當(dāng)前我國(guó)開展的重要工作。數(shù)據(jù)是水資源管理的基礎(chǔ)，水資源管理涉及水源、取水口、取水戶、排污口等多類信息，每類信息不僅包含基礎(chǔ)、空間、多媒體等靜態(tài)數(shù)據(jù)，亦包含水量、水質(zhì)、排污等實(shí)時(shí)動(dòng)態(tài)數(shù)據(jù)。水資源取用水相關(guān)數(shù)據(jù)存在數(shù)據(jù)種類各異、分布地點(diǎn)各異、數(shù)據(jù)管存形式各異及數(shù)據(jù)庫(kù)表結(jié)構(gòu)各異，以及數(shù)據(jù)難查、難找、難管等多種問題，制約著數(shù)據(jù)資源服務(wù)與支撐作用發(fā)揮。

以安徽省為例，在水資源監(jiān)測(cè)數(shù)據(jù)采集方面，水資源各類監(jiān)測(cè)點(diǎn)工況各異，采用的通訊接口、通訊協(xié)議、采集頻次等各不相同，技術(shù)標(biāo)準(zhǔn)不一;在水資源數(shù)據(jù)融合方面，取水、水源地、入河排污口、調(diào)水?dāng)嗝娴缺O(jiān)測(cè)系統(tǒng)建設(shè)先后開展，相對(duì)獨(dú)立;在數(shù)據(jù)管理方面，當(dāng)前各市縣自行開展的系統(tǒng)建設(shè)，多數(shù)數(shù)據(jù)落地于本地機(jī)房，小部分系統(tǒng)數(shù)據(jù)落地于承建單位的私建機(jī)房或商用云平臺(tái)，存儲(chǔ)方式、庫(kù)表結(jié)構(gòu)、數(shù)據(jù)治理等方面亦存在很大差異。針對(duì)上述情況，專設(shè)研究課題對(duì)安徽全省水資源數(shù)據(jù)基本情況的調(diào)研和分析，開展數(shù)據(jù)集中采集軟件與解析技術(shù)、數(shù)據(jù)整編及核查登記方法、虛擬下位儀表等數(shù)據(jù)共享技術(shù)的研究，完成水資源多元數(shù)據(jù)異地異構(gòu)數(shù)據(jù)的集中監(jiān)測(cè)與管理，形成水資源數(shù)據(jù)服務(wù)，為水資源業(yè)務(wù)管理提供支撐。

1? 水資源多元信息匯集技術(shù)路線

基于對(duì)水資源取用水業(yè)務(wù)管理數(shù)據(jù)的集中梳理，調(diào)研根據(jù)不同類型數(shù)據(jù)的存放地點(diǎn)、方式等情況，構(gòu)建了一體化多元信息匯集技術(shù)路線，如圖1所示。對(duì)于紙質(zhì)數(shù)據(jù)、電子數(shù)據(jù)及需調(diào)研核查的數(shù)據(jù)，通過整編、校核、編碼等流程，變成可入庫(kù)數(shù)據(jù)，通過數(shù)據(jù)匯集錄入模塊實(shí)現(xiàn)不同地區(qū)的數(shù)據(jù)匯集;對(duì)于已存放在平臺(tái)內(nèi)的靜態(tài)數(shù)據(jù)采用webservice接口的方式進(jìn)行數(shù)據(jù)共享;對(duì)于已存于取用水戶本地的數(shù)據(jù)，采用虛擬下位儀表的方式，軟件模擬RTU采集并上傳數(shù)據(jù);對(duì)于集中存儲(chǔ)的動(dòng)態(tài)數(shù)據(jù)，采用消息組件的方式，實(shí)現(xiàn)數(shù)據(jù)的實(shí)時(shí)共享;對(duì)于尚未監(jiān)測(cè)的動(dòng)態(tài)數(shù)據(jù)，采用統(tǒng)一采集與解析的方式進(jìn)行在線采集。系統(tǒng)設(shè)計(jì)并開發(fā)數(shù)據(jù)庫(kù)，同時(shí)研究并開發(fā)與實(shí)際需求匹配的數(shù)據(jù)共享接口、數(shù)據(jù)匯集模塊、集中接收軟件、數(shù)據(jù)共享組件等，最終實(shí)現(xiàn)數(shù)據(jù)入庫(kù)、關(guān)聯(lián)匹配、數(shù)據(jù)服務(wù)及數(shù)據(jù)無限檢索等。

2? 多元數(shù)據(jù)集中監(jiān)測(cè)

2.1? 統(tǒng)一采集通信協(xié)議

通信協(xié)議統(tǒng)一是實(shí)現(xiàn)水資源各類數(shù)據(jù)集中采集的基礎(chǔ)，目前國(guó)家頒布了兩部水資源相關(guān)傳輸協(xié)議，分別是《水資源監(jiān)測(cè)數(shù)據(jù)通訊規(guī)約（SZY206-2016）》和《水文監(jiān)測(cè)數(shù)據(jù)通信規(guī)約（SL651-2014）》，水資源涉及的水量、水位、水質(zhì)等數(shù)據(jù)采集與傳輸，均可按照或參考上述標(biāo)準(zhǔn)，因此，對(duì)于安徽省新建水資源相關(guān)系統(tǒng)應(yīng)嚴(yán)格執(zhí)行上述技術(shù)標(biāo)準(zhǔn)，對(duì)于全省已建水資源監(jiān)測(cè)系統(tǒng)，應(yīng)按照上述標(biāo)準(zhǔn)進(jìn)行技術(shù)改造，最終實(shí)現(xiàn)全省水資源數(shù)據(jù)采集協(xié)議的標(biāo)準(zhǔn)統(tǒng)一。

以水資源取水監(jiān)測(cè)數(shù)據(jù)采集為例，由于計(jì)量設(shè)備通信協(xié)議未實(shí)行統(tǒng)一標(biāo)準(zhǔn)，且不同取水戶先期安裝計(jì)量設(shè)備種類眾多，不同品牌的計(jì)量設(shè)備往往具有自定義的通信協(xié)議。據(jù)調(diào)研統(tǒng)計(jì)，安徽省取水計(jì)量監(jiān)測(cè)點(diǎn)安裝的計(jì)量設(shè)備就有20余種之多。若實(shí)現(xiàn)對(duì)不同計(jì)量設(shè)備的數(shù)據(jù)采集，需設(shè)計(jì)通用協(xié)議轉(zhuǎn)換軟件模塊，實(shí)現(xiàn)對(duì)不同省內(nèi)常見的不同協(xié)議計(jì)量設(shè)備無障礙數(shù)據(jù)采集，并轉(zhuǎn)為統(tǒng)一的SYZ206-2012協(xié)議，進(jìn)而實(shí)現(xiàn)向水資源取水監(jiān)測(cè)平臺(tái)的數(shù)據(jù)傳輸發(fā)送。

2.2? 數(shù)據(jù)集中采集

數(shù)據(jù)集中采集與管理是打破數(shù)據(jù)壁壘最有效的方式，也有利于建設(shè)資源共享、降低項(xiàng)目投資。數(shù)據(jù)集中采集需根據(jù)標(biāo)準(zhǔn)協(xié)議，定制開發(fā)省級(jí)集中采集軟件，支持水資源各類站點(diǎn)數(shù)據(jù)的在線接收、解譯、存儲(chǔ)與管理。以安徽省為例，構(gòu)建了省級(jí)的數(shù)據(jù)集中采集系統(tǒng)，可實(shí)現(xiàn)對(duì)全省水資源水量、水位、水質(zhì)等信息的在線集中采集與管理。對(duì)于取水口核查登記等基本信息，采用線下核查、線上填報(bào)、系統(tǒng)管理的模式，將監(jiān)測(cè)數(shù)據(jù)與基礎(chǔ)數(shù)據(jù)關(guān)聯(lián)，并納入省水利云平臺(tái)統(tǒng)籌管理，實(shí)現(xiàn)水資源全量數(shù)據(jù)的云端管理。

2.3? 一套數(shù)據(jù)計(jì)算算法

統(tǒng)一數(shù)據(jù)計(jì)算算法是保障數(shù)據(jù)一致性的關(guān)鍵，以非農(nóng)業(yè)取水量數(shù)據(jù)計(jì)算算法為例，安徽省采用同套計(jì)算策略，對(duì)于同一監(jiān)測(cè)點(diǎn)，固定時(shí)間節(jié)點(diǎn)采集數(shù)據(jù)，并用一套算法開展水量的計(jì)算，對(duì)內(nèi)對(duì)外提供的數(shù)據(jù)成果為計(jì)算后的結(jié)果數(shù)據(jù)，這樣解決了因計(jì)算時(shí)間節(jié)點(diǎn)與計(jì)算方法的不同，導(dǎo)致水量數(shù)據(jù)差異性等問題。

2.4? 計(jì)量數(shù)據(jù)圖片集中采集

在實(shí)際應(yīng)用中，部分取水點(diǎn)已安裝不具備在線采集數(shù)據(jù)的計(jì)量設(shè)備，且現(xiàn)場(chǎng)無法重新安裝、更換新的計(jì)量設(shè)備，針對(duì)此類應(yīng)用場(chǎng)景，研究采用定時(shí)拍照與圖像識(shí)別的方式，采用開放式FTP協(xié)議，實(shí)現(xiàn)各站點(diǎn)向FTP服務(wù)器制定路徑，基于4G通道向圖像集中采集平臺(tái)指定端口服務(wù)實(shí)時(shí)上報(bào)，定時(shí)發(fā)送圖片信息?；趫D像識(shí)別技術(shù)，開發(fā)數(shù)據(jù)識(shí)別軟件，識(shí)別出現(xiàn)場(chǎng)的瞬時(shí)流量和累計(jì)流量，進(jìn)而實(shí)現(xiàn)數(shù)據(jù)的采集與上傳。此外，獲取圖片通過標(biāo)準(zhǔn)數(shù)據(jù)報(bào)文解析，完成站點(diǎn)運(yùn)行狀態(tài)等情況的在線監(jiān)控，并將該部分?jǐn)?shù)據(jù)通過服務(wù)的方式上報(bào)至監(jiān)測(cè)平臺(tái)。

3? 多元異構(gòu)數(shù)據(jù)匯集

據(jù)調(diào)研，安徽省內(nèi)來安縣、蚌埠閘、淠史杭灌區(qū)等單位早期建有取水在線監(jiān)測(cè)系統(tǒng)，數(shù)據(jù)都在機(jī)房存儲(chǔ)或PC機(jī)中。由于各系統(tǒng)的數(shù)據(jù)庫(kù)表設(shè)計(jì)不同，監(jiān)測(cè)的目標(biāo)要素各異，數(shù)據(jù)制式亦不規(guī)范，導(dǎo)致所建取水監(jiān)測(cè)數(shù)據(jù)無法直接共享接入。與對(duì)于此類監(jiān)測(cè)系統(tǒng)，此前均采用重建系統(tǒng)或取水計(jì)量監(jiān)測(cè)站的方式實(shí)現(xiàn)數(shù)據(jù)的監(jiān)控。前者是拋棄已有系統(tǒng)，按照國(guó)家水資源監(jiān)控能力建設(shè)項(xiàng)目辦制定的標(biāo)準(zhǔn)，重新設(shè)計(jì)數(shù)據(jù)庫(kù)庫(kù)表及系統(tǒng)軟件;后者是避開已建系統(tǒng)，重新安裝計(jì)量及監(jiān)測(cè)設(shè)備。兩種方案均會(huì)導(dǎo)致資源的大量浪費(fèi)，且新舊系統(tǒng)數(shù)據(jù)源不一致，統(tǒng)計(jì)周期也存在不同，常會(huì)出現(xiàn)數(shù)據(jù)不匹配的現(xiàn)象，嚴(yán)重影響水資源取用水監(jiān)控項(xiàng)目建設(shè)和最嚴(yán)格水資源管理工作的開展。

通過分析異構(gòu)數(shù)據(jù)源技術(shù)標(biāo)準(zhǔn)、數(shù)據(jù)類別和共享策略，利用計(jì)算機(jī)軟件和虛擬技術(shù)，對(duì)異構(gòu)數(shù)據(jù)共享、數(shù)據(jù)質(zhì)量控制、數(shù)據(jù)規(guī)整、數(shù)據(jù)模型構(gòu)建、數(shù)據(jù)資產(chǎn)管理等技術(shù)進(jìn)行了研究，開發(fā)了虛擬下位儀表采集、異構(gòu)數(shù)據(jù)匯集與數(shù)據(jù)資產(chǎn)管理軟件。系統(tǒng)可兼容Oracle、SQLServer2000、Access等各類數(shù)據(jù)庫(kù)，軟件將不同數(shù)據(jù)庫(kù)的操作方式進(jìn)行封裝，用戶可根據(jù)不同數(shù)據(jù)庫(kù)通過“工具—數(shù)據(jù)庫(kù)—數(shù)據(jù)庫(kù)選擇”進(jìn)行選擇。同時(shí)，構(gòu)建取水計(jì)量、取水水源、取水工程、取水戶檔案、取水戶排污口等多元信息關(guān)聯(lián)模型，按照一數(shù)一源的思路，實(shí)現(xiàn)跨地區(qū)跨平臺(tái)信息集中監(jiān)管。

4? 水資源數(shù)據(jù)融合與治理

4.1? 數(shù)據(jù)治理

基于監(jiān)測(cè)數(shù)據(jù)、基礎(chǔ)數(shù)據(jù)、多媒體數(shù)據(jù)、文件（非結(jié)構(gòu)化數(shù)據(jù)）、數(shù)據(jù)庫(kù)表等不同結(jié)構(gòu)數(shù)據(jù)，通過數(shù)據(jù)規(guī)整、邏輯判斷、數(shù)據(jù)清洗、數(shù)據(jù)建模完成從數(shù)據(jù)接入到數(shù)據(jù)治理過程，讓數(shù)據(jù)成為可靠性高的數(shù)據(jù)資產(chǎn)，進(jìn)而為業(yè)務(wù)系統(tǒng)提供數(shù)據(jù)共享、數(shù)據(jù)分析和其他數(shù)據(jù)服務(wù)，支撐各業(yè)務(wù)系統(tǒng)作業(yè)需求。平臺(tái)上開發(fā)了30余種錯(cuò)誤數(shù)據(jù)檢查組件，針對(duì)水位、水量、水質(zhì)等實(shí)時(shí)監(jiān)測(cè)數(shù)據(jù)與歷史監(jiān)測(cè)數(shù)據(jù)、相關(guān)工程基礎(chǔ)數(shù)據(jù)之間的邏輯關(guān)系，構(gòu)建了30多種數(shù)據(jù)清洗轉(zhuǎn)換處理模塊，實(shí)現(xiàn)對(duì)各類數(shù)據(jù)的邏輯判斷和清洗，完成數(shù)據(jù)的治理。

4.2? 數(shù)據(jù)融合

基于水資源取用水多元信息的匯集，形成了水資源數(shù)據(jù)管理和服務(wù)，通過數(shù)據(jù)關(guān)聯(lián)關(guān)系梳理，確定了每類數(shù)據(jù)的關(guān)聯(lián)對(duì)象，然后找到數(shù)據(jù)的關(guān)聯(lián)因素，建立好數(shù)據(jù)關(guān)聯(lián)模型，開發(fā)數(shù)據(jù)融合軟件，實(shí)現(xiàn)對(duì)水資源取用水綜合信息的融合與檢索。按照水資源數(shù)據(jù)分類，信息查詢模塊可分為水資源取水監(jiān)測(cè)信息、取水許可信息、取水計(jì)劃信息、水功能區(qū)和水源地信息、取水工程信息、取水戶“一戶一檔”信息、排污口信息等，根據(jù)各專題信息的特點(diǎn)，分布定制信息展示模塊，實(shí)現(xiàn)對(duì)各類專題數(shù)據(jù)的匯集查詢和分類查詢。綜合而言，在已建綜合信息展示及分類信息展示的基礎(chǔ)上，按照數(shù)據(jù)關(guān)聯(lián)模型，研究并開發(fā)了數(shù)據(jù)聯(lián)想查詢功能，通過單項(xiàng)數(shù)據(jù)的查詢或單項(xiàng)業(yè)務(wù)的辦理，可聯(lián)想查詢相關(guān)數(shù)據(jù)。例如，查看取水工程基礎(chǔ)信息時(shí)，自動(dòng)聯(lián)想查詢相關(guān)聯(lián)的水源地、取水戶、取水量等對(duì)象;若選擇關(guān)聯(lián)取水戶之后不僅可看取水戶基本信息，亦可進(jìn)一步聯(lián)想查詢其關(guān)聯(lián)是取水許可、取水計(jì)劃、排污口、取水量、水源地及取水工程等;實(shí)現(xiàn)無限聯(lián)想檢索。

5? 結(jié)語

水資源業(yè)務(wù)類別多、管辦壓力大，需要強(qiáng)有力的數(shù)據(jù)資源支撐。課題通過研究并構(gòu)建水資源多元數(shù)據(jù)采集與匯聚體系，開發(fā)數(shù)據(jù)治理與融合模型，打通從數(shù)據(jù)采集到數(shù)據(jù)服務(wù)的全過程通道，有效解決數(shù)據(jù)難查、難找、難管等問題，對(duì)于推動(dòng)水資源監(jiān)管數(shù)字化與智能化發(fā)展有重要意義。

參考文獻(xiàn)：

[1]趙芳，華東，田質(zhì)勝，等.基于水資源監(jiān)測(cè)的多元大數(shù)據(jù)平臺(tái)研究[J].水利信息化，2020（03）：6-9+15.

[2]馮鈞，許瀟，唐志賢，等.水利大數(shù)據(jù)及其資源化關(guān)鍵技術(shù)研究[J].水利信息化，2013（04）：6-9.

[3]李文，李永欣，王興浩，等.基于數(shù)據(jù)核心技術(shù)的水資源信息平臺(tái)融合設(shè)計(jì)[J].中國(guó)農(nóng)村水利水電，2018（09）：64-68.

[4]王銘銘，徐浩.基于物聯(lián)網(wǎng)的安徽省農(nóng)田灌溉實(shí)時(shí)監(jiān)測(cè)及自動(dòng)灌溉系統(tǒng)研究[J].節(jié)水灌溉，2017（01）：68-70+75.

[5]劉超.基于虛擬下位儀表的水資源取水實(shí)時(shí)監(jiān)測(cè)技術(shù)研究[J].治淮，2019（02）：34-35.

[6]向莉英，張濤，達(dá)瓦次仁.西藏水資源業(yè)務(wù)數(shù)據(jù)管理現(xiàn)狀與建議[J].水利信息化，2016（05）：70-72.

Discussion on Water Resources Multivariate Data Fusion and Governance Technology

Wang Mingming 1? ? Dong Kaisong 2

[1. Anhui Province （Huaihe Water Conservancy Commission of the Ministry of Water Resources） Hydraulic Research Institute，Hefei，230094，China;2. Hualiangting Irrigation District Management Office，Anqing City，Anhui Province，Anqing 246511，China]

Abstract：Water resources diversified data fusion and governance is the only way for water resources to move towards intelligent management. Discussed water resources diversified data fusion and governance technology，including diversified data aggregation，data fusion，data governance，etc.，to realize the integration of water resources data resources，dynamic management and efficient services. Technical achievements have been widely used in the water resources supervision system of Anhui Province，which has promoted the development of digital and intelligent water resources management. The results have been widely used in the monitoring and management of water resources in Anhui Province，providing solid data support for the dynamic monitoring of water resources and water intake，intelligent early warning，and one-stop business online services，effectively promoting the ability of Anhui Province to monitor water resources promote.

Keywords：water resources;multivariate data;data fusion;data governance